风中落泪的花

原创 元组，字典，列表排序

经常需要对元组或者字典等序列按照特定的规则进行排序，如按照年龄进行排序>>> student_tuples = [ ('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10),]>>> sorted(student_tuples, key=lambda s...

原创 如何直接使用别人的conda环境（免安装）

如何直接使用别人的conda环境（免安装）1.复制conda文件夹2 修改配置文件3.修改环境路径和包路径有时候为了更加方便，可以直接使用其他用户的环境，而不是自己重新安装anaconda（miniconda3），可以直接复制原有的环境1.复制conda文件夹将其他用户的conda目录复制过来cp -r /home/ttt/anaconda32 修改配置文件vim anaconda...

原创 MXNet的gluon转symbol并保存

from mxnet.gluon.model_zoo import visionimport mxnet as mximport numpy as npmobilenetv205 = vision.get_model('mobilenetv2_0.5',pretrained=True,classes=1000,root='./')#num_params = sum(np.prod(x.da...

原创 安装LLVM+clang

参考了很多资料，apt-get太慢了，中断；svn co http://llvm.org/svn/llvm-project/cfe/trunk clang下载中断。还是从官网下载源码靠谱。下载源码官网http://releases.llvm.org/download.html#8.0.0wget http://releases.llvm.org/8.0.0/llvm-8.0.0.src...

原创 pytoch报错OSError: [Errno 24] Too many open files

因为默认的file_descriptor共享策略使用文件描述符作为共享内存句柄，并且当DataLoader上有太多批次时，这将达到限制。要解决此问题，您可以通过将其添加到脚本来切换到file_system策略。在最后的import后面添加import torch.multiprocessingtorch.multiprocessing.set_sharing_strategy('file_...

原创 MXNet半精度（FP16）训练

MXNet半精度训练1.先决条件Volta range of Nvidia GPUs (e.g. AWS P3 instance)CUDA 9 or highercuDNN v7 or higher2.使用Gluon API训练和前向推理2.1训练使用cast将网络设置为float16精度进行训练net.cast('float16')data = data.astype('...

原创 数据增强之cutout变体，添加噪声和mixcut

数据增强之cutout变体，添加噪声生成框def rand_bbox(size, lam): W = size[2] H = size[3] # ratio = np.sqrt(1. - lam) cut_w = np.int(W * lam) cut_h = np.int(H * lam) # uniform cx = np.rand...

原创 PyTorch Cookbook（常用代码段整理合集）

https://zhuanlan.zhihu.com/p/59205847?

原创 notebook输出latex，python脚本格式文件

1 ipynb文件编译为tex在命令行中定位到要转换的jupyter文件的路径下，输入jupyter nbconvert --to latex yourNotebookName.ipynbmarkdown html

原创 模型融合

https://blog.csdn.net/qq_19332527/article/details/79829087 keras 模型融合https://github.com/shenxiaoming77/zhihu-PyTorchText-master pytorch模型融合https://github.com/hecongziyu/myproject/blob/dcfb2494ce88fd...

原创 安装miniconda3、安装MXNet 和jupyter notebook

安装过程一、安装minicond31.1 下载安装包地址 用命令运行 bash Miniconda3-latest-Linux-x86_64.sh然后运行命令 conda 表明conda安装成功1.2.添加 conda 的镜像服务器因为conda 下载文件要用到国外的服务器，速度一般会比较慢，我们可以通过增加一个清华的镜像服务器来解决。 输入下面两条命令即可...

原创 处理样本不均衡问题方法

1.focal loss2.GHM-C loss3.balance:对正例和负样本分别计算loss，使得正例loss权重之和与负样本loss权重之和相等4.对正样本或者负样本数据扩充

原创 利用300fps检测人脸的68个特征点

从github上获取3000fps的源码，我是从这里git clone下来的。 /*****************************************************************/ 运行环境 系统：windows 10 VS版本：VS2017 windows SDK：8.1 OpenCV version ： 3.4.1 /**************...

原创 ERROR:NVIDIA X server or ubuntu the system is running in low-graphics mode

ubuntu the system is running in low-graphics mode出现上述错误的原因是因为显卡驱动版本不对，需要从NVIDIA官网下载对应版本最新的驱动，安装安装时出现下面错误ERROR:NVIDIA X serverERROR: You appear to be running an X server; please exit X before insta...

原创 剪枝-轻量化网络（mark）

最近看了几篇网络剪枝的文章，在这里mark一下，过段时间在认真整理一下。1. Graph Convolution over Pruned Dependency Trees Improves Relation Extraction.https://github.com/qipeng/gcn-over-pruned-trees2.Pruning Convolutional Neural Net...

原创 PIL IndexError: index out of range

在pytorch读取自己制作的数据集时，发送return c if c.class is int else c[0] 862 IndexError: index out of range错误。error报错信息Traceback (most recent call last): 845 File "src/train.py", line 721, in <module> ...

原创 IOError: broken data stream when reading image file

使用PIL和Pillow处理图片时，出现如下错误：IOError: broken data stream when reading image file错误的原因有可能是：1.import tf和import PIL的顺序有问题2.图片本身受损第一种解决方法：调换顺序即可。第二种解决方法如下：from PIL import Image, ImageFileImageFile.LO...

原创 模型加速论文2018

[He et al., 2018] Yihui He, Ji Lin, Zhijian Liu, Hanrui Wang, Li-Jia Li, and Song Han. AMC: AutoML for Model Compression and Acceleration on Mobile Devices. In European Conference on Computer Vision ...

原创 机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)的理解

https://pic2.zhimg.com/80/v2-286539c808d9a429e69fd59fe33a16dd_hd.png更多详细内容查看下面的知乎回答https://www.zhihu.com/question/27068705

原创 Libstdc++.so.6: version `GLIBCXX_3.4.22’ not found（conda）

Libstdc++.so.6: version `GLIBCXX_3.4.22’ not found fixhttps://forum.linuxgameconsortium.com/t/libstdc-so-6-version-glibcxx-3-4-22-not-found-fix/31693down voteacceptedI was having the same problem...

原创 多个conda环境共享jupyter notebook(notebook 添加 conda 环境)

1.激活环境source activate 环境名称2.安装ipykernelconda install ipykernel3.将环境写入到notebook中python -m ipykernel install --user --name 环境名称 --display-name "在notebook中显示的环境名"4.打开notebookjupyter notebokno...

原创 Arxiv最新论文，深度学习热点论文，Arxiv每日更新

最新论文https://arxiv.org/list/cs/recent深度学习热点论文https://deeplearn.org/github 顶会摘要 每日更新https://github.com/amusi/daily-paper-computer-visionYouTube视频下载https://keepvid.app/GitHub教育https://education...

原创 mv argument list too long

当要移动很多文件时，会超出mv的长度。解决方法：find . -name “*.jpg” -exec mv {} /home/new/location ;

原创 caffe下fine tunning imagenet模型实现二分类问题（详细）

原创 手动安装NVIDIA,cudnn驱动,安装conda，pytorch

@TOC手动安装NVIDIA,cudnn驱动禁用nouveau驱动sudo gedit /etc/modprobe.d/blacklist.conf在文本最后添加：（禁用nouveau第三方驱动，之后也不需要改回来）blacklist nouveauoptions nouveau modeset=0$sudo nano /etc/modprobe.d/blacklist-nouve...

原创 基于OpenCV的双目深度估计实现与改进

双目深度估计一、传统方法​ 常用的方法有SAD匹配算法，BM算法，SGBM算法，GC算法1.1、SAD算法​ SAD(Sum of absolute differences)是一种图像匹配算法 ，基本思想是：差的绝对值之和。此算法常用于图像块匹配，将每个像素对应数值之差的绝对值求和，据此评估两个图像块的相似度。该算法快速、但并不精确，通常用于多级处理的初步筛选。...

原创 安装miniconda3、安装MXNet 和jupyter notebook

安装过程一、安装minicond31.1 下载安装包地址 用命令运行 bash Miniconda3-latest-Linux-x86_64.sh然后运行命令 conda 表明conda安装成功1.2.添加 conda 的镜像服务器因为conda 下载文件要用到国外的服务器，速度一般会比较慢，我们可以通过增加一个清华的镜像服务器来解决。 输入下面两条...

原创 MXNet导出可视化网络结构

导出可视化图import syssys.path.append('/home/')from models.SelfNestingNet import *from my_utils import *net = mx.sym.Variable('data')net = SelfNestingNet(nClasses=10,basicBlockType ='BasicUnit' )...

原创 安装mxnet jupyter notebook过程中遇到的错误

enviroment.yml 文件内容：name: gluondependencies:- python>=3.6- jupyter=1.0.0- matplotlib=2.2.2- pandas=0.23.2- pip: - requests==2.18.4 - mxnet-cu80conda env create -f enviroment.yml&...

原创 nvidia-smi:command not found 问题解决,Failed to initialize NVML: Driver/library version mismatch

在装驱动之后。发现nvidia-smi不能用了。于是在网上找到了解决方案。 简单来看，就两步1.unload nvidia kernel mod 2.reload nvidia kernel mod 执行起来就是 1.sudo rmmod nvidia 2.sudo nvidia-sminvidia-smi 发现没有 kernel mod 会将其自动装载。但是事情远远不是这么...

转载 ShuffleNet V2：从理论复杂度到实用设计准则

　近日，旷视科技提出针对移动端深度学习的第二代卷积神经网络 ShuffleNet V2。研究者指出过去在网络架构设计上仅注重间接指标 FLOPs 的不足，并提出两个基本原则和四项准则来指导网络架构设计，最终得到了无论在速度还是精度上都超越先前最佳网络（例如 ShuffleNet V1、MobileNet 等）的 ShuffleNet V2。在综合实验评估中，ShuffleNet V2 也在速度和精...

原创 优化算法总结-深度学习

优化算法总结超参数（Hyper-Parameter)是困扰神经网络训练的问题之一，因为这些参数不可通过常规方法学习获得。神经网络经典五大超参数:学习率(Leraning Rate)、权值初始化(Weight Initialization)、网络层数(Layers)单层神经元数(Units)、正则惩罚项（Regularizer|Normalization)这五大超参数使得神经网络...

转载 使用Raspberry Pi，Arduino和Python进行活体检测检测

生物识别漏洞几乎所有人脸识别系统都有一个明显的漏洞 - 像这样的硅胶面具： 被视为真面目。此外，人们在戴着乳胶面具时抢劫银行 并欺骗移民，乳胶面具变得越来越复杂和随时可用。我买了这个低端面具： 在伦敦一家服装店约30英镑。推销员告诉我，大都会警察每隔几周就会联系一名戴着面具犯罪的人。警察实际上到所有商店去搜索销售收据（记住：用现金支付）。2009年，我 和Ted Dunsto...

原创 dropout的隐式偏置（为什么要使用dropout）

现代的深度神经网络通常具有海量参数，甚至高于训练数据的大小。这就意味着，这些深度网络有着强烈的过拟合倾向。缓解这一倾向的技术有很多，包括L1、L2正则、及早停止、组归一化，以及dropout。在训练阶段，dropout随机丢弃隐藏神经元及其连接，以打破神经元间的共同适应。尽管dropout在深度神经网络的训练中取得了巨大的成功，关于dropout如何在深度学习中提供正则化机制，目前这方面的理论解释...

原创 DenseNet在caffe1.0中的应用遇到的问题Message type "caffe.PoolingParameter" has no field named "ceil_mode"

参考：https://blog.csdn.net/hjxu2016/article/details/79806649问题1.没有 “ceil_mode”.[libprotobuf ERROR google/protobuf/text_format.cc:245] Error parsing text-format caffe.NetParameter: 149:14: Message ...

原创 RGBDface相关0625

深度模型加速新思路思路十分直观：根据样本的复杂度把CNN当作一个deep cascade，简单的样本只需要使用浅层的特征即可做出正确的分类，然而复杂的样本需要多层网络才可以判断。这样的方式比起之前使用多个网络做cascade的方式而言，可以共享大量的参数。如下图所示： 在[2]中，作者将这个思想更进一步，主要有以下几个差异：设计了新的复杂度控制的loss，然而这个loss不仅...

原创 ShuffleNet MobileNet 在caffe训练加速方法

ShuffleNet参考：https://github.com/farmingyard/ShuffleNe1. 1.将cpp 和cu文件复制到caffe/src/caffe/layers目录下，将hpp文件复制到caffe/include/caffe/layers/目录下， 2.修改在caffe/src/caffe/proto目录下的caffe.proto文件message LayerPa...

原创 Python追加文件内容

测试中需要造几百个账号，写了个脚本可以自动生成账号，但想把生成的账号写入一个文件，开始用的如下的write()方法，发下会先把原文件的内容清空再写入新的东西，文件里面每次都是最新生成的一个账号mobile = Method.createPhone()file = r'D:\test.txt'with open(file, 'w+') as f: f.write(mobi...

原创 相似图片检测：感知哈希算法之dHash的Python实现

某些情况下，我们需要检测图片之间的相似性，进行我们需要的处理：删除同一张图片、标记盗版等。 如何判断是同一张图片呢？最简单的方法是使用加密哈希（例如MD5, SHA-1）判断。但是局限性非常大。例如一个txt文档，其MD5值是根据这个txt的二进制数据计算的，如果是这个txt文档的完全复制版，那他们的MD5值是完全相同的。但是，一旦改变副本的内容，哪怕只是副本的缩进格式，其MD5也会天差地别。因...

原创 用于视觉识别的CS231n卷积神经网络(CS231n)神经网络学习笔记和有趣博客

http://cs231n.github.io/ 结合Web-Translate插件，很方便阅读，是一个很好的学习网站