- 博客(18)
- 收藏
- 关注
RSS订阅
原创 深度学习模型压缩方法集合
1.before目前深度网络模型压缩方法主要有以下几个方向：更精细的模型设计：SqueezeNet、MobileNet等 模型裁剪：队训练好的模型找到一种评价手段，剔除不重要的 connections 和 filrers 核稀疏： 训练过程中对权重更新进行诱导，让其稀疏。使用稀疏矩阵在硬件上效果不明显2.基于核稀疏方法核的稀疏分为 regular 和 irregular ，reg...
2019-09-03 10:07:49
799
原创 ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9‘ not found
今天新装anaconda，遇到这个问题。网上查了一圈，感觉都是同一篇文章，也略显麻烦。我来告诉你们正解：anaconda3/lib路径添加到环境变量，不然有的机器上执行服务会报错误: ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9' not found vi ~/.bashrc 在里面添加: export LD_LIBRARY_PATH="/home/当前用户名/anaconda3/lib:$LD_LI...
2021-03-04 09:20:30
280
2
原创 linux anaconda pip问题
今天发生了一个很有趣的现象，我在linux上的一个anaconda虚拟环境下用pip安装第三方包，会跳转到系统内置的python2.7的pip上去。我继续使用pip3安装，显示安装成功，但是当我调用包的时候，依然提示import erro。这我的暴脾气一下就起来了，头顶的毛似乎就跃跃欲竖啊。生气了几秒钟之后，开始搜索linux anaconda pip等关键词，各种尝试无果啊。刚刚平息的怒火再一次被点燃了。临近下班，更为焦躁，不过我也可以回家再搞。我喜欢我的公司，从不加班。我感觉我这辈子都不会体验996
2021-01-15 09:02:29
413
2
原创 算法工程师成长计划
本人是一名算法工程师，目前主要做OCR算法。最近比较有闲，就开始迷茫，不知道如何提升自我，在此做一个总结，规划，希望自己可以按部就班，戒骄戒躁。不知道你有没有跟我一样的困扰，手里攒着一大堆学习资料，却总是没有一个是完整看完的。就拿我来说吧，我B站收藏夹里有几十个视频，有编程语言，有数据结构和算法，有机器学习，但没有一个是完整高效看完的，今天看这个，明天点开另一个，导致花了时间，收获几乎为零。这就增加了我的焦虑，时间逝去了，自己却未真正成长。于是，今天早上，重新审视了一下自己...
2020-09-16 09:16:03
3178
原创 实现在Docker环境中开发宿主机工程代码
在用tensorflow不同版本的时候，会对cuda和cudnn有不同的需求，如果正对每个版本的tensorflow都要安装cuda和cudnn，那是一件特别麻烦的事情。很感谢tensorflow提供了不同版本的Docker镜像，只需要安装显卡驱动就可以了，不需要配置其他环境。安装步骤如下：1.安装Docker2.安装NVIDIA-docker-toolkit# Add the package repositoriesdistribution=$(. /etc/os-release;echo
2020-07-26 09:19:43
265
原创 Ubuntu 16.04 + 2060S 安装NVIDIA驱动 + CUDA10.0+Cudnn
一、前提环境深度模型调参侠，为了更好炼丹，购入了一台HP 2060s的整机，之前折腾了windows10 的CUDA安装，但是总觉得有一点不顺，于是就安装了Ubuntu 16.04。这个周末，全心思都扑在了新系统的环境配置上。经过折腾，颇有感触——官方文档才是真正guide，网上的博客还是多看无益。二、安装还是看看官方文档吧，https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html，要看仔细了，一步一步来，网上的博客教
2020-07-05 21:35:41
1861
原创 module must have its parameters and buffers on device cuda:0 (device_ids[0]) but found one of them
问题：module must have its parameters and buffers on device cuda:0 (device_ids[0]) but found one of them on device: cpu当在pytorch下训练好模型之后，测试的时候调用checkpoint，用cpu跑的时候出现这个错误。分析： 出现这个错误主要是因为模型在创建的时候用的...
2019-12-13 13:43:12
6034
转载 python中PIL.Image和OpenCV图像格式相互转换
PIL.Image转换成OpenCV格式 import cv2 from PIL import Image import numpy image = Image.open("plane.jpg") image.show() img = cv2.cvtColor(numpy.asarray(image),cv2.COLOR_RGB2BG...
2019-12-11 14:46:29
89
原创 ios 操作图像imageOrientation的相关问题
这里要讲一个大坑。最近在做ios端的深度学习，从视频中获取图像数据，传入深度学习模型中进行预测，但总是无结果。将图像显示到uiimageview上看是正常的，但是在输入到模型时，旋转了90度，距离砸键盘只差一个小时的距离。终于，在看了这篇博客之后， 茅塞顿开。原来在我输入模型之前，对image进行了像素操作，去掉了图像alpha通道，所以原本图像EXIF中的imageOrientati...
2019-10-12 16:37:44
532
原创 Include of non-modular header inside framework module
The real answer is that the location of the imports needs to be changed by the library owner. Those files ifaddrs.h, arpa/inet.h, sys/types.h are getting imported in a .h file in a framework, which Xc...
2019-10-11 08:42:44
1066
原创 图像算法工程师技能
语言类： C++和python需要同时学习。就我个人经验而言，算法要落地到产品，如移动端移植，离不开c++。python适和做算法API接口，在服务器端部署。 2.传统的图像算法 可以通过学习opencv来学习，要深刻理解opencv各个算法函数的参数含义，就需要理解算法的原理，才能把opencv游刃有余地使用。opencv官网的tutorial是...
2019-10-10 11:11:35
322
原创 Primier C++ 10.4 再探迭代器
1.插入迭代器可用来插入元素，back_insererfront_inserter ：会将元素倒过来 list<int> lst = {1,2,3,4};list<int> lst2, lst3;copy(lst.begin(),lst.end(), front_insert(lst2)); //lst2 {4,3,2,1} 顺序会倒过来c...
2019-09-03 11:01:41
108
原创 Hinton平滑标签
1.提要soft target：是通过计算hard target 的加权平均和标签的均匀分布得到的，而这一步骤称为标签平滑。 作用：模型过拟合，且在很多最新的模型中都得到了应用，比如图片分类、机器翻译和语音识别 论文目的：标签平滑不仅能够提升模型的泛化能力，还能够提升模型的修正能力，并进一步提高模型的集束搜索能力。但在本文的实验中还发现，如果在teacher model 中进行标签平滑，对...
2019-09-03 09:19:58
201
原创 CentOs 安装 CUDA
1. 安装gccuname -a 查看系统内核 kernel-devel 和 kernel-header 两个文件版本要和其内核版本对应包含很多 rpm 文件的文件夹cd dir/gcc执行如下语句安装：rpm -Uvh *.rpm --nodeps --force2.安装驱动查看核显驱动lsmod | grep nouveau出现很多消息 ...
2019-09-03 08:26:54
1499
原创 神经网络优化算法
1 .训练误差和泛化误差1.训练误差：在训练数据上表现的误差2.泛化误差: 在任意测试数据集上的误差期望训练误差小于等于泛化误差。由于无法估计泛化误差，所以一味降低训练误差并不意味着泛化误差会降低。机器学习模型应该降低泛化误差。2.如何选择模型2.1 验证数据集预留验证集，判断验证集在模型中的表现能力 Validation Set2.2 K 折交叉验证当训练...
2019-09-02 12:14:31
358
原创 c++ 泛型算法
1.概述算法定义在algorithm中，数值范型算法在numeric中。 算法不执行容器的操作，只会运行于迭代器智商，执行迭代器的操作 算法不会改变容器的大小，可能改变容器的值，不删除或添加元素2.初识泛型算法大部分标准库算法都是对一个范围内的元素进行操作，前面两个参数是表示范围 只读算法： 1. 只读取输入范围内的元素，不改变元素：count， accumulate(beg...
2019-09-01 22:15:31
84
原创 mac 如何显示隐藏文件
显示：defaults write com.apple.finder AppleShowAllFiles -bool true ordefaults write com.apple.finder AppleShowAllFiles YES重启 Finder隐藏：defaults write com.apple.finder AppleShowAllFile...
2019-08-22 08:54:32
81
原创 Python Cook学习笔记 1.3
问题：在迭代操作或者其他操作的时候，怎样只保留最后有限几个元素的历史记录？方案：collections.deque 使用 deque(maxlen=N) 构造函数会新建一个固定大小的队列。当新的元素加入并且这个队列已满的时候， 最老的元素会自动被移除掉。>>> q = deque(maxlen=3)>>> q.append(1)>>> q....
2018-03-17 10:08:47
343
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人