- 博客(265)
- 收藏
- 关注
RSS订阅原创 python包编译过程中出现： /usr/local/cuda-9.0/nvcc: No such file or directory问题的简单解决办法
在安装torch.sparse包的过程中，出现/usr/local/cuda-9.0/nvcc: No such file or directory的错误，而检查nvcc是否已经安装的时候，这些在安装cuda时候都是已经安装过的。再仔细查看问题原因，发现在nvcc'后面多了个引号，非常奇怪的一个错误。为了避免对系统进行修改（主要也没有系统权限），简单一个重新export CUDA_HOME操作...
2019-12-25 09:50:54
9066
13
原创 AI+CV: 谷歌数据增强文章的实践
数据增强是机器学习中常用的Trick，特别是用于样本不足的情况下的一种提升机器学习模型性能的重要手段。看了谷歌开源的数据增强文章，里面已经实现得比较全的，做了简单实验，效果还是不错。从其开放代码（https://github.com/tensorflow/tpu/blob/master/models/official/efficientnet/autoaugment.py）中可以看出，该类已经...
2019-11-27 21:03:04
712
1
原创 Pytorch GPU编号问题
虽然os.environ["CUDA_VISIBLE_DEVICES"]能够实现在代码中设置可见的GPU 设备但是在实际运行中，Pytorch会对这些GPU重新编号比如：os.environ["CUDA_VISIBLE_DEVICES"]="3,5"则重新编号后GPU3位device:0，GPU5位device:1。这样就很容易报CUDA内存不够的错误。为了正确使用GPU...
2019-10-11 10:40:40
1902
原创 AttributeError: 'Conv2d' object has no attribute 'padding_mode'问题解决
在一个预训练模型加载过程中，发现碰到这样的一个错误：AttributeError: 'Conv2d' objecthas no attribute'padding_mode'。找了相关资料，发现其问题为pytorch版本的问题，即原来的预训练模型为pytorch 1.0版本环境下训练编译的，而现在的开发环境为pytorch 1.1版本。网上很多办法都是直接退回到pytorch1.0版本...
2019-09-02 15:43:32
12251
5
原创 'dataparallel' object has no attribute问题的解决（分布式预训练模型加载）
在一些预训练模型的加载过程中，发现在进行forward的过程中，会碰到dataparallel' object has no attribute的问题。打印model信息，可以看到其为DataParallel对象，即在训练的过程中，采用了分布式训练的方法所得到的预训练模型。而model真正内容则包含在里面。因此需要去掉DataParallel这一层，具体做法如下：通过这样的方法就只可以...
2019-09-02 15:36:43
24277
3
原创 keras设置theano为backend的方法
在一些开源程序中，需要设置keras的backend为theano，这个主要原因是在安装tensorflow中，默认为把keras的backend为tensorflow，因此需要进行程序中动态调整，其调整方法也比较简单，具体如下：在具体运行过程中，可以看到下面的提示，即已经切换过来。...
2019-08-28 12:55:40
2427
原创 从xlnet预训练数据集中获取词向量
如下展示了从XLNET预训练数据集中提取词向量的方法。利用pytorch-transformers中的方法进行预训练模型加载，然后进行词向量的获取和提取。
2019-08-14 21:55:33
1962
4
原创 从Bert预训练数据集中获取词向量
在一些操作过程中，经常要获取词向量，BERT做为一个在各项评测指标中都比较出色的，且提供了许多预训练模型的，从其中获取词向量是一些任务中必备的操作。现将其获取过程界面截图如下：（代码可见图中操作）下面这个图，可以按照指定的词汇进行获取其词向量。...
2019-08-14 21:10:00
7813
6
原创 python实现终端多颜色字体的输出
在训练AI过程中，为了实现对结果的呈现更加显眼，突然想实现一下彩色的输出。查了下，非常简单的命令。python这是方便，什么包都有。其代码和效果如下：...
2019-08-08 16:43:11
315
原创 基于C3Framework开源人群计数框架的测试
C3Framework是一个开源的人群计数框架，在进行代码复现的时候，进行单张图片的测试。1. C3Framework中的算法根据官网介绍，在该框架中集成了若干个模型，其中有些模型的复现效果并没有论文上来得好。Method WE UCF50 MCNN (RGB Image) TBD TBD AlexNet (conv5) TBD TBD ...
2019-07-17 12:47:02
1223
1
原创 基于python的人群密度图生成
相关原理见：https://zhuanlan.zhihu.com/p/39424587相关代码如下：import osimport cv2import globimport h5pyimport scipyimport pickleimport numpy as npfrom PIL import Imageimport scipy.io as iofrom itert...
2019-07-17 11:35:14
5687
7
原创 SentencePiece的中文测试实践
许多自然语言处理程序中都用到了谷歌开源的SentencePiece作为词切分的基础工作之一，于是跟踪学习了下。1、基本介绍What is SentencePiece?SentencePiece is a re-implementation ofsub-word units, an effective way to alleviate the open vocabulary probl...
2019-07-05 17:10:15
4816
原创 基于MSRCR的图像低光照增强实验
在计算机视觉处理中，常常需要对低光照图像进行数据增强，如夜晚灯光昏暗条件下的图像识别检测等。采用成熟的MSRCR算法来实现。1.MSRCR算法原理MSRCR是Multi-Scale Retinex with Color Restore的缩写。其中Retinex 是1971年提出的色彩恒常理论，其基本内容是物体的颜色是由物体对长波（红）、中波（绿）和短波（蓝）光线的反射能力决定的，而不是...
2019-07-04 17:21:21
1521
1
原创 Pytroch Hub原理分析及离线hub设计考虑
近日，PyTorch 社区发布了一个深度学习工具包 PyTorch Hub，PyTorch Hub 由一个预训练模型仓库组成，可用于提高研究工作的复现性以及新的研究。同时它还内置了对Google Colab的支持，并与Papers With Code集成。由于之前安装的pytorch 1.0版本并没有该包, 本以为需要更新整个Pytorch包才可以使用。在更新之前，优先看一下hub代码，...
2019-06-14 22:16:27
820
原创 AI展示框架(9)：ajax post避免2次提交的解决办法
在开发AI展示框架过程中，每一次ajax post都会触发两次的app route函数响应，尝试了诸多方法才得以解决，现将该方法记录如下：$('#exportForm').submit(function(e){ e.preventDefault(); e.stopImmediatePropagation();注：本来就支持了如下 e.preventDefault()...
2019-05-18 10:23:05
276
原创 AI展示框架(8)：flask调用过程中出现kears加载模型两次报错的问题
在flask 网页程序中，碰到了一个奇怪的问题，当调用某个kears模型的时候，发现程序出现了BUG。然而在单次调用的时候，程序并没有出现任何错误。利用DEBUG调试了下，发现了主要在flask过程中，居然会出现两次POST处理的问题。而Keras在加载模型过程中，连续两次加载预训练模型就会出现这个错误。具体解决办法如下： with keras.backend.get_ses...
2019-05-18 09:32:17
1103
原创 AI展示框架(7)：基于dlib实现人脸检测及关键点检测
dlib是人脸识别与人脸特征关键点获取的常用库，最近实现了将该库集成到展示框架的实验。其中现有的dlib常见的可获取68个关键点，当然还有5个关键点和81个关键点(包括额头)。因此编写了一个通用的小函数，如下：该函数通过设置num_landmarks可以获取不同的关键点个数，如68,5和81，并返回facebbox(人脸框)，通过该框的个数可以获取人脸的个数，并将人脸的关键点以cv2来进行...
2019-05-15 09:54:40
908
1
原创 AI展示框架(6)：flask app route传递对象参数
在flask的页面链接跳转过程中，往往可能会存在传递参数对象的方法。然而正常的flask往往只支持少数的几种参数，对复杂的参数并不支持。找到的解决办法有两种：一是：添加映射转换的方法，app.url_map.converters进行添加设置。如下：import BaseConverterclass StrListConverter(BaseConverter): """Mat...
2019-05-09 10:19:22
966
1
原创 AI展示框架(5)：基于ajax + flask restful实现界面友好请求
flask程序提供了一种比较方便的render_template方法，可以实现对页面中一些结果的呈现。然而这种呈现方式需要以刷新整个页面为代价，非常不利于结果的呈现，特别是当页面中除了结果呈现的元素外，一些其他元素可能会面临被刷掉的问题。因此需要设置ajax模式来实现界面的友好请求处理。具体策略如下：（以中文分词展示界面为例）特别注意：{{ super() }}这一行必须呈现，从而引用上一...
2019-05-06 15:29:12
670
原创 AI展示框架(4)：基于flask的图像场景识别web程序构建
图像场景识别是DL＋计算机视觉处理的入门程序之一，因此在构建AI展示框架的第一步，则是实现基于flask的图像场景识别。整个过程非常简单，步骤如下: （1）设置图像选择和上传的HTML脚本<div class="box box-primary"> <form role="form" action="{{ url_for('cv_image_recognize...
2019-04-18 21:09:59
3454
3
原创 AI展示框架(3)：配置eclipse + pydev + flask中的html编辑器
eclipse + pydev并没有默认支持的html编辑器，因此在html页面设置的效率极其低下，因此需要进行配置。网上有许多的html库，不过最终还是选择易于安装的库。解决办法如下：（1）下载html editor的jar包：tk.eclipse.plugin.htmleditor_2.2.0.jar，将之放置到eclipse软件目录下的dropins。附分享地址：链接：htt...
2019-04-18 20:46:33
752
原创 AI展示框架(2)：flask图像上传无法输入为图像识别程序的PIL图像的问题解决
在DL+图像场景识别的程序中，其输入大多需要PIL的图像格式，而flask上传的图像的格式如何转化为PIL的图像格式，这是碰到的问题之一，因此即时将之记录下来，虽然解决方法很简单。错误解决办法一：image = Image.open(request.files["fullimage"]) 出现错误，还是无法识别图像错误解决办法二：image = Image.open(r...
2019-04-18 09:21:24
1595
原创 AI展示框架(1)：基于python + flask + adminLTE的实验框架搭建
出现了之前跟踪程序经常找不到的问题，同时想着对学习资料的总结有个更好的统一入口，于是筹划搭建一个web展示框架。由于诸多DL程序均是用python库来开发，所以拟基于python库来构建。由于Django和Flask是GitHub上star数量最多的2个Python web框架，所以仅仅对这两个来进行测试。思路一：基于python + django的方式来构建经过实验，发现这种djan...
2019-04-18 09:09:10
4080
2
原创 图像目标检测之cascade-rcnn实践
最近一直在调试目标检测方面的模型，其中mmdetection中就集成了许多的目标检测模型。其中表现比较好的模型中有cascade-rcnn，因此也趁这个机会具体了解一下这个模型的发展脉络。1、模型原理在two-stage模型中，常见都会预测得到一些目标对象的候选框，这个候选框跟真实值之间一般通过交叉面积(IOU)的计算来判断该框是否为正样本，要保留的候选框。常见的IOU参数设置一般是0.5...
2019-03-15 15:37:57
4671
2
原创 目标检测框架mmdetection框架的安装与测试
最近利用Conda终于成功安装了mmdetection，说实话，非conda的还真的不好装，特别在.complie的时候，即使成功，总是会出现各种问题，直到conda安装后，才明白之前的问题关键所在，即必须numpy为1.16.2版本，且pytorch需要为1.0版本。之前从release版本中下载了0.4.1的版本，还是有问题。1、框架介绍这个框架还是非常清晰的，整个代码从骨架，模型，B...
2019-03-06 16:23:27
12437
22
原创 CRNN实现文本的识别测试
、自然场景文本提取是图像语义信息抽取的一个重要分支，它的实现需要CV和NLP技术，即既需要使用视觉处理技术来提取图像中文字区域的图像特征向量，又需要借助自然语言处理技术来解码图像特征向量为文字结果。文本提取与识别技术是有着广泛的应用场景。已经被互联网公司落地的相关应用涉及了识别名片、识别菜单、识别快递单、识别身份证、识别营业证、识别银行卡、识别车牌、识别路牌、识别商品包装袋、识别会议白板、识别...
2019-02-25 20:29:13
2571
原创 基于gpt-2模型（117M预训练模型）的文本自动生成测试
openai的gpt-2模型最近在风口浪尖上。Language Models are Unsupervised Multitask Learners论文已经出来，但是由于该模型没有将训练过程开源出来，所以本博客仅仅是针对已经公布的117M的预训练模型进行测试。1、论文贡献In this paper, we connect these two lines of work and contin...
2019-02-22 17:27:22
9609
2
原创 具有泛化能力的句子表征模型：Gensen评测实验
Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning（https://arxiv.org/abs/1804.00079）一文发表在 ICLR 2018，中，该论文提出的模型能够在各种各样的任务中泛化句子表征，且设计了一个一对多的多任务学习框架。其主要贡献的描...
2019-02-21 08:25:23
939
原创 从监督数据中学习句子表示的方法InferSent评测实验
如何利用一些现成的句子语料来完成句子的嵌入表示，并支撑一些上层应用，是词嵌入技术在句子层面的一种拓展应用。2017 年 Facebook 的研究人员 Conneau 等人提出的 InferSent 框架，它的基本思想：（1）先设计一个模型在斯坦福的 SNLI（Stanford Natural Language Inference）数据集上训练，SNLI包含570K个人类产生的句子对，每个句...
2019-02-20 11:48:45
741
1
原创 句子向量的统一评测工具（senteval）实验
现有句子嵌入表示是完成句子分类、句子相似性度量及一些高级任务的基础，那么句子嵌入表示效果如何评估，是一个相对重要的度量问题。facebook研究员提出了一个句子向量的统一评测工具：senteval（https://github.com/facebookresearch/SentEval)，该工具可以对当前多种主流的句子嵌入表示模型进行评测，主要包括：SkipThought with Lay...
2019-02-20 11:19:01
3144
原创 python实现elastcsearch中timestampe(long)类型的date_histogram聚合测试
由于老版本的elasticsearch不支持date类型，因此之前的存储(5.0版本）都用了timestamp来进行设计。 当新的es版本（６．０）支持日期date_histogram统计聚合函数时，发现其interval可以设置相当灵活用于设置各种间隔，如下：Here are the valid time specifications and their meanings:mil...
2018-11-09 15:37:18
989
原创 ffmpeg每隔几帧(间隔）提取图片的方法
在一些视频分类任务中，往往需要从视频中提取指定帧，提取ＲＧＢ信息然后进行训练和分类。提取帧的方法有很多，不过在一些对时间限制比较大的场合，为了提高速度，会采用ffmpeg的方法来进行提取，因为目前它是相对最高效的办法。ffmpeg提供了每隔几帧抽取的办法，但是这个函数没有现成的，在网上找了好久才自己完成。现将该脚本撰写如下：ffmpeg -i 10021502.mp4 -vf "...
2018-11-09 08:31:11
16895
2
原创 python elasticsearch 批量写入测试
elasticsearch 是一个高效的近实时的数据库。最近要重新进行老版本的ES 数据迁移到新版本。由于以前都是采用java来进行连接的，不过这回为了方便，找了个python 连接包来进行处理。 本博客主要测试python elasticsearch 进行批量写入的测试步骤一：安装python的elasticsearch包用：pip install elasticsearch...
2018-11-06 16:55:12
2809
原创 tensorflow-gpu安装及问题解决（ImportError: libcudnn.so.7，module 'tensorflow.python.training.checkpointable'
最近需要用GPU来进行tensorflow进行训练，发现需要安装cuda 9.0版本才可以，因为tensorflow默认的就是cuda 9.0，为了减少对tensorflow源码进行重构的时间，将之前的cuda8.0版本进行了卸载，然后再安装cuda 9.0安装过程如下：# instructions from https://developer.nvidia.com/cuda-downl...
2018-10-06 19:18:48
6806
原创 python3环境下的全角与半角转换代码和测试
全角和半角转换是文本预处理的常见工作之一，然而现在网上一搜python的相关代码，几乎都是python2版本的，因此根据人角和半角的转换规律，将其代码撰写如下：1、全角与半角之间的转换规律角字符unicode编码从65281~65374 （十六进制 0xFF01 ~ 0xFF5E）半角字符unicode编码从33~126 （十六进制 0x21~ 0x7E） 特殊的：...
2018-09-18 08:33:36
3278
2
原创 pytorch版本的OpenNMT多任务编译实践
OpenNMT 是哈佛大学 NLP 研究小组开源的产品级翻译工具，在其官网上有多种语言代码，有基于 Torch/Pytorch，也有基于tensorflow的。该框架一经发布便被谷歌采用，是迄今为止最能代表神经机器翻译前沿技术的开源工具之一。 本文主要对pytorch的版本进行编译和实践。 从其官网https://github.com/OpenNMT/O...
2018-07-31 15:40:22
1698
原创 DeepSpeech源码编译及语音识别效果复现
DeepSpeech是国内百度推出的语音识别框架，目前已经出来第三版了。不过目前网上公开的代码都还是属于第二版的。1、Deepspeech各个版本演进(1) DeepSpeech V1其中百度研究团队于2014年底发布了第一代深度语音识别系统 Deep Speech 的研究论文，系统采用了端对端的深度学习技术，也就是说，系统不需要人工设计组件对噪声、混响或扬声器波动进行建模，而是直接从...
2018-07-26 15:22:54
19655
7
原创 基于Tensorflow.js实现浏览器级别的目标识别应用实践
tensorflow.js 是谷歌于今年推出的浏览器级别的深度学习框架，TensorFlow 团队在其github官网上也公开了表示基于网页的 JavaScript 库 TensorFlow.js 库框架及其相关的例子。基于该应用能训练并部署机器学习模型。1、Tensorflow.js介绍 TensorFlow.js 是一个开源的用于开发机器学习项目的 WebGL-accelerated...
2018-07-25 18:59:36
5062
3
原创 CTC模型、安装及其pytorch绑定安装
CTC模型是语音识别模型中常见的模块之一，现有主流的语音识别系统经常采用该模型来实现端到端的语音识别。而CTC出现之前，语音识别模型的端到端识别效果还是相对较弱的，也就是说CTC解决了这一问题。1、CTC的相关原理深度学习的序列到序列模型可以解决许多现实任务，如：Image Classification Image Generation Language Modeling Sen...
2018-07-25 11:43:43
2090
原创 基于gensim Doc2Vec的评论文本情感分类测试实验
在gensim的主题模型中，直接集成了doc2vec模块，其中一个重要的例子就是情感分类的。对应的项目主页为：https://linanqiu.github.io/2015/10/07/word2vec-sentiment/。1、Doc2Vec的简单介绍Word2vec已经非常成熟并且得到了众多的运用，推动了深度学习在自然语言处理领域取得了巨大进展。在word2vec的基础上，来自goog...
2018-07-25 09:18:42
5110
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人