- 博客(96)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Linux-安装显卡驱动NVIDIA，CUDA和cuDNN及所遇问题
1.安装显卡驱动删除旧驱动：sudo apt-get purge nvidia*打开禁用列表： sudo gedit /etc/modprobe.d/blacklist.conf在禁用列表中添加：blacklist nouveauoptions nouveau modeset=0更新：sudo update-initramfs -u|——报错：W: Possible mi...
2020-04-19 02:15:02
1808
原创 Linux-更改终端字体大小
1.终端输入：sudo apt-get install unity-tweak-toolunity-tweak-tool2.更改等宽字体：
2020-04-16 18:24:31
4662
原创 Torch-Read error: read 0 blocks instead of 1
记录一下最近遇到的问题，可能题目与内容不符。但是，知道为什么要这么做才知道要做什么。弄明白之后发现自己很蠢，不求甚解的后果就是重复地踩坑。在Windows10自带的虚拟机上安装了torch，然后运行th %filename%.lua报错：Read error: read 0 blocks instead of 1 %file directory% stack traceback：[C]: ...
2020-04-16 04:58:33
396
原创 Linux-you need at least 8.6GB disk space to install Ubuntu,this computer has only 8GB
1.Win+R 输入regedit打开注册表，进入路径：计算机\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\storahci\StartOverride
2020-04-15 08:04:06
2750
2
原创 Linux-Windows10安装Ubuntu（双系统)
一、组合范畴语法CCG(1)概念CCG全名为Combinatory Categorial Grammar, 其作用是在句法结构(syntacnic)和语义表示(sementic representation)之间提供了一种自然的连接。CCG相比于其他语法更加灵活，不需要导出整个句子的结构就可以得到句子中任意部分的结构(2)特征：CCG的显著特征包括一下三个：以词汇为核心能够描述一类适...
2019-10-10 22:01:07
668
原创 NLP-关于数据集处理的相关代码
1.将几个文件中的数据合并为一个文件将要合并的几个文件放入一个文件夹下import os#获取目标文件夹的路径# filedir=os.getcwd()+'/corpus'#获取当前文件夹中文件名称列表# filenames=os.listdir(filedir)#遍历文件名# for filename in filenames: filepath=filedir+'/'+...
2018-09-26 14:24:04
739
原创 NLP-神经网络隐藏层节点数设置
内容来源：http://www.ilovematlab.cn/thread-209458-1-1.htmlBP神经网络隐藏层节点数设置—经验公式mmm：隐藏层节点数nnn：输入层节点数lll：输出层节点数α\alphaα：1–10之间的常数m=n+l+αm=\sqrt{n+l}+\alpham=n+l+αm=log2nm=log_2{n}m=log2nm=n∗lm=\sqrt...
2018-09-24 23:56:26
6657
原创 NLP-准确率、精确率、召回率和F1值
记录准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1值(F-Measure)计算公式，和如何使用TensorFlow实现一、计算公式二、TensorFlow实现 # Accuracy with tf.name_scope("accuracy"): correct_predictions = tf.e...
2018-09-23 11:27:32
9688
原创 NLP-Pearson相关系数计算公式及代码
随便记录一下。。。计算公式Pearson=∑ni=1xiyi−∑ni=1xi∑ni=1yin∑ni=1xi2−(∑2i=1xi)2n−−−−−−−−−−−−−−−−√∑ni=1yi2−(∑ni−1yi)2n−−−−−−−−−−−−−−−−√Pearson=∑i=1nxiyi−∑i=1nxi∑i=1nyin∑i=1nxi2−(∑i=12xi)2n∑i=1nyi2−(∑i−1nyi)2nPea...
2018-09-15 15:51:10
3952
原创 对话系统评测-对话语料
语料很多，但是找到适合自己的却很难。。。整理一下各种关于对话语料博客的链接，留作备用内容：中英文对话系统语料1.csdn 2.csdn 3.csdn 4.github 5.github 6.github 7.知乎...
2018-09-06 21:35:14
1901
原创 对话系统评测-How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metri
对话系统评测相关论文——第一篇论文题目：How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation论文摘要对已经存在的评估指标进行定性和定量的分析得出它们具体的不足之处，为未来的对话...
2018-08-19 14:55:04
1173
原创 NLP-分布表示(distributional representation)与分布式表示(distributed representation)
写论文好纠结这两个东西的概念。。。对网上查到的资料进行以下整理。。。distributed representation&distributional representation分布式表示与分布表示1.关于Manning 在2015 年深度学习暑期学校（蒙特利尔）的澄清 Distributed: A concept is represented as cont...
2018-08-06 12:16:03
9401
1
原创 Python-制作可视化词云
目录目录一.对于可视化词云的理解二.python的代码实现（1）实现步骤（2）代码说明1.导入需要的库2.读取数据3.去掉停止词4.统计词频5.显示词云6.结果图三、自定义背景图一.对于可视化词云的理解对人、物、事的文本描述中，大量出现的词可以用于这些对象的标签，将这些标签按照词频的大小以图片的方式展示出来，就成为了可视化的个性化词云。...
2018-07-18 16:07:05
3566
原创 NLP-UnicodeDecodeError: 'utf8' codec can't decode byte 0xe6 in position 0: invalid continuation byte
记录使用simhash和 CountVectorizer计算文本相似性时遇到的问题，，主要是我线下的Windows系统使用的是python3.5，线上评测使用的是python2.7。。。问题：UnicodeDecodeError: ‘utf8’ codec can’t decode byte 0xe6 in position 0: invalid continuation byte...
2018-07-07 00:35:11
4635
原创 Python-pandas中的函数(列表拼接，更改行列名称，选取特定数据等）
记录pandas处理数据时一些函数的使用。。。。1.列表拼接2.更改列名3.更改索引4.选取指定数据5.重置索引1.列表拼接concat()In[24]: import pandas as pdIn[25]: a=pd.DataFrame()In[26]: a['A']=[1,2,3,4,5]In[27]: a['B']=[6,7,8,9,0]...
2018-06-22 23:38:07
12362
原创 TensorFlow中的小知识：InteractiveSession()
为什么有些代码里使用了InteractiveSession()，而有些却没有使用呢？ 本篇用于记录InteractiveSession()与普通的Session()的使用区别。InteractiveSession详见 TensorFlow 官方文档中文版 在tensorflow中通过session启动构建的计算图来进行计算。在启动session之前需要将整个计算图构建好，启动之...
2018-06-20 10:07:58
3168
原创 NLP-fuzzywuzzy安装，同simhash
记录文本相似度计算中fuzzywuzzy的安装使用。。。安装流程有git的情况 git clone git://github.com/seatgeek/fuzzywuzzy.git fuzzywuzzy cd fuzzywuzzy python setup.py install无git的情况 下载zip包解压 命令行进入文件夹下install 重启pyCharm ...
2018-06-19 11:24:26
2114
原创 NLP-python pyemd安装
报错内容：ImportError: Please install pyemd Python package to compute WMD.解决方案：使用命令行pip install pyemd报错内容：error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build...
2018-06-19 10:21:24
4087
原创 NLP-英文文本预处理中的文本清洗内容
记录英文文本中的文本清洗内容：缩略词更改拼写校正标点符号符号替换去除空格 def clean_text(text): """ Clean text :param text: the string of text :return: text string after cleaning """ ...
2018-06-17 22:30:38
10061
原创 NLP-不同格式的词向量的保存与加载
训练好的词向量可以保存成几种不同的格式，而每种格式的加载方式却不尽相同，现简单记录一下。。。1.以model.save()方法保存词向量保存词向量import gensimmodel = gensim.models.Word2Vec(documents, size=300)model.train(documents, total_examples=len(documents...
2018-06-06 21:37:08
5350
原创 NLP-Highway Network代码实现
记录Highway Network的代码实现部分，以备日后使用。。。Highway Network1.作用or概念部分1.https://blog.csdn.net/u011534057/article/details/51819691 2.https://blog.csdn.net/l494926429/article/details/517378832.代码实现部分d...
2018-06-04 23:38:12
1842
2
原创 NLP-python3 translate()报错问题-TypeError: translate() takes exactly one argument (2 given)
学习笔记，备忘录。。。TypeError: translate() takes exactly one argument (2 given)使用translate()函数删除指定字符，报错内容为函数内只需要一个参数，但提供了两个。原因是python2.7版本之后translate()内的参数从两个变成了一个。实例1：去掉文本中的标点符号import stringold...
2018-05-11 10:06:56
38174
原创 NLP-数据预处理后的特征选择
学习笔记，，备忘录。。。 内容来源：知乎：特征工程到底是什么？实际应用中的数据往往很多，并存在不相关的特性，特性之间也可能存在相互依赖。通过特征选择剔除不相关或冗余的特征，减少特征个数，减少运行时间的目的。数据预处理后，需要选择有意义的特征，然后再输入机器学习的算法和模型进行训练。一、相关系数法计算各个特征对目标值的相关系数，选择更加相关的特征。原始数据： ...
2018-05-09 23:41:35
1859
原创 NLP-离散特征值的数据处理问题
学习笔记，备忘录。。。 来源：特征工程到底是什么？离散特征值离散特征值有两种数据类型：取值大小有意义：eg.尺寸:L，XL，XXL将大小值通过字典进行存储取值大小无意义：eg.颜色:红、黄、蓝使用get_dummies()方法处理 pandas.get_dummies(data,prefix=None,prefix_sep=’‘,dummy_na=Fal...
2018-05-09 17:19:11
1607
原创 NLP-中文文本去除标点符号
简单记录一下中文文本如何去除标点和特殊符号的问题。。。目录目录一、回顾一下英文如何去除符号等预处理问题①去除特殊符号②去除数字③词形归一④停止词⑤将上述内容综合二、中文文本去除标点符号1.背景知识2.示例说明1：使用Zhon库中的符号集①命令行中安装Zhon库②代码③结果④问题说明3.示例说明2：自定义特殊符号集进行去除...
2018-05-06 01:10:39
18853
5
原创 NLP-读取csv文件
赛题：问题相似度计算 网址：金融大脑-金融智能NLP服务目录目录1.数据格式：2.读取文件：3.更改列名4.获取某一列的信息5.对整个文件进行分割1.数据格式：行号\t句1\t句2\t标注，举例：1 花呗如何还款 花呗怎么还款 1 行号指当前问题对在训练集中的第几行； 句1和句2分别表示问题句对的两个句子； ...
2018-05-05 16:22:25
1471
3
原创 NLP-使用tensorflow构建神经网络——卷积层和池化层细节说明
背景介绍本文内容是使用CNN进行文本分类，主要记录文本分类问题中使用tensorflow进行神经网络构建的内容。此篇承接上一篇的NLP-使用tensorflow构建神经网络——嵌入层细节部分说明。目录背景介绍目录一、CNN模型图二、卷积和池化代码三、细节说明之tf.truncated_normal;tf.concat；tf.reshape①tf.truncated...
2018-05-04 23:43:56
1509
原创 NLP-使用tensorflow构建神经网络——嵌入层细节部分说明
背景介绍本文内容是使用CNN进行文本分类（垃圾邮件分类），代码来源：https://github.com/dennybritz/cnn-text-classification-tf，github上还有许多相似代码，可自行查找。 主要记录文本分类问题中使用tensorflow进行神经网络构建的内容。目录背景介绍目录一、初始化备注：tf.constant()二...
2018-05-03 21:52:25
2784
原创 Python-使用pyplot模块绘图
图表能帮助我们更好的反映出数据的信息，无论是论文还是博客都需要用到，所以非常有必要先学习一下。matplotlib.pyplot在python中，使用matplotlib库中的pyplot模块进行绘图。1.最简单的使用import matplotlib.pyplot as pltplt.plot([4,3,2,1])plt.show()输出结果： 说...
2018-05-02 22:44:18
1172
原创 NLP-epoch和batch
epoch和batch到底是个什么鬼？背景说明先上个简单的代码记录一下我此刻懵懵的状态： 问个问题： 从图中可以看到我现在正在看一个关于CNN文本分类的代码，github上有很多。该代码是data_helper.py 文件中的一个函数，该函数是一个batch样本生成器，这里面就涉及到了神经网络里经常用到的batch_size和epoch，它们的含义究竟是什么呢? 一句话回...
2018-05-01 20:14:50
2099
原创 Python-random生成随机数：shuffle()&permutaion()等
shuffle()和permutation()使用python编辑器的控制台进行如下实验：In[2]: import numpy as npIn[3]: a=np.arange(8)In[4]: aOut[4]: array([0, 1, 2, 3, 4, 5, 6, 7])In[5]: np.random.shuffle(a)In[6]: aOut[6]: array...
2018-05-01 10:48:49
619
1
原创 TensorFlow中的小知识：tf.ConfigProto()与Session
tf.ConfigProto()现在记录一下我们经常会用到的tf.ConfigProto()函数的功能和使用一、功能tf.ConfigProto()函数用在创建session的时候对session进行参数配置。 首先需要了解一下session，这样才可以更好的使用该函数。二、sessionsession是tensorflow框架中的一个重要机制，负责分配和管理资源...
2018-04-29 16:16:55
4842
1
原创 Python-arange()、reshape()与argmax()
记录Python学习中numpy模块里的几个函数：arange()、reshape()与argmax()arange()：创建一维数组In[2]: import numpy as npIn[3]: a=np.arange(6)In[4]: aOut[4]: array([0, 1, 2, 3, 4, 5])reshape：改变数组维度In[5]: a.reshape...
2018-04-29 08:59:46
1298
原创 TensorFlow中的小知识：AttributeError: _parse_flags
报错内容如下图所示：AttributeError: _parse_flags解决方法百度查到的结果只有一个博主说是tensorflow的版本更新问题，但并没有给出解决方案。所以应该是版本更新之后不再使用_parse_flags进行解析的原因，使用编辑器自带的智能代码补全功能，正好可以找到FLAGS.flag_values_dict()这个函数： ...
2018-04-28 00:54:17
8931
原创 TensorFlow中的小知识：tf.flags.DEFINE_xxx()
读别人家的代码的时候经常看到这个，结果两三天不看居然忘记了，这脑子绝对上锈了，决定记下来免得老是查来查去的。。。 内容包含如下几个我们经常看到的几个函数： ①tf.flags.DEFINE_xxx() ②FLAGS = tf.flags.FLAGS ③FLAGS._parse_flags()简单的说：用于帮助我们添加命令行的可选参数。 也就是说利用该函数我们可以实现在命令行中...
2018-04-27 18:40:40
13645
2
原创 Python-eval（）函数
记录一下今天读代码时新学的函数eval()1.功能eval(）函数用于执行字符串表达式，并返回表达式的值。表达式的定义是由常量、变量、函数、运算符及圆括号组成的有意义的式子。2.完整语法格式eval（expression，globals=None, locals=None）expression：字符串表达式 globals：不为None时必须是字典对象 locals...
2018-04-27 14:57:36
307
原创 如何建立个人网站？先分享一下
写在最前一直想建立一个自己的网站，无奈本人是个没有恒心和耐心的人，现在终于决定动手试一下了，结果发现查到的教程不是太简单了，就是啰嗦到我不想读下去，所以我决定弄好了自己写一篇。嘻嘻，建网站的目的不是为了装逼，我就是单纯的想建一个(说得太假了，我差点就信了)，该文只针对小白，那些高大上的东西我还没学会呢~我以前一直以为需要自己编程，这个实在太麻烦，一直望而却步，后来决定麻烦就麻烦吧，总要...
2018-04-27 00:50:31
15019
原创 NLP-使用CNN进行文本分类
CNN最初用于处理图像问题，但是在自然语言处理中，使用CNN进行文本分类也可以取得不错的效果。在文本中，每个词都可以用一个行向量表示，一句话就可以用一个矩阵来表示，那么处理文本就与处理图像是类似的了。目录目录一、卷积神经网络CNN1.模型说明2.卷积核3.CNN4Text4.两种参数调整问题二、使用实例：word2vec+CNN进行文本分类1.题目2.数...
2018-04-20 22:39:57
20435
14
原创 NLP-初学条件随机场(CRF)
说明：学习笔记，内容参考《机器学习》《数学之美》和七月在线课件条件随机场定义1： 条件随机场（conditional random field，简称CRF）是一种判别式无向图模型。生成式模型是直接对联合分布进行建模，而判别式模型则是对条件分布进行建模，隐马尔可夫模型就是生成式模型。——周志华《机器学习》定义2： 条件随机场模型是Lafferty于2001年，在最大...
2018-04-11 20:21:34
3452
Integration of artificial intelligence activities
2017-12-20
jaxen-1.1.6.jar+dom4j.1.6.1.jar
2017-11-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人