- 博客(33)
- 收藏
- 关注
RSS订阅原创 Aspect Based Sentiment Analysis with Gated Convolutional Networks
这篇文章主要记录对Aspect Based Sentiment Analysis with Gated Convolutional Networks论文的理解，主要记录其模型和核心代码。作者认为使用RNN和Attention会使模型的训练过程难以并行计算，影响了训练速度。本文提出了使用使用CNN和门控单元来提高速度，作者将Aspect Based Sentiment Analysis任务分为了两...
2020-03-10 20:44:44
713
1
原创 Aspect level Sentiment Classification with HEAT ( HiErarchical ATtention )
这篇文章主要记录对**Aspect level Sentiment Classification with HEAT ( HiErarchical ATtention )**论文的理解，主要说明其模型。该模型提出了一个双层的Attention网络基于aspect word做分类，双层的Attention首先从句子中学习aspect信息，然后基于aspect和从句子中提取的aspect信息，关注特...
2020-03-10 19:43:34
709
1
原创 Attention-based LSTM for Aspect-level Sentiment Classification
这篇文章主要记录对Attention-based LSTM for Aspect-level Sentiment Classification的理解。一 .Aspect Level 情感分析Explain: 给定句子和相应aspect word(target word)，aspect level sentiment classification的任务是判断所给句子在指定aspect/targ...
2020-03-10 17:18:38
1307
原创 聊聊ELMo
ELMo来自论文：Deep contextualized word representations**1.ELMo模型**ELMO采用了典型的两阶段过程，第一个阶段是利用语言模型进行预训练；第二个阶段是在做下游任务时，从预训练网络中提取对应单词的网络各层的Word Embedding作为新特征补充到下游任务中。**1.1利用语言模型进行预训练**上图中左端的前向双层LSTM代表...
2019-12-26 19:18:24
277
原创 LSTM模型、双向LSTM模型以及模型输入输出的理解
#Tensorflow中实现双向RNNs在tensorflow中已经提供了双向RNNs的接口，使用**tf.contrib.rnn.bidirectional_dynamic_rnn()**这个函数，就可以很方便的构建双向RNN网络。def bidirectional_dynamic_rnn(cell_fw, # 前向RNNcell_bw, # 后向RNNinputs, # 输入 s...
2019-12-25 16:56:56
13004
1
原创 聊聊Bert
在上一篇文章中我们提到了Transformer,详见：聊聊Transformer 。在这篇文章中，我们讲解一下BERT模型。**1.BERT模型**BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-...
2019-12-24 12:51:09
443
原创 聊聊 Transformer
这里写自定义目录标题Encoderencoder由 6 层相同的层组成，每一层分别由两部分组成：第一部分是 multi-head self-attention第二部分是 position-wise feed-forward network，是一个全连接层两个部分，都有一个残差连接(residual connection)，然后接着一个 Layer Normalization。Deco...
2019-12-24 10:11:06
553
原创 Text-CNN模型来进行文本分类
1 .结构2.参数与超参数sequence_lengthQ: 对于CNN, 输入与输出都是固定的，可每个句子长短不一, 怎么处理?A: 需要做定长处理, 比如定为n, 超过的截断, 不足的补0. 注意补充的0对后面的结果没有影响，因为后面的max-pooling只会输出最大值，补零的项会被过滤掉.num_classes多分类, 分为几类.vocabulary_size语料库的词典...
2019-05-24 18:33:11
284
原创 FastText原理
一、简介fasttext是facebook开源的一个词向量与文本分类工具，在2016年开源，典型应用场景是“带监督的文本分类问题”。提供简单而高效的文本分类和表征学习的方法，性能比肩深度学习而且速度更快。fastText结合了自然语言处理和机器学习中最成功的理念。这些包括了使用词袋以及n-gram袋表征语句，还有使用子字(subword)信息，并通过隐藏表征在类别间共享信息。我们另外采用了一个...
2019-05-22 12:34:35
1105
原创 朴素贝叶斯/SVM/LDA主题模型
一. 朴素贝叶斯在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。对于大多数的分类算法，比如决策树,KNN,逻辑回归，支持向量机等，他们都是判别方法， 也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数Y=f(X),要么是条件分布P(Y|X)。 但是朴素贝叶斯却是生成方法，也就是直接找出特征输出Y和特征X的联合分布P(X,Y),然后用P(Y|X)=P(X,Y)/P(...
2019-05-20 19:35:03
1049
原创 词向量和语言模型
1.词向量是什么(One-hot Representation)每个词表示为一个很长的向量。这个向量的维度是词表大小，其中绝大多数元素为 0，只有一个维度的值为 1，这个维度就代表了当前的词。 举个栗子， “话筒”表示为 [0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 …] “麦克”表示为 [0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 …] ...
2019-05-18 09:02:34
269
原创 Task3 特征选择(TF-IDF以及互信息)
一. 什么是TF-IDFTF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率).字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(一般是词频除以文章总词数), 以防止...
2019-05-15 19:13:04
433
原创 Task2 ：特征提取（分词（结巴分词）；词、字符频率统计）
jieba“结巴”中文分词：做最好的 Python 中文分词组件支持三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析；全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。安装说明pip install jieba主要功能分词创建函数：(1)精确模式 函数...
2019-05-14 16:07:40
1333
原创 基于TensorFlow的CNN/RNN用于文本分类
代码链接：环境Python 3TensorFlow 1.3以上numpyscikit-learnscipy数据集本文采用了清华NLP组提供的THUCNews新闻文本分类数据集的一个子集。本次训练使用了其中的10个分类，每个分类6500条，总共65000条新闻数据。类别如下：体育, 财经, 房产, 家居, 教育, 科技, 时尚, 时政, 游戏, 娱乐数据集划分如下：训练...
2019-05-12 15:05:10
683
2
原创 为什么特征数据要做对数变换？
平时在一些数据处理中，经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有：缩小数据的绝对数值，方便计算。例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。取对数后，可以...
2019-05-10 12:42:30
9545
原创 TypeError: cannot perform reduce with flexible type
在使用numpy处理数据时通常会出现TypeError: cannot perform reduce with flexible type类型的错误，这种错误的原因很简单就是数据在列表或者矩阵中不是float类型，因此无法进行数学运算。...
2019-04-23 15:15:22
2512
1
原创 python面试常考的题目：python中的可变类型和不可变类型
python面试常考的题目：python中的可变类型和不可变类型python中的可变数据类型：列表list和字典dict和集合set；不可变数据类型：整型int、浮点型float、字符串型string和元组tuple。用一句话来概括上述过程就是：“python中的不可变数据类型，不允许变量的值原地发生变化，如果改变了变量的值，相当于是新建了一个对象，而对于相同的值的对象，在内存中则只有一个对象...
2019-04-15 21:56:23
316
原创 python中连接字符串用join还是+
join的性能明显好于+。这是为什么呢？原因是这样的，Python字符串是不可变对象，当用操作符+连接字符串的时候，每执行一次+都会申请一块新的内存，然后复制上一个+操作的结果和本次操作的右操作符到这块内存空间，因此用+连接字符串的时候会涉及好几次内存申请和复制。而join在连接字符串的时候，会先计算需要多大的内存存放结果，然后一次性申请所需内存并将字符串复制过去，这是为什么join的性能优于+...
2019-04-15 21:50:51
356
原创 KNN(k近邻算法)最最最全面总结
KNN做回归和分类的主要区别在于最后做预测时候的决策方式不同。KNN做分类预测时，一般是选择多数表决法，即训练集里和预测的样本特征最近的K个样本，预测为里面有最多类别数的类别。而KNN做回归时，一般是选择平均法，即最近的K个样本的样本输出的平均值作为回归预测值。一 KNN算法概述KNN（K-Nearest Neighbor）工作原理：存在一个样本数据集合，也称为训练样本集，并且样本集中每个数...
2019-03-27 20:21:22
10299
2
原创 python面试题
1.python中的可变类型和不可变类型python中的可变数据类型：列表list和字典dict和集合set；不可变数据类型：整型int、浮点型float、字符串型string和元组tuple。用一句话来概括上述过程就是：“python中的不可变数据类型，不允许变量的值原地发生变化，如果改变了变量的值，相当于是新建了一个对象，而对于相同的值的对象，在内存中则只有一个对象，内部会有一个引用计数来...
2019-03-09 17:58:13
272
原创 tensorflow中的函数总结(不断更新)
1.tf. accumulate_n( inputs, shape=None, tensor_dtype=None, name=None)a = tf.constant([[1, 2], [3, 4]])b = tf.constant([[5, 0], [0, 6]])tf.accumulate_n([a, b, a]) # [[7, 4], [6, 14]]Explicitly pas...
2019-03-09 17:56:01
377
原创 机器学习面试题(不断更新)
1.请简要介绍下tensorflow的计算图，深度学习 DL框架 中Tensorflow是一个通过计算图的形式来表述计算的编程系统，计算图也叫数据流图，可以把计算图看做是一种有向图，Tensorflow中的每一个节点都是计算图上的一个Tensor, 也就是张量，而节点之间的边描述了计算之间的依赖关系(定义时)和数学操作(运算时)。Tensorflow计算的过程就是利用的Tensor来建立一个计算...
2019-03-09 17:50:03
1089
原创 抱歉，您的 Microsoft 帐户出现问题。请转到 https://account.live.com 寻求帮助”
在登陆Microsoft 帐户时总提示错误：抱歉，您的 Microsoft 帐户出现问题。请转到 https://account.live.com 寻求帮助”。试了好多办法也没有解决，最后看到了这个网址：按照上边的操作解决这个问题，分享给大家。https://support.xbox.com/zh-CN/my-account/microsoft-account/something-wrong-m...
2019-01-27 14:31:46
65982
1
原创 如何启动tensorboard进行可视化
我是在Anaconda下安装的tensorflow,所以打开Anaconda Prompt终端，启动tensorflow的环境，切换到log的盘下，输入tensorflow --logdir=path在浏览器中输入网址即可使用。...
2018-12-17 12:03:35
113
原创 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf3 in position 4645: invalid continuation byte
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xf3 in position 4645: invalid continuation byte错误是由编码造成的问题，只需要在读取的时候指定编码即可。那么如何查看文件制定的编码格式呢？Python中提供了chardet，实现检测其编码，使用如下：import chardetdata ...
2018-12-14 20:56:18
7174
3
原创 tensorflow中常用函数
算数操作：求和tf.add(x, y, name=None) 减法tf.sub(x, y, name=None) 乘法tf.mul(x, y, name=None) 除法tf.div(x, y, name=None)取模tf.mod(x, y, name=None)求绝对值tf.abs(x, name=None)y = sign(x) = -1 if x < 0; 0 if x...
2018-11-22 20:00:00
223
原创 tensorflow中的CNN常见函数(卷积层、池化层)
import tensorflow as tftf.nn.conv2d(input, filter, strides=1, padding="same", use_cudnn_on_gpu=None, name=None)tf.nn.max_pool(value, ksize, strides=2, padding="same", name=None)tf.nn.avg_pool(value...
2018-11-22 19:05:03
1124
原创 LSTM(Long Short-Term Memory)长短期记忆网络
CNN可能会产生梯度消失或者爆炸的问题。 而LSTM的出现就是来解决这种问题的。在标准的 RNN 中，在这些重复模块只有一个非常简单的结构，例如一个 tanh 层。而LSTM在这些模块中增加了不同的结构，加入了遗忘门、输入门、输出门。1.遗忘门作用：从旧细胞状态中丢弃哪些信息如：“He is busy today……I am”当预测“am”的时候，如果出现了新的代词就要选择性的忘记之前的主语...
2018-11-22 18:00:52
258
原创 numpy.unpackbits()
unpackbits()可以将数组的元素解包为二进制数输出数组用法numpy.unpackbits（myarray，axis = None ）官网中的示例：import numpy as npa=np.array([[2],[7],[23]],dtype=np.uint8)b=np.unpackbits(a,axis=1)print(“a=”,a)print(“b=”,b)输出：a...
2018-11-22 16:06:56
1058
原创 CNN循环神经网络
基本概念：在RNN中，隐层神经元的输出值都被保存到记忆单元中，下一次再计算输出时，隐层神经元会将记忆单元中的值认为是输入的一部分来考虑RNN中考虑了输入序列顺序，序列顺序的改变会影响输出的结果。简单地说就是t时刻的记忆不仅取决于t时刻的输入，还取决于t-1时刻的记忆。...
2018-11-22 16:02:53
268
原创 解决Jupyter Notebook不执行代码，显示int[*]的问题
在使用Jupyter notebook时，写了一段代码，run发现它并没有执行。以为自己代码写错了，于是写了a=1,然后run。发现还是显示not connected，左边显示int[*]。随后终于发现了问题所在，原来自己只安装了Jupyter，而没有安装Notebook,Anaconda Prompt下重新输入如下命令安装即可。在启动notebook即可。...
2018-11-12 12:49:39
13644
5
原创 Anaconda中的Spyder开发环境增添代码提示功能
最近发现在电脑完成基于Anaconda的TensorFlow安装后，使用Spyder并没有自动补齐的功能，使用起来很烦人，现提供以下解决方法：(1)按照anaconda3的安装路径找到如下的py文件。(2)修改module_completion.py参数的相关模块。如下，加入tensorflow(3)删除该路径下的submodules文件(4)重新启动即可！...
2018-11-09 11:26:37
4893
原创 python3.7下安装Matplotlib的教程，及常见问题汇总
Matplotlib python3是一款可视化绘图工具工具，其在Windows下的安装过程如下：(1)在Matplotlib的官网下载电脑对应的版本，网址为：https://pypi.org/project/matplotlib/#files。(2)将在下载的.whl文件放在python的Scripts目录下，如图： (3)cmd打开命令提示符，切换到刚才的目录下。
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人