- 博客(62)
- 资源 (13)
- 收藏
- 关注
RSS订阅转载 测试TensorFlow GPU是否安装成功
import tensorflow as tfsess = tf.Session()a = tf.constant(1)b = tf.constant(2)print(sess.run(a+b))结果: 3
2019-10-10 22:33:35
7559
1
原创 文本检索及匹配论文阅读笔记汇总（不定期更新）
文章目录DRMMK-NRMPACRR && Co-PACRREnhanced DRMMDRMMA Deep Relevance Matching Model for Ad-hoc RetrievalK-NRMEnd-to-End Neural Ad-hoc Ranking with Kernel PoolingPACRR && Co-PACRRPACRR...
2019-09-23 16:29:08
1391
原创 Deep Relevance Ranking Using Enhanced Document-Query Interactions阅读笔记
文章目录概述主要贡献模型DRMMPACRR概述这篇论文对DRMM模型做了一些改进，提高了模型的效果。论文参考PACRR模型利用卷积网络提取n-gram匹配信息的做法，融合n-grams和不同方式编码的上下文信息。另外又加了一些新的策略提高模型效果。实验证明，本文提出的模型优于BM25-baseline，DRMM和PACRR。主要贡献因为原始DRMM模型中直方图的构建方式并不是可微的，所...
2019-09-22 22:54:15
482
原创 PACRR: A Position-Aware Neural IR Model for Relevance Matching阅读笔记
文章目录模型关联匹配深度检索模型损失函数实验训练集的选取模型模型主要分为两部分：关联匹配组件，将每个query-document对转变为相似矩阵；一个深度网络，以相似矩阵作为输入，生成query-document关联分数。关联匹配首先利用query-document相似矩阵对query-document关联匹配进行编码。相似矩阵利用query和document的词向量余弦距离表...
2019-09-16 23:21:56
953
原创 A Deep Relevance Matching Model for Ad-hoc Retrieval阅读笔记
文章目录前记概述论文贡献点语义匹配和关联匹配比较模型Matching Histogram Mapping前馈匹配网络词项门控网络（Term Gating Network）模型训练实验数据集评价指标前记最近忙着秋招（主要是懒），好像已经很久没写博客了。最近在看一些检索相关的论文，顺便记录下吧。概述这篇论文将深度学习应用到Ad-hoc Retrieval领域。Ad-hoc Retrieval...
2019-09-16 15:41:07
1250
原创 K-means numpy实现
文章目录K-means原理numpy实现初始质心点的选择计算每个样例所属类别重新计算质心K-means之前面试遇到了要求手写K-means实现, 当时回答的不太好, 回来在网上搜了下, 发现这些代码虽然实现了功能, 但是没充分利用numpy矩阵的性质去优化, 所以在查了些资料后自己实现了一下.K-means原理原理网上一搜一大堆, 就不过多介绍了, 具体的流程如下:numpy实现K-m...
2019-08-11 10:31:09
1864
2
原创 暑期实习及提前批NLP岗面经记录(头条, oppo, 作业帮....)
暑期实习及提前批NLP岗面经记录旷视算法题搜狐问题算法题京东问题算法题网易原理算法题神州泰岳原理算法题旷视算法题矩阵最短路径窗口内最大值、求和扔鸡蛋搜狐问题batchnorm原理, 作用证明在n>=2个人中必有两个人他们在这n个人中朋友数相等算法题求一个数开方是不是整数(二分查找)求二叉树的最大路径和(leetcode 124)链表反转池子盛水(leet...
2019-07-19 23:00:54
1177
转载 各种工具快捷键汇总
文章目录Chrome标签页和窗口快捷键功能快捷键地址栏快捷键Chrome标签页和窗口快捷键操作快捷键打开新窗口Ctrl + n打开新标签页Ctrl + t重新打开最后关闭的标签页Ctrl + Shift + t跳转到特定标签页Ctrl + 1-8跳转到最后一个标签页Ctrl + 9关闭当前标签页Ctrl + w关闭当前窗口...
2019-07-11 13:56:31
243
翻译 argparse
文章目录创建解析添加参数 add_argument方法参数name or flagsactionnargsdefaulttyperequireddesthelpmetavar模板创建解析import argparseparser = argparse.ArgumentParser(description='Process some integers.')添加参数 add_argumen...
2019-06-26 22:38:36
1888
原创 pandas常用代码段
文章目录pandas查看基本信息读取tsv文件删除某几列pandas取行pandas查看基本信息import pandas as pdted = pd.read_csv('ted.csv')ted.head()ted.shape# 查看数据类型ted.dtypes# 查看每列缺失值数量ted.isna().sum()# sort by the number of fi...
2019-06-20 18:10:12
258
翻译 gensim Word2vec的使用总结
文章目录准备输入训练模型评估模型保存和加载保存加载追加训练模型使用词相似性单个词的词向量计算两个集合的余弦相似度准备输入import gensim, logginglogging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)sentences = [['first',...
2019-06-20 12:25:28
2105
1
原创 Character-level Convolutional Networks for Text Classification阅读笔记
概述一篇比较经典的文本分类论文, 利用char-CNN结构提取特征, 而没有使用目前非常流行的词向量.作者通过实验证明, 在数据量足够的情况下, 深层CNN网络不需要词语信息, 仅依赖字符信息就可以获得不错效果.只利用字符信息可以有效解决拼写错误和表情符号等问题.模型Key Modules主要模块是一维卷积模块.定义离散输入函数g(x)∈[1,l]→Rg(x)\in[1, l] \...
2019-05-29 20:56:18
335
原创 Deep Learning for Extreme Multi-label Text Classification阅读笔记
文章目录概述模型Dynamic max poolingHidden Bottleneck layer概述Extreme multi-label就是说总的标签量非常多, 成千上万甚至数百万.Extreme multi-label text classification主要难点在于数据稀疏, 并且计算量较大(标签太多).本文作者对textcnn进行改进, 使其在extreme multi-la...
2019-05-25 23:37:57
3343
原创 关于参数初始化
目前常用的效果比较好的初始化方法有Xavier和Kaiming.Xavier初始化方法适用的激活函数有限：关于0对称；线性。而ReLU激活函数并不满足这些条件，实验也可以验证Xavier初始化确实不适用于ReLU激活函数。通过自己实验发现对于ReLU激活函数, Kaiming初始化确实比Xavier要好一些.tanh激活函数可以使用Xavier初始化.一个初始化的示例:def _init...
2019-05-21 09:44:44
567
原创 Stochastic Answer Networks for Natural Language Inference阅读笔记
文章目录概述模型Lexicon Encoding layerContextual Encoding layerMemory LayerAnswer module实验实现细节实验结果概述作者提出一种随即回答网络(stochastic answer network)来解决NLI问题.和之前的模型根据输入直接预测结果不同, 该模型维护一个状态并迭代地改进其预测.与单步推理相比, 这种多步推理方法...
2019-05-10 14:55:26
735
原创 Multiway Attention Networks for Modeling Sentence Pairs阅读笔记
文章目录概述模型1. Encoding Layer2. Multiway Matching3. Aggregation4. Prediction Layer5. 实现细节实验Datasets实验结果概述对句子对进行建模应用非常广泛, 常见的任务有paraphrase identification, natural language Inference, sentence similarity,...
2019-05-09 16:07:32
247
原创 Semantic Sentence Matching with Densely-connected Recurrent and Co-attentive Information阅读笔记
文章目录概述模型1. Word Representation Layer2. Densely connected Recurrent Networks3. Densely-connected Co-attentive networks4. Bottleneck component5. Interaction and Prediction Layer实验数据集实现细节实验结果概述目前, 句子匹配...
2019-05-08 22:55:38
986
原创 Improving Language Understanding by Generative Pre-Training阅读笔记
文章目录概述Framwork1. 无监督预训练2.有监督的fine-tuning实验实验设置无监督预训练模型规格Fine-tuning细节实验结果概述要说最近NLP最显著的成果, 自然是几乎无人不知, 无人不晓的Bert.但其实在Bert出现几个月之前, OpenAI在《Improving Language Understanding by Generative Pre-Training》就...
2019-05-08 18:12:16
5256
原创 A Simple but Tough-to-Beat Baseline for Sentence Embeddings阅读笔记
文章目录概述算法实验1. Textual Similarity Tasks2. Supervised Tasks概述一篇17年的论文, 采用无监督的方法.主要思想可以概括为两步:利用词嵌入方法，通过词向量的线性的加权组合对一个句子进行编码利用奇异向量求出最终的句向量。算法实验1. Textual Similarity Tasks数据集all the datasets f...
2019-05-08 17:11:26
721
原创 pytorch matmul和mm和bmm区别
结论从官方文档可以看出, mm只能进行矩阵乘法,也就是输入的两个tensor维度只能是(n×m)(n\times m)(n×m)和(m×p)(m\times p)(m×p), 而matmul可以进行张量乘法, 输入可以是高维....
2019-05-08 10:16:30
23927
3
原创 pytorch lstm总结
pytorch中lstm参数如下:1.batch_first作用我习惯把batch作为输入第一维, 所以就把batch_first设为True.结果跑实验报错, 提示维度有问题.调试后才发现batch_first只会影响input和output维度, h_t和c_t的维度仍然是[num_layers * num_directions, batch, hidden_size]2.outpu...
2019-05-07 22:20:35
2367
1
原创 Git常用操作
文章目录连接gitlab远程仓库一、生成ssh key二、添加ssh key。连接gitlab远程仓库一、生成ssh key首先新建一个.ssh文件夹mkdir ~/.ssh进入到此文件夹中，并执行生成ssh key的命令。cd ~/.ssh ssh-keygen -t rsa -C “[email protected]” 注意将此处的邮箱地址换成自己的，然后按三次回车。...
2019-04-29 13:57:40
77
原创 常用shell命令总结
文章目录linux系统管理命令freeidkillps(process status)pstree(process status tree)rebootsu(super user)topunamewholinux 系统设置命令aliaslinux文档编辑命令fgrep(fixed regexp)grepjoinsortuniqwc(word count)linux压缩备份命令tar(tape ar...
2019-04-28 01:43:38
806
原创 SGD,Adam,momentum等优化算法比较
文章目录SGD,Adam,momentum等优化算法比较一、最基本的优化算法1.SGD2.Momentum二、自适应参数的优化算法3.RMSprop4.Adam三、二阶近似的优化算法5.牛顿法及拟牛顿法SGD,Adam,momentum等优化算法比较1.选择哪种优化算法并没有达成共识2.具有自适应学习率（以RMSProp 和AdaDelta 为代表）的算法族表现得相当鲁棒，不分伯仲，但没有...
2019-04-15 16:26:27
2862
原创 用numpy自己实现一个前馈神经网络
三层的:def sigmoid(x): """ Compute the sigmoid of x Arguments: x -- A scalar or numpy array of any size. Return: s -- sigmoid(x) """ s = 1/(1+np.exp(-x)) return sde...
2019-04-14 09:56:51
1811
原创 Natural Language Inference Over Interaction Space(DIIN)阅读笔记
文章目录IntroductionModelInteractive Inference Network(IIN)Densely Interactive Inference Network(DIIN)Embedding LayerEncoding LayerInteraction LayerFeature Extraction LayerOutput Layer实验数据参数设置Introductio...
2019-04-12 22:02:26
1531
原创 Multi-Task Deep Neural Networks for Natural Language Understanding阅读笔记
MT-DNNIntroduction学习文本的向量空间表达对许多自然语言理解问题都很重要.现在两个比较流行的方法是multi-task learninglanguage model pre-training在这篇论文中, 作者提出结合两种方法的网络–Multi-Task Deep Neural Network(MT-DNN).1. Multi-Task learningmult...
2019-04-12 18:01:57
1521
原创 Deep Pyramid Convolutional Neural Networks for Text Categorization阅读笔记
文章目录DPCNN模型结构等长卷积池化固定feature maps(filters)的数量Shortcut connections with pre-activationText region embedding实验数据集及预处理参数设置结果DPCNN与之前CNN模型相比, 加深了很多.通过不断加深网络，可以抽取长距离的文本依赖关系. 参考了ResNet结构.模型结构等长卷积首先交...
2019-04-12 15:08:22
2210
原创 A Convolutional Neural Network for Modelling Sentences(DCNN)阅读笔记
Dynamic Convolutional Neural Network一、介绍一篇14年的很经典的论文, 模型采用动态k-max pooling取出得分topk的特征值，能处理不同的句子，不依赖解析树。网络包含两种类型的层：一维的卷积层和动态k-max池化层（Dynamic k-max pooling）。k-max pooling：pooling的结果不是返回一个最大值，而是返回k组最...
2019-04-12 13:27:13
937
原创 Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification阅读笔记
Att-BLSTMModel模型主要包括五部分:Input layerEmbedding layerLstm layerAttention layerOutput layerWord Embedding没啥好说的…Bidirectional NetworkBi-LSTM结构, 最后输出AttentionAttention部分, 先对LSTM输出做非线性激活...
2019-04-12 11:19:37
764
原创 Recurrent Convolutional Neural Networks for Text Classification阅读笔记
RCNNModelWord Representation Learning使用的双向RNNcl(wi)c_l(w_i)cl(wi)表示词wiw_iwi左边上下文, cr(wi)c_r(w_i)cr(wi)表示右边上下文, 计算方式如下:e(wi−1)e(w_{i-1})e(wi−1)代表第i-1个词的word embedding.每个词的最终表示:再接一...
2019-04-12 10:50:32
583
原创 Universal Language Model Fine-tuning for Text Classification(ULMFiT)阅读笔记
UMFiTIntroduction文章贡献点:利用迁移学习的思想, 提出基于微调的通用语言模型(ULMiT)提出discriminative fine-tuning, slanted triangular learning rates, gradual unfreezing等方法Model进入正题, 先来看下模型结构 首先预训练一个语言模型, 论文中采用的是AWD-LS...
2019-04-11 22:28:32
321
原创 Bag of Tricks for Efficient Text Classification(FastText)阅读笔记
文章目录FastText模型结构Hierarchical softmaxN-gram features实验任务1 Sentiment analysis任务2 Tag prediction总结FastTextfastText的核心思想：将整篇文档的词及n-gram向量叠加平均得到文档向量，然后使用文档向量做softmax多分类。这中间涉及到两个技巧：字符级n-gram特征的引入以及分层Softm...
2019-04-11 20:25:14
456
原创 Effective Use of Word Order for Text Categorization with Convolutional Neural Networks阅读笔记
文章目录主要思路：不做word embedding，直接输入one-hotseq-CNNbow-CNNExtension: parallel CNN首先将句子序列中每个词onhot表示，然后可以通过不同size的卷积池化层来对其进行特征抽取，得到结果之后再进行concat，然后再接全连接输出层进行输出。...
2019-04-11 19:51:19
322
原创 Convolutional Neural Networks for Sentence Classification阅读笔记及复现
文章目录TEXT-CNN1. 网络结构Embedding LayerConvolution LayerMax-Pooling LayerSoftMax分类Layer2. 参数与超参数3. 变种4. 实验代码复现(pytorch)TEXT-CNN一篇比较老的论文了, 但是很经典, 在一些简单的分类任务上效果也还不错.1. 网络结构Embedding Layerword embedd...
2019-04-11 19:43:44
1064
原创 排序题目汇总
文章目录快排归并堆排序快排void quickSort(vector<int> &vec, int start, int end) { if (start < end) { int i = start, j = end; int middle = (i + j) / 2; swap(vec[j], vec[middle]); j--; while (...
2019-04-11 11:16:59
1721
原创 面试二叉树题目汇总
文章目录二叉树的最大距离（即相距最远的两个叶子节点，编程之美，百度面试题）二叉树的最大距离（即相距最远的两个叶子节点，编程之美，百度面试题）int HeightOfBinaryTree(BinaryTreeNode*pNode, int&nMaxDistance){ if (pNode == NULL) return -1; //空节点的高度为-1 //递归 int nH...
2019-04-11 09:50:27
413
原创 Bilateral Multi-Perspective Matching for Natural Language Sentences阅读笔记及复现
文章目录MethodModel Overview1. Word Representation Layer2. Context Representation Layer3. Matching Layer4. Aggregation Layer5. Prediction LayerMulti-prespective Matching Operation实验实验设置实验结果论文贡献: 提出了一种双向的...
2019-04-10 23:55:32
1338
原创 字符串处理相关函数
to_stringc_strReturns a pointer to an array that contains a null-terminated sequence of characters (i.e., a C-string) representing the current value of the string object.string str("Please split th...
2019-04-10 21:36:59
145
原创 Hierarchical Attention Networks for Document Classification阅读笔记
文章目录模型结构Hierarchical AttentionWord EncoderWord AttentionSentence EncoderSentence AttentionDocument Classification实验数据集参数实验结果模型结构Hierarchical Attentionencoder采用的双向GRUWord EncoderWord Attenti...
2019-04-09 23:43:29
314
Hands.On.Machine.Learning.with.Scikit-Learn.and.TensorFlow
2019-02-26
Pandas权威指南： Powerful Python Data Analysis Toolkit.pdf
2019-02-19
Natural Language Processing with PyTorch
2019-02-19
数据结构与算法分析-java语言描述
2017-10-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人