六月麦茬-CSDN博客

原创 zero-shot learning 论文三篇小结

what is zero-shot learning zero-shot learning 是为了能够识别在测试中出现，而在训练中未遇到过的数据类别。例如识别一张猫的图片，但在训练时没有训练到猫的图片和对应猫的标签。那么我们可以通过比较这张猫的图片和我们训练过程中的那些图片相近，进而找到这些相近图片的标签，再通过这些相近标签去找到猫的标签。（个人认为zero-shot learning应该属于迁移

2017-06-27 23:23:57 18749

原创从PGM到HMM再到CRF(self_note)

问: 有一点不太明白想请教：MRF和CRF看起来好像就是p(x,y)和p(y|x)的差别，为什么他们两个模型的应用差距那么的大呢？MRF广泛运用在各种领域，CRF大部分都用的linear答：忽略掉生成模型和判别模型的差别，如果只是给定了观测变量X要计算隐变量Y的概率话，而不需要生成一个新的样本的话，MRF和CRF确实是一样的。很多论文里用MRF，其实就是把MRF当成CRF用的，所以你说他们用

2017-06-12 23:21:29 1298

原创 A Diversity-Promoting Objective Function for Neural Conversation Models

该论文提出了基于最大互信息（Maximum Mutual Information—MMI）的期望计算思想。传统的生成模型计算方式是：target = argmax（logP（T|S）），即在source给定的条件下，寻找出最大概率的target。这样的计算方式所带来的问题是会生成一般性的，具有大概率事件的target，失去了target的多样性。由互信息公式得：该论文基于MMI思想，提出

2017-06-05 22:16:02 1328

原创 Sequential Match Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Ch

论文链接： https://arxiv.org/pdf/1612.01627.pdfPaper总结笔记：论文提出了一个基于检索的多轮闲聊架构闲聊模型一般分为生成模型和检索模型，目前关于检索模型的闲聊还停留在单轮对话中，本文提出了基于检索的多轮对话闲聊。多轮对话不仅要考虑当前的问题，也要考虑前几轮的对话情景。多轮对话的难点主要有两点：1.如何明确上下文的关键信息（关键词，关键短语或关键

2017-05-18 23:24:44 2677

原创（Dual learning）对偶学习——视频笔记

Dual Learning解决的问题：带标签的训练数据少且高昂的成本，尽可能的利用无标签数据Dual Learning 思想 Dual Learning在NMT中的应用 1.算法思想 2.负例 3.正例 4.实验设置（需要先预训练） Dual Learning的扩展（可以扩展到多个有联系的模型）自编码中Dual Learning的思想 GAN中Dual Learnin

2017-05-11 22:27:02 4537 1

原创 Neural Relation Extraction（神经关系抽取）的两篇文章

文章一《Neural Relation Extraction with Selective Attention over Instances》该论文中提到的Distant supervised是一种弱监督形式，作用是在Relation Extraction中可以从未标注的Knowledge Bases（KBs）语料中自动生成训练数据，定义由 (Mintz et al., 2009) 提出，dis

2017-05-09 15:17:28 6494

原创 tensorflow编程填坑笔记

1. tf.mul(a,b) 和 tf.matmul(a,b)tf.mul(a,b) 这里的矩阵a和矩阵b的shape必须相等 tf.mul()是矩阵的element-wise相乘（即Hadamard乘积） tf.matmul(a,b) 这里的矩阵a和矩阵b的shape应是a的行数对等与b的列数，tf.matmul()是矩阵的一般相乘。例子： a=tf.get_variable(“a”, [2,

2017-04-20 21:35:24 6981

翻译 SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient

GAN作为生成模型的一种新型训练方法，通过discriminative model来指导generative model的训练，并在真实数据中取得了很好的效果。尽管如此，当目标是一个待生成的非连续性序列时，该方法就会表现出其局限性。其中最重要的原因是在非连续序列中很难传递来自discriminative model对于generative model的gradient update。另外，discr

2017-04-13 19:29:40 5076

翻译 Adversarial Learning for Neural Dialogue Generation

Adversarial Learning for Neural Dialogue Generation文献的重点翻译和总结

2017-03-06 16:38:45 5201 10

翻译 End-To-End Memory Networks

原文：《End-To-End Memory Networks》

2017-02-27 23:54:09 1061

原创关于RNN（Seq2Seq）的一点个人理解与感悟

自己在这近三个月的深度网络学习中的一点小感悟，希望对自己的后面学习和实验能有所启发。

2017-02-23 22:27:14 3528 1

原创深度学习简介--PPT

小记：前些天导师让我给大家介绍下深度学习。做了几页PPT，做了个小介绍。

2017-02-20 17:55:04 16649 12

翻译 A Knowledge-Grounded Neural Conversation Model

原文：https://arxiv.org/pdf/1702.01932.pdf 原论文的主要内容翻译与总结摘要Neural network 模型已经可以进行很自然的对话交互了。但目前来看，这些模型在基于任务的对话中并没有通过吸取其他形式的真实信息或背景实体（entity-grounded）观点来增强它们的服务水平。该论文就提出来一种新颖的，完全有数据驱动的，并且基于背景知识（knowledge-g

2017-02-13 23:56:43 2153 1

原创情感分析与观点挖掘总结笔记（一）

总结自《SentimentAnalysis-and-OpinionMining》第一章1.2.1情感分析的不同分析层次根据目前的研究现状，一般可以将情感分析调查分为三个主要层次一、文本文档层次：该层次是判断评论的整体情感态度，从整体看是积极、消极还是中立的态度。不过这一层次的分析是基于假设每篇文档都是阐述关于一个单一实体的观点；不适用于评价或比较多个复杂的实体。二、语句级别层次：该层次的

2017-01-06 10:49:14 33794 4

原创 RNN with Adaptive Computation Time

最近看完了一篇论文《Adaptive Computation Time for Recurrent Neural Networks》，目前正在做相关实验，先把总结的PPT贴出来分享下，后面有时间再详细总结下吧。也可参考我之前翻译的一篇博文：RNN的四种代表性扩展—Attention and Augmented Recurrent Neural Networks（二）里面有关于“Adaptive

2017-01-03 22:52:44 3537

翻译 Learning Through Dialogue Interactions——基于对话交互的学习

原文：Learning Through Dialogue Interactions 作者： JiweiLi,AlexanderH.Miller,SumitChopra,Marc’AurelioRanzato,JasonWestonAbstract一个好的对话agent是可以和用户进行交互的。在本工作中，我们探索着设计了一个模拟器并合成一个电影领域的任务集合，让learner和teacher进行问

2016-12-26 23:51:09 3033

翻译卷积神经网络（CNN）概述及其在NLP中的应用（二）

原文链接： http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/ 原标题《Understanding convolutional neural networks for nlp》卷积神经网络（CNN）概述及其在NLP中的应用（一）5. Convolutional Neural Ne

2016-12-20 00:11:46 7276

翻译卷积神经网络（CNN）概述及其在NLP中的应用（一）

原文链接： http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/ 原标题《Understanding convolutional neural networks for nlp》卷积神经网络（CNN）概述及其在NLP中的应用（二）当我们听到CNNs时，我们一般会想到计算机视觉（comp

2016-12-18 16:23:07 14160

翻译 RNN的四种代表性扩展—Attention and Augmented Recurrent Neural Networks（二）

这是RNN扩展的后两种介绍。接 Attention and Augmented Recurrent Neural Networks（一）Adaptive Computation Time（自适应计算时间）Standard RNNs do the same amount of computation each time step. This seems unintuitive. Surely, one

2016-12-16 10:42:02 2402

翻译 RNN的四种代表性扩展—Attention and Augmented Recurrent Neural Networks（一）

看到一片不错的文章，按着自己的理解翻译的，水平有限，难免会有错误，各路大牛看到后感谢指出！Attention and Augmented Recurrent Neural Networks（二）作者：CHRIS OLAH Google Brain SHAN CARTER Google Brain 原文：http://distill.pub/2016/augment

2016-12-15 20:11:11 3288

原创 Seq2Seq in Tensorflow

Tensor flow中自带的seq2seq，这么经典的encoder-decoder模型，网上都没有相关的详细介绍。花了一个星期的时间，整理了该模型的详细架构。感兴趣的可以看一下。后面抽时间再把代码注释一下，本博主从来不玩虚的，注释的会很详细，有打算入手的期待一下吧。^-^ 这段时间一直忙着做Dialogue Generation相关的实验，刚刚入手，拿了tensorflow现有的seq2seq

2016-12-13 17:36:14 3322 7

原创动手写代码——基于Spark的TextRank实现

TextRank是在Google的PageRank算法启发下，针对文本里的句子设计的权重算法，目标是自动摘要。它利用投票的原理，让每一个单词给它的邻居（术语称窗口）投赞成票，票的权重取决于自己的票数。这是一个“先有鸡还是先有蛋”的悖论，PageRank采用矩阵迭代收敛的方式解决了这个悖论。TextRank也不例外。更多关于TextRank的介绍，博主推荐码农场的文章：http://www.hankc

2016-10-21 16:37:50 3157

翻译 RNN初学入门笔记(1)

本篇博客翻译自http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ 系列的第一篇，并参考了网络上的部分资源.初识RNN RNNs（Recurrent Neural NetWorks）循环神经网络是比较流行的网络模型之一，在NLP的许多任务中有着出色的表现。

2016-09-26 22:09:30 735

原创 Spark MLlib源码分析—TFIDF源码详解

以下代码是我依据SparkMLlib(版本1.6) 1、HashingTF 是使用哈希表来存储分词，并计算分词频数（TF），生成HashMap表。在Map中，K为分词对应索引号，V为分词的频数。在声明HashingTF 时，需要设置numFeatures，该属性实为设置哈希表的大小；如果设置numFeatures过小，则在存储分词时会出现重叠现象，所以不要设置太小，一般情况下设置为30w~50w之

2016-09-26 20:20:24 3154

原创 Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导

该文档是我在《Word2Vec_中的数学原理详解》基础上做的总结和一些新的描述，增加了代码与公式的对照和公式总汇（公式太多，汇总下看起来更方便），可以更加方便的加深对代码和公式理解。既然是总结，则一些很基础的知识我没有写到，如果里面的有些概念不熟悉，也可以自己查一下，网上资料还是很多的。本笔记主要是对《Word2Vec中的数学原理详解》的总结和补充，目的是加深自己的理解和认识。 1、概述 Wor

2016-09-21 18:09:56 15713 4

原创 Spark MLlib源码分析—Word2Vec源码详解

以下代码是我依据SparkMLlib(版本1.6)中Word2Vec源码改写而来，基本算是照搬。在决定读懂源码前，博主建议读者先看一下《Word2Vec_中的数学原理详解》或者看本人根据这篇文档做的一个摘要总结。 Ps* 代码注解的很详细了，阅读代码请从类CWord2Vec的fit函数开始import java.nio.ByteBufferimport java.util.{Random

2016-09-21 17:47:36 8017 4

原创参数估计-矩估计和极大似然估计概述

参数估计参数估计：是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。它是统计推断的一种基本形式，是数理统计学的一个重要分支，分为点估计和区间估计两部分。点估计：依据样本估计总体分布中所含的未知参数或未知参数的函数。区间估计（置信区间的估计）：依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计。例如人们

2016-09-10 22:38:42 62561 3

原创 BP神经网络算法推导

1、前馈神经网络、反馈神经网络、BP网络等，他们之间的关系前馈型神经网络：取连续或离散变量，一般不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系；在此种神经网络中，各神经元从输入层开始，接收前一级输入，并输入到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示。常见的前馈神经网络有感知机（Perceptrons）、BP（Back Propagation）网络、RBF（

2016-09-07 22:14:01 5822 2

原创粗糙集，邻域粗糙集与实域粗糙集概述

粗糙集与邻域、实域粗糙集概述

2016-08-29 19:16:23 10471 5

原创前馈神经网络与深度学习概述

参考： 1、神经网络浅讲：从神经元到深度学习 - 推酷 2、【转】脉络清晰的BP神经网络讲解，赞 - 编程小翁 - 博客园

2016-08-27 15:05:12 6892

转载 Hadoop常用命令汇总

启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件hadoop dfs –cat [file_path]eg:

2016-08-19 12:43:42 632