- 博客(40)
- 收藏
- 关注
RSS订阅
原创 目录导航
NLP 相关知识论文阅读机器阅读理解(Reading Comprehension)相关综述深度学习解决机器阅读理解任务的研究进展 CIPS青工委学术专栏第6期 | 机器阅读理解任务综述 教机器学习阅读论文阅读End-To-End Memory Networks Teaching Machines to Read and Comprehend THE GOLDILOCKS PRINCI
2016-11-08 20:57:31
751
原创 A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues
关键词VHRED来源arXiv 2016.05.19问题文中认为对话都会包含两个层次的结构，一个是 utterance，由语言的局部统计信息来表征其含义，另外一个是不同方面的不确定性，比如 topic、speaker goals、speaker style。本文认为，RNNLM、HRED 这样的语言模型不能生成高质量的原因是在于它们在生成过程中施加了一个强限制：只对源端的变化建模（作为输出分布的条件
2016-11-23 09:27:05
1798
2
原创 Deep Reinforcement Learning for Dialogue Generation
关键词reinforcement learing，seq2seq来源EMNLP 2016.06.05问题目前的 seq2seq 模型做对话生成存在两个问题：当前的 seq2seq 模型是这么去训练的，在给定对话上下文后，用最大似然估计作为目标函数，预测下一轮对话。但是 MLE 训练出来的模型并不能够产生有趣、多样、有信息量的反馈。另一方面基于 MLE 的 seq2seq 模型不能够排除重复回复，
2016-11-22 09:14:05
1599
1
原创 Multiresolution Recurrent Neural Networks: An Application to Dialogue Response Generation
关键词hierarchical recurrent neural network来源arXiv 2016.06.02问题已有的 end2end 网络来做对话生成任务，存在着不能够把对话上下文考虑进去生成有意义的相应，这也就是说模型没有学到有用的高阶抽象表示。同时对于长距离的依赖也把我的不好，所以针对这些问题，本文提出了主动构造句子的高阶表示，利用 HRED 来做这一任务。文章思路本文模型中一个非常重
2016-11-21 08:57:14
967
原创 Neural Dialogue Generation
构造 chatbot 的难点： 1. 计算机需要理解你所问的内容 2. 计算机需要对你的问题生成有意义的序列，这需要领域知识、对话上下文、世界知识背景知识一开始利用 SMT 来生成响应，利用 phrase-base MT 抽取高频模式：后来用神经网络 encoder-decoder 架构来做：Mutual Information for Response Generation一般的 seq2se
2016-11-20 08:21:58
1357
1
原创 A Network-based End-to-End Trainable Task-oriented Dialogue System
关键词end2end, task-oriented dialogue system来源arXiv 2016.04.15问题当前构建一个诸如宾馆预订或技术支持服务的 task-oriented 的对话系统很难，主要是因为难以获取训练数据。现有两种方式解决问题：将这个问题看做是 partially observable Markov Decision Process (POMDP)，利用强化学习在线与
2016-11-18 09:55:15
3640
2
原创 Bi-Directional Attention Flow For Machine Comprehension
关键词bi-directional attention来源arXiv 2016.11.05问题利用 multi-stage 信息对文章进行编码，同时尝试两个方向上的 attention 来提高 RC 性能。文章思路BiDAF 文中分为六步Character Embedding Layer利用 character level CNN 将每个词映射到一个高维向量空间Word Embedding La
2016-11-15 08:48:04
5283
3
原创 Learning Recurrent Span Representations For Extractive Question Answering
关键词span representation来源arXiv 2016.10.31问题之前利用 match-LSTM 对 passage 打标签：要么是 span start，要么是 span end，要么是 end。这种方法对子结构并没有做独立性假设，所以在 greedy training 和 decoding 时容易产生搜索错误。而直接枚举所有 span 可能，这会导致难以训练。为了克服这些问题，
2016-11-14 08:31:50
1325
原创 XML
初识 XML可扩展标记语言 (Extensible Markup Language，XML) 能够表达一种层次结构，这种结构人类和机器都很容易理解。XML 文档一般以文档头开始，例如<?xml version="1.0" encoding="UTF-8"?>在设计 XML 文档时，最好使元素 (Element) 要么包含子元素，要么包含文本，避免出现如下情况<font> Helvetica
2016-11-13 18:18:07
271
原创 End-to-End Answer Chunk Extraction and Ranking for Reading Comprehension
关键词dynamic chunk, ranking来源arXiv 2016.10.31问题当前的 RC 模型都是生成单个实体或者单个词，不能够根据问题动态生成答案。基于此，本文提出了 end2end 的 chunk 抽取神经网络。文章思路Dynamic Chunk Reader 这一模型分成四步：encode layer 分别使用 bi-GRU 对 passage 和 question 进行编码，
2016-11-13 09:08:57
658
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2016-11-12 12:47:23
216
原创 Reasoning with Memory Augmented Neural Networks for Language Comprehension
关键词Memory, reasoning来源arXiv 2016.10.20问题在此之前，所有 multi-turn 模型都为多跳推断预先设定了固定的跳数。但是并不是所有的 document-query 对都需要同样的推理步数，有的只需要词或者句子级别的匹配，有的需要复杂的语义理解和深度推理。基于此，本文提出了动态调整跳数的模型。文章思路Memory Initialization首先通过 Bi-LS
2016-11-09 10:50:23
1160
原创 Java FAQ
来自博客的总结实例构造器是不是静态方法？从 Java 语言的static关键字的角度看，实例构造器不是“静态方法”。 来自知乎的问题往 Java 泛型类中方法传一个对象引用的参数，但是该方法的参数为什么不能调用该对象的方法？因为 Java 的泛型设计跟 C++ 的模版是不一样的。C++ 的模版的基本思路是在某个模版类型或模版函数被实例化的时候，将实际模版参数传入模版并展开，然后再做类型检查
2016-11-08 21:13:40
495
原创 Effective Java 相关笔记
Item 1: Consider static factory methods instead of constructorsAdvantages:One advantage of static factory methods is that, unlike constructors, they have names.A second advantage of static factory me
2016-11-08 21:11:40
359
原创 Java 类的加载
Java 类的加载、链接和初始化Java 类的加载Java 类的加载是由类加载器来完成的。一般来说，类加载器分成两类：启动类加载器（bootstrap）和用户自定义的类加载器（user-defined）。两者的区别在于启动类加载器是由 JVM 的原生代码实现的，而用户自定义的类加载器都继承自 Java 中的java.lang.ClassLoader类。在用户自定义类加载器的部分，一般 JVM 都会提
2016-11-08 21:10:09
270
原创 Java IO 相关
流的概念和作用流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作。IO流的分类根据处理数据类型的不同分为：字符流和字节流根据数据流向不同分为：输入流和输出流字符流和字节流字符流的由来： 因为数据编码的不同，而有了对字符进行高效操作的流对象。本质其实就是基于字节流读取时，
2016-11-08 21:08:11
313
原创 Java 泛型相关
Java 泛型介绍Java 泛型（generics） 是 JDK 5 中引入的一个新特性，允许在定义类和接口的时候使用类型参数（type parameter）。声明的类型参数在使用时用具体的类型来替换。泛型最主要的应用是在 JDK 5 中的新集合类框架中。对于泛型概念的引入，开发社区的观点是褒贬不一。从好的方面来说，泛型的引入可以解决之前的集合类框架在使用过程中通常会出现的运行时刻类型错误，因为编译
2016-11-08 21:06:16
448
原创 Java 反射相关
Class 类介绍对象是对客观事物的抽象，是一个自我包含的组件，它包含能够使得某一类型的数据有用所需要的属性和方法。 对象的属性是指它所知道的，而对象的方法是指它所能做到的。类是对象的抽象，对象是类的具体实例。在 wikipedia 中是这样定义 Reflection 的： In computer science, reflection is the ability of a computer
2016-11-08 21:04:39
225
原创 Java 内存相关
Java 内存模型可见性：一个线程对共享变量值的修改，能够及时地被其他线程看到。语言层面上支持两种 synchronized 和 volatile。共享变量：如果一个变量在多个线程的工作内存中都存在副本，那么这个变量就是这几个线程的共享变量Java 内存模型 (JMM) 描述了 Java 程序中各种变量 (线程共享变量) 的访问规则，以及在 JVM 中将变量存储到内存中和从内存中读取变量这样的底层细
2016-11-08 21:01:06
469
原创 Java 基础相关
四种访问级别Java 中有三个很常用的关键字：public protected 和 private。我们可以称呼他们为访问控制符，也可称呼为作用域。怎么称呼都不重要，重要的是理解他们的作用及用法。Java访问级别包含两个部分:对类和访问级别。在对类的访问进行限制的时候，关键字可以是public或者不明确指定类修饰符（package-private）。对成员的访问级别。在对类里面的成员做访问限制时
2016-11-08 20:59:25
289
原创 Dynamic Entity Representation with Max-pooling Improves Machine Reading
关键词Dynamic Entity Representation, Max-pooling来源2016.01.06 (published atNAACL-HLT 2016)问题之前的模型都是将实体表示成一个静态的向量，这样就没有利用上下文信息。本文基于这样的假设：如果阅读器不能使用 world knowledge，那么只能通过实体的上下文动态理解它的意思。文章思路这一模型可以分解成这样：p(e|D,
2016-10-15 16:39:50
537
原创 Head First Design Patterns 阅读笔记之八: the Template Method Pattern
这一模式的正式定义为： The Template Method Pattern defines the skeleton of an algorithm in a method, deferring some steps to subclasses. Template Method lets subclasses redefine certain steps of an algorithm wi
2016-10-13 15:57:41
587
原创 A Thorough Examination of the CNN/Daily Mail Reading Comprehension Task
关键词Examination, Analysis来源arXiv 2016.06.09问题针对 CNN/Daily Mail 语料中不能使用外部知识，可能存在的指代消解错误等问题，探究一下几个问题：语料中由于处理错误所产生的噪音有多少？神经模型究竟学到了什么？相比于传统分类器，模型提高了哪些方面？文章思路本文的神经网络基于 Attentive Reader，但是又有所改进，见下图。跟 Atten
2016-10-13 09:56:29
1840
原创 End-To-End Memory Networks
关键词End2End, Memory Networks, Multiple hops来源arXiv 2015.03.31 (NIPS 2015)问题当前 AI 研究面临两大问题：如何在回答问题时实现多个计算步骤如何描述序列数据的长距离依赖性本文尝试从 Memory Networks 入手，解决这两个问题。文章思路模型介绍 在单层模型中模型将 document 中的每一个 word 保存为一个
2016-10-12 10:22:46
2971
原创 THE GOLDILOCKS PRINCIPLE: READING CHILDREN’S BOOKS WITH EXPLICIT MEMORY REPRESENTATIONS
关键词Memory Networks，CBT dataset来源arXiv 2015.11.97 (published at ICLR 2016)问题探索统计模型如何利用更广的上下文来做预测文章思路Memories 和 Queries 表示 考虑三种形式：Lexical Memory 在 document 中每个词的 one-hot representation 代表一个 memory，并且将时间
2016-10-10 08:55:15
925
1
原创 Head First Design Patterns 阅读笔记之七: Adapter and Facade Pattern
Adapter Pattern下面是一个完整的适配器模式实例public interface Duck { public void quack(); public void fly();}public class MallardDuck implements Duck { public void quack() { System.out.
2016-10-09 16:56:02
492
原创 Text Understanding with the Attention Sum Reader Network
关键词来源arXiv 2016.03.04问题文章思路资源论文地址：https://arxiv.org/abs/1603.01547v1.pdf相关工作简评
2016-10-09 09:08:47
953
原创 Teaching Machines to Read and Comprehend
关键词real natural language traning data, nerual model来源arXiv 2015.06.10问题针对阅读理解缺乏大规模训练数据集，构建了相应的数据集。同时尝试利用神经网络模型解决机器阅读理解问题。文章思路文章中提出了三种神经网络模型，分别如下：Deep LSTM 其实就是用一个两层 LSTM 来 encode query||document 或者do
2016-10-09 08:13:24
2632
原创 Head First Design Patterns 阅读笔记之六: Command Pattern
从一个远程控制系统开始假设我们要做一个远程控制系统，远端可以控制电灯、电子门的开关。远端并不需要知道具体的开关细节，用户只是按下按钮就可以控制电灯、电子门。显然，我们需要使用一种能够将方法调用封装起来的设计模式——Command Pattern。对于上面的需求，可以写下这样一个程序：public interface Command { public void execute();}pu
2016-09-26 13:15:02
384
原创 Gated-Attention Readers for Text Comprehension
关键词reading comprehension, gated attention, GRU来源arXiv 2016.06.05问题文章思路这篇论文提出了如下图的 Gated-Attention reader。每个标有Bi-GRU 字样的方块表示双向 GRU，从图中可以看出，一共运用了 K 层网络。 问题表示 每一层上，query 都是用前向和后向的 GRU 隐层状态连接在一起来表示的。图中绿
2016-09-26 10:27:12
2099
原创 关于构造器
最近我在写程序时，程序大概长这样public class A{ String name; public A(String name) { this.name = name; }}public class B extends A{ public B(String name) { this.name = name;
2016-09-25 11:26:01
395
原创 Head First Design Patterns 阅读笔记之五: Singleton Pattern
为什么需要 Singleton Pattern一般来说，我们需要某个对象时，就使用 new 操作。在管理资源池的情况下，比如连接控制器或者线程池或者登记信息，需要保证在任何时候只有一个实例，这就需要 Singleton Pattern。Sinleton Pattern 的核心在于没有 public constructor。
2016-09-24 16:33:23
251
原创 静态绑定与动态绑定
在调用方法时，会出现静态绑定和动态绑定的概念。但是，到底是什么意思，需要仔细思考。为了弄清所有相关概念，首先来看一下函数调用过程：编译器查看对象的声明类型和方法名。假设调用 x.f(param)，并且隐式参数 x 声明为 C 类的对象。编译器会枚举出 C 类中名为 f 的方法和其超类中访问属性为 public 且名为 f 的方法。编译器查看调用方法是提供的参数类型。如果在所有名为 f 的方法中存
2016-09-19 18:50:03
1500
原创 Head First Design Patterns 阅读笔记之四: Factory Pattern
new 的问题每当你使用 new 实例化一个具体的类时，那这就是一种实现而不是接口，而具体的实现会导致代码脆弱并且不灵活。 从技术上说，new 没有问题。问题在于需求不断变化，而这些变化又会影响 new 的使用。所以该如何解决问题呢？以 Pizza 店为例假设你有一家 pizza 店，你有很多种 pizza，可能就会写下这样的代码：Pizza orderPizza(String type) {
2016-09-05 14:05:48
388
原创 Head First Design Patterns 阅读笔记之三: Decorator Pattern
欢迎来到 Starbuzz Coffee星巴克作为一家扩展最快的咖啡店，它们现在需要更新饮料订购系统以便满足现在庞大的需求。这个订购系统的第一版如下： 显然这对于日后的维护来说，完全是个噩梦。这里需要提到一个设计原则(Open-Closed Principles)： 类应当对扩展开放，对修改封闭 Classes should be open for extension, but clos
2016-09-03 13:41:05
452
原创 Head First Design Patterns 阅读笔记之二: Observer Pattern
从一款天气预报 APP 开始假设现在需要编写一款 APP，可以显示感应器传来的当前天气条件(温度、湿度、气压)，报告当前的天气状况统计数据并做简单的预测。现在已知以下条件：WeatherData 类有三个 getter 方法来获取当前的数据：getTemperature()、getHumidity()、getPressure()。WeatherData 类中有一个方法 measurementsC
2016-08-30 15:37:39
482
原创 Head First Design Patterns 阅读笔记之一: Strategy Pattern
本系列的所有代码参见 Head First Design Patterns—Github以 SimUDuck app 这个案例开始假设有为一家以制作鸭子池塘模拟游戏而闻名的公司，这家公司的得意之作是 SimUDuck。这个游戏可以模拟多种不同的鸭子的游泳姿态及其叫声。系统最初采用标准的面向对象设计原则，创建一个鸭子超类让所有子类继承。现在，公司 CEO 决定增加一个特征：让鸭子飞起来。作为一个面向对
2016-08-25 10:59:12
556
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人