warrioR_wx-CSDN博客

原创国内外自然语言处理(NLP)研究组

*博客地址http://blog.csdn.net/wangxinginnlp/article/details/44890553*排名不分先后。收集不全，欢迎留言完善。中国大陆地区：腾讯人工智能实验室（Tencent AI Lab） https://ai.tencent.com/ailab/nlp/苏州大学自然语言处理实验室 http:/...

2015-04-05 20:26:26 55205 8

原创 ICTCLAS2014 C++版本的使用方法

这个工具是什么？先看看他的官方介绍吧：NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词；词性标注；命名实体识别；用户词典功能；支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取；张华平博士先后倾力打造十余年，内核升级10次。虽然介绍时候还是用的ICTCLAS2013，但是你会发现下载的版本里面dll是2014版本的。

2013-12-13 13:30:06 12388 28

原创 ICTCLAS2013 Java版本的使用方法

这个工具是什么？先看看他的官方介绍吧：NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词；词性标注；命名实体识别；用户词典功能；支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取；张华平博士先后倾力打造十余年，内核升级10次。c++版本的使用方法：点击打开链接Java32位版本下载地址：点击打开链接介绍时候

2013-04-07 17:47:12 16005 70

原创 [读书笔记] 流畅的python / Fluent Python

第3章：字典和集合泛映射类型可散列的数据类型 An object is hashable if it has a hash value which never changes during its lifetime (it needs a __hash__() method), and can be compared to other objects (it needs an __e...

2019-02-15 10:43:34 387

原创神经机器翻译WMT14英法基准系统 WMT14 English-French Baseline

最近（2017年以来）的WMT14 English-French Baseline记录 1. GNMT https://arxiv.org/pdf/1609.08144.pdf 语料处理：a shared source and target vocabulary of 32K wordpieces For the wordpiece models, we ...

2018-09-12 16:37:50 5038

原创 incremental training/align for word alignment

The Berkeley Word Aligner https://github.com/mhajiloo/berkeleyaligner https://github.com/kmccurdy/inc-align A small Clojure application which extends the Berkeley Alig...

2018-08-21 11:29:59 569

原创 Adaptation for Neural Machine Translation

目标：7月把NMT adaptation文章通读下场景：假设储备了大量新闻领域双语语料，少量科技领域双语语料（或者没有），科技领域单语语料（大量、少量或者没有）的大菜鸟翻译公司，接到一个科技领域的翻译项目。如何使用现有资源去尽可能的把科技领域的翻译做好。问题：这里的科技领域就是in-domain，新闻领域是out-domain。如何使用数量有限的in-domain parallel cor...

2018-07-17 15:50:44 1039

讨论：https://www.jiqizhixin.com/articles/2017-06-28-5https://ricardokleinklein.github.io/2017/11/16/Attention-is-all-you-need.html1. Mutli GPU 和 Single 配置的区别https://github.com/tensorflow/tensor2tensor/i

2017-12-08 17:44:33 4031 4

原创 2017/0910 实验结果记录

实验1. Adam+LN（LN没有对context vector和source side的input做）20000 BLEU score = 0.294721000 BLEU score = 0.315922000 BLEU score = 0.310923000 BLEU score = 0.329824000 BLEU score = 0.319625000 BLEU score

2017-09-25 11:52:30 773

原创深度学习中Dropout和Layer Normalization技术的使用

两者的论文：Dropout：http://www.jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdfLayer Normalization: https://arxiv.org/abs/1607.06450两者的实现（以nematus为例子）：https://github.com/EdinburghNL

2017-09-24 20:53:33 8343

原创神经机器翻译中的领域自适应问题 Domain adaptation for NMT

相关论文：1. Stanford Neural Machine Translation Systems for Spoken Language Domains. Minh-Thang Luong and Christopher D. Manning. http://www.statmt.org/OSMOSES/Stanford-IWSLT-15.pdf2. F

2017-08-30 16:00:12 2700 1

原创深度学习训练中cost突然出现NaN

问题：在深度学习训练中，之前的cost是正常的，突然在某一个batch训练中出现Nan。网络搜索的资料：1. How to avoid that Theano computing gradient going toward NaN https://stackoverflow.com/questions/40405334/how-to-avoid-that-theano-computing-

2017-08-23 17:26:16 4424 1

原创网页正文提取工具Beautiful Soup

Beautiful Soup是什么？Beautiful Soup is a Python library for pulling data out of HTML and XML files. It works with your favorite parser to provide idiomatic ways of navigating, searching, and modifyin

2017-07-06 15:35:12 1140

原创深度学习中Dropout策略

在写系统时候遇到一个问题：模仿的版本在测试阶段，把所有权重乘以一个保留概率（做法1）。而GJH他看的Keras里面测试阶段什么都不做（做法2），所以比较好奇，怎么做法不同？但是随手搜了几个中文博客，都是按做法1来的，训练阶段按保留概率随机生成一个保留矩阵(元素要么0-丢弃，要么1-保留)，然后测试阶段所有权重乘以保留概率。在回头看TensorFlow的Dropout函数ht

2017-05-23 16:41:54 3075 2

原创组内NLP讨论班阶段总结

讨论班进行了三期了，效果比想象的要好很多。但也遇到不少问题：1. 公式推导和编码实现困惑是在讲解模型过程中，不可避免地涉及公式推导和编码实现。讨论班上是否对公式推导进行讲授，讨论班后是否组织大家进行编码实现这两点把握不准。理想情况下讨论班应该只是成为一个“引子”，通过大家一起的讨论学习对某一个概念有了大致的了解。在后面学习或者实际应用中碰到该概念或者模型知道它是怎么回事

2017-05-04 22:44:32 962

原创 TensorFlow Seq2Seq Model笔记

1. tf.app.run()的疑惑 http://stackoverflow.com/questions/33703624/how-does-tf-app-run-work tf.app类似python中argparse2.

2017-03-27 15:11:59 16694 1

原创 TensorFlow1.0 运行报错 AttributeError: type object 'NewBase' has no attribute 'is_abstract'

安装TF后，import tensorflow报错：I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcublas.so.8.0 locallyI tensorflow/stream_executor/dso_loader.cc:135] successfully opene

2017-03-26 23:39:35 4862

原创爱丁堡大学神经机器翻译系统 nematus 使用笔记

代码准备：nematus https://github.com/rsennrich/nematussubword-nmt https://github.com/rsennrich/subword-nmt

2017-03-22 16:48:03 5336 1

原创强化学习 Reinforcement Learning 资料

1. 《机器学习》周志华著第16章2. https://www.analyticsvidhya.com/blog/2017/01/introduction-to-reinforcement-learning-implementation/3. https://www.nervanasys.com/demystifying-deep-reinforcement-learning/

2017-03-22 00:10:00 1810

原创组内菜鸟学习班

今天中午和褚师姐孙老师聊天，聊到了专业基础问题。大家都有同感，专业基础太差了。 11年至今，先后呆过四个组（硕士期间，计算所实习期间，博士期间和诺亚实习期间）。纵览各方豪杰，深感自己基础还是稍显薄弱。基础知识包括：机器学习/数学，专业知识，编程能力和英语读写。对于研究生做科研，自己的感觉就是前两项严重制约个人的发展。其实，目前看来，自己的基础应付毕业是没有大问题的（运气好，水了论文够

2017-03-09 21:44:30 1289

原创谷歌 Dynamic Computation Graphs 动态计算图

上次调研Syntax+NMT（http://blog.csdn.net/wangxinginnlp/article/details/56488921）发现Sequence-to-Tree 或者 Tree-To-Sequence目前已经火热起来，但是目前绝大部分的深度学习框架（http://blog.csdn.net/wangxinginnlp/article/details/58670706）只是

2017-03-02 23:47:26 2442

原创资料收集：深度学习框架比较

1. https://en.wikipedia.org/wiki/Comparison_of_deep_learning_software2. https://deeplearning4j.org/compare-dl4j-torch7-pylearn3. https://www.microway.com/hpc-tech-tips/deep-learning-framew

2017-02-28 21:44:54 1261

原创多语言神经机器翻译

1. Multiple Language Neural Machine Translation1.1 Multi-Task Learning for Multiple Language Translation (ACL 2015)http://www.aclweb.org/anthology/P/P15/P15-1166.pdf1.2 Multi-way, multili

2017-02-22 20:19:13 2984

原创神经机器翻译中语言学知识的引入

准备在组内做一个关于神经机器翻译中语言学知识的加入（syntax + NMT）的报告，先把相关文章进行罗列下： 1. Linguistic Input Features Improve Neural Machine Translation (WMT2016)http://www.statmt.org/wmt16/pdf/W16-2209.pdf2. Tree-to-

2017-02-22 16:59:14 3094

原创生成对抗网络Generative Adversarial Nets资料

1. Generative Adversarial Netshttp://papers.nips.cc/paper/5423-generative-adversarial-nets2. 深度学习新星：GAN的基本原理、应用和走向 | 硬创公开课http://www.leiphone.com/news/201701/Kq6FvnjgbKK8Lh8N.html3.

2017-01-08 15:51:58 2332

原创 numpy 记录

numpy.nonzero* https://docs.scipy.org/doc/numpy/reference/generated/numpy.nonzero.html#numpy.nonzero返回一个length为2的tuple，对应非零元素的下标为(tuple[0][x],tuplep[1][x])* np.nonzero(x)与x != 0 区别是前者

2016-12-29 11:02:39 642

转载小心python的list乘法

python是个很方便的语言，我经常使用python的*操作符去构建list中的重复元素。例如：>>> l = [1] * 4>>> print(l)>>> [1, 1, 1, 1]这样做确实很方便，但也很危险，请先看下面的代码:>>> l = [{'a': 1}] * 4>>> print(l)>>> [{'a': 1}, {'a': 1}, {'a': 1},

2016-11-17 16:02:05 28046 5

原创 Bengio <Deep Learning> 笔记

书本介绍：The Deep Learning textbook is a resource intended to help students and practitioners enter the field of machine learning in general and deep learning in particular. The online version of the book

2016-11-10 22:35:45 1211

原创 Memory Networks 资料

http://www.thespermwhale.com/jaseweston/icml2016/http://www.zmonster.me/notes/end-to-end-memory-networks.htmlhttp://blog.themusio.com/2016/03/09/memory-neural-networks-memnn/http

2016-10-31 10:28:21 574

原创神经机器翻译（NMT）资料

资料：https://arxiv.org/abs/1409.0473说明：基于注意力机制的神经机器翻译（Attention-based NMT）的论文，首次将注意力机制引入神经机器翻译。资料：https://devblogs.nvidia.com/parallelforall/introduction-neural-machine-translation-with-gpus/

2016-10-27 13:45:35 7849 5

原创神经机器翻译（NMT）开源工具

工具名称：dl4mt地址：https://github.com/nyu-dl/dl4mt-tutorial/tree/master/session2简介：Attention-based encoder-decoder model for machine translation.工具名称：blocks地址：https://github.com/mila-u

2016-10-27 11:51:48 10905 17

原创实习感悟

已经出来实习一个月了。在实习的单位从事深度学习方面的工作。通过这一个月的锻炼，自己技术方面还是有些进步，更重要的是对自己做的东西也有了更深的了解。实习的感悟： 1）英语和专业知识之前看过一个搞笑的段子，差不多是: 问“为什么网上都有大量现成的代码和解决思路，还要花大价钱请有经验的码农？”，答“因为有经验的码农会快速地从网上找到自己想要的东西”。上

2016-05-07 19:46:24 2772

原创梯度下降优化算法综述（翻译）

原文链接：http://sebastianruder.com/optimizing-gradient-descent博文地址：梯度下降是最流行的优化算法之一并且目前为止是优化神经网络最常见的算法。与此同时，每一个先进的深度学习库都包含各种算法实现的梯度下降（比如lasagne's, caffe's, 和 keras'的文档）。然而，这些算法经常作为黑盒优化程序使用，所以难以感受

2016-03-24 22:40:15 11865 3

转载你真的了解人工智能吗？——聊聊AI的碰壁和冬天

转自：http://mp.weixin.qq.com/s?__biz=MzI1NDE1MDUwOQ==&mid=402568726&idx=1&sn=ea0fc89efb253d54b02d1a4c5d74fcf8&scene=5&srcid=0321kQdYFUxJj7WwvBJHiXxi#rd人工智能三定律关于人工智能

2016-03-22 10:50:19 3301

原创 theano scan 笔记

Theano tutoria 有关于scan的说明：http://deeplearning.net/software/theano/library/scan.html首先，两个简单的例子。第一种：给定循环步数n_steps计算那个A**kimport theanoimport theano.tensor as Tk = T.iscalar("k")A = T

2016-03-14 15:26:12 1001 1

原创 RNN和LSTM资料

http://colah.github.io/posts/2015-08-Understanding-LSTMs/http://www.zhihu.com/question/29411132

2015-08-28 09:08:56 1611

原创线程安全的SRILM语言模型c++接口

老版本线程不安全最近几天，在倒腾多线程的翻译解码器。单线程没问题的解码器，放在多线程下就经常无故的 segmentation fault (core dumped)。排查了一天原因，才发现是语言模型的问题。老版本的SRILM不支持多线程，多个进程环境下报错。错误具体表现如下：将语言模型作为公共资源，多个线程去读取，会报segmentation fault (core dumpe

2015-07-20 09:28:25 3237

原创 [moses笔记]编译含有nplm的moses解码器

ACL2014的best paper Fast and Robust Neural Network Joint Models for Statistical Machine Translation在SMT中使用深度学习知识，提出了一种neural network joint model（其实就是融合源端语言知识去做语言模型），论文实验给出的结果宣称大幅度提高了以往基于n-gram语言模型翻译系统的

2015-07-04 12:04:11 2186

原创 Datasets for MachineLearning

Public datasets for machine learning http://homepages.inf.ed.ac.uk/rbf/IAPR/researchers/MLPAGES/mldat.htmWeka datasets http://www.cs.waikato.ac.nz/ml/weka/datasets.html

2015-06-30 15:12:51 1033

原创 SSDS2015参会心得

ShanghaiTech Symposium on Data Science (SSDS) 2015是由上海科技大学举办的。上科大马毅老师邀请了一堆大牛来讲座。会议免注册费，组织得非常不错。在此感谢举办方上科大和组织者们。参会第一感受就是英语太重要了。会议中演讲者和提问者都是用英语表述。报告中，对那些我熟悉点背景的报告，还能听懂一些。如果没有一点背景知识或者报告者带点地方口音，那

2015-06-25 23:35:28 1636

空空如也

空空如也