TonLP-CSDN博客

原创中心极限定理的一个例子：大小医院的新生儿

一个问题在复习概率论与数理统计的时候，发现一个有趣的例子：两家医院，大医院每天新生儿45个，小医院新生儿15个，问一年内哪家医院男新生儿比例超过60%的天数多的可能性大？乍眼一看，直觉告诉我新生儿的自然男女比例应该固定在50%左右的某个值，两家医院的男女概率应该都是这个值，所以两家医院的可能性相同。答案明显没那么简单。这里想引入两个定律：伯努利大数定律设μn\mu_n是n重伯努利试验中事件A

2017-03-20 11:48:18 4582

原创 RBM(Restricted Bolzmann Machines)原理

玻尔兹曼机是一种随机网络，它基于能量模型进行建模。能量模型我们一般认为物体的能量越高越不稳定，能量越低越趋于稳定。比如说，斜坡上的一个箱子，它位于越高的位置，则拥有更高的重力势能。能量模型把箱子停在哪个位置定义为一种状态，每个状态对应着一个能量。这个能量由能量函数来定义，箱子位于某个位置(某个位置)的概率。比如箱子位于斜坡1/2高度上的概率为p，它可以用E表示成p=f(E)p=f(E)。能量概率模型

2017-01-04 21:29:43 3824

原创循环神经网络（一般RNN）推导

本文章的例子来自于WILDMLvanillaRNN是相比于LSTMs和GRUs简单的循环神经网络，可以说是最简单的RNN。RNN结构RNN的一个特点是所有的隐层共享参数(U,V,W)(U, V, W)，整个网络只用这一套参数。RNN前向传导st=tanh(Uxt+Wst−1)s_t=tanh(Ux_t+Ws_{t-1}) ot=softmax(Vst)o_t=softmax(Vs_t)sts_t为

2016-12-26 13:42:51 17253 7

原创卷积神经网络反向传播推导

以TensorFlow的卷积神经网络为例卷积-池-卷积-池-全连接-softmax 前向传导C1层：卷积神经网络的输入是28×28的矩阵AA，经过F1F_1个5×5的卷积核K1i(i=1,2,...,F1)K_i^1(i=1,2,...,F_1)的卷积生成F1F_1个24×24大小的feature maps： C1i=conv2(A,K1i,′VALID′)+b1iC_i^1=conv2(A,

2016-12-22 21:46:52 3488

原创 TensorFlow的卷积神经网络例子解析

TensorFlow教程地址：https://www.tensorflow.org/tutorials/mnist/pros/ 讲的是经典的机器学习问题MNIST。使用卷积神经网络进行训练。载入MNIST数据MNIST数据可以从这里下载from tensorflow.examples.tutorials.mnist import input_datamnist = input_data.re

2016-12-22 15:19:41 7700 4

原创分别使用sk-learn和mllib进行文本情感分类

总体思路文本预处理提取特征特征选择选择分类算法训练和评估

2016-12-14 09:51:23 2267 2

原创神经网络推导

首先介绍一个学习DL4NLP的一个网站WildML，英文的，有空我也整理一下中文版。这篇讲的是神经网络的基础，没有RNN、CNN等结构。废话少说，直接上要推导的一个简单的神经网络结构图。例子：三层神经网络这个神经网络包含一个输入层、一个隐含层和一个输出层。注意输出的神经元有两个（多个），这个经常用在一个二（多）分类任务上，代表着每一类的概率，相应的激活函数变成了softmax函数（相当于多分类逻

2016-12-06 21:10:52 763

原创 SublimeREPL配置Python运行命令，更换Python路径

SublimeREPL介绍SublimeREPL是编辑器Sublime Text上的一个支持各种语言解释器的插件，可以方便我们在编辑器上编写完代码进行调试。安装方法强烈推荐使用Package Control进行插件安装。安装步骤： 1. cmd+shift+p调出快捷命令窗口，输入install，选择Package Control:Install Package（前提是安装了Package Con

2016-11-23 16:38:42 26273 6

原创通过word embedding和关联规则改进Aspect提取效果

思路来源于论文《Improving Opinion Aspect Extraction Using Semantic Similarity and Aspect Association》(Liu, Zhang et al.,2016)

2016-11-08 17:05:21 1766 1

原创 LTM(Lifelong Topic Modeling)介绍

LTM(Lifelong Topic Modeling)介绍论文题目是《Topic Modeling using Topics from Many Domains, Lifelong Learning and Big Data》(Chen and Liu, 2014) 摘要：Topic modeling has been commonly used to discover topics from

2016-11-05 20:15:11 4853

原创 LML(Lifelong Machine Learning)介绍

LML(Lifelong Machine Learning)介绍最近做评论分析碰到一些瓶颈，阅读了众多论文，还是觉得刘兵老师靠谱，实用派的翘楚。于是了解了他近年来发的论文，发现了一个很新颖的词”lifelong”，而且还在KDD 2016做tutorial，题为《Lifelong Machine Learning》。何为Lifelong Machine Learning传统的ML（他们叫做ML 1.

2016-11-04 23:15:20 4153

原创 Redis安装和远程访问

Redis安装和远程访问安装下载地址： redis下载地址下面是官方的编译安装方法：$ wget http://download.redis.io/releases/redis-3.2.5.tar.gz$ tar xzf redis-3.2.5.tar.gz$ cd redis-3.2.5$ make启动redis：$ src/redis-server利用客户端命令测试：$ src/redi

2016-11-03 10:58:58 620

原创使用JSONRPC 2.0规范解决多语言RPC交互的方案

使用JSONRPC 2.0规范解决多语言RPC交互的方案动机最近做的一个项目比较大，分了许多模块，但是由于不同的开源技术使用的语言不同，不同模块使用的语言可能不同，但基本上是使用Java和Python实现的。当各模块需要进行交互的时候，问题就出现了，模块不能像Jar包或者Python模块那样引入，Java有它的JVM，Python有它的解释器，单机调用只能是用native方案。但native明显与o

2016-11-01 10:45:48 3268

原创一个监控iPhone7p港行预约货存的脚本

一个监控iPhone7p港行预约货存的脚本github地址：Apple_Monitor主要技术Python urllib2、json库Server酱的微信提醒功能流程使用chrome浏览器的开发者工具监控iphone预约页面的http包从中找到包含iphone型号和HK专卖店的信息的http包使用python请求这些http包使用json分析response的内容根据iphone型号

2016-11-01 10:43:36 1339

原创刘兵《Entity and aspect extraction for opinion mining 》翻译笔记

刘兵《Entity and aspect extraction for opinion mining 》翻译笔记转载请声明出处。这是一本书的一个章节（49页），书名叫《Data mining and knowledge discovery for big data》2014年Springer出版。Introduce介绍了一些Opinion Mining的背景，这里不说。survey book

2016-11-01 10:41:29 3875 1

原创 python NLP工具 polyglot在centos 6 上安装

python NLP工具 polyglot在centos 6 上安装最近要做多语言的文本处理，就去调研一下有什么好用的现成工具，最后发现了polyglot。这工具虽说支持多语言，但是用过发现比不是很好用，可能做多难做精。还是写一下怎么安装吧。初入坑先说说最初遇到的坑：polyglot官网上的install是在ubuntu上进行的，也很简短，相信ubuntu的童鞋也会遇到不少问题。我一开始使用

2016-11-01 10:39:14 1555 1

原创使用Flask快速搭建前端

使用Flask快速搭建前端Flask介绍Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎则使用 Jinja2。 Flask也被成为『微框架』。因为它使用简单的核心，用 extension 增加其他功能。Flask没有默认使用的数据库、窗体验证工具。它的官方地址:http://flask.pocoo.org简单的Hello

2016-11-01 10:33:38 9187

原创在我的Macbook Pro上安装能使用GPU加速的Theano

在我的Macbook Pro上安装能使用GPU加速的Theano目的最近深度学习的应用非常火爆，有意向要在NLP上应用深度学习的我要对各种开源的深度学习库进行探索，目前比较流行的Python语言的深度学习库有Theano、Google开源的Tensorflow、keras等。由于我日常使用的机器都是Macbook Pro，没有N卡，只有一张Intel Iris(TM) Graphics 6100（本

2016-11-01 10:29:43 11254

TonLP的博客