luchi007的专栏

原创 模型纠偏之保序回归

模型纠偏背景广告系统和推荐系统有个显著的不同，广告模型要求预估值绝对的准确，而推荐模型大部分只要求序一致就行，主要是因为广告的模型设计到计费逻辑，所以需要保证预估绝对值的准确性，模型层面上，可以尽量保证特征、数据样本要做到准确，尽管如此，仍然模型可能存在预估的偏差，那么在模型层面之外，就需要一个更加强有力的纠偏策略，这也是本文介绍的点reference本文主要参考[1]Predicting Good Probabilities With Supervised Learning[2]ACTIVE S

原创 AutoML之NAS

前言autoML最近非常火热，在调参、特征选择等方面都有了不少的进展，与其同时，在深度网络日益复杂化的今天，如何为任务设计合适的网络结构成了每位炼丹工程师的日常，而在缺乏先验知识的情况下，调整网络结构往往需要较长的时间和精力，如何自适应的调整网络结构就成了一个值得研究的问题。今天主要介绍的是autoML下面的一种自适应调整网络结构的方法： NEURAL ARCHITECTURE SEARCH (下面简称NAS)，NAS主要作用是自适应构建网络结构，减轻人为调整的繁复劳动，还是值得一看的。NAS 开篇【

原创 RTB竞价流控-budget pacing

前言前一篇写了关系rtb bidding stragegy的相关内容，这一篇主要介绍的是RTB竞价中的流控策略：budget pacing，主要内容是让广告主预算平稳花完，防止出现预算突然花完这种情况。[注：本笔记主要围绕着Display Advertising with Real-Time Bidding (RTB) and Behavioural Targeting 这篇文章学习]budg...

原创 RTB竞价策略学习

背景近一年的工作基本是围绕着广告ctr/cvr模型优化展开的，但是对竞价广告整体框架还是缺乏了解，最近准备学习一下RTB相关的内容，笔记主要围绕着Display Advertising with Real-Time Bidding (RTB) and Behavioural Targeting 这篇文章学习Bid Landscape Forecasting在RTB中，作为广告主(或者DSP方...

原创 Online learning系列：从RDA、FOBOS到FTRL

前言在一般的机器学习任务中，往往是通过batch的训练方法进行离线训练，然后线上进行预测，通常离线模型更新的时间在1天以上，这就使得模型不能及时学到实时的特征；另一方面，如果要进行实时训练的话，需要特征尽量稀疏，因为大规模的机器学习往往伴随着大量的参数，如果做不到特征计量稀疏的话，实时预估时延就会很大，这个时候就要用到online learning的一些方法，其目的是在提高训练参数稀疏性的同时，...

原创 Reinforcement Learning强化学习系列之五：值近似方法Value Approximation

引言前面说到了强化学习中的蒙特卡洛方法(MC)以及时序差分(TD)的方法，这些方法针对的基本是离散的数据，而一些连续的状态则很难表示，对于这种情况，通常在强化学习里有2中方法，一种是针对value function的方法，也就是本文中提到的值近似(value approximation)；另一种则是后面要讲到的policy gradient。值近似的方法 值近似的方法根本上是使用...

原创 Reinforcement Learning强化学习系列之四：时序差分TD

引言前面一篇讲的是蒙特卡洛的强化学习方法，蒙特卡罗强化学习算法通过考虑采样轨迹，克服了模型未知给策略估计造成的困难，不过蒙特卡罗方法有一个缺点，就是每次需要采样完一个轨迹之后才能更新策略。蒙特卡洛方法没有充分利用学习任务的MDP结构，而时序差分学习方法Temporal Difference（TD）就充分利用了MDP结构，效率比MC要高，这篇文章介绍一下TD算法Sarsa算法Sars...

原创 Reinforcement Learning强化学习系列之三：MC Control

引言前面一篇文章中说到了MC prediction，主要介绍的是如何利用采样轨迹的方法计算Value函数，但是在强化学习中，我们主要想学习的是Q函数，也就是计算出每个state对应的action以及其reward值，在这篇文章中，将会介绍。MC control with epsilon-greedy这一部分将会介绍基于 ϵ−greedyϵ−greedy\epsilon-greedy...

原创 Reinforcement Learning强化学习系列之二：MC prediction

引言这几个月一直在忙找工作和毕业论文的事情，博客搁置了一段时间，现在稍微有点空闲时间，又啃起了强化学习的东西，今天主要介绍的是强化学习的免模型学习free-model learning中的最基础的部分蒙特卡洛方法（Monte Carlo），并以21点游戏作为说明。 本文主要参考的文献是[1]参考的主要代码是这位斯坦福大神的课程代码，本系列的文章均不作为商用，如有侵权请联系我的邮箱Mo...

原创 Reinforcement Learning强化学习系列之一：model-based learning

前言在机器学习和深度学习坑里呆了有一些时日了，在阿里实习过程中，也感觉到了工业界和学术界的一些迥异，比如强化学习在工业界用的非常广泛，而自己之前没有怎么接触过强化学习的一些知识，所以感觉还是要好好的补一补更新一下自己的知识库，以免被AI时代抛弃。强化学习初识强化学习要素强化学习可以用下面这张图表示： 从上图可以看出，强化学习的要素是： 1. Agent（图中指大脑） 2. Environm

原创 pytorch入门

pytorch的入手博文，介绍了pytorch的一些语法规范，和搭建一些常用的神经网络内容，以及和tensorflow的一些比较

原创 tensorflow高阶教程:tf.dynamic_rnn

引言TensorFlow很容易上手，但是TensorFlow的很多trick却是提升TensorFlow心法的法门，之前说过TensorFlow的read心法，现在想说一说TensorFlow在RNN上的心法，简直好用到哭 【以下实验均是基于TensorFlow1.0】简要介绍tensorflow的RNN其实在前面多篇都已经提到了TensorFlow的RNN，也在我之前的文章TensorFlow实现

原创 Tensorflow高阶读写教程

前言tensorflow提供了多种读写方式，我们最常见的就是使用tf.placeholder()这种方法，使用这个方法需要我们提前处理好数据格式，不过这种处理方法也有缺陷：不便于存储和不利于分布式处理，因此，TensorFlow提供了一个标准的读写格式和存储协议，不仅如此，TensorFlow也提供了基于多线程队列的读取方式，高效而简洁，读取速度也更快，据一个博主说速度能提高10倍，相当的诱人ten

原创 Tensorflow的采样方法：candidate sampling

TensorFlow candidate sampling

原创 受限制玻尔兹曼机(RBM)用于电影推荐小例

引言前一篇简要的介绍了受限制玻尔兹曼机原理的文章，RBM的应用有很多，本文打算根据这篇博文的例子做一个使用RBM进行电影推荐的系统.数据来源数据来源：[Movielens movie dataset]，(http://grouplens.org/datasets/movielens/1m/) 鸣谢：F. Maxwell Harper and Joseph A. Konstan. 2015.The

原创 受限制玻尔兹曼机RBM原理简介

引言受限玻尔兹曼机RBM在深度学习领域一直有重要的应用，之前一直没有接触过RBM，觉得太复杂，公式太多，这几天在Google上找到些好的turtorial，可以在这里做一个总结。玻尔兹曼机BMBM背景Boltzmann machines（BM）是Markov Random Fields with pairwise interaction potentials. 这里的pot

原创 理解和解决Python2中的编码问题

前言经常处理一些文本，处理英文语料没什么问题，但是到了中文这儿就让人抓狂了，稍微不注意就会窜出各种乱码错误，平时出现几个小错误试试调调也能过去，但是对于编码这个问题还是畏惧，这几天好好整理了一下python的编码问题，感谢万能的Google和万能的StackOverflow，算是解决了我当前对编码问题的一些困惑编码的前世今生从unicode说去在计算机中，所有的东西都是以字节形式储存的，但是字节对于

原创 简单的PRML阅读笔记

PRML简单的阅读笔记，些微Mark一下

原创 tensorflow实现基于LSTM的文本分类方法

使用tensor flow实验基于LSTM 的文本分类方法

原创 tensorflow中cifar-10文档的Read操作

前言在tensorflow的官方文档中得卷积神经网络一章，有一个使用cifar-10图片数据集的实验，搭建卷积神经网络倒不难，但是那个cifar10_input文件着实让我费了一番心思。配合着官方文档也算看的七七八八，但是中间还是有一些不太明白，不明白的mark一下，这次记下一些已经明白的。研究cifar10_input.py文件的read操作，主要的就是下面的代码：if no

原创 Hadoop笔记之三:WordCount实验续

## 引言 ## 在上一篇的文章中，基本了解了Hadoop的Map-Reduce大致框架，根据官方教程，对WordCount实验有了新的补充，补充基本是在Map-Reduce中加入作业Job的一些控制信息，这就来看下。 ## 实验 ## 先上文档的代码package com.luchi.wordcount;import java.io.BufferedReader;import jav

原创 Hadoop笔记之二：运行WordCount实验

实验环境Hadoop版本：Hadoop2.7.3 linux版本：Ubuntu JDK版本：JDK1.7实验步骤设置HADOOP的PATH和HADOOP CLASSPATH(这里假设java的相关路径已经配置好)export HADOOP_HOME=/home/luchi/Hadoop/hadoop-2.7.3export PATH=${HADOOP_HOME}/bin:$PATHexp

原创 Hadoop笔记之一：安装单节点集群

Hadoop入坑搞数据挖掘的还不会Hadoop/spark，感觉各种丢人，看了一眼天池的比赛，都不知道从哪儿下手，决定痛下决心搞一搞Hadoop，也算是渣硕的救赎吧。之前还在犹豫是从Hadoop开始还是从spark开始，虽然spark最近很流行，据说还有替代Hadoop的趋势，不过毕竟spark是在Hadoop之后的，吸取了Hadoop的一些优点，也提出了新的优点比如（RDD之类的），不过本渣硕还是

原创 关于最大似然与交叉熵损失函数和最小二乘法的思考

最大似然估计与logistic交叉熵损失函数以及线性回归过程中的最小二乘法的关系理解

原创 python迭代器itertools

引言itertools是python中的迭代器，有非常强大的功能，掌握这个能够减少很多的编码量，需要写个博文mark一下Lets beginchaindef chain(*iterables): # chain('ABC', 'DEF') --> A B C D E F for it in iterables: for element in it:

将博客搬至CSDN

新博客地址http://blog.csdn.net/u010223750欢迎关注

将博客搬至CSDN

原创 深度学习之六，基于RNN(GRU,LSTM)的语言模型分析与theano代码实现

引言前面已经介绍过RNN的基本结构，最基本的RNN在传统的BP神经网络上，增加了时序信息，也使得神经网络不再局限于固定维度的输入和输出这个束缚，但是从RNN的BPTT推导过程中，可以看到，传统RNN在求解梯度的过程中对long-term会产生梯度消失或者梯度爆炸的现象，这个在这篇文章中已经介绍了原因，对于此，在1997年 的Grave大作[1]中提出了新的新的RNN结构：Long Short Te

原创 深度学习在文本分类中的应用

引言文本分类这个在NLP领域是一个很普通而应用很广的课题，而且已经有了相当多的研究成果，比如应用很广泛的基于规则特征的SVM分类器，以及加上朴素贝叶斯方法的SVM分类器，当然还有最大熵分类器、基于条件随机场来构建依赖树的分类方法、当然还有普通的BP神经网络分类方法。在传统的文本分类词袋模型中，在将文本转换成文本向量的过程中，往往会造成文本向量维度过大的问题，当然也有其他的压缩了维度的一些分类方法。然

原创 基于gibbsLDA的文本分类

之前几篇文章讲到了文档主题模型，但是毕竟我的首要任务还是做分类任务，而涉及主题模型的原因主要是用于text representation，因为考虑到Topic Model能够明显将文档向量降低维度，当然TopicModel可以做比这更多的事情，但是对于分类任务，我觉得这一点就差不多了。 LDA之前已经说到过，是一个比较完善的文档主题模型，这次试用的是JGibbsLDA开源的LDA代

原创 本文建模系列值三：LDA感悟

LDA：Latent Dirichlet Allocation 是一个很著名的文本模型，最初是在2003年被一群大牛提出的，包括David M.Blei 、Andrew Y.Ng等。和之前的pLSA文本模型相比，LDA算是贝叶斯观点的pLSA,所谓贝叶斯观点，就是什么都是不确定的，不像pLSA中的p(z|d)，虽然是个隐变量，但是还是确定的值，然而对于贝叶斯学派观点，其概率是不确定的，该概率符合某

原创 文本建模系列之二：pLSA

“庙小妖风大，水浅王八多”。还是这句话，这是业余研究生的文本建模系列之二：关于pLSA。前述就到此。 pLSA:Probabilistic Latent Senmantic Indexing.是Hoffman在1999年提出的基于概率的隐语义分析【1】。之所以说是probabilistic，是因为这个模型中还加入了一个隐变量：主题Z ，也正因为此，它被称之为主题模型。 

原创 文本建模系列之一：LSA

俗话说“庙小妖风大，水浅王八多”，作为一名自然语言处理的水货研究生，通常只是对论文有着一知半解的了解，然而因为毕竟人老了年纪大容易忘事，有时候还是想把这一知半解的想法用文字写出来，以便之后回顾，看官勿喷，水货要开始动笔了。 文本建模是自然语言处理领域中很基础的内容，而且也已经被研究了千万遍，这个系列我主要的思路是从LSA->pLSA->unigram model ->LDA，其中p

原创 神经网络更新参数的几种方法

梯度下降中，计算完各个参数的导数之后就需要更新参数值了，最常用的更新参数方法就是： 【SGD】：x += - learning_rate * dx   但是这种方法收敛速度非常慢，其实除了这个更新参数的方法，还有很多的方法可以进行参数更新。  【Momentum update】： 这个方法对于深度学习的网络参数

转载 Understanding LSTM Networks

Recurrent Neural NetworksHumans don’t start their thinking from scratch every second. As you read this essay, you understand each word based on your understanding of previous words. You don’t thro

原创 深度学习之五：使用GPU加速神经网络的训练

使用神经网络训练，一个最大的问题就是训练速度的问题，特别是对于深度学习而言，过多的参数会消耗很多的时间，在神经网络训练过程中，运算最多的是关于矩阵的运算，这个时候就正好用到了GPU，GPU本来是用来处理图形的，但是因为其处理矩阵计算的高效性就运用到了深度学习之中。Theano支持GPU编程，但是只是对英伟达的显卡支持，而且对于Python编程而言，修改一些代码就可以使用GPU来实现加速了。

原创 深度学习之四：使用Theano编写神经网络

上一篇说到windows下面的Theano安装，在前面的文章中也介绍了几种常见的神经网络形式，今天就使用Theano来编写一个简单的神经网络 我把Theano形容成一个模子，这个模子提供了一些计算方法，然后我们只需要定义模子的形状和填充数据就可以了，且慢慢看： 首先我们定义初始数据集：np.random.seed(0)train_X, train_y =

原创 深度学习之三：RNN

RNN，也就是Recurrent Neural Network，循环神经网络，是非线性动态系统，将序列映射到序列，主要参数有五个：[Whv, Whh, Woh, bh, bo, h0] ，典型的结构图如下：解释一下上图：和普通神经网络一样，RNN有输入层输出层和隐含层，不一样的是RNN在不同的时间t会有不同的状态，其中t-1时刻隐含层的输出会作用到t时刻的隐含层[Whv,

原创 coreNLP的使用

最近考虑做些英文词语词干化的工作，听说coreNLP这个工具不错，就拿来用了。coreNLP是斯坦福大学开发的一套关于自然语言处理的工具(toolbox)，使用简单功能强大，有;命名实体识别、词性标注、词语词干化、语句语法树的构造还有指代关系等功能，使用起来比较方便。coreNLP是使用Java编写的，运行环境需要在JDK1.8，1.7貌似都不支持。这是需要注意的 

原创 深度学习之二：CNN推导

前面看过了CNN的基本结构，经典的模式如下图： 上图经典的CNN模型主要可以概括为三个部分：convolution层：convolution是将原来的输入向量映射成多个feature map，每个feature map的权重和偏移量都是一样的sub-sampling层：sub-sampling 层将feature map进一步缩小，可以选择down-