kaka19880812的专栏

原创 聚合算法总结

聚合算法是将简单算法混合或组合起来的算法。它既具有限制欠拟合的能力，又具有限制过拟合的能力，合理使用将能获得很好的效果。本文是对聚合算法的总结。

原创 Interpretable Convolutional Neural Networks笔记

通过mask使得网络部分激活mask是一个连续的区域，可以使用以一点为中心的L1或L2区域最小化的目标是X（feature map）和T（template）的互信息，计算条件概率p(X|T)使用softmax转换的X和T的相似度（X和T的dot）forward过程选择template覆盖区域中x和最大的template，而且要求template的label和数据label一致

原创 An Empirical Exploration of Recurrent Network Architectures重点

RNN最优结构

原创 A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval笔记

用于搜索的CLSM模型

原创 Deep Visual-Semantic Alignments for Generating Image Descriptions摘要

Deep Visual-Semantic Alignments for Generating Image Descriptions（李飞飞等）摘要，生成图片描述的算法

原创 Learning Deep Structured Semantic Models for Web Search using Clickthrough Data笔记

用于搜索的DSSM模型

原创 Deep learning笔记（更新中）

Goodfellow和Bengio的Deep Learning一书的笔记

原创 caffe代码阅读（持续更新）

caffe代码分析

原创 条件随机场及其应用

条件随机场（CRF）的定义、推导和应用

原创 隐马尔可夫模型及应用

隐马尔可夫模型（HMM）的定义、推导和应用

原创 限制波尔兹曼机

1.玻尔兹曼分布玻尔兹曼分布常用在热学中，对于一个有大量粒子的系统，如果系统处于或接近处于平衡，粒子的能量、速度、速率等就服从玻尔兹曼分布。如果系统中有N个粒子，一共有j个能态，每个能态的简并度是gj，则体系的总状态数为：用极大似然估计，需要找到Nj的分布使得W最大，由于有总粒子数和总能量数为定值的限制，这是一个约束最优化问题。使用拉格朗日乘子法：使用斯特灵公式，然

翻译 卷积神经网络训练技巧

卷积神经网络训练技巧，包括：增加数据、预处理、初始化、激活函数、正则化、分析图表、组合方法

原创 prml知识点记录

pattern recognition and machine learning知识点记录备忘

原创 属性特征对机器学习模型的影响

属性特征（幅度差异很大、大部分是对分类无贡献的噪声、具有相关性的属性、组合属性才能很好的分类数据）对各种机器学习模型的影响

原创 k-Means

k-Means的原理和步骤

原创 神经网络&深度学习

神经网络及深度神经网络的模型和推导

原创 朴素贝叶斯代码实现

本文讨论了不同类型的朴素贝叶斯模型，并用代码实现了Multinomial Native Bayes

原创 决策树代码

决策树代码，没有考虑剪枝

原创 knn代码

knn算法python实现

原创 AdaBoost原理

AdaBoost算法的理论推导，AdaBoost的本质是指数损失函数的梯度下降

原创 验证

验证的原理，验证集大小的选择，leave-one-out交叉验证法，V-fold交叉验证法

原创 正则化

正则化的原理，各种类型的正则项，以及正则项参数的选择

原创 过拟合

过拟合的原因，影响因素及减小过拟合的方法

原创 机器学习理论依据

以Hoeffding不等式和VC dimension为基础的机器学习理论依据

原创 支持向量机

原创 L-BFGS算法（有限内存BFGS算法）

原创 梯度下降算法收敛性

原创 logistic算法解析

对于《机器学习实战》中逻辑斯谛回归算法，其中有一行不好理解：weights = weights + alpha * dataMatrix.transpose() * error原理推导如下：附：logistic算法def sigmoid(inX): return 1.0/(1+exp(-inX)) def gradAscent(dataMatIn, c

原创 逻辑斯谛回归与最大熵模型

原创 拉格朗日对偶性

原创 牛顿法和拟牛顿法

原创 梯度下降法

原创 感知机

原创 机器学习基础知识

第一章 统计学习方法概率1.1 统计学习1. 统计学习的特点2. 统计学习的对象对象是数据，关于数据的基本假设是同类数据具有一定的统计规律性3. 统计学习的目的对数据进行预测与分析，通过构建概率统计模型实现4. 统计学习的方法监督学习非监督学习 半监督学习 强化学习模型、策略、算法步骤：（1）得到有限训练数据集合（2）确定包含所有可能的模型的假设空间

原创 数据分片与路由

概念与目的数据分片（Shard/Partition）的目的是方便横向扩展。数据分片后，需要靠路由（Routing）来找到记录的位置。模型数据分片是一个二级映射关系。第一级是key -> partition，从数据记录映射到数据分片，这是一个多对一关系。第二级是partition -> machine，从数据分片映射到物理机器，这也是一个多对一的关系。常见的映射关系有hash

转载 OSI七层模型

1.物理层：主要定义物理设备标准，如网线的接口类型、光纤的接口类型、各种传输介质的传输速率等。它的主要作用是传输比特流(就是由1、0转化为电流强弱来进行传输，到达目的地后在转化为1、0，也就是我们常说的数模转换与模数转换)。这一层的数据叫做比特。2.数据链路层：定义了如何让格式化数据以进行传输，以及如何让控制对物理介质的访问。这一层通常还提供错误检测和纠正，以确保数据的可靠传输。3.网络层