kxy司马羽鹤-CSDN博客

原创《统计学习方法》笔记（十四）--HMM（1）

定性：是一种生成模型，用于对隐变量进行标注等问题。隐马尔可夫模型：由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。模型由初始状态，状态转移矩阵，观测概率矩阵（又叫混淆矩阵）三部分组成。基于两个假设：齐次马尔科夫性（任意时刻状态只与前一个时刻状态有关），观测独立性假设（任意时刻的观测只与当前时刻状态有关）HMM的三个基本问题：概

2015-07-16 08:40:28 609

原创《统计学习方法》笔记（十三）--EM

EM本身是一种迭代算法，目的是实现含有隐变量的模型参数的极大似然估计，以及后验分布的众数。EM也可以用来补全缺失的数据集。（在此不做重点考虑）算法描述：输入：观测变量数据Y，隐含变量Z，联合分布P(Y,Z|theta)，条件分布P(Z|Y,theta)输出：模型参数theta1.选择参数的初值theta0，开始迭代2.E步：构造Q函数，是当前参数下的一个期望3.M步：将

2015-07-15 08:36:51 334

原创《统计学习方法》笔记（十二）--Adaboost

通过改变样本的权重来学习多个分类器并将这些分类器进行线性组合，提高分类性能。理论依据：在PAC（probably approximately correct）的框架下强可学习与弱可学习的等价性书中例8.1的MATLAB实现%adaboost 例8.1%一个一维分类器%弱分类器用的是简单的阈值处理close all;clear all;clc;%%x=0:1:9;y=[1

2015-07-10 10:33:01 527

原创《统计学习方法》笔记（十一）--SMO

SMO(Sequential Minimal Optimization)序列最小最优化是一种高效的实现SVM的方法，是一种启发式算法目标仍然是解决凸二次规划的对偶问题。通过解决多变量问题的子问题，即两个变量的二次规划，来解决对偶问题。这样做的好处是每一个子问题可以得到解析解而不是迭代的数值解，这样就可以提高计算速度。SMO包含两个部分：求解两个变量二次规划的解析方法以及选择变量

2015-07-09 14:50:14 367

原创《统计学习方法》笔记（十）--SVM(2)

线性支持向量机和软间隔最大化解决有一些特异点造成的数据集线性不可分的问题将约束条件变为yi*(w*x+b)>=1-z，把z叫做松弛变量是非负的实数；目标函数也由原先的0.5||w||^2，变为0.5||w||^2+c*sum(zi），c是对误分类的惩罚。解决这个凸二次规划问题的算法仍然是通过对偶问题的求解来得到原始问题的解合页损失函数：[1-y*(w*x+b)]通过合

2015-07-07 08:55:03 267

原创《统计学习方法》笔记（九）--SVM(1)

定性：二类分类模型，是判别式模型核心思想：间隔最大化主要途径：求解凸二次规划包括三部分：线性可分支持向量机，线性支持向量机，非线性支持向量机。1.线性可分支持向量机与硬间隔最大化注意：svm是在特征空间中进行学习的svm与感知机的区别：感知机利用误差分类最小的策略，求得分离超平面，解有无穷多个。svm利用间隔最大化求最优分离超平面，解是唯一的。函数间隔，几何间隔

2015-07-03 09:13:29 466

原创《统计学习方法》笔记（八）--最大熵模型

定性：针对分类问题的一种判别式模型最大熵原理：本来它是一个概率模型学习的准则，具体如下:学习概率模型时，在所有可能的概率分布中，熵最大的模型是最好的模型。熵最大原理认为，在选择模型的时候，我们首先要考虑实际问题的约束条件，在充分考虑约束之后如果模型还有多种可能，我们要选择其中熵较大的那个（通常会用到均匀分布，即使得各种取值等可能性，这种情况被证明熵最大）。最大熵模型：所有满足时约束条件

2015-07-02 08:59:00 460

原创《统计学习方法》笔记（七）--logistic 回归

定性：判别模型，用于分类（注意：它虽然叫“回归”，却是一种分类的方法）logistic distribution：以u为位置参数，以y为形状参数。（分布函数以及密度函数的图像与正态分布很像，但不是）模型：P(Y=1|x)=exp(w*x+b)/(1+exp(w*x+b)); P(Y=0|x)=1/(1+exp(w*x+b)).模型中的参数估计：（极大似然

2015-07-01 09:14:56 339

原创《统计学习方法》笔记（六）--决策树

可以用于分类和回归，书中只介绍分类树用于分类定性：是一种判别式模型思路：利用训练数据，根据损失函数最小化的原则建立决策树模型，对于新的数据利用建立的决策树进行分类决策树学习的主要步骤：特征选择，决策树的生成和决策树的修剪。主要算法：ID3，C4.5，CART1.关于决策树模型定义：一种描述对实例进行分类的树形结构。组成：结点（内部结点，叶节点）、有向边。其中内部结点表示

2015-06-30 08:43:17 760

原创《统计学习方法》笔记（五）--朴素贝叶斯

定性:生成式模型，用于分类基于贝叶斯定理和特征条件独立的假设。目标：是得到特征X=x的条件下Y等于各个yk的概率大小。思路：由训练集得到先验概率，条件概率；将测试点代入通过贝叶斯公式计算后验概率（计算中用到了条件独立的假设）；极大化这个概率得到合理的预测。模型：极大化后验概率策略：用到的是极大似然估计，也就是期望风险最小化中的L取0-1损失函数算法：实现：MATLAB中

2015-06-29 08:21:46 361

原创《统计学习方法》笔记（四）--k近邻法

K-nearest neighbor 可以用来解决分类问题与回归问题是一种判别式模型三要素：k值的选择、距离度量及分类决策规则。基本思路：给定一个训练集合，当测试数据到来时，根据某种距离度量找到与其最邻近的k个实例，这k个实例中的大多数属于哪个类别，那么测试数据就被归类于哪个类别。1.模型：关于特征空间的一个划分。距离度量：欧式距离，LP距离，马氏距离。。。k值选择：k

2015-06-28 21:08:51 339

原创统计学习方法（三）--感知机

定性：是一种二类分类的线性模型，属于判别模型（即从数据中直接学习得到的模型）旨在求出将训练数据进行线性划分的分离超平面。求得感知机模型的方法思路：利用梯度下降法对基于误分类点的损失函数进行极小化。下面分别从模型，策略，算法三个方面展开描述1.模型定义：f(x)=sign(w*x+b) 其中x是特征向量，w是权值向量，b叫偏置是一个数几何解释：w*x+b=0对应于特征空间中的超平面S，w是超平面

2015-06-27 09:36:48 378

原创《统计学习方法》笔记（二）

统计学习方法三要素：1.模型分为概率模型（条件概率分布）和非概率模型（决策函数）2.策略损失函数和风险函数风险函数又分为经验风险和结构风险3.算法根本是在解决最优化问题

2015-06-26 08:50:09 214

原创《统计学习方法》笔记（一）

一、概论“学习”，如果一个系统能够通过执行某个过程而改进它的性能，这就是学习。——Herbert A.Simon基本假设：同类数据具有一定的统计规律。（这个假设是否有不成立的时候）目的：考虑学习什么样的模型，如何学习模型，以使得模型能对数据准确的预测和分析。方法：监督学习；非监督学习；半监督学习；强化学习。要素：模型；策略；算法。应用：分类；标注；回归。本书主要讨论监督

2015-06-25 08:30:36 257

原创无中生有

希望在这里留下我的足迹，每天都能记下学到的东西。轻轻的问问自己，今天你是否学到了什么？如果没有，那么抓紧时间吧，不然明天清晨又没什么可写的了；如果有，那么理清思路并牢记它，至少保证在明天清晨之前不会忘记它！

2015-06-24 13:48:32 257

司马羽鹤