helh522-CSDN博客

转载决策树

决策树（Decision Tree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。如何预测先看看下面的数据表格：ID拥有房产（是/否）

2015-03-26 18:45:44 4545

转载机器学习：线性回归最小二乘法方差

线性回归定义：在上一个主题中，也是一个与回归相关的，不过上一节更侧重于梯度这个概念，这一节更侧重于回归本身与偏差和方差的概念。回归最简单的定义是，给出一个点集D，用一个函数去拟合这个点集，并且使得点集与拟合函数间的误差最小。上图所示，给出一个点集(x,y), 需要用一个函数去拟合这个点集，蓝色的点是点集中的点，而红色的曲线是函数的曲线，第一

2015-03-23 14:58:04 6525

转载最大似然估计

说的通俗一点啊，最大似然估计，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法：我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为：P(黑=8)=p^8*（1-p）^2,现在我

2015-03-16 13:51:37 886

转载李航统计学习方法笔记1 统计学习方法概论

模型：由输入到输出的映射假设空间：由输入空间到输出空间的映射多集合模型：由条件概率分布P（Y｜X）或决策函数Y＝f(x)表示损失函数：度量模型一次预测的好坏，用一个损失函数来度量预测错误的程度风险函数：度量平局意义下模型预测的好坏经验风险：模型f(x关于训练数据集的平均损失当模型上条件概率分布，损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计。

2015-03-16 10:09:14 1266

转载 kd树

K近邻算法 KD树 http://blog.csdn.net/v_JULY_v/article/details/8203674第一部分、K近邻算法1.1、什么是K近邻算法在使用k近邻法进行分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决的方式进行预测。由于k近邻模型的特征空间一般是n维实数向量，所以距离的计算通常采用的是欧式距离。关键的是k值的选取，

2014-12-22 22:51:44 2327 1

转载机器学习：回归梯度下降法

梯度上面两个图中，标量场是黑白的，黑色表示大的数值，而其相应的梯度用蓝色箭头表示.在向量微积分中，标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向，梯度的长度是这个最大的变化率。在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。梯度一词有时用于斜度，也就是一个曲面沿着给定方向的倾斜程度

2014-12-21 15:14:20 859

转载数学基础知识

导数第一定义设函数在点的某个邻域内有定义，当自变量在处有增量 ( 也在该邻域内)时，相应地函数取得增量；如果与之比当时极限存在，则称函数在点处可导，并称这个极限值为函数在点处的导数

2014-12-21 14:40:58 699

转载点到平面的距离公式

点到平面的距离公式转自http://www.cnblogs.com/graphics/archive/2010/07/10/1774809.html准备知识平面的一般式方程Ax +By +Cz + D = 0其中n = (A, B, C)是平面的法向量，D是将平面平移到坐标原点所需距离（所以D=0时，平面过原点）向量的模（长度）给定一

2014-12-21 13:54:58 1279

helh522的专栏