- 博客(20)
- 收藏
- 关注
RSS订阅原创 2014
2014 总结印象中一年的结尾以春节为标志，2014的春节却特别晚，如果算上放年假，过完春节已经是三月了，一个季度已经过去了，如果等到那个时候再写写2014的总结未免也太迟了虽然一直都是拖延症.突然发现已经半年没有更新过了，无比汗颜......好像才刚刚习惯写日期的时候用2014，可是日历已经翻到2015了，每年都会感觉时间过的如此的快，时间就在这种不断的习惯中流走吧。
2015-01-10 15:59:39
848
原创 多元正态分布的条件概率分布(一)
多元正态分布的条件概率分布假设分别有两个多维向量和其中那么的协方差矩阵为：那么的协方差矩阵为：那么的协方差矩阵为：那么的协方差矩阵为：那么向量的协方差矩阵为其中其中
2014-06-04 12:25:20
28346
1
原创 多元正态分布
多元正态分布先定义一个d元随机向量，这里用列向量来表示，每一个元素都是一个一元随机变量，如 ,其转置为 其中表示这个多元随机变量的第i个分量，它是一个一维的随机变量。高斯分布主要是用均值和方差来作为参数的分布，我们来看看随机向量的均值和方差关于方差，在多元分布里面，就是协方差矩阵其中
2014-06-03 09:32:15
22679
6
原创 高斯分布抽样
高斯分布抽样 标准正态分布 给定均值，方差的正态分布 如何从标准正态分布生成给定均值方差的抽样 上面是对应的一维的情况，在多维的情况下有下面的结论
2014-06-03 09:15:59
13443
原创 EM算法之高斯混合模型详细推导过程
高斯混合模型如果有c个高斯分布，并且这k个个高斯分布的选择都符合多项式分布，那么有下面的公式那么样本x 是一个服从多元高斯分布的随机试验中产生的抽样那么可以写出关于样本值（第i个样本）的概率密度函数,假设一共c个类别那么我们可以定义m个观测样本的对数似然函数对数复合函数求导公式代入上面的值进一步可以写成下面的式子由于对第k个正态分布的均值求偏导，因此除第k个正态分布外，其他分部不包含第k个正态分布...
2014-05-27 13:19:10
14593
3
原创 L1正则化如何导致参数的稀疏性
L1正则化如何导致参数的稀疏性一直以来对LR正则化添加的L1，L2 惩罚项没有搞清楚是什么意义pluskid的博客http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#67364f6b44ff80f9f952d5a46f2307425d2ee9ac
2014-01-01 10:27:56
8446
原创 次梯度与次微分
次梯度与次微分问了看懂为什么在logistic regression 里面加上正则化可以约束待估计的参数的稀疏性，需要对凸优化方法里面的部分知识，现在记录一下这方面的内容既然是凸优化，首先就要有一个凸函数，看下面的定义设是一个凸函数，并且 是一个凸集。如果f是可微的，那么可以得到下面的表达式：其中， ,表示在的微分，可以看出，不等式右边其实就是普通的一阶微分的近似表示，那么
2013-12-31 18:01:40
11293
3
原创 最大熵方法推导波尔兹曼分布
最大熵方法推导波尔兹曼分布信息熵，不确定度的描述，熵增加，不确定度增加，熵减小，不确定度减小。离散型随机变量的信息熵考虑一个一维的离散的随机变量X（此处不考虑扩展到多维的情况），可以取离散的值,对应的概率分别为则离散型随机变量的信息熵为：连续型随机变量的信息熵考虑一个一维的连续型的随机变量X，若它的概率密度分布函数为f(x),那X在(a,b)之间的信息熵为：
2013-12-29 12:02:24
3242
原创 最大熵方法求概率密度函数
最大熵方法与概率密度估计http://www.docin.com/p-297885265.html离散型随机变量的信息熵考虑一个一维的离散的随机变量X（此处不考虑扩展到多维的情况），可以取离散的值,对应的概率分别为则离散型随机变量的信息熵为：连续型随机变量的信息熵考虑一个一维的连续型的随机变量X，若它的概率密度分布函数为f(x),那X在(a,b)之间的信息熵为：
2013-12-25 16:44:57
9419
5
原创 GMM 与 KDE 区别与联系
GMM 与 KDE 区别与联系对拿到一堆数据，可以通过KDE 方法来估计概率密度，Parzen 窗方法 通过不同的窗口作为基地，用函数逼近的思路来逼近真实的分布函数混合高斯模型，同样也用了多个高斯分布做了线性组合这两者之间是一样的么？
2013-12-19 13:59:16
3672
转载 从二项式分布到多项式分布-从Beta分布到Dirichlet分布
转自： http://hi.baidu.com/leifenglian/item/636198016851cee7f55ba652从二项式分布到多项式分布-从Beta分布到Dirichlet分布一、前言参数估计是一个重要的话题。对于典型的离散型随机变量分布：二项式分布，多项式分布；典型的连续型随机变量分布：正态分布。他们都可以看着是参数分布，因为他们的函数形式都被一
2013-11-29 12:48:01
4885
1
翻译 核概率密度估计介绍
原文地址：http://www.mvstat.net/tduong/research/seminars/seminar-2001-05/核概率密度估计本文分为三个部分：第一部分是直方图，讨论了如何创建它以及它的属性是什么样的。第二部分是核密度估计，介绍了它对比直方图有哪些改进和更一般性的特点。最后一部分是，为了从数据中抽取所有重要的特征，怎么样选择最合适，漂亮的核函数。直方图
2013-11-28 11:40:46
4446
原创 概率密度估计--参数估计与非参数估计
上一篇从零基础理解贝叶斯开始，已经提到了似然性，贝叶斯公式的变形，这一篇进一步讲这些概率的模型之间的关系极大释然法最大似然方法，这个方法是要对已有观测样本的情况下，假定每一个观察样本之间是独立的，并且我们有了一个样本所属的概率模型。这里有三个重要的地方需要注意1. 观测样本的存在2. 每个样本之间是独立的3. 所有样本符合一个概率模型第一点这个很好理解，只要
2013-11-27 13:30:03
4463
原创 无基础理解贝叶斯
引用出处http://changxiaofu123.blog.163.com/blog/static/1296388202010066917794/问题的提出 1. 逆概问题 “假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。 而一个自然而然的问题是反过来：“如果我 们事先并不知道袋子里面黑白球的比例，而是闭着眼睛
2013-11-20 14:09:36
1937
转载 理解矩阵（二）
转自http://blog.csdn.net/myan/article/details/649018接着理解矩阵。上一篇里说“矩阵是运动的描述”，到现在为止，好像大家都还没什么意见。但是我相信早晚会有数学系出身的网友来拍板转。因为运动这个概念，在数学和物理里是跟微积分联系在一起的。我们学习微积分的时候，总会有人照本宣科地告诉你，初等数学是研究常量的数学，是研究静态的数学，高等数学是变量
2013-11-18 17:05:25
708
转载 理解矩阵（一）
转自http://blog.csdn.net/myan/article/details/647511前不久chensh出于不可告人的目的，要充当老师，教别人线性代数。于是我被揪住就线性代数中一些务虚性的问题与他讨论了几次。很明显，chensh觉得，要让自己在讲线性代数的时候不被那位强势的学生认为是神经病，还是比较难的事情。可怜的chensh，谁让你趟这个地雷阵？！色令智昏啊！线
2013-11-18 17:01:49
1136
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人