- 博客(71)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 最大似然估计和最大后验概率估计的理解与求解
1. 最大似然估计的理解最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。下文将详细说明MLE和MAP的思路与区别。但别急，我们先从概率和统计的区别讲起。概率和统计是一个东西...
2020-05-12 16:55:15
4832
原创 信息熵，交叉熵，相对熵，KL散度
熵，信息熵在机器学习和深度学习中是十分重要的。那么，信息熵到底是什么呢？ 首先，信息熵是描述的一个事情的不确定性。比如：我说，太阳从东方升起。那么这个事件发生的概率几乎为1，那么这个事情的反应的信息量就会很小。如果我说，太阳从西方升起。那么这就反应的信息量就很大了，这有可能是因为地球的自转变成了自东向西，或者地球脱离轨道去到了别的地方，那么这就可能导致白天变成黑夜，热带雨林将...
2020-05-07 11:40:22
518
原创 few-shot learning 1.1——零样本学习
few-shot learning 1.1——初识零样本学习1. 什么是few-shot learning 小样本学习问题是指只给定目标少量训练样本的条件下，如何训练一个可以有效地识别这些目标的机器学习模型。按照训练样本的多少可以将小样本学习分为三类：1）只有一个训练样本，这种学习方法我们称为单样本学习(one-shot ...
2020-02-27 18:05:06
565
转载 HASH
这个HASH算法不是大学里数据结构课里那个HASH表的算法。这里的HASH算法是密码学的基础，比较常用的有MD5和SHA，最重要的两条性质，就是不可逆和无冲突。所谓不可逆，就是当你知道x的HASH值，无法求出x；所谓无冲突，就是当你知道x，无法求出一个y， 使x与y的HASH值相同。这两条性质在数学上都是不成立的。因为一个函数必然可逆，且由于HASH函数的值域有限，理论上会有无穷多个不
2017-10-11 23:33:16
347
转载 卷积神经网络（CNN）
CNN的引入在人工的全连接神经网络中，每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时，这时全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢，例如一张黑白的 28×28 的手写数字图片，输入层的神经元就有784个，如下图所示： 若在中间只使用一层隐藏层（15个神经元），参数 w 就有 784×15=117
2017-06-08 17:05:26
1541
转载 深度学习简述
Deep Learning（深度学习）简述 目录：一、概述二、背景三、人脑视觉机理四、关于特征 4.1、特征表示的粒度 4.2、初级（浅层）特征表示 4.3、结构性特征表示 4.4、需要有多少个特征？五、Deep Learning的基本思想六、浅层学习（Shallow Lea
2017-05-24 09:39:36
2922
转载 自动编码器
自动编码器Deep Learning最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现，自动编码器就
2017-05-24 09:32:53
19096
2
转载 Logistic函数与Logistic回归
Logistic函数与Logistic回归Logistic函数的表示形式如下：它的函数图像如下，由于函数图像很像一个“S”型，所以该函数又叫 sigmoid 函数。满足的性质：1.对称性，关于(0,0.5)中心对称2.逻辑斯谛方程即微分方程最早logistic函数是皮埃尔·弗朗索瓦·韦吕勒在1844或1845年
2017-05-10 16:46:30
6262
转载 常用激活函数比较
常用激活函数比较本文结构：什么是激活函数为什么要用都有什么sigmoid ，ReLU， softmax 的比较如何选择1. 什么是激活函数如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数，每一层输出都是上层
2017-05-10 15:27:25
16535
1
转载 KSVD
K-SVD是一个用于稀疏表示的字典学习算法，是一个迭代算法，是K-Means算法的泛化。对于问题(1)K-SVD的算法流程如下：I)固定字典，利用追踪算法(Pursuit Algorithm)求得(近似)最优的系数矩阵；II)每次更新一个列(用SVD求解)，固定字典的其它所有的列。计算新的列及其相对应系数，使得问题(1)最小化；III
2016-11-05 20:56:26
7100
2
转载 线性代数导论5——SVD分解
SVD分解SVD分解是LSA的数学基础，本文是我的LSA学习笔记的一部分，之所以单独拿出来，是因为SVD可以说是LSA的基础，要理解LSA必须了解SVD，因此将LSA笔记的SVD一节单独作为一篇文章。本节讨论SVD分解相关数学问题，一个分为3个部分，第一部分讨论线性代数中的一些基础知识，第二部分讨论SVD矩阵分解，第三部分讨论低阶近似。本节讨论的矩阵都是实数矩阵。基础知识1
2016-05-18 15:38:40
1002
转载 特征值分解、奇异值分解、PCA概念整理
特征值分解、奇异值分解、PCA概念整理本文将分别介绍特征值分解、奇异值分解、及PCA的相关理论概念。文章末尾将给出Householder矩阵变换、QR算法求解特征值、特征向量的代码其中，特征值分解、奇异值分解的相关内容，转载自：http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-
2016-04-14 15:07:24
778
转载 SVM（四）KSVM
核函数（Kernels）考虑我们最初在“线性回归”中提出的问题，特征是房子的面积x，这里的x是实数，结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线，那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维，然后寻找特征和结果之间的模型。我们将这种特征变换称作特征映射（feature mapping）。映射函数称作，在这个例子中我
2016-02-25 16:15:35
3456
转载 SVM(三) SMO优化算法求解
SMO优化算法（Sequential minimal optimization）SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for Tra
2016-02-25 16:14:08
1268
转载 SVM(二）从拉格朗日对偶问题到SVM
2 拉格朗日对偶（Lagrange duality） 先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏
2016-02-25 11:22:50
4366
1
转载 SVM(一) 问题的提出
SVM(一) 问题的提出SVM是支持向量机从诞生至今才10多年，发展史虽短，但其理论研究和算法实现方面却都取得了突破性进展，有力地推动机器学习理论和技术的发展。这一切与支持向量机具有较完备的统计学习理论基础的发展背景是密不可分的。我看了一下网上的帖子和有关的资料，目前关于SVM大约有3到4个版本，但在网上到处都是转载的内容，最后谁叶不知原稿人是谁。svm主要分有4个问题
2016-02-25 10:45:21
641
转载 RPCA（续）
Robust PCA 1. RPCA Brief Introduction1. Why use Robust PCA?Solve the problem withspike noise with high magnitude instead of Gaussian distributed noise.2. Main Problem
2016-02-23 22:08:26
4932
1
转载 线搜索
line search（一维搜索，或线搜索）是最优化（Optimization）算法中的一个基础步骤/算法。它可以分为精确的一维搜索以及不精确的一维搜索两大类。在本文中，我想用“人话”解释一下不精确的一维搜索的两大准则：Armijo-Goldstein准则 ＆ Wolfe-Powell准则。之所以这样说，是因为我读到的所有最优化的书或资料，从来没有一个可以用初学者都能理解的方式来解释这两个
2015-11-26 22:29:25
1900
转载 机器学习，计算机视觉相关资料
Deep Learning（深度学习）ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的，逻辑清晰有练习)：一ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的，逻辑清晰有练习)：二Bengio团队的deep learning教程，用的theano库，主要是rbm系列，搞python的可以参考，很不错。deeplearning.net主页，里面包含的
2015-11-19 11:46:32
763
转载 深度学习基础2（反向传播算法）
反向传播算法假设我们有一个固定样本集 ，它包含 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 ，其代价函数为：这是一个（二分之一的）方差代价函数。给定一个包含 个样例的数据集，我们可以定义整体代价函数为：以上公式中的第一项 是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的是减小权重的幅度，防止过度拟合
2015-11-19 09:32:04
2104
转载 深度学习基础1（神经网络）
神经网络Contents [hide]1 概述2 神经网络模型3 中英文对照4 中文译者概述以监督学习为例，假设我们有训练样本集 ，那么神经网络算法能够提供一种复杂且非线性的假设模型 ，它具有参数 ，可以以此参数来拟合我们的数据。为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个
2015-11-19 09:17:36
802
转载 python学习笔记(1)
python学习笔记(1)1）** 表示“冥”2）输入函数 raw_input()3）字符串操作：>>> pystr='python'>>> iscool='is cool!'>>> pystr[0]'p'>>> pystr[2:5]'tho'>>> iscool[:2]'is'>>> iscool[3:]'cool!'
2015-11-08 22:42:02
409
转载 深度学习概论
深度学习 一、深度学习出现的原因、时间及研究现状机器学习是人工智能的一个分支，而在很多时候几乎成为人工智能的代名词。简单来说，机器学习就是通过算法使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。从20世纪80年代末期以来，机器学习的发展大致经历了两次浪潮：浅层学习(shallow learning)和深度学习(deep learning)。1.1深度学习
2015-10-19 09:52:26
20885
转载 BP神经网络及matlab实现
本文主要内容包括： (1) 介绍神经网络基本原理，(2) AForge.NET实现前向神经网络的方法，(3) Matlab实现前向神经网络的方法 。第0节、引例 本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在http://en.wikipedia.org/wiki/Iris_flower_data_set 找到。
2015-09-21 21:46:22
1650
2
转载 Armijo线搜索
用“人话”解释不精确线搜索中的Armijo-Goldstein准则及Wolfe-Powell准则line search（一维搜索，或线搜索）是最优化（Optimization）算法中的一个基础步骤/算法。它可以分为精确的一维搜索以及不精确的一维搜索两大类。在本文中，我想用“人话”解释一下不精确的一维搜索的两大准则：Armijo-Goldstein准则 ＆ Wolfe-Powell准
2015-09-01 20:47:03
22296
6
转载 BP算法详谈
反向传播BP模型学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算 法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法．而有的算法可能可用于多种模型。不过，有时人们也称算法 为模型。自从40年代Hebb提出的学习规则以来，人们相继提出了各种各
2015-07-07 16:05:56
9154
2
转载 反向传播算法（BP）
BP算法浅谈（Error Back-propagation）通过带*的权重值重新计算误差，发现误差为0.18，比老误差0.19小，则继续迭代，得神经元的计算结果更加逼近目标值0.5 感想 在一个复杂样本空间下，对输入和输出进行拟合（1） 多少个hidden unit才能符合需要（hidde
2015-06-07 23:43:44
846
3
转载 核PCA——从理论到实现
核PCA——从理论到实现1. PCA方法：设X=[x1,x2,…xN],x∈Rd，为d维样本空间的N个向量h=i。协方差矩阵：C=1NXXT可以做特征值分解C=UΛUT，其中U为特征矩阵，Λ是特征值矩阵。若只保留k个维度，只需要以k个特征向量为基矢，将所有的向量向他们投影，就可以了。对于二维的情况如下图（来自wikipedia，[2]）
2015-05-29 09:46:32
7474
2
转载 机器学习问题方法总结
机器学习问题方法总结转自 http://www.cnblogs.com/zhangchaoyang/archive/2012/08/28/2660929.htmlData Mining机器学习问题方法总结大类名称关键词有监督分类决策树信息增益
2015-05-22 00:00:01
421
转载 线性代数导论4——A的LU分解
线性代数导论4——A的LU分解一、A=LA分解消元的目的，只是为了更好正确的认识矩阵的概念，A=LU是最基础的矩阵分解。L是下三角矩阵，U是上三角矩阵。A通过消元最终得到U，L即A与U之间的联系。先看A矩阵通过初等矩阵消元得到U：这里要求的是A=LU，L和消元矩阵E是什么联系呢？L与E互为逆矩阵。消元矩阵的逆是比较容易求的 有时我们将U中的主元提取出来，
2015-05-21 23:39:15
978
转载 核函数
出发点：如何让线性不可分的数据变得线性可分呢？例子是下面这张图：我们把横轴上端点a和b之间红色部分里的所有点定为正类，两边的黑色部分里的点定为负类。试问能找到一个线性函数把两类正确分开么？不能，因为二维空间里的线性函数就是指直线，显然找不到符合条件的直线。但我们可以找到一条曲线，例如下面这一条：显然通过点在这条曲线的上方还是下方就可以判断
2015-05-18 10:53:55
560
转载 线性代数导论3——乘法与逆矩阵
线性代数导论3——乘法与逆矩阵本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html第三课时：乘法与逆矩阵本课时先讲解矩阵乘法运算，然后是逆矩阵一、矩阵乘法：5种方法Am×n Bn×p = Cm×p，A列必须等于B的行数1）常规方法，行列点乘法：C=A
2015-05-06 09:40:47
1010
转载 线性代数导论2——矩阵消元
线性代数导论2——矩阵消元本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html第二课时：矩阵消元本课时的目标是用矩阵变换描述消元法。核心概念是矩阵变换。一、消元法消元法：将主对角线上的主元固定（0不能做主元），把主元下面的元素消为0。过程
2015-05-06 09:23:06
681
转载 线性代数导论1——方程组的几何解释
线性代数导论1——方程组的几何解释本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html第一课时：方程组的几何解释一、线性方程组的两种理解方式：行图像和列图像对于方程组：我们可以表示成矩阵形式： 系数矩阵A，未知数向量x，右
2015-05-06 08:53:18
581
转载 机器学习中有关数学的一些推荐书籍
数学学习（林达华原著） 这里说说几本我看过后觉得不错的数学教科书。1. 线性代数 (Linear Algebra)：我想国内的大学生都会学过这门课程，但是，未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础，对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课，后来到了香港后，又重新把线性代数读了一遍，所读的是Introd
2015-05-06 08:40:44
2650
转载 斯坦福大学机器学习第六课“神经网络的表示(Neural Networks: Representation)”
斯坦福大学机器学习第六课“神经网络的表示(Neural Networks: Representation)”本次课程主要包括7部分：1) Non-linear hypotheses (非线性hypotheses)2) Neurons and the brain (神经元和大脑)3) Model representation I (模型表示一)4) Model repre
2015-04-15 16:23:45
1167
转载 斯坦福大学机器学习第五课"正则化“
斯坦福大学机器学习第五课"正则化“本次课程主要包括4部分：1) The Problem of Overfitting(过拟合问题)2) Cost Function(成本函数)3) Regularized Linear Regression(线性回归的正则化)4) Regularized Logistic Regression(逻辑回归的正则化)以下是每一部分的详细解
2015-04-15 15:04:17
672
转载 Python对象类型
Python对象类型Python进阶（二）——Python对象类型上一章中我们主要讲了Python的安装与Python基本命令行，IDLE的应用。本章中我们将讲述Python的对象类型，包括数字、字符串、列表、字典、元组、文件以及用户自定义类对象。1.总览——Python程序可以分解为模块、语句、表达式
2015-04-11 23:21:42
528
转载 斯坦福大学机器学习第四课“逻辑回归(Logistic Regression)”
斯坦福大学机器学习第四课“逻辑回归(Logistic Regression)”本次课程主要包括7部分：1) Classification(分类)2) Hypothesis Representation3) Decision boundary(决策边界)4) Cost function(代价函数，成本函数)5) Simplified cost func
2015-04-10 09:46:28
1021
转载 正态分布的前世今生(一)
正态分布的前世今生(一)神说，要有正态分布，就有了正态分布。神看正态分布是好的，就让随机误差就服从了正态分布。创世纪-数理统计一、正态分布学过基础统计学的同学大都对正态分布非常熟悉。这个钟型的分布曲线不但形状优雅，其密度函数写成数学表达式f(x)=12π−−−√σe−(x−μ)22σ2也非常具有数学的美感。其标准化后的概率密度函数
2015-04-09 21:05:46
668
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人