- 博客(22)
- 收藏
- 关注
RSS订阅原创 条件随机场_统计学习方法_学习笔记
前言书中最后一章----条件随机场（Conditional Random Field，CRF）是目前为止学习到的比较抽象的一个模型了。网络上许多关于书中的此部分内容的博客、学习资源等都是照本宣科，因此学习这部分内容耗费了不少的精力。接下来结合我个人的理解来谈谈条件随机场。因为符号较多，务必清楚每个符号代表的确切含义。目录1 一个例子2 条件随机场原理2.1 概率无向图模型（马...
2019-03-03 12:10:58
1050
2
原创 隐马尔科夫模型_统计学习方法_学习笔记
前言统计学习方法一书中第9章关于EM算法的核心内容，与之前斯坦福CS229学习笔记差不多，因此不再叙述了。但是EM算法作为一个经典且应用很广的算法值得深入探索，因此在之后可能会继续深入EM算法并记下相关学习与思考。这章笔记将记入书中第10章关于隐马尔科夫模型（Hidden Markov Model，HMM）的学习与思考。隐马尔科夫模型在时序数据中有着广泛的应用，属于生成模型的一种。此章笔记主...
2019-02-22 21:16:35
874
原创 提升方法_统计学习方法_学习笔记
前言统计学习方法一书中的第7章为支持向量机的内容，由于在之前CS229笔记中已经阐述过该内容，因此不再赘述。但是由于支持向量机的内容比较多而且耐人琢磨，因此在后面可能会考虑将其中的内容（例如对偶问题、SMO等）单独拆开并深入学习从而加深理解。这一章笔记主要讨论提升方法（boosting）的思想，并重点阐述AdaBoost算法。书中最后一节关于提升树的内容不计入该笔记之中，之后应该会单独一章笔...
2019-01-21 16:48:55
331
原创 逻辑回归与最大熵模型_统计学习方法_学习笔记
前言逻辑回归（Logistic Regression）是一个老生常谈的分类算法，谈得越多也就越具有代表性，因为其背后蕴含着深刻的建模思想。关于逻辑回归的一种理解思路在我的斯坦福CS229的第一篇笔记--线性回归中已经做了介绍。这种思路从广义线性模型（GLM）的角度出发进行理解：二分类问题的逻辑回归，是在假设先验分布p（y）为伯努利分布情况下（由于伯努利分布属于指数分布族），根据GLM规则对后...
2019-01-11 17:48:59
573
原创 决策树_统计学习方法_学习笔记
前言决策树（Decision Tree）是一种基本的分类与回归算法，决策树模型呈树形结构，优点在于模型具有可读性且计算速度快。理解决策树模型可从两个角度进行理解：其一是将其看做根据特征所做的一系列if-then的判别规则；其二从条件概率出发，可理解为在特征满足一系列取值情况下所得到的结果。决策树模型通常包含三个步骤：特征选择、决策树生成、局册数的修剪。决策树的思想主要来源于Quinlan在1...
2019-01-09 18:56:26
610
原创 朴素贝叶斯_统计学习方法_学习笔记
前言判别学习算法（Discriminative Learning Algorithms）的思路在于直接对于 进行建模，建模得到的结果可直接来进行分类与预测，如逻辑回归和线性回归。而生成学习算法（Generative Learning Algorithms）的思路在于对y和x的联合概率分布进行建模，具体方式是通过对于和进行建模，结合贝叶斯公式，以后验概率的形式推导出 。由于生成学习算法建模的思路...
2019-01-03 16:28:05
292
原创 k近邻法_统计学习方法_学习笔记
前言k近邻法（k-nearest neighbor，k-NN）是一种较为简单的、基本的分类与回归算法。接下来只讨论k-NN在分类问题中的应用，应该注意的是k-NN并没有显示的学习过程。除了介绍k-NN模型的思想，也将kd树的内容纳入到此章内容之中。目录1 k-NN模型1.1 距离判断规则1.2 k值的选取1.3 分类决策规则2 kd树2.1 kd树的构建2.2 k...
2019-01-02 17:11:27
304
原创 感知机_统计学习方法_学习笔记
前言在之前，先后结合视频与讲义对吴恩达老师斯坦福CS229的机器学习内容进行了回顾，梳理了一遍觉得收获颇丰。接下来结合李航老师的统计学习方法一书，对于书中算法进行学习，加深自己的理解。统计学习方法一书，主要对于比较常用且经典的监督学习算法进行了介绍。在统计学习方法的第一章中，介绍了一些基础知识，虽然没有在这里写出来，但是仍然很有阅读的价值，这些内容对于更好的理解学习的流程有着不小的帮助。...
2018-12-26 20:56:16
359
2
原创 因子分析_主成分分析_独立成分分析_斯坦福CS229_学习笔记
Part VIII 因子分析 主成分分析 独立成分分析在上个部分介绍了EM算法，在此部分因子分析中，我们会再次应用到。因子分析、主成分分析和独立成分分析都作为对于数据维度进行处理的手段，对于我们理解数据、更好的表示数据都起到或多或少的作用，因此将三者放在一起进行叙述。目录Part VIII 因子分析 主成分分析 独立成分分析1 因子分析（Factor Analysis，FA...
2018-12-06 21:09:12
1389
1
原创 EM算法_斯坦福CS229_学习笔记
Part VII EM算法（Expectation-Maximization Algorithm）翻过学习理论的篇章，这一讲关注于非监督算法。首先由经典的K-means算法引出EM算法，最后利用混合高斯模型对于EM算法进行简单阐述。目录Part VII EM算法（Expectation-Maximization Algorithm）1 K-means算法2 EM算法（Exp...
2018-12-01 11:50:26
1396
1
原创 学习理论_斯坦福CS229_学习笔记
Part VI 学习理论（Learning Theory）在之前，我们主要对于常用的监督学习算法进行了阐述，现在做一个小小的回顾。第1讲由回归问题常用的线性回归算法、分类问题常用的逻辑回归算法抛砖引玉，引出指数分布族以及广义线性模型，让我们明白线性回归与逻辑回归实则是广义线性模型在y建模于不同概率分布时的推导形式。第2讲介绍了生成学习算法中常用的两个算法—高斯判别分析和朴素贝叶斯。...
2018-11-07 16:53:54
505
原创 支持向量机_斯坦福CS229_学习笔记
Part V 支持向量机（Support Vector Machines）支持向量机（Support Vector Machines）被认为是最好的监督学习算法。作为解决二分类问题而被提出。接下来，我想结合自己的理解，来讲讲SVM的故事。故事章节相对而言较多，结合目录来看会更清晰一些。目录Part V 支持向量机（Support Vector Machines）Chapter ...
2018-11-05 20:18:05
424
2
原创 生成学习算法_高斯判别分析_朴素贝叶斯_斯坦福CS229_学习笔记
Part IV Generative Learning Algorithms回顾上一部分的内容，我们解决问题的出发点在于直接对p(y|x;)建模：如线性回归中y建模为高斯分布，逻辑回归y建模为伯努利分布。这样建模的好处在于可以直接得到x到y的映射关系，理解起来也比较直接。这样建模的算法，称为判别学习算法（discriminative learning algorithms）。除此之外，有另...
2018-10-31 19:09:00
351
原创 线性回归_逻辑回归_广义线性模型_斯坦福CS229_学习笔记
前言之前学习过视频版本的吴恩达老师CS229的机器学习课程，但是觉得并不能理解很好。现在结合讲义，对于之前的内容再次进行梳理，仍然记录下自己的思考。图片来源于网络或者讲义。话不多说，进入正题吧。Part I Regression and Linear Regression线性回归课程内容首先从监督学习开始。在监督学习里，你应该有待训练的特征的集合（训练集）以及标签作为输入，你想...
2018-10-30 15:25:02
541
原创 结构化机器学习项目_课程笔记_第一、二周
第一周 机器学习策略_1这一门课主要介绍了在具体项目实践中会遇到的一些问题以及采取的策略。所截取的图片依然来源于吴恩达老师的相关视频资源。1. 正交化（Orthogonalization）Andrew建议机器学习的调参过程应保持正交化。上图所示的机器学习的4个流程，每一步的调试方式举例见蓝色字体。对于每一步的处理应尽量不影响其他步骤。当然你也可以采用例如early stopping...
2018-10-18 19:10:48
194
原创 Caffe配置：Ubuntu_16.04+CUDA_9.0+CUDNN_7+Anaconda_3+OpenCV_3
配置配置Caffe绕来绕去也走了好多的路，这里分享自己的一些经验。主要流程参照这篇博客https://blog.csdn.net/weixin_40824648/article/details/80265943。博主已经写的很详细了。我的配置流程基本仿照这篇博客来。CUDA、CUDNN、Anaconda安装都不会遇到什么太大的问题，OpenCV直接编译源码遇到了一些问题，所以我这里是直接通...
2018-10-12 11:47:18
440
原创 改善深层神经网络：超参数调试、正则化以及优化_课程笔记_第一、二、三周
所插入图片仍然来源于吴恩达老师相关视频课件。仍然记录一下一些让自己思考和关注的地方。第一周 训练集与正则化这周的主要内容为如何配置训练集、验证集和测试集；如何处理偏差与方差；降低方差的方法（增加数据量、正则化：L2、dropout等）；提升训练速度的方法：归一化训练集；如何合理的初始化权重矩阵来缓解梯度消失和梯度爆炸的问题；在debug过程中应用梯度检验可以很好解决一些bug。1.应用...
2018-10-10 17:24:50
304
原创 卷积神经网络课程笔记-实际应用（第三、四周）
所插入的图片仍然来源于吴恩达老师的课件。第三周 目标检测1. 对象的分类与定位，在输出层不仅输出类别，还应输出包含物体的边界框（bx,by,bh,bw），从而达到定位的目的。注意网络的输出（例如下图的输出就有是否为目标，边界框的参数，以及是哪类的判断）和损失函数的定义（针对不同的输出元素应用不同的损失，例如可以对pc应用sigmoid，边界应用平方差，分类类别应用绝对值等等） ...
2018-09-26 17:49:17
504
原创 卷积神经网络课程笔记-基础理论（第一、二周）
所用图片仍然来源相关课件。第一周 基本知识1. 计算机视觉常解决问题：图像分类、目标检测、神经网络风格迁移（融合两张图像的特征）2. 常用的边缘检测算子，卷积网络中的filter (kernel) 感觉和数字图像处理的滑动窗口差不多最朴素的垂直边缘检测算子（左上角），依然只考虑filter中左端和右端的差异。通过修改权重（例如加强中间的影响），可得到许多的算子（sobel et...
2018-09-26 11:31:49
419
原创 神经网络与深度学习课程笔记（第三、四周）
接着学习吴恩达老师第三、四周的课程。（图片均来自吴恩达老师课件） 第三周1. 普通的浅层网络 第0层（） 第1层 （） 第二层（） ...
2018-09-14 16:05:43
224
原创 神经网络与深度学习课程笔记（第一、二周）
之前结束了吴恩达老师的机器学习的15节课，虽然看得很艰辛，但是也算是对于机器学习的理论有了一个入门，很多的东西需要不断的思考以及总结。现在开始深度学习的学习，仍然做课程笔记，记录自己的一些收获以及思考。 第一周1. ReLU （Rectified Linear Unit） 修正线性单元 ，顾名思义，作用为修正（线性回归会包含负值的情况），可以理解为 max(0,x)，即 取不小于...
2018-09-12 16:52:30
249
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人