cunxinlitian的博客

原创 Java基础篇笔记——01基础语法

（图片来源：实验楼）Java 是由Sun Microsystems公司于1995年5月推出的一种面向对象的编程语言。2009年4月20号，ORACLE 收购了Sun公司，也就是说Java这门语言现在归属于 ORACLE这家公司门下。Java SE是Java的标准版本，在Java SE基础上又分为Java EE（Java 企业版）和Java ME（用于嵌入式开发）。JVM，Jav...

原创 反向传播推导（最细致）

原创 机器学习笔记（参考吴恩达机器学习视频笔记）17_贝叶斯分类器

17 贝叶斯分类器贝叶斯分类是一种分类算法的总称，这种算法均以贝叶斯定理为基础，故统称为贝叶斯分类。贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。17.1 贝叶斯定理条件概率：事件A在另一个事件B已经发生条件下的概率，记作 P(A|B)，A和B 可能是相互独立的两个事件，也可能不是...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）16_决策树

16 决策树决策树是一种监督学习算法，以树状图为基础，其输出结果为一系列简单实用的规则。它就是一系列的if-then语句，既可以用于分类问题，也可以用于回归问题。构建决策树之通常包括三个步骤：特征选择2）决策树生成3）决策树剪枝在介绍具体步骤之前首先介绍信息熵的概念。16.1 信息熵信息熵，是一个与信息有关的概念，一般而言，是可以量化的。信息量的大小跟事情的不确定性有关。...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）15_推荐系统

15 推荐系统一个电影提供商，有5部电影和4个用户。要求用户为电影打分：前三部为爱情片，后两部为动作片。Alice、Bob更倾向于爱情片，Carol、Dave更倾向于动作片。没有一个用户给所有的电影打过分。希望构建一个算法来预测他们每个人可能会给他们每个人可能会给他们没看过的电影打多少分，并以此作为推荐依据。引入如下标记：  代表用户数量  代表电影数量  如果用户j给电影...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）14_异常检测

14 异常检测异常检测（Anomaly detection）是机器学习算法的一个常见应用。这种算法的一个有趣之处在于：它虽然主要用于非监督学习问题，但从某些角度看，它又类似于一些监督学习问题。异常检测主要用来识别欺骗。例如在线采集而来的有关用户的数据，一个特征向量中可能会包含如：用户多久登录一次，访问过的页面，在论坛发布的帖子数量，甚至是打字速度等。尝试根据这些特征构建一个模型，可以用这个...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）13_降维

13 降维13.1 动机一：数据压缩假设两个未知的特征：是用厘米表示长度；是用英寸表示同一物体的长度。这是一种高度冗余的表示。希望将这个二维的数据降至一维，即数据压缩。13.2 动机二：数据可视化化降维可以使数据可视化。关于许多不同国家的数据，每一个特征向量都有50个特征（如 GDP，人均 GDP，平均寿命等）。如果要将这个50维的数据可视化是不可能的。使用降维的方法将其降至2...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）12_聚类

12 聚类监督学习中，训练集带有标签，目标是找到能够区分正负样本的决策边界，需要根据标签拟合一个假设函数。非监督学习中，需要将无标签的训练数据输入到一个算法，此算法可以找到这些数据的内在结构。一个能够根据数据的内在结构，将它们分成几个不同的点集（或簇）的算法，就被称为聚类算法。聚类算法是一个非监督学习的算法。12.1 K-Means算法K-means是以距离作为评价标准的一种聚类算法，...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）11_支持向量机

11 支持向量机11.1 支持向量机的优化目标从逻辑回归开始展示我们如何一点一点修改来得到本质上的支持向量机。如图，一个y=1的样本，希望趋近于1，意味着当趋近于1时，应当远大于0。一个y=0的样本，希望趋近于0，意味着当趋近于0时，应当远小于0。  表示一个训练样本所对应的表达式。y=1时，（1-y）为0，此时得到，在这个前提下命名一个新的代价函数，记为，它与曲线...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）10_机器学习系统的设计

10 机器学习系统的设计10.1 构建学习算法的方法以一个垃圾邮件分类器算法为例。先要做的决定是如何选择并表达特征向量x, 可以选择一个由 100 个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中出现，来获得我们的特征向量（出现为 1，不出现为 0），尺寸为 100×1。构建一个学习算法的推荐方法为：1）从一个简单的能快速实现的算法开始，实现该算法并用交叉验证集数据测试...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）09_应用机器学习的建议

9 应用机器学习的建议机器学习诊断法：是一种测试方法，通过执行这种测试，可以深入了解某种算法到底是否有用。9.1 评估假设函数通过评估假设函数来，来避免过拟合和欠拟合问题。模型通过训练集得出参数后，对测试集运用该模型，有两种方式计算误差： 对于线性回归模型，利用测试集数据计算代价函数J。 对于逻辑回归模型，除了利用测试数据集计算代价函数外：         ...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）08_神经网络的学习

8 神经网络的学习8.1 神经网络的代价函数神经网络的训练样本有m个，每个包含一组输入x和一组输出信号y，L表示神经网络层数，表示每层的neuron个数（表示输出层神经元个数），代表最后一层中处理单元的个数。将神经网络的分类定义为两种情况：二类分类和多类分类。二类分类：=0，y=0 or 1表示哪一类；K类分类：=k，=1表示分到第i类；（k>2）在逻辑回归中，只有一...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）07_神经网络介绍

7 神经网络介绍当特征太多时，无论是线性回归还是逻辑回归模型计算的负荷会非常大。这时需要神经网络。神经网络是一种很古老的算法，它最初产生的目的是制造能模拟大脑的机器。神经网络是计算量有些偏大的算法。然而大概由于近些年计算机的运行速度变快，才足以真正运行起大规模的神经网络。类似于神经元的神经网络，效果如下：其中，是输入单元（input units），将原始数据输入给它们。是中间单元，...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）06_正则化

6 正则化6.1 过拟合问题通过学习得到的假设可能能够非常好地适应训练集（代价函数可能几乎为 0），但是可能会不能推广到新的数据。如何处理过拟合问题：1）丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如 PCA）。2）正则化。保留所有的特征，但是减少参数的大小（ magnitude）。6.2 正则化参数回归问题中的模型为...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）05_逻辑回归

5 逻辑回归逻辑回归是一种分类算法，它的输出值永远在0与1之间。适用于标签y取离散的情况。逻辑回归模型的假设是：其中：代表特征向量；g代表逻辑函数（logistic function），它是一个常用的S形逻辑函数，公式为：该函数的图像为：假设函数可以表示为：5.1 代价函数这样构建的函数的特点是：当实际的y=1且也为1时误差为0，当y=1但不为1时误差随着变小而变大；当实际...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）04_多变量线性回归

4 多变量线性回归4.1 多维特征代表特征矩阵中第i行的第j个特征，也就是第i个训练实例的第j个特征。支持多变量的假设函数h表示为：，其中，引入。此时模型中的参数是一个n+1维的向量，特征矩阵X的维度是m*(n+1)。因此公式可以简化为：。4.2 多变量梯度下降在多变量线性回归中，代价函数表示为：，其中：。多变量线性回归的批量梯度下降算法为：1）特征缩放：将所有特征...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）03_线性代数回顾

矩阵乘法：矩阵乘以矩阵，变成矩阵。用代表单位矩阵，从左上角到右下角的对角线（称为主对角线）上的元素均为1以外全都为0，如：矩阵的转置：...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）02_单变量线性回归

2 单变量线性回归2.1 模型描述思想：有了一些自变量、因变量的数据，拿一个数学函数Model（模型）去拟合（适配）这些数据，以便之后能根据这个模型，在自变量（条件）给出后，预测因变量的值。m （数量），x（输入，特征），y（输出，预测值），（x，y）表示一个训练样本，如果表示特点训练样本，则用（x(i),y(i)）来表示第i个训练样本为了更正式地描述监督学习问题，我们的目标是，给定一...

原创 机器学习笔记（参考吴恩达机器学习视频笔记）01——初识机器学习

1 初识机器学习提供了两种机器学习的定义。在没有明确设置的情况下，使计算机具有学习能力。——Samuel计算机程序从经验E中学习，解决某一任务T，进行某一性能度量P，通过P测定在T上的表现因经验E而提高。——Tom Mitchell机器学习算法分类：1、监督学习（Supervised learning）2、无监督学习（Unsupervised learning）3、强化...