Ioners-CSDN博客

原创泰勒公式和海森矩阵(Hessian-matrix)

一、泰勒公式1.背景介绍在数学中，泰勒公式（Taylor’s Formula）是一个用函数在某点的信息描述其附近取值的公式。这个公式来自于微积分的泰勒定理（Taylor’s theorem），泰勒定理描述了一个可微函数，如果函数足够光滑的话，在已知函数在某一点的各阶导数值的情况之下，泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值，这个多项式称为泰勒多项式（T...

2019-11-06 20:25:10 7385 3

原创 SVM的损失函数和对偶问题中的Slater条件,KKT条件

折页损失函数(Hinge Loss) 在机器学习中，**hinge loss作为损失函数(loss function)，通常被用于最大间隔算法(maximum-margin )，而最大间隔算法又是支持向量机(support vector machines)中用到的重要算法。 Hinge Loss的叫法来源于其损失函数的图形，为一个折线，通用的函数表达式为：L(mi)=max⁡(0...

2020-04-21 17:20:14 845

原创向量的运算

向量是由n个实数组成的一个n行1列（n∗1n*1n∗1）或一个1行n列（1∗n1*n1∗n）的有序数组。向量内积向量的点乘,也叫向量的内积、数量积，对两个向量执行点乘运算，就是对这两个向量对应位一一相乘之后求和的操作，点乘的结果是一个标量。对于向量a⃗\vec{a}a和向量b⃗\vec{b}b:a⃗=(x1x2⋯xn ),b⃗=(y1y2⋯yn )\mat...

2019-11-11 23:28:41 521

原创机器学习之离散化和归一化

其实在机器学习的整个过程，学习模型的选择固然重要，但是我认为还有一点十分重要的就是前期的数据处理，数据处理包括很多内容，我们这篇文章则就其中两点做讨论：（数据的）离散化和归一化。

2019-11-11 02:00:52 3350

转载 Logistec Regression(逻辑回归)的相关讨论

文章目录一、逻辑回归二、最大似然估计和最大后验估计三、最小二乘法和最大似然估计四、混淆矩阵一、逻辑回归1. 定义对数几率回归（也称“逻辑回归”）（英语：Logistic regression 或logit regression），即对数几率模型（英语：Logit model，也译作“逻辑模型”、“评定模型”、“分类评定模型”）是离散选择法模型之一，属于多重变量分析范畴，是社会学、生物...

2019-11-08 00:23:43 355

原创机器学习之过拟合、正则、特征值和特征向量

一、过拟合在讨论什么是过拟合之前，我们先讨论一下什么是拟合：曲线拟合（fit theory），俗称拉曲线，是一种把现有数据透过数学方法来代入一条数式的表示方式。科学和工程问题可以通过诸如采样、实验等方法获得若干离散的数据，根据这些数据，我们往往希望得到一个连续的函数（也就是曲线）或者更加密集的离散方程与已知数据相吻合，这过程就叫做拟合 (fitting)(如上图所示)。接下来...

2019-11-07 18:29:19 1299

原创梯度下降算法(Gradient Descent)

一、定义梯度下降法（Gradient desent）是一个一阶最优算法，通常也称为最速下降法。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过长被称为梯度上升法。二、利用Python代码实现梯度下降算法。在模拟梯度下降算法之前，...

2019-11-05 23:15:45 1825

原创机器学习(Machine Learning)

定义机器学习的定义：为了解决任务T(task)，设计一段程序，从经验E(experience)中学习，达到性能度量值P(probability)，当且仅当有了经验E后，经过P评判，程序在处理T时性能得到提升。...

2019-11-05 00:55:13 399

Ioners的博客