- 博客(5)
- 收藏
- 关注
RSS订阅原创 svm保姆级教程---（二）拉格朗日乘子算法求解的原理以及KKT条件
局部极小值，也就是保证是函数图像的波谷，还必须要求梯度的梯度矩阵必须是正定矩阵，有兴趣的朋友可以自行百度，我这里就不赘述了）。在约束最优化问题中，常常利用拉格朗日对偶性(Lagrange duality)将原始问题转为对偶问题，通过解决对偶问题而得到原始问题的解。所谓的KKT条件就是说拉格朗日乘子算法求出的要想是最优解就必须满足KKT条件，否则就不是极优解。，不一定就是极优解。现在我们来看图像，首先我们看图上的红点要想实现原式的条件，红点必须在。的梯度方向，因为梯度的方向是指向函数值增大最快的方向，
2023-10-21 21:46:02
360
1
原创 svm保姆级教程---（三）svm中目标函数的拉格朗日形式
强对偶是一个非常好的性质，因为在强对偶成立的情况下，可以通过求解对偶问题来得到原始问题的解，在 SVM 中就是这样做的。当然并不是所有的对偶问题都满足强对偶性 ，在 SVM 中是直接假定了强对偶性的成立，其实只要满足一些条件，强对偶性是成立的，比如说 Slater 条件与KKT条件。（ps:关于此式的证明比较简单，这里我们可以简单理解为左边式子表示先找到当前函数值最小的一组值，再在这组下值中找到最大的那个；注意再将原问题转化为对应的拉格朗日函数后，对应的条件的也完成了相应变化，此时条件只需满足。
2023-10-21 21:45:36
223
原创 svm保姆级教程---（四）核技巧与线性不可分
对偶问题除了从表达式和约束条件上更加简洁以外，更主要的原因是因为对偶问题有一个非常好的特征，也就是最优解仅根据支持向量的点积结果所决定，也可以理解为仅由支持向量的空间相似度所决定，这也就为Kernel Trick铺平了道路，既然我们只需要得到空间相似度结果，而这直接就可以通过核函数求得，那为什么还需要绕一圈去寻找维度转化函数。RBF 是沿径向对称的标量函数，通常定义为空间中任一点 X 到某一中心 Xc 之间距离的单调函数，可记为 K ( || X – X c || )，当 X 远离 Xc 时函数取值很小。
2023-10-21 21:45:23
59
原创 svm保姆级教程---（五）终极求解 smo算法（完结篇）
可以看到上面我们得出的式子是一个凸优化问题，解决凸优化问题可以用凸优化算法，但是对于当样本数量很大的时候，很多解法就会变的非常低效，以至于无法使用。当然以上算法采用的是纯数学演绎，随着近几年神经网络的发展，线性函数+非线性变换的结构可以拟合任意函数，因此svm也可以用神经网络来学习、来拟合，有兴趣的同学可以了解。具有一般性，我们需要验证一下到底是不是极优点，这时就需要用到之前的kkt条件了，先回忆一下，
2023-10-21 21:45:07
213
原创 svm保姆级教程---（一）基本表达式
下面我们进行求解，我们可以看到软硬间隔下的svm表达式，是一个约束最优化问题。Svm（支持向量机）属于分类的范畴，核心是找到一个超平面，使得两类数据分到超平面两侧，主要任务是使得超平面距离两边数据最远。（ps：两个方程表示同一个平面，至于为什么选择1，主要是方便后面计算，因为W、C同比例放缩，故一定存在右边等于1的情况）图中的L为两条直线的间隔，间隔为2C。则过支持向量的超平面方程可设为：Wx + b = C，给方程两边同时除以C，变为。，其中c为惩罚系数，可以理解为因为总体要最小，如果c越大，则。
2023-10-21 16:20:50
369
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人