- 博客(3)
- 收藏
- 关注
RSS订阅原创 GBDT，XGBoost和LightBoost对比
GBDTGBDT是集成学习的一种方式，它使用决策树作为基分类器，通过线性加和的模式将各个及分类器组合起来，形成一个比较强的分类模型。XGBoostXGBoost在精度和性能方便都对GBDT做了改进。XGBoost将损失函数通过泰勒展开式展开，从而引入了二阶函数信息，能够加快模型的收敛，提高模型的精度。在损失函数中加入了正则化，从而控制了模型的复杂度，减轻模型过拟合的风险。正则项中考虑到了树的叶子结点数量和叶子结点值的平方和，叶子结点的数量同时也限制了树的高度。引入正则项后，能够提高模型的泛化能力
2020-10-14 17:04:07
1654
原创 Logistic回归百问
Logistic回归的优缺点Logistic优点：模型简单，速度快，适合二分类问题简单易于理解，直接看到各个特征的权重能容易地更新模型吸收新的数据Logistic缺点：Logistic是个弱分类器，对数据和场景的适应能力有局限性，不如决策树算法学习能力那么强Logistic回归为什么选择交叉熵作为损失函数，而非平方损失如果使用平方损失，那么Logistic的损失函数会出现较多局部极小值，这样在模型迭代过程中，容易陷入较差的局部极小值，不利于模型迭代。而交叉熵损失函数在此问题上性质相对较
2020-09-22 14:59:38
1187
原创 拉格朗日乘数法中KKT条件的合理性
拉格朗日乘数法中KKT条件的合理性目标KKT条件是什么开始证明参考文献目标在使用拉格朗日乘数法进行优化求解的时候，会用到通过求解原始问题的对偶问题，来求得原始问题的解。在KKT条件的限制下，对偶问题的解同时也是原始问题的解。即目标是为了证明这个问题。KKT条件是什么假设原始待优化问题为：minf(x)min f(x)minf(x)s.t.gk(x)≤0 (k=1,2,...,m)\qquad s.t.\quad g_k(x) \leq0 \ (k=1,2,...,m)s.t.gk(
2020-09-04 16:00:20
180
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人