- 博客(6)
- 收藏
- 关注
RSS订阅原创 机器学习系列5：GBDT
该系列将整理机器学习相关知识。这篇博客主要讨论: 1 GBDT GBDT、Xgboost、LightGBM在机器学习中应用是否广泛，也是各种机器学习竞赛(kaggle)的常用方法。比如我在做kaggle的一些练习时，通常会用随机森林、GBDT作为基线方法，然后会再使用Xgboost、LightGBM做进一步优化，最后将上面几个方法的结果做个最总的融合（stacking）。...
2018-05-21 21:35:16
213
原创 机器学习系列6：XGBoost
XGBoost是Extreme Gradient Boosting的简称，Gradient Boosting是论文”Greedy Function Approximation: A Gradient Boosting Machine”中介绍的梯度提升算法。Boosting Tree树数据挖掘和机器学习中常用算法之一，其对输入要求不敏感，效果好，在工业界用的较多。Traing loss + Re...
2018-05-13 22:12:28
442
原创 机器学习系列4：集成学习
该系列将整理机器学习相关知识。这篇博客主要讨论: 1 什么是集成学习？ 2 集成学习的总类？ 3 随机森林 4 boosting框架 这篇博客紧接着上一篇：决策树，在集成学习中用到较多决策树的知识。1 什么是集成学习？俗话说”三个臭皮匠，顶个诸葛亮”。在机器学习中，集成学习也是类似这种思想，意思是多个模型结合起来的作用好于单个模型。这里需要先说一下强可...
2018-05-13 22:10:55
534
原创 机器学习系列1：机器学习基础
该系列将整理机器学习相关知识。这篇博客主要讨论: 1 机器学习基本概念 2 模型评估与选择 3 正则化和交叉验证 4 偏差与方差1 机器学习基本概念A computer program is said to learn from experience E with respect to some class of tasks T and performanc...
2018-05-13 22:07:38
269
原创 机器学习系列3：决策树
在最开始学习机器学习时，就接触了欠拟合、过拟合、方差、偏差的概念，但似乎一直没有弄清楚。最近(面试)还被多次问到，如何判断欠拟合、过拟合以及如何解决，这里对这些概念以及对应的解决方法做一个小结。1 欠拟合、过拟合所谓欠拟合、就是当模型一开始训练时，还没有充分学习到数据中的特征，导致模型对数据的描述不太好。而过拟合，则是指模型过度学习了数据中的特征，比如个别数据的误差导致的特征，使得模型的泛...
2018-04-28 10:36:42
215
原创 机器学习系列2：从线性回归到逻辑回归
1 误差分析假设线性回归的预测值和真实值表示为： yi=θTxi+εiyi=θTxi+εiy^i=\theta^Tx^i + \varepsilon^i 在线性回归中，假设误差εiεi\varepsilon^i是独立同分布（误差有大有小，并且服从正太分布），并且服从均值为0，方差为θ2θ2\theta^2的高斯分布,则有： p(εi)=12πδ‾‾‾‾√exp(−(εi)22δ2)p(...
2018-04-23 15:47:31
483
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人