- 博客(4)
- 收藏
- 关注
RSS订阅翻译 lightgbm 原理解析
任务内容： LightGBM算法梳理 LightGBM LightGBM的起源 gbdt是受欢迎的机器学习算法，当特征维度很高或数据量很大时，有效性和可拓展性没法满足。lightgbm提出GOSS(Gradient-based One-Side Sampling)和EFB(Exclusive Feature Bundling)进行改进。lightgbm与传统的gbdt在达到相同的精确度时，快20倍...
2019-08-15 21:08:21
370
原创 xgboost算法梳理
任务内容： 1. XGB算法梳理 XGB在GBDT的基础上，以二分类问题为例，损失函数为，其中，根据泰勒展开可得 前向可加算法，t轮的预测与t-1轮预测的关系如下， 其中ft(x)为t轮的预测函数，在XGB中即为决策树。 损失函数为可变化如下： 其中为复杂程度的惩罚项，上式根据泰勒二阶展开式可进一步展开为（注：GBDT按照泰勒一阶展开式）： 其中，由于是t-1轮的损失函数，当迭代到t轮时，可...
2019-08-12 20:59:01
213
原创 随机森林算法梳理——任务1
任务内容： 随机森林算法梳理 集成学习的概念 集成学习的关键点（中心极限定理）： 让弱学习器相互独立（算法不同、使用的训练数据不同、使用的特征不同）。理想状态下，25个弱学习器中，一个弱学习器的误差率为0.35，强学习器的误差率为0.06。 增加更多的基分类器 基分类器应当好于随机猜测分类器，即误差率小于50% 集成学习中基学习器的误差率不能超过50%，否则组合分类器的误差率会大于50% 个体...
2019-08-07 20:59:09
115
原创 datawhale_1
import pandas as pd import numpy as np import warnings warnings.filterwarnings(‘ignore’) pd.set_option(‘display.max_columns’, None) alldata = pd.read_csv(r’D:\data\datawhale\data.csv’, encoding=‘gbk’)...
2019-08-06 21:49:12
145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人