集成学习：XGBoost, lightGBM

文章目录

一、决策树

1.决策树的直观理解2、分类树

2.1 信息熵2.2基尼指数 3. 回归树 二、集成学习

1.集成学习简介2.随机森林

2.1 随机森林2.2 随机森林实践 3、AdaBoost的理解4.GBDT

4.1BDT（提升树）4.2GBDT（梯度提升树） 5、XGBoost

5.1 模型形式5.2 目标函数5.3 学习策略（树结构的确定）5.4 系统设计5.5实践 6、lightGBM

6.1 直方图算法6.2 直方图算法的改进6.3树的生长策略6.4系统设计6.5 实践

一、决策树 1.决策树的直观理解

2、分类树 2.1 信息熵

(出现的不同结果越多，不确定性就越高，熵就也越高）

2.2基尼指数

3. 回归树

二、集成学习 1.集成学习简介

2.随机森林 2.1 随机森林

2.2 随机森林实践

3、AdaBoost的理解

暂时跳过

4.GBDT 4.1BDT（提升树）

4.2GBDT（梯度提升树）

5、XGBoost

5.1 模型形式

5.2 目标函数

5.3 学习策略（树结构的确定）

5.4 系统设计 5.5实践 6、lightGBM

6.1 直方图算法

6.2 直方图算法的改进 6.3树的生长策略 6.4系统设计 6.5 实践