bagging (随机森林)
boosting （xgboost, gbdt, adaboost）
GBDT
GBDT 的全称是 Gradient Boosting Decision Tree，梯度提升决策树。
要理解 GBDT，首先就要理解这个 B(Boosting)。
Boosting 是一族可将弱学习器提升为强学习器的算法，属于集成学习（ensemble learning）的范畴。Boosting 方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断要好。通俗地说，就是"三个臭皮匠顶个诸葛亮"的道理。
基于梯度提升算法的学习器叫做 GBM(Gradient Boosting Machine)。理论上，GBM 可以选择各种不同的学习算法作为基学习器。GBDT 实际上是 GBM 的一种情况。
ADABOOST
参考资料：
Adaboost算法讲解 - 知乎 （推荐，包含公式详细推导）
54. 8.1 集成学习 - 第一部分 - 基础_哔哩哔哩_bilibili
XGBoost的原理、公式推导、Python实现和应用 - 知乎
GBDT的原理、公式推导、Python实现、可视化和应用 - 知乎
