集成算法 多个弱评估器，汇总所有弱评估器的建模结果，以获取比单个模型更好的回归或分类表现。
提升算法 Adaboost和梯度提升树
XGBoost背后也是CART树，所有树都是二叉的
对于梯度提升回归树来说，每个样本的预测结果可以表示为所有树上的结果的加权求和。每次迭代过程都加一棵树
XGB每个叶子节点上会有一个预测分数，也被称为叶子权重，叶子权重就是所有在这个叶子节点上的样本在这一棵树上的回归取值
参数n_estimators 默认100
训练中是否打印每次训练的结果 silent 监控模型的训练过程
sklearn.model_selection.learning_curve 学习曲线
训练集展示了模型的学习能力，测试集上表现展示了模型的泛化能力
进化的学习曲线：方差与泛化误差
泛化误差：用来衡量模型在位置数据集上的学习率的指标
有放回随机抽样 subsample
重要参数booster 使用哪种弱评估器 gbtree dart gblinear
XGB的目标函数 重要参数objective
平衡模型效果和模型复杂度
分类型的目标函数导入回归类中会直接报错
参数化决策树fk(x):参数alpha,lambda
XGB vs GBDT 核心区别 1 ：求解预测值 的方式不同 XGB vs GBDT 核心区别2: 正则项的存在 贪婪算法指的是控制局部最优来达到全局最优的算法，决策树算法本身就是一种贪婪算法的方法
