7.1 理解决策树
7.2 不确定性及信息增益
7.1 理解决策树
1、决策树的应用
- 决策树是一种基本的分类与回归的方法，它是几个经典集成模型（随机森林，提升树）的基础。
2、决策树的形态与决策边界
- 决策树由节点（跟节点、叶节点）和边组成。
- 从数据中得到决策树，需要学习到三样东西：树的形状、每一个决策的阈值θ、叶节点的值。
3、决策树的学习
- 在学习树的结构时会遇到NP-hard问题，一般般对于这类的问题是没有⼀个很好的⽅式来求出全局最优解的。而经典的近似算法——“贪心算法”（信息增益），每次只考虑局部最好的情况，所以⼀般带来的是相对最好的解决⽅案。
7.2 不确定性及信息增益
1、好的节点的特征
- 想要得到最优模型，节点分类效果要好。要如何判定分类效果好？通过信息熵来确定。
2、信息熵——表示不确定性
- 好的节点特征可以减少不确定性，不确定性用信息熵（entropy）表示。
- 信息熵的定义：H(X)=− ∑ Pi logPi ,i=1,2,3…
- 信息熵越⼤，说明不确定性越⼤，信息熵越⼩，说明不确定性是越⼩的。
3、信息增益——不确定性的减少
- 不确定性的减少也称作信息增益（information gain）
- 信息增益定义：IG (T, a) = H (T) - H (T | a)
公式解析：熵 - 条件熵。表示在⼀个条件下，信息不确定性减少的程度。
下一篇《决策树（二）》将会介绍决策树的过拟合和对于连续变量和回归的决策树。
