sklearn中的决策树
tree.DecisionTreeClassifier分类树tree.DecisionTreeRegressor回归树tree.export_graphviz将生成的决策树导出为dot模式 画图用tree.ExtraTreeClassifier高随机版本的分类树tree.ExtraTreeRegressor高随机版本的回归树from sklearn import tree # 导入需要的模块 clf tree.DecisionClassifier() # 实例化 clf clf.fit(X_train, y_train) # 用训练集数据训练模型 result clf.score(x_test, y_test) # 导入测试集 从接口调用需要的信息2. DecisionTreeClassifier 2.1重要参数 2.1.1 criterion
不纯度基于节点计算 树中的每一个节点都有相应的不纯度 并且子节点的不纯度一定低于父节点的 也就是同一棵决策树中 叶子节点的不纯度一定是最低的。
criterion是决定不纯度的计算方法 ps 不纯度越低 决策树对训练集的拟合效果越好 :
输入”entropy“ 使用信息熵 Entropy 高维数据 信息熵容易过拟合输入”gini“ 使用基尼系数 Gini Impurity 决策树拟合程度不够时使用信息熵 2.1.2 random_state splitter 2.1.3 剪枝参数 2.1.4 目标权重参数 2.1 重要属性和接口 3. DecisionTreeRegressor 3.1 重要参数与接口criterion
3.2 实例 一维图像绘制 4. 实例 泰坦尼克幸存者预测 5. 决策树的优缺点 6. 附录 6.1 分类树参数列表 criterion字符型 可不填 默认基尼系数 ’‘gini’’用来衡量分枝质量的指标 即不纯度的指标 输入’‘gini’ 使用基尼系数 输入‘’‘entropy’使用信息增益spitter字符型 可不填 默认最佳分枝 ’‘best’‘
确定每个节点的分枝策略
输入’‘best’‘使用最佳分枝 输入’‘random’‘使用随机分枝max_depth整数或None 可不填 默认None
书的最大深度 如果是None 树会持续生长到所有子节点的不纯度为0 或者直到每个叶子节点所含样本量都小于参数min_samples_split中所填写的数字min_samples_split整数或者浮点数。可不填 默认 2
一个中间节点要分枝所需要的最小样本量 如果一个节点包含样本数小与 min_samples_split 中所填写的数字 这个节点的分枝就不会发生 即该节点必定成为一个叶子节点
1 如果输入整数 即认为输入数字为最小样本量
2 如果输入浮点数 则认为输入的浮点数是比例 输入的浮点数 * 输入模型的数据集的样本量 n_samples 是分枝所需要的最小样本量min_samples_leaf整数或浮点数 可不填 默认 1
一个叶子节点要存在所需要的最小样本量 一个节点在分枝后的每个子节点中 必须包含至少 min_samples_leaf 个训练样本 否则分枝就不会发生。这个参数可能会有使得模型更加平滑的效果 尤其是在回归中
1 如果输入整数 即认为输入数字为叶节点存在所需的最小样本量
2 如果输入浮点数 则认为输入的浮点数是比例 输入的浮点数 * 输入模型的数据集的样本量 n_samples 是叶节点存在所需要的最小样本量min_weight_fraction_leaf浮点数 可不填 默认 0
一个叶节点要存在所需要的权重占输入数据集的总权重的比例
总权重由fit接口中的 sample_weight 参数确定
当 sample_weight 是 None 时 默认所有样本的权重相同max_features整数 浮点数 字符型或None 可不填 默认None
在做最佳分枝的时候考虑的特征个数
1 输入整数 则每一次分枝都考虑 max_features 个特征
2 输入浮点数 则认为输入的浮点数是比例 每次考虑的特征数量为 max_features * 输入模型的数据集的特征个数 n_features
3 输入“ auto” 采用 n_features 的平方根做分枝时考虑的特征数目
4 输入“ sqrt” 采用 n_features 的平方根做分枝时考虑的特征数目
5 输入“ log2” 采用
