- 一、 决 策 树 模 型
- 二 、C A R T 算 法
- (1)决策树样本的基尼系数
- (2)决策树系统的基尼系数
- 三、 决 策 树 模 型 搭 建
- (1)模 型 搭 建 步 骤:
- (2) 模 型 搭 建 相 关 代 码
- (3) 模型报告
- 四、模 型 检 验 指 标 解 释
- (1)模型准确率及样本准确项数
- (2)ROC曲线
- 1 ) 命 中 率 ( T P R )
- 2 ) 误 判 率 ( F P R )
- 3 ) 阈 值( THRES )
- (3)AUC值
- (4)K折交叉验证
一、 决 策 树 模 型
决策树模型是以树形结构的形式,做连续的逻辑判断。决策树是,主要由3种元素构成:
1) 根节点(初始节点) :代表全部样本
2).内部节点:对应特征属性测试
3) 叶节点:代表决策的结果
CART算法建立决策树的依据是基尼系数,而基尼系数表示的是从系统中随机抽取两个样本,其类别不一样的概率。基尼系数越小,系统的区分度就越高,越适合用于分类预测。
(1)决策树样本的基尼系数决策树样本的基尼系数公式:gini(T)= 1 - ∑ Pi ²
1)gini(T):样本T的基尼系数
2)pi:样本中类别 i 所占的比例
3)∑ Pi ²:所有 pi的平方 求和
决策树系统的基尼系数公式为:
gini(T) = p1gini(T1) + p2gini(T2)
1)p1,p2是划分后,两类各自占的比例
2)gini(T1),gini(T2)是两类各自的基尼系数
决策树相关模块
import pandas as pd # 决策树:分类决策模型模块 from sklearn.tree import DecisionTreeClassifier # 决策树:回归决策模型模块 from sklearn.tree import DecisionTreeRegressor # 划分训练集和测试集模块/K折交叉验证模块/GridSearch网格搜索模块 from sklearn.model_selection import train_test_split,cross_val_score,GridSearchCV # 计算准确率、准确项数模块/计算误差率、命中率、阈值模块/计算AUC值模块/ from sklearn.metrics import accuracy_score,roc_curve,roc_auc_score(1)模 型 搭 建 步 骤:
1)读取文件进行数据处理
2)设置自变量和因变量
3)设置训练集和测试集
4)设置无参数模型
5)用K折交叉验证法设置AUC平均值标准
6)用GridSearch网格搜索法进行模型参数调优
7)搭建初始化模型
8)分类决策模型训练
9)预测结果测试
10)测试模型准确率、准确项数、ROC、AUC
11)输出模型检测结果
p""" 分类决策模型 """
# # 数据处理
# 内容替代标记
data['工资'] = data['工资'].replace({'低':0,'中':1,'高':2})
# 设置自变量集
x = data.drop(columns = '离职')
# 设置因变量集
y = data['离职']
# 设置训练、测试集
x_train,x_test,y_train,y_test = train_test_split(x,y,test_size = 0.2, random_state =13)
# 初始化分类决策树模型
lr = DecisionTreeClassifier()
# # 设置模型AUC标准测试
auc = cross_val_score(lr,x_train,y_train,scoring ='roc_auc',cv=5).mean()
print(f'模型的AUC标准值:{auc}')
# # 模型参数调优
# 设定模型调优参数目标
parameters = {'random_state':[1,3,5,7,9,11,13,17,19],'max_depth':[1,3,5,7,9,11,13,17,19]}
# 模型目标参数调优
grid_search = GridSearchCV(lr,parameters,scoring='roc_auc',cv = 5)
# 模型参数测试
grid_search.fit(x_train,y_train)
# 提取最优参数
best_params = grid_search.best_params_
print(f'模型最优参数{best_params}')
# # 搭建模型
# 初始化模型
lr = DecisionTreeClassifier(max_depth = 7 ,random_state = 13 )
# 模型学习
lr.fit(x_train,y_train)
# 模型结果测试
y_predict = lr.predict(x_test)
# 模型概率预测
y_perdict_proba = lr.predict_proba(x_test)
# # 模型测试
# 计算测试模型准确率
score = accuracy_score(y_predict,y_test,normalize = True)
# 计算测试样本准确数
count = accuracy_score(y_predict,y_test,normalize = False)
# 计算模型各对象ROC误差率、命中率、阈值
fpr,tpr,thres = roc_curve(y_test,y_perdict_proba[:,1])
# 计算模型AUC值
auc = roc_auc_score(y_test,y_perdict_proba[:,1])
# # 绘制模型检测报告
plt.rcParams['font.sans-serif']=['SimHei']
# 绘制ROC图
plt.plot(fpr,tpr)
plt.plot([fpr.min(),fpr.max()],[tpr.min(),tpr.max()],'k--',color = 'blue',label = '反映ROC陡峭程度')
plt.xlabel('FPR(误差率)')
plt.ylabel('TPR(命中率)')
plt.title('ROC曲线')
plt.legend()
plt.show()
# 输出模型结果
print(f'模型准确率:{score}n测试样本准确项数:{count}n模型各对象阈值:{thres}n模型AUC值:{auc}')
(3) 模型报告
模型情况:
1)模型准确率:0.98
2)测试样本准确项数:2940
3)模型AUC值:0.980203879835993
4)误判率FPR无限接近0
5)命中率TPF在0.9以上,已经很接近1.0
6)模型较好
模型准确率与模型测试样本准确项数,是模型基于测试自变量集预测测试因变量集的准确度而计算出来的衡量指标。准确率越接近1,模型准确率越高,而模型测试样本准确项数越接近因变量测试集项数,模型准确度越高
(2)ROC曲线ROC曲线是由是反映命中率(TPR)、误判率(FPR)和模型优劣的指标。横轴为误判率(FPR),纵轴轴为命中率(TPR),ROC曲线越陡峭,反映模型越好
1 ) 命 中 率 ( T P R )表示实际因变量中,被预测为离职的人所占的比例。
公式:
T P R = 预测实现且实际实现的项数÷实际实现的总项数
表示实际未离职中,被预测为离职的人所占的比例。
公式:
F P R = 预测实现且实际未实现的项数 ÷实际未实现的总项数
阈值的作用:预测因变量的概率大于等于阈值,才能被判定为因变量实现。
(3)AUC值AUC值,就是指ROC曲线下的三角面积。因为ROC曲线会位于对角线之上,所以ROC曲线下的面积在0.5到1之间。
| AUC值 | 预测效果 |
|---|---|
| 0.5 ~ 0.7 | 较 底 |
| 0.7 ~ 0.85 | 一 般 |
| 0.85 ~ 1 | 很 好 |
K折交叉验证是将数据均分为K份,每次选取1份作为验证集,剩下K-1份做为交叉验证的训练集。
经过K次交叉验证,得到的K次测试效果,计算K次效果的AUC值的均值评估模型。



