栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

机 器 学习 · 决 策 树 模 型· C A R T 算 法 篇

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

机 器 学习 · 决 策 树 模 型· C A R T 算 法 篇

决 策 树 模 型 篇
  • 一、 决 策 树 模 型
  • 二 、C A R T 算 法
    • (1)决策树样本的基尼系数
    • (2)决策树系统的基尼系数
  • 三、 决 策 树 模 型 搭 建
    • (1)模 型 搭 建 步 骤:
    • (2) 模 型 搭 建 相 关 代 码
    • (3) 模型报告
  • 四、模 型 检 验 指 标 解 释
    • (1)模型准确率及样本准确项数
    • (2)ROC曲线
      • 1 ) 命 中 率 ( T P R )
      • 2 ) 误 判 率 ( F P R )
      • 3 ) 阈 值( THRES )
    • (3)AUC值
    • (4)K折交叉验证


一、 决 策 树 模 型

决策树模型是以树形结构的形式,做连续的逻辑判断。决策树是,主要由3种元素构成:
1) 根节点(初始节点) :代表全部样本
2).内部节点:对应特征属性测试
3) 叶节点:代表决策的结果

二 、C A R T 算 法

CART算法建立决策树的依据是基尼系数,而基尼系数表示的是从系统中随机抽取两个样本,其类别不一样的概率。基尼系数越小,系统的区分度就越高,越适合用于分类预测。

(1)决策树样本的基尼系数

决策树样本的基尼系数公式:gini(T)= 1 - ∑ Pi ²
1)gini(T):样本T的基尼系数
2)pi:样本中类别 i 所占的比例
3)∑ Pi ²:所有 pi的平方 求和

(2)决策树系统的基尼系数

决策树系统的基尼系数公式为:
gini(T) = p1gini(T1) + p2gini(T2)
1)p1,p2是划分后,两类各自占的比例
2)gini(T1),gini(T2)是两类各自的基尼系数

三、 决 策 树 模 型 搭 建

决策树相关模块

import pandas as pd
# 决策树:分类决策模型模块
from sklearn.tree import DecisionTreeClassifier
# 决策树:回归决策模型模块
from sklearn.tree import DecisionTreeRegressor
# 划分训练集和测试集模块/K折交叉验证模块/GridSearch网格搜索模块
from sklearn.model_selection import train_test_split,cross_val_score,GridSearchCV
# 计算准确率、准确项数模块/计算误差率、命中率、阈值模块/计算AUC值模块/
from sklearn.metrics import accuracy_score,roc_curve,roc_auc_score
(1)模 型 搭 建 步 骤:

1)读取文件进行数据处理
2)设置自变量和因变量
3)设置训练集和测试集
4)设置无参数模型
5)用K折交叉验证法设置AUC平均值标准
6)用GridSearch网格搜索法进行模型参数调优
7)搭建初始化模型
8)分类决策模型训练
9)预测结果测试
10)测试模型准确率、准确项数、ROC、AUC
11)输出模型检测结果

(2) 模 型 搭 建 相 关 代 码
p"""                             分类决策模型                                            """
# # 数据处理
# 内容替代标记
data['工资'] = data['工资'].replace({'低':0,'中':1,'高':2})
# 设置自变量集
x = data.drop(columns = '离职')
# 设置因变量集
y = data['离职']
# 设置训练、测试集
x_train,x_test,y_train,y_test = train_test_split(x,y,test_size = 0.2, random_state =13)
# 初始化分类决策树模型
lr = DecisionTreeClassifier()
# # 设置模型AUC标准测试
auc = cross_val_score(lr,x_train,y_train,scoring ='roc_auc',cv=5).mean()
print(f'模型的AUC标准值:{auc}')

# # 模型参数调优
# 设定模型调优参数目标
parameters = {'random_state':[1,3,5,7,9,11,13,17,19],'max_depth':[1,3,5,7,9,11,13,17,19]}
# 模型目标参数调优
grid_search = GridSearchCV(lr,parameters,scoring='roc_auc',cv = 5)
# 模型参数测试
grid_search.fit(x_train,y_train)
# 提取最优参数
best_params = grid_search.best_params_
print(f'模型最优参数{best_params}')

# # 搭建模型 
# 初始化模型
lr = DecisionTreeClassifier(max_depth = 7 ,random_state = 13 )
# 模型学习
lr.fit(x_train,y_train)
# 模型结果测试
y_predict = lr.predict(x_test) 
# 模型概率预测
y_perdict_proba = lr.predict_proba(x_test)
# # 模型测试
# 计算测试模型准确率
score = accuracy_score(y_predict,y_test,normalize = True)
# 计算测试样本准确数
count = accuracy_score(y_predict,y_test,normalize = False)
# 计算模型各对象ROC误差率、命中率、阈值
fpr,tpr,thres = roc_curve(y_test,y_perdict_proba[:,1])
# 计算模型AUC值
auc = roc_auc_score(y_test,y_perdict_proba[:,1])

# # 绘制模型检测报告
plt.rcParams['font.sans-serif']=['SimHei']
# 绘制ROC图
plt.plot(fpr,tpr)
plt.plot([fpr.min(),fpr.max()],[tpr.min(),tpr.max()],'k--',color = 'blue',label = '反映ROC陡峭程度')
plt.xlabel('FPR(误差率)')
plt.ylabel('TPR(命中率)')
plt.title('ROC曲线')
plt.legend()
plt.show()
# 输出模型结果
print(f'模型准确率:{score}n测试样本准确项数:{count}n模型各对象阈值:{thres}n模型AUC值:{auc}')
(3) 模型报告



模型情况:
1)模型准确率:0.98
2)测试样本准确项数:2940
3)模型AUC值:0.980203879835993
4)误判率FPR无限接近0
5)命中率TPF在0.9以上,已经很接近1.0
6)模型较好

四、模 型 检 验 指 标 解 释 (1)模型准确率及样本准确项数

模型准确率与模型测试样本准确项数,是模型基于测试自变量集预测测试因变量集的准确度而计算出来的衡量指标。准确率越接近1,模型准确率越高,而模型测试样本准确项数越接近因变量测试集项数,模型准确度越高

(2)ROC曲线

ROC曲线是由是反映命中率(TPR)、误判率(FPR)和模型优劣的指标。横轴为误判率(FPR),纵轴轴为命中率(TPR),ROC曲线越陡峭,反映模型越好

1 ) 命 中 率 ( T P R )

表示实际因变量中,被预测为离职的人所占的比例。

公式:
T P R = 预测实现且实际实现的项数÷实际实现的总项数

2 ) 误 判 率 ( F P R )

表示实际未离职中,被预测为离职的人所占的比例。

公式:
F P R = 预测实现且实际未实现的项数 ÷实际未实现的总项数

3 ) 阈 值( THRES )

阈值的作用:预测因变量的概率大于等于阈值,才能被判定为因变量实现。

(3)AUC值

AUC值,就是指ROC曲线下的三角面积。因为ROC曲线会位于对角线之上,所以ROC曲线下的面积在0.5到1之间。

AUC值预测效果
0.5 ~ 0.7较 底
0.7 ~ 0.85一 般
0.85 ~ 1很 好
(4)K折交叉验证

K折交叉验证是将数据均分为K份,每次选取1份作为验证集,剩下K-1份做为交叉验证的训练集。

经过K次交叉验证,得到的K次测试效果,计算K次效果的AUC值的均值评估模型。


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/918123.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号