- 评估流程#1：将整个数据集用于训练和测试
步骤1：使用整个数据集进行模型训练
步骤2：使用相同的数据集进行测试，并通过对比预测结果与实际结果来评估模型表现
训练数据与测试数据相同导致得问题：
①训练模型得最终目标是为了预测新数据对应得结果，而此时没有新数据
②最大化训练准确率通常会导致模型复杂化(如增加维度等)，因此将降低模型的通用性
③过度复杂模型容易导致训练数据的过度拟合(绿色线)
准确率：正确预测的比例，用于评估分类模型表现得常用指标 - 评估流程#2：分离训练数据与测试数据
步骤1：把数据分成两部分：训练集、测试集
步骤2：使用训练集数据进行模型训练
步骤3：使用测试集数据进行预测，从而评
估模型表现 - 模型关键参数选择
目标：确定合适的参数(组)，提高模型预测准确率
方法：
① 遍历参数组合，建立对应的模型
② 使用训练集数据进行模型训练
③使用测试集数据进行预测，评估每个模型的表现
④ 通过图型展示参数(组)与准确率的关系，确定合适的参数(组)
1、将整个数据集用于训练和测试
① 通过sklearn自带数据包加载iris数据
from sklearn import datasets iris = datasets.load_iris() x = iris.data y = iris.target
② 模型调用
from sklearn.neighbors import KNeighborsClassifier knn_5 = KNeighborsClassifier(n_neighbors=5) knn_5.fit(x,y) y_pred = knn_5.predict(x) print(y_pred) print(y_pred.shape)
结果：
③ 准确率计算
from sklearn.metrics import accuracy_score # 计算k=5时的准确率 print(accuracy_score(y,y_pred)) # 计算k=1时的准确率 knn_1 = KNeighborsClassifier(n_neighbors=1) knn_1.fit(x,y) y_pred = knn_1.predict(x) print(accuracy_score(y,y_pred))
结果：
2、分离训练数据与测试数据
① 分离数据，分成四个部分，分别时训练输入数据、预测输入数据、训练的结果、预测的结果
from sklearn.model_selection import train_test_split x_train,x_test,y_train,y_test = train_test_split(x,y,test_size = 0.4)
② 分离后数据的维度确认
print(x_train.shape,x_test.shape,y_train.shape,y_test.shape)
结果：
③ 分离后数据集的训练与评估
knn_5_s = KNeighborsClassifier(n_neighbors=5) knn_5_s.fit(x_train,y_train) y_train_pred = knn_5_s.predict(x_train) y_test_pred = knn_5_s.predict(x_test) # 分离后模型预测的准确率 print(accuracy_score(y_train,y_train_pred)) print(accuracy_score(y_test,y_test_pred))
结果：
④ 令k:1-25,遍历所有有可能的参数组合
k_range = list(range(1,26)) print(k_range)
score_train = []
score_test = []
for k in k_range:
knn = KNeighborsClassifier(n_neighbors = k)
knn.fit(x_train,y_train)
y_train_pred = knn.predict(x_train)
y_test_pred = knn.predict(x_test)
score_train.append(accuracy_score(y_train,y_train_pred))
score_test.append(accuracy_score(y_t
for k in k_range:
print(k,score_train[k-1])
for k in k_range:
print(k,score_test[k-1])
结果：
⑤ 图像直观展示
# 图形展示
# 导入Matplotlib图库并使用图像在notebook中展示
import matplotlib.pyplot as plt
%matplotlib inline
# 展示k值与训练数据集预测准确率之间的关系
plt.plot(k_range,score_train)
plt.xlabel('K(KNN model)')
plt.ylabel('Training Accuracy')
# 展示k值与测试数据集预测准确率之间的关系
plt.plot(k_range,score_test)
plt.xlabel('K(KNN model)')
plt.ylabel('Training Accuracy')
结果：
⑥ 对新数据进行预测
从图像上可知，k=11时复杂度较小且准确率较高，选择k=11进行预测
knn_11 = KNeighborsClassifier(n_neighbors=11) knn_11.fit(x_train,y_train) y_train_pred = knn_11.predict([[1,2,3,4]]) print(y_train_pred)
结果：
