模型评估方法代码案例

import numpy as np
import xgboost as xgb
from sklearn.ensemble import RandomForestClassifier

from sklearn.model_selection import KFold, train_test_split
from sklearn.metrics import confusion_matrix, mean_squared_error
from sklearn.datasets import load_iris


iris = load_iris()
y = iris['target']
X = iris['data']

#分为训练集和测试集
train_X, test_X, train_y, test_y = train_test_split(X, y, test_size=0.2, random_state=1)
kf = KFold(n_splits=5, shuffle=True, random_state=1)

#使用xgboost在训练集上做交叉验证
xgb_model_list = []
xgb_mse_list = []
for train_index, test_index in kf.split(train_X):
    xgb_model = xgb.XGBClassifier().fit(train_X[train_index], train_y[train_index])
    xgb_model_list.append(xgb_model)
    predictions = xgb_model.predict(train_X[test_index])
    actuals = train_y[test_index]
    #print(confusion_matrix(actuals, predictions))
    mse = mean_squared_error(actuals, predictions)
    xgb_mse_list.append(mse)

print ('xgb_mse_list:{}'.format(xgb_mse_list))
print ('xgb mse均值为:{}'.format(np.mean(xgb_mse_list)))


#使用随机森林在训练集上做交叉验证
rf_model_list = []
rf_mse_list = []
for train_index, test_index in kf.split(train_X):
    rf = RandomForestClassifier(n_estimators=10, max_depth=10, random_state=10)
    rf_model_list.append(rf)
    rf.fit(train_X[train_index], train_y[train_index])
    predictions = rf.predict(train_X[test_index])
    actuals = train_y[test_index]
    mse = mean_squared_error(actuals, predictions)
    rf_mse_list.append(mse)

print ('rf_mse_list:{}'.format(rf_mse_list))
print ('rf mse均值为:{}'.format(np.mean(rf_mse_list)))


#模型评估和选择
if np.mean(rf_mse_list) <= np.mean(xgb_mse_list):
    min_mse = min(rf_mse_list)
    ind = rf_mse_list.index(mse)
    best_estimator = rf_model_list[ind]
    print('best estimator is random forest {}, mse is {}'.format(ind,min_mse))
else:
    min_mse = min(xgb_mse_list)
    ind = xgb_mse_list.index(min(xgb_mse_list))
    best_estimator = xgb_model_list[ind]
    print('best estimator is xgb {}, mse is {}'.format(ind, min_mse))


#使用最好的模型和参数预测测试集，估计模型在实际使用时的判别能力
pred = best_estimator.predict(test_X)
mse = mean_squared_error(pred, test_y)
print ('test data mse is:{}'.format(mse))
print(confusion_matrix(test_y, pred)

留出法(hold-out)：对样本数据集适当划分，产生训练集(training set)和测试集(test set)，训练集用于模型训练，测试集用于测试模型对新样本的判别能力。划分时可采用分层抽样(stratified sampling)保持训练集和测试集数据中数据分布的一致性
自助法(bootstrapping)：有放回的采样，有些样本会多次出现，另一些样本不出现。在样本数比较少时有效，另外，产生多个不同的训练集对集成学习有好处
交叉验证法(cross validation)防止过拟合
使用k折交叉验证能达到评估结果的稳定性

机器学习涉及两类参数
算法的参数，也叫“超参数”，数量少，通常人工设定候选
模型的参数，数量可多达几百亿，通过学习获得
以上两种参数，都可通过模型评估方法选择ß

参数调节是对算法参数的设定，参数配置好不好，对模型性能可能有显著差别
调参和算法选择一样，使用同样的模型评估方法。对每种参数配置都训练出模型，选择最好的参数作为结果
一组参数设定就是一个模型。假如有3个参数，每个参数有5个候选值，要考察125个模型