参考
True Positive(真正,TP):将正类预测为正类数
True Negative(真负,TN):将负类预测为负类数
False Positive(假正,FP):将负类预测为正类数→误报
False Negative(假负,FN):将正类预测为负类数→漏报
准确率=
T
P
+
T
N
T
P
+
T
N
+
F
P
+
F
N
frac{TP+TN}{TP+TN+FP+FN}
TP+TN+FP+FNTP+TN
通常来说,正确率越高,分类器越好。准确率确实是一个很好很直观的评价指标,但是有时候准确率高并不能代表一个算法就好。比如预测地震中,数据分布不平衡,正负样本不平衡的情况下,准确率这个评价指标有很大的缺陷
灵敏度=frac{TP}{P}
所有正例中被分对的比例,衡量了分类器对正例的识别能力
灵敏度=frac{TN}{N}
所有正例中被分对的比例,衡量了分类器对正例的识别能力
精确率=
T
P
T
P
+
F
P
frac{TP}{TP+FP}
TP+FPTP
表示被分为正例的示例中实际为正例的比例
召回率=
T
P
T
P
+
F
N
frac{TP}{TP+FN}
TP+FNTP
等同于灵敏度,度量有多个正例被分为正例
P和R指标有时候会出现的矛盾的情况,这样就需要综合考虑他们,最常见的方法就是F-Measure
F1分数同时考虑精确率和召回率,让两者同时达到最高,当F1较高时则能说明试验方法比较有效
F1-measure=
2
∗
精
确
率
∗
召
回
率
精
确
率
+
召
回
率
frac{2*精确率*召回率}{精确率+召回率}
精确率+召回率2∗精确率∗召回率
ROC曲线是以假正率(FP_rate)和真正率(TP_rate)为轴的曲线,ROC曲线下面的面积我们叫做AUC越大,说明性能越好
在极度不平衡的数据下(Positive的样本较少),PR曲线可能比ROC曲线更实用
Kappakappa系数常用于一致性检验,也用于判断分类精度,值在[-1,1]。对于评分系统, 一致性就是不同打分人平均的一致性; 对于分类问题,一致性就是模型预测结果和实际分类结果是否一致
K
=
P
0
−
P
e
1
−
P
e
K=frac{P_0-P_e}{1-P_e}
K=1−PeP0−Pe
P
0
=
∑
i
=
1
3
a
i
i
N
P_0=frac{sum_{i=1}^3a_{ii}}{N}
P0=N∑i=13aii,预测的准确率
P
e
=
∑
i
=
1
3
a
i
+
∗
a
+
i
N
2
P_e=frac{sum_{i=1}^3a_{i+}*a_{+i}}{N^2}
Pe=N2∑i=13ai+∗a+i
时间复杂度、效率、
鲁棒性:处理缺失值和异常值的能力
可扩展性:处理大数据集的能力
可解释性:分类器的预测标准的可理解性



