Platt scaling本质上是对模型sigmoid输出的分数做概率变化。在此基础上引入了两个参数a b 假设输入样本为$X_i$ 模型输出分数为$f(X_i)$ 则最终输出概率计算公式变为
a, b参数优化通过最大化似然函数 最小化对数损失函数 的方法可以求得
2. histogram binning对于所有输出未校准预测概率$p_i$ 将其划分成$M$个bin 对于每个bin设置一个校准分数$theta_m$ 如果预测概率$p_i$若如区间$B_m$ 这将其设置为$p_i$ $theta_m$
优化目标为
3. isotonic regression给定模型预测的分数 $f_i$ 真实的分数$y_i$ 保序回归的模型公式为
其中 $m$ 表示保序函数 单调递增函数 。所以保序回归的目标函数为:
举例理解可以在这个帖子里看 保序回归 Isotonic Regression-Python - 知乎 (zhihu.com)
4. temperature scaling是Platt scaling的一个变体 在softmax公式基础上引入温度参数T 对输出分数修改 以达到概率校准的目的
优化目标函数是ECE函数
