- 一、似然(likelihood)和概率(probability)
- 1、概念区分
- 2、机器学习中
- 二、cross-entropy、log loss、logistic loss
- 1、结论
- 2、计算公式
- 3、Python实现
似然与概率分别是针对不同内容的估计和近似。
概率(密度):表达给定θ下样本随机向量
X
=
x
X = x
X=x 的可能性(样本x的近似),
似然:表达了给定样本
X
=
x
X = x
X=x 下参数
θ
=
θ
1
theta=theta_1
θ=θ1 (相对于另外的参数取值
θ
2
theta_2
θ2)为真实值的可能性(
θ
theta
θ的近似).
换言之, 似然函数的形式是
L
(
θ
∣
x
)
L(theta|x)
L(θ∣x),其中 “|” 代表的是条件概率或者条件分布,似然函数是在 “已知” 样本随机变量
X
=
x
X=x
X=x的情况下,估计参数空间中的参数
θ
theta
θ的值. 因此似然函数是关于参数
θ
theta
θ 的函数,即给定样本随机变量
x
x
x后,估计能够使
X
X
X的取值成为
x
x
x的参数
θ
theta
θ 的可能性;
而概率密度函数的定义形式是
f
(
x
∣
θ
)
f(x|theta)
f(x∣θ), 即概率密度函数是在"已知"
θ
theta
θ的情况下,去估计样本随机变量
x
x
x 出现的可能性.
机器学习中,需要似然函数函数的概念,是因为我们是想让机器 根据已有的数据(相当于 X X X)学到相应的分布(即 θ θ θ),此概念对应training阶段。 即在训练阶段, 是根据已有的 X X X 来估计其真实的数据分布 服从什么样的分布 θ theta θ(似然).
而我们构建模型的目的是, 在实际中应用. 例如根据已有的有限的人脸图像和人脸关键点的标注, 使机器学习到包含人脸的图像和其关键点的对应关系的分布(training); 然后在实际应用中,能够检测未在数据集中出现过的人脸图像的关键点. 因此在测试阶段, 就是已知参数 θ theta θ, 来估计该分布下, X X X应该是什么(概率).
二、cross-entropy、log loss、logistic loss 1、结论参考
https://blog.csdn.net/songyu0120/article/details/85059149
CSDN输入公式参考
https://blog.csdn.net/the_lastest/article/details/73350493
结论 对数损失函数log loss就是交叉熵随损失函数 cross-entropy loss。 二分类时,cross-entropy loss(log loss)等价于logistic loss. 主要是看预测概览的类别有几种,cross-entropy(log loss)可以多分类,logistic loss就是只能二分类。2、计算公式
对数损失函数(cross-entropy(log loss))的计算公式
其中, Y 为输出变量, X为输入变量,== L== 为损失函数.
N为输入样本量, M为可能的类别数,
yij 是一个二值指标(取值为0或1), 表示类别 j 是否是输入实例 xi 的真实类别.
pij 为模型或分类器预测输入实例 xi 属于类别 j 的概率.
logistic loss :如果只有两类 {0, 1}, 则对数损失函数的公式简化为
这时, yi 为输入实例 xi 的真实类别,
pi 为预测输入实例 xi 属于类别 1 的概率.
对所有样本的对数损失表示对每个样本的对数损失的平均值, 对于完美的分类器, 对数损失为 0。
采用自定义 logloss 函数和 scikit-learn 库中 sklearn.metrics.log_loss 函数两种方式实现对数损失
# y_true: list, the true labels of input instances
# y_pred: list, the probability when the predicted label of input instances equals to 1
def logloss(y_true, y_pred, eps=1e-15):
import numpy as np
# Prepare numpy array data
y_true = np.array(y_true)
y_pred = np.array(y_pred)
assert (len(y_true) and len(y_true) == len(y_pred))
# Clip y_pred between eps and 1-eps
p = np.clip(y_pred, eps, 1-eps)
loss = np.sum(- y_true * np.log(p) - (1 - y_true) * np.log(1-p))
return loss / len(y_true)
def unitest():
y_true = [0, 0, 1, 1]
y_pred = [0.1, 0.2, 0.7, 0.99]
print ("Use self-defined logloss() in binary classification, the result is {}".format(logloss(y_true, y_pred)))
from sklearn.metrics import log_loss
print ("Use log_loss() in scikit-learn, the result is {} ".format(log_loss(y_true, y_pred)))
if __name__ == '__main__':
unitest()
参考
https://blog.csdn.net/weixin_31866177/article/details/116711204



