栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

概率:likelihood、probability、cross-entropy、log loss、logistic loss

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

概率:likelihood、probability、cross-entropy、log loss、logistic loss

文章目录
  • 一、似然(likelihood)和概率(probability)
    • 1、概念区分
    • 2、机器学习中
  • 二、cross-entropy、log loss、logistic loss
    • 1、结论
    • 2、计算公式
    • 3、Python实现

一、似然(likelihood)和概率(probability) 1、概念区分

似然与概率分别是针对不同内容的估计和近似。
概率(密度):表达给定θ下样本随机向量 X = x X = x X=x 的可能性(样本x的近似),
似然:表达了给定样本 X = x X = x X=x 下参数 θ = θ 1 theta=theta_1 θ=θ1​ (相对于另外的参数取值 θ 2 theta_2 θ2​)为真实值的可能性( θ theta θ的近似).

换言之, 似然函数的形式是 L ( θ ∣ x ) L(theta|x) L(θ∣x),其中 “|” 代表的是条件概率或者条件分布,似然函数是在 “已知” 样本随机变量 X = x X=x X=x的情况下,估计参数空间中的参数 θ theta θ的值. 因此似然函数是关于参数 θ theta θ 的函数,即给定样本随机变量 x x x后,估计能够使 X X X的取值成为 x x x的参数 θ theta θ 的可能性;
而概率密度函数的定义形式是 f ( x ∣ θ ) f(x|theta) f(x∣θ), 即概率密度函数是在"已知" θ theta θ的情况下,去估计样本随机变量 x x x 出现的可能性.

2、机器学习中

机器学习中,需要似然函数函数的概念,是因为我们是想让机器 根据已有的数据(相当于 X X X)学到相应的分布(即 θ θ θ),此概念对应training阶段。 即在训练阶段, 是根据已有的 X X X 来估计其真实的数据分布 服从什么样的分布 θ theta θ(似然).

而我们构建模型的目的是, 在实际中应用. 例如根据已有的有限的人脸图像和人脸关键点的标注, 使机器学习到包含人脸的图像和其关键点的对应关系的分布(training); 然后在实际应用中,能够检测未在数据集中出现过的人脸图像的关键点. 因此在测试阶段, 就是已知参数 θ theta θ, 来估计该分布下, X X X应该是什么(概率).

参考
https://blog.csdn.net/songyu0120/article/details/85059149
CSDN输入公式参考
https://blog.csdn.net/the_lastest/article/details/73350493

二、cross-entropy、log loss、logistic loss 1、结论
结论
对数损失函数log loss就是交叉熵随损失函数 cross-entropy loss。
二分类时,cross-entropy loss(log loss)等价于logistic loss.
主要是看预测概览的类别有几种,cross-entropy(log loss)可以多分类,logistic loss就是只能二分类。
2、计算公式

对数损失函数(cross-entropy(log loss))的计算公式

其中, Y 为输出变量, X为输入变量,== L== 为损失函数.
N为输入样本量, M为可能的类别数,
yij 是一个二值指标(取值为0或1), 表示类别 j 是否是输入实例 xi 的真实类别.
pij 为模型或分类器预测输入实例 xi 属于类别 j 的概率.

logistic loss :如果只有两类 {0, 1}, 则对数损失函数的公式简化为

这时, yi 为输入实例 xi 的真实类别,
pi 为预测输入实例 xi 属于类别 1 的概率.
对所有样本的对数损失表示对每个样本的对数损失的平均值, 对于完美的分类器, 对数损失为 0。

3、Python实现

采用自定义 logloss 函数和 scikit-learn 库中 sklearn.metrics.log_loss 函数两种方式实现对数损失

# y_true: list, the true labels of input instances 
# y_pred: list, the probability when the predicted label of input instances equals to 1
def logloss(y_true, y_pred, eps=1e-15):
    import numpy as np
 
    # Prepare numpy array data
    y_true = np.array(y_true)
    y_pred = np.array(y_pred)
    assert (len(y_true) and len(y_true) == len(y_pred))
 
    # Clip y_pred between eps and 1-eps
    p = np.clip(y_pred, eps, 1-eps)
    loss = np.sum(- y_true * np.log(p) - (1 - y_true) * np.log(1-p))
 
    return loss / len(y_true)
 
 
def unitest():
    y_true = [0, 0, 1, 1]
    y_pred = [0.1, 0.2, 0.7, 0.99]
 
    print ("Use self-defined logloss() in binary classification, the result is {}".format(logloss(y_true, y_pred)))
 
    from sklearn.metrics import log_loss
    print ("Use log_loss() in scikit-learn, the result is {} ".format(log_loss(y_true, y_pred)))
 
if __name__ == '__main__':
    unitest()

参考
https://blog.csdn.net/weixin_31866177/article/details/116711204

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/890186.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号