- 信息熵于1948年由香农提出，是从热力学中借用过来的概念，用来描述信源的不确定度。
- 公式如下。
- 例子如下。
- 代码复现。
# 信息熵的计算
# numpy中对数的底数默认为e
import math
import numpy as np
p = [0.6, 0.1, 0.1, 0.1,0.1]
hp = -sum([p[i]*np.log(p[i]) for i in range(len(p))]) # Python中的列表解析
print(f"H(p) = {hp}")
注意：本博客中所有的例子中对数的底数均为10，而代码中对数的底数默认为e，所以运算结果不同是正常情况，但不影响对概念的理解。
二、交叉熵- 交叉熵主要用于度量同一个随机变量的预测分布q与真实分布p之间的差距。
- 公式如下。
- 例子如下。
- 代码复现。
# 交叉熵的计算
# numpy中对数的底数默认为e
import math
import numpy as np
p = [0, 0, 1]
q = [0.1, 0.1, 0.8]
hpq = -sum([p[i]*np.log(q[i]) for i in range(len(p))]) # Python中的列表解析
print(f"H(p, q) = {hpq}")
注意：本博客中所有的例子中对数的底数均为10，而代码中对数的底数默认为e，所以运算结果不同是正常情况，但不影响对概念的理解。
三、KL散度- KL散度又称相对熵，是两个概率分布间差异的非对称性度量。通俗地说，KL散度是用来衡量同一个随机变量的两个不同分布之间的差距。
- 公式如下。
- 例子如下。
- 代码复现。
# KL散度的计算
# numpy中对数的底数默认为e
import math
import numpy as np
p = [0.7, 0.2, 0.1]
q = [0.2, 0.6, 0.2]
KL = sum([p[i]*(np.log(p[i])-np.log(q[i])) for i in range(len(p))]) # Python中的列表解析
print(f"KL(p, q) = {KL}")
注意：本博客中所有的例子中对数的底数均为10，而代码中对数的底数默认为e，所以运算结果不同是正常情况，但不影响对概念的理解。
对了，本博客中的所有图片均源于B站上的一个视频，链接为：https://b23.tv/Z2HvTca?share_medium=android&share_source=qq&bbid=XY45A0F4C92B45526575A229511A19A4AD44B&ts=1653889669822，up主讲的非常好，感谢up主！推荐给大家~
真正的高贵是优于昨天的自己。共勉！
