https://www.zhihu.com/question/41252833表示2个函数或概率分布的差异性：差异越大则相对熵越大，差异越小则相对熵越小，特别地，若2者相同则熵为0。
交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性。交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数学习速率降低的问题，因为学习速率可以被输出的误差所控制。
D(p||q) = H(p,q) - H§ =
《数学之美》P60-68 的熵：
任意一个随机变量X的熵（信息量）：H(X)=-累加P(x)logP(x)
知道的信息越多，不确定性 就越小，那么这些相关的信息怎么表示呢：条件熵(Conditional Entropy, CE)。X,Y是两个随机变量，定义在Y的条件下X的条件熵为：H(X|Y)=-累加P(x,y)logP(x|y)。有H(X)>=H(X|Y)
信息的作用在于消除不确定性。找相关信息。
那么这些相关的信息对于减小不确定性有多少帮助呢，减小了多少不确定性的衡量标准为：互信息 I(X;Y)=H(X)-H(X|Y)取值为1，完全相关；取值为0，完全无关。
交叉熵cross_entropy/相对熵/KL散度：衡量两个取值为正数的函数的相似性KL(f(x)||g(x)) = -累加f(x)log(f(x)/g(x))完全相同的函数，交叉熵为0；差异越大交叉熵越大
