中的kl divergence计算问题
kl divergence 介绍KL散度( Kullback–Leibler divergence)，又称相对熵，是描述两个概率分布 P 和 Q 差异的一种方法。计算公式:
可以发现，P 和 Q 中元素的个数不用相等，只需要两个分布中的离散元素一致。
举个简单例子：
两个离散分布分布分别为 P 和 Q
P 的分布为：{1，1，2，2，3}
Q 的分布为：{1，1，1，1，1，2，3，3，3，3}
我们发现，虽然两个分布中元素个数不相同，P 的元素个数为 5，Q 的元素个数为 10。但里面的元素都有 “1”，“2”，“3” 这三个元素。
当 x = 1时，在 P 分布中，“1” 这个元素的个数为 2，故 P(x = 1) = 2/5 = 0.4，在 Q 分布中，“1” 这个元素的个数为 5，故 Q(x = 1) = 5/10 = 0.5
同理，
当 x = 2 时，P(x = 2) = 2/5 = 0.4 ，Q(x = 2) = 1/10 = 0.1
当 x = 3 时，P(x = 3) = 1/5 = 0.2 ，Q(x = 3) = 4/10 = 0.4
把上述概率带入公式：
至此，就计算完成了两个离散变量分布的KL散度。
KL(p∥q)可以用来衡量两个分布的差异。它的值越大说明两个分布的差异越大。
