交叉熵原理及实现

偷懒一下，不催不更

  # 经测试，reduction 加不加结果都一样，但是为了保险，还是加上
  ce_loss = F.cross_entropy(logits, labels, reduction="none")
  print(ce_loss)

import numpy as np
x=np.array([[0.3, 0.6, 0.9, 1], [0.6, 0.4, 0.9, 0.5], [0.6, 0.2, 0.9, 0.5]]) #输入数据
W=np.random.randn(4,3) #随机生成权重


def softmax(x,W):
    z=np.dot(x,W) #得到预测概率的向量
    return np.exp(z) / np.sum(np.exp(z))
a=softmax(x,W)
print(a)
a0_result=np.argmax(a[0]) #对样本a0，取a[0]中最大的概率作为分类结果 注意a[0].sum=1
a1_result=np.argmax(a[1])
a2_result=np.argmax(a[2])
print(a0_result)

在softmax基础上：

import torch
labels=np.array([1,0,2])
def cross_entropy(labels,log_pt):
    pt = torch.exp(log_pt)  # 通过 softmax 函数后打的分
    labels = labels.view(-1, 1)  # 多加一个维度，为使用 gather 函数做准备
    pt = pt.gather(1, labels)  # 挑选出真实值对应的 softmax 打分，也可以使用独热编码实现
    #dim=1 按行返回
    ce_loss = -torch.log(pt)
    return ce_loss

ce_loss=cross_entropy(torch.tensor(labels),torch.tensor(a))
print(ce_loss)