【深度学习】 loss不下降，准确率很低的原因

可能的原因有：

• 数据集有问题（噪声过多或存在过多的标签错误或类别不平衡）
• 梯度爆炸
• 梯度消失

下图的矩阵是pooler_output（从bert得到的句子向量）：

若干个不同的文本，在训练两个batch后可见模型的输出几乎一样了，这正是梯度爆炸的原因

检验模型权重更新情况、句子向量、loss值

model = BERT()
model.to(device)

criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.00001, betas=(0.9, 0.999), eps=1e-6, weight_decay=0.01)
scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=3, gamma=0.1)

for i in range(epoch):
    train_loader = iter(tasks_config['train_loader'])
    for input_data in train_loader:
        # print(input_data) # 查看模型的输入有无问题
        for name, _ in input_data.items():
            input_data[name] = input_data[name].to(torch.float16).long().to(device)
        label = input_data.pop("label")

        optimizer.zero_grad()
        
        model_output, pooler_output = model(input_data)
        Before = list(model.parameters())[0].clone()
       
        loss = criterion(model_output, label)
        loss.backward()
        nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2) # 梯度截断
        optimizer.step()

        After = list(model.parameters())[0].clone()
        predicted_label = torch.argmax(model_output, -1)
        acc = accuracy_score(label.float().cpu(), predicted_label.view(-1).float().cpu())
    	print(loss,acc)
        print('模型的第0层更新幅度：',torch.sum(After-Before))
        print(pooler_output)

• 梯度正常，更新幅度大约-15
  
• 梯度爆炸，更新幅度-1k+
  
• 梯度消失，更新幅度小于1e-2
  

• 更换优化器
• 学习率小于1e-4
• 梯度截断
• 最大的正则化参数