最近又开始使用 Pytorch 进行训练了，但是遇见了不少问题，主要问题集中在 loss 不收敛上，本章节就此问题进行探讨，由于是一遍码代码一遍写文章，本文最后不一定会给出解答，但会记录我寻找答案的经历和过程。
1. 经典的 Cross Entropy 问题
注意，许多初学者这么使用交叉熵 loss
F.softmax(y) F.cross_entropy(y, label)
Wrong × 错误的
在别的深度库里这么使用可能正确，但在 torch 中使用是极大的错误，因为在这里 cross_entropy = softmax + log + corss_entropy(一般意义的交叉熵)。所以如果使用交叉熵时注意不要使用 softmax 了，我在犯了如上错误的时候出现 loss 不收敛的问题。
2. 学习率 Learning rate 设定
学习率过大
学习率过大是很严重的问题，我在使用均方误差时设置了过大的学习率，导致甚至无法将一个矩阵通过学习网络拟合目标矩阵。由此可窥见，学习率设置过大，等同于直接寄了
3. 学会查看梯度和结果
在训练网络中发现了结果一直不变的问题，就去输出看看网络参数：
for p in model.parameters():
print(p.grad.data)
4. 数据集大小的问题
这个问题我还在探究中，目前我将一个大数据集（约60+G)挖了一小部分(2G左右)进行训练，暂时不知道会不会导致结果直接不收敛的问题。
正在探究中ing......
5. 梯度消失/梯度爆炸
上图，千万别以为这种情况是正常滴，大大滴错误（前一半的grad为0，后一半的grad正常）
这种情况其实就叫梯度消失，它是影响我们 loss 下降的敌人。还有一种情况相反的状况，梯度不为0，而是nan，这种是梯度爆炸。遇到这种情况，一般 loss 表现为不下降或者直接是 loss=nan了。
总结一下从网上找到的解决方法
5.1 Learning rate 过大
前面提过，这个略过，反正设为 0.001 或者 0.0001 就行
5.2 Batch size 过大
没错，batch size 也可能会对拟合结果造成影响，可以适当调低 batch size
5.3 初始化权重的问题
有人提到，可能是初始化权重更新错误导致，在模型中加入Xavier初始化
for layer in self.modules():
if isinstance(layer, nn.Linear):
nn.init.xavier_normal_(layer.weight)
nn.init.constant_(layer.bias, 0)
5.4 梯度归一化
nn.BatchNorm1d(input_num)
使用 BatchNorm1d 进行归一化，在梯度消失的每层都进行帝都诡异
5.5 数据和label确实出现了问题
这个是我感觉最难找出来的问题了，但实际上很多情况下，这个问题又很容易出现。特别是在数据集和测试集是自己生成、合成的情况下，特别容易出现这种问题。
推荐先排除 5.1 - 5.4，都试试，最后再来看是不是发生了此类问题
6. 一些建模上的问题！注意！：Batch Norm 和 Layer Norm 应放在激活函数和输出结果之间，BatchNorm适合图像，LayerNorm适合音频和NLP
！！有些模型中需要用的mean或者sum，注意不要放在softmax之后了，不然会出现概率都相同的情况。
