为什么要进行梯度累加
为什么要进行梯度累加
一个解决内存受限的训练技巧
- 训练神经网络的时候，batch size越大，模型往往越稳定。但在计算需求量大而显存不足的情况下，为保证理想的batch size，就可采取梯度累加(Gradient Accumulation)技术，对同一批次分割计算损失求梯度，将无法一次性放入显存的批次分成几部分分别放入计算。由于
∂
L
∂
θ
=
∂
∑
i
L
i
∂
θ
=
∑
i
∂
L
i
∂
θ
,
frac{partial L}{partialtheta} = frac{partial sum_i L_i}{partialtheta} = sum_i frac{partial L_i}{partialtheta},
∂θ∂L=∂θ∂∑iLi=i∑∂θ∂Li,
该方法可以保证梯度计算结果不变。 - 在梯度累加方法下，梯度更新的次数不变，但总训练步数（模型计算的次数）会乘以gradient_accumulation_steps。
- 在Pytorch中的实现就是，在训练达到累加步数后，再更新参数并清空梯度。注意： 此时的实际的训练batch size相当于batch_size参数*gradient_accumulation_steps，即实现了大批次的效果。这种操作同样可以达到Multi-task训练减少计算图的效果。
- 代码示例可参考https://www.cnblogs.com/sddai/p/14598018.html
