学习率：权重更新的控制因子
训练神经网络的常规策略是初始时使用较大的学习率（好处是能使网络收敛迅速），随着训练的进行，学习率衰减；
在训练初期，loss很大，因此计算的梯度也很大，如果设置较大的学习率，模型很容易跳过最优点，后期很难再拉回来；
阶段一： 而warmup是在初始时（前几个epoch）使用较小的学习率，然后随着训练的进行，学习率慢慢增加到设定的学习率（linear线性增加，constant方式等）；
阶段二： 最后学习率从设定数值再衰减；
warmup_factor：warmup期间，学习率初始化为
w
a
r
m
u
p
f
a
c
t
o
r
∗
η
0
warmup_factor*η_0
warmupfactor∗η0，然后根据不同的策略增加到
η
0
η_0
η0
衰减系数α：学习率按照这个系数衰减
milestones:学习率会在这个期间衰减
防止过拟合
