- 在pytorch中，有一个优化器（Optimizer)的概念，包名为torch.optim,优化算法有SGD, Momentum,AdaGrad,RMSProp,Adam
- SGD是常用的优化方法，但是其收敛的过程很慢，Momentum方法可以加速收敛
class torch.optim.SGD(param,lr=,momentum=0,dampening=0,weight_decay=0,nesterov=False)
params:用于优化迭代的参数（net.parameters())
lr:学习率，默认值为1e*-3
momentum:动量因子，用于动量梯度的下降算法，默认为0
dampening:抑制因子，用于动量算法，默认为0
weight_decay:权值衰减系数，L2参数，默认为0
nesterov:nesterov动量方法使能
使用:optimizer=SGD(net.parameters(),lr=0.05)
