深入torch框架内部

torch框架下的函数都进行了封装，使初学者很难清楚内部的数据形式到底是什么，所以，经过了torch框架的练习，这篇文章来解析一下torch框架下的封装函数。

我们打印

print(torch.nn)

print(torch.optim)

print(torch.cuda)

输出结果：

nn,optim,cuda均在torch框架下的目录中，函数或类就在目录下的文件中。

1，学习率衰减函数：

  #学习率衰减
    scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=20, gamma=0.5,last_epoch=-1)

参数含义：

 step_size:每经过多少个epoch对学习率进行调整，此时的scheduler.step()放在epoch循环下。

gamma:经过step_size个epoch后，学习率变成:lr * gamma。

last_epoch:last_epoch之后恢复lr为initial_lr(如果是训练了很多个epoch后中断了 继续训练 这个值就等于加载的模型的epoch 默认为-1表示从头开始训练，即从epoch=1开始。

scheduler 对象常用的几个属性：

scheduler.step():对学习率进行更新，放在epoch下，优化器的更新之后。

scheduler.dict():状态信息 ，字典格式

    print(scheduler.state_dict())
    # {'step_size': 20, 'gamma': 0.5, 'base_lrs': [0.01], 'last_epoch': 0, '_step_count': 1, 'verbose': False,
    #  '_get_lr_called_within_step': False, '_last_lr': [0.01]}

查看每个epoch的学习率：

可用优化器的属性state_dict():optimizer.state_dict()['param_groups'][0]['lr']

state_dict()下的内容：

  for k,v in state_dict.items():
                print(k)
                #state
                #param_groups

'param_groups': [{'lr': 0.01, 'momentum': 0.9, 'dampening': 0, 'weight_decay': 0.0002, 'nesterov': False, 'initial_lr': 0.01, 'params': [0, 1,

不断的更新完善。耐心等待