pytorch学习笔记------------优化器

注意事项：

1.优化器参数的设置

real_optim = torch.optim.SGD(nn_seq_1.parameters(),lr=0.01)#params=nn_seq_1.model是不正确的

2.；利用损失反向传播，更新参数

real_loss = loss(output,targets)#这是损失值，在损失图像上就是一个点，所以需要求这一点的梯度（这个可以对很多参数求梯度）
        real_optim.zero_grad()#将网络模型中待优化的参数梯度全部变化0，在每个batch 进行反向传播计算的时候都需要进行这一步
        real_loss.backward()#通过反向传播计算每个节点的梯度
        real_optim.step()#对每个参数进行更新，这里应该利用了学习率

下面观看完整代码

import torch
import torchvision
from torch import nn
from torch.nn import Sequential, Conv2d, Flatten
from torch.utils.data import DataLoader
from torchvision import transforms

datasets = torchvision.datasets.CIFAR10(root="datasets2",train=False,transform=transforms.ToTensor(),download=True)
dataloader = DataLoader(dataset=datasets,batch_size=1)


class nn_seq(nn.Module):
    def __init__(self) -> None:
        super().__init__()
        self.model = Sequential(#使用sequential的好处不需要将方法一个一个拿出来
            nn.Conv2d(3,32,5,padding=2),
            nn.MaxPool2d(2),
            nn.Conv2d(32,32,5,padding=2),
            nn.MaxPool2d(2),
            nn.Conv2d(32,64,5,padding=2),
            nn.MaxPool2d(2),
            Flatten(),
            nn.Linear(1024,64),
            nn.Linear(64,10)
        )


    def forward(self,x):
        output = self.model(x)
        return output

nn_seq_1 = nn_seq()
loss = nn.CrossEntropyLoss()
real_optim = torch.optim.SGD(nn_seq_1.parameters(),lr=0.01)#params=nn_seq_1.model是不正确的

# print(nn_seq_1)
# input = torch.ones((64,3,32,32))#使用内置的全1矩阵，第一个是batchsize,第二个是通道数，第三个是h,第四个是w
# output = nn_seq_1(input)
# print(output.shape)
for epoch in range(20):

    result = 0
    for data in dataloader:#targets是目标类别
        imgs,targets = data
        output = nn_seq_1(imgs)
        # print(output)
        # output1 = torch.reshape(output,(1,10))
        # print(output1)     没有必要进行这一步输出的结果是一样的
        real_loss = loss(output,targets)#这是损失值，在损失图像上就是一个点，所以需要求这一点的梯度（这个可以对很多参数求梯度）
        real_optim.zero_grad()#将网络模型中待优化的参数梯度全部变化0，在每个batch 进行反向传播计算的时候都需要进行这一步
        real_loss.backward()#通过反向传播计算每个节点的梯度
        real_optim.step()#对每个参数进行更新，这里应该利用了学习率
        result = real_loss +result
    print(result)