2021SC@SDUSC
可以使用torch.nn包来构建神经网络。
神经网络典型的训练如下:
(1) 定义一些具有可学习参数（或权重）的神经网络
(2) 遍历输入数据集
(3) 通过网络处理输入
(4) 计算损失（距离正确的有多远）
(5) 将梯度传播回网络参数
(6) 通常使用简单的更新规则来更新权重：weight=weight-learning_rate * gradient
import torch
import torch.nn as nn
import torch.nn.functional as F
class Net(nn.Module):
def __init__(self):
super(Net,self).__init__()
self.conv1 = nn.Conv2d(1,6,3)
self.conv2 = nn.Conv2d(6,16,3)
self.fc1 = nn.Linear(16*6*6,120) # 6*6的图形面积
self.fc2 = nn.Linear(120,84)
self.fc3 = nn.Linear(84,10)
def forward(self,x):
x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
x = F.max_pool2d(F.relu(self.conv2(x)), 2)
x = x.view(-1, self.num_flat_features(x))
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
def num_flat_features(self,x):
size = x.size()[1:]
num_features = 1
for s in size:
num_features *=s
return num_features
net = Net()
print(net)
只需要定义forward函数，就可以使用autograd自动定义backward函数（计算梯度）。可以在forward函数中使用任何张量操作。
模型的可学习参数由net.parameters( )返回
params = list(net.parameters()) print(len(params)) print(params[0].size())
注意：
torch.nn仅支持小批量。整个torch.nn包仅支持作为微型样本而不是单个样本的输入。
例如：nn.Conv2d将采用nSamples × nChannels × Height × Width 的4D张量。
总结：
torch.Tensor 一个多维数组支持诸如backward()的自动微分操作。同样保持相对于张量的梯度。
nn.Module 神经网络模块。封装参数的便捷方法，并带有将其地洞到GPU导出、加载等的帮助器。
nn.Parameter 一种张量，即将其分配为Module的属性时，自动注册为参数。
autograd.Function 实现自动微分操作的正向和反向定义。每个Tensor操作都会创建至少一个Function节点，该节点连接到Tensor的函数，并且编码其历史记录。
损失函数采用一对（输出，目标）输入，并计算一个值，该值估计输出与目标之间的距离。
nn包下有几种不同的损失函数，一个简单的损失是：nn.MSELoss，它计算输入和目标之间的均方误差。
例如：
output = net(input) target = torch.randn(10) target = target.view(1,-1) criterion = nn.MSELoss() loss = criterion(output,target) print(loss)
如果使用.grad_fn属性向后跟随loss，将看到一个计算图：
input -> conv2d -> relu -> maxpool2d -> conv2d -> relu -> maxpool2d
-> view -> linear -> relu -> linear -> relu -> linear
-> MSELoss
-> loss
因此，当调用loss.backward时，整个将被微分。损失，并且图中具有requires_grad=True的所有张量将随梯度累积其.grad张量。
反向传播要反向传播误差，我们要做的只是对loss.backward()。 不过，您需要清除现有的梯度，否则梯度将累积到现有的梯度中。
现在，我们将其称为loss.backward()，然后看一下向后前后conv1的偏差梯度。
net.zero_grad() # zeroes the gradient buffers of all parameters
print('conv1.bias.grad before backward')
print(net.conv1.bias.grad)
loss.backward()
print('conv1.bias.grad after backward')
print(net.conv1.bias.grad)
更新权重
更新规则是随机梯度下降（SGD）：
weight = weight - learning_rate * gradient
用python代码实现：
learning_rate = 0.01
for f in net.parameters():
f.data.sub_(f.grad.data * learning_rate)
但是，在使用神经网络时，如果希望实现不同的更新规则，例如SGD，Nesterov，Adam，RMSProp等，可以使用小包torch.optim：
import torch.optim as optim optimizer = optim.SGD(net.parameters(), lr=0.01) optimizer.zero_grad() output = net(input) loss = criterion(output, target) loss.backward() optimizer.step()
