pytorch反向传播
反向传播的过程更多的是利用链式法则。
， 如图所示，对于一个输入x和输入w，f相当于z，可以得到z=x*w=6,通过损失函数l对z的求导，在通过z对x或w的求导，相乘可以得到损失函数对x和w的导数，这就是一个链式法则的过程。将这些求来干嘛呢？实际上是用于梯度下降。
事实上，为什么用反向传播，视频中说得很清楚，就是在有很多个结点的情况下并且各个结点的w权重又不相同，那么解析式就很难分析出来，对于普通的梯度下降算法就不那么适用。那么就可以通过反向传播，计算各个梯度，计算对应的值。
以图中为例，r=y_pred-y,对y_pred求导值为1，loss函数为r^2,对r求导为2r,剩下的便是链式法则了，求出局部梯度以及对权重的梯度。
当然，更多的是需要代码实现：
import torch
x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]
w = torch.Tensor([1.0])
w.requires_grad = True
print(w)
def forward(x):
return x*w
def loss(x, y):
y_pred =forward(x)
return (y_pred-y) ** 2
print('Predict (before training)', 4, forward(4).item())
for epoch in range(100):
for x,y in zip(x_data,y_data):
l = loss(x,y)
l.backward()
print('tgrad:',x,y,w.grad.item())
w.data = w.data - 0.01* w.grad.data#梯度下降
w.grad.data.zero_()
print("progress", epoch,l.item())
print('Predict (after training)', 4, forward(4).item())
事实上，w.data每次循环它的值都会根据梯度下降算法而进行变动，即每次运行时的计算图时不一样的。w.grad.data.zero_()便是清除计算图，不然每次循环，如果数据一多起来，计算图不删除，它就会累计，占用大量内存。
其它的我并没有标记太多，我并不能很好的解释各个代码 ，具体的可以参考该博主：PyTorch学习（三）--反向传播_陈同学爱吃方便面的博客-CSDN博客_反向传播pytorch
它解释得更为详细。
反向传播其最终目的也是求得使损失函数最小时的对应值，跟梯度下降算法目的一致，但其又更为复杂，因为它包含了不同的权重。当然，如果给出一个有多个权重的解析式，其思路也是一样的，在上面那个博客中很好的体现了出来。
视频链接：
https://www.bilibili.com/video/BV1Y7411d7Ys?p=4&vd_source=a15131e407749ccda8c0ea94db45c9d3
