计算图

非标量调用backward()求梯度

x = torch.arange(4.0)
x.requires_grad = True
y = x * x

 

方法1：通过y.sum().backward()调用反向传播

y.sum().backward()
print(x.grad)

   sum为y.sum()

把x带入得 x.grad为(0,2,4,8)

方法2：传入shape和x一样的ones参数

y.backward(torch.ones(x.shape))
print(x.grad)

通过雅可比矩阵进行向量对向量的求导

带入x得出

torch.ones(x.shape)创造的向量为(1,1,1,1)

相乘得到x.grad = (0,2,4,6)

detach()

返回一个新的tensor，从当前计算图中分离下来的，但是仍指向原变量的存放位置(内存相同),不同之处只是requires_grad为false，得到的这个tensor不再有计算梯度的能力，反向传播时遇到该tensor将停止，不再继续传播

新tensor不能求梯度，若不修改新tensor则被detach()的张量还能求梯度