pytorch 中的 .detach() .clone()

pytorch tensor 中的 .clone() 和 .detach()

detach() 的用法

在写代码时经常能见到通过 tensor.detach().clone() 操作生成一个和原本 tensor 值相同的新 tensor

为什么需要同时使用 .clone() 和 .detach() ，接下来通过代码进行说明

1. 生成两个 tensor，并且求梯度

   a = torch.tensor([1.0, 1.0], requires_grad=True)
   b = torch.tensor([2.0, 2.0], requires_grad=True)
   loss = a@b
   loss.backward()
   print(a, b)
   print(a.grad, b.grad)
   

   输出结果：

   tensor([1., 1.], requires_grad=True) tensor([2., 2.], requires_grad=True)
   tensor([2., 2.]) tensor([1., 1.])

   可以看到 a, b 的梯度分别为 [2., 2.]，[1., 1.]

2. 使用 a_=a.detch() 脱离计算图

   在上面的代码中加上 a_=a.detch() 并且使用 a_ 计算和 backward()

   a = torch.tensor([1.0, 1.0], requires_grad=True)
   b = torch.tensor([2.0, 2.0], requires_grad=True)
   a_ = a.detach()
   loss = a_@b
   loss.backward()
   print(a, b)
   print(a.grad, b.grad)
   

   输出结果：

   tensor([1., 1.], requires_grad=True) tensor([2., 2.], requires_grad=True)
   None tensor([1., 1.])

   此时 a 的梯度为 none，因为.detach() 生成了一个新的 tensor 并且从计算图中脱离。a_ 运算后产生的梯度并不会传回 a

   关于 detach()具体细节可以查询官方文档

   生成的 a_ 是不会计算梯度的：

   print(a_.requires_grad)
   # out: False
   

3. 需要注意的是 .detach() 生成的 tensor 和原本的 tensor 共享内存

   a = torch.tensor([1.0, 1.0], requires_grad=True)
   b = torch.tensor([2.0, 2.0], requires_grad=True)
   a_ = a.detach()
   # 对 a_ 修改
   a_[0] +=2 
   loss = a@b
   loss.backward()
   print(a, b)
   print(a.grad, b.grad)
   

   输出：

   tensor([3., 1.], requires_grad=True) tensor([2., 2.], requires_grad=True)
   tensor([2., 2.]) tensor([3., 1.])

   可以看到 a, b 的梯度分别为 [2., 2.]，[3., 1.]，原本a, b 的梯度分别为 [2., 2.]，[1., 1.]，但是因为改变了 a_[0]，导致 a[0] 也变了，所以梯度也发生了变化。

   上面的代码中，通过.detach() 生成了新的 tensor，然后修改新生成的 tensor。在计算原本 a@b 的backward() 发现 b 的梯度发生了变化。这是因为修改了 a_ 的同时 a 也发生了变换。所以需要 .clone()

4. 使用 .clone() 生成新的 tensor

   a = torch.tensor([1.0, 1.0], requires_grad=True)
   b = torch.tensor([2.0, 2.0], requires_grad=True)
   a_ = a.clone()
   a_[0] +=2 
   loss = a@b
   loss.backward()
   print(a, b)
   print(a.grad, b.grad)
   

   输出:

   tensor([1., 1.], requires_grad=True) tensor([2., 2.], requires_grad=True)
   tensor([2., 2.]) tensor([1., 1.])

   上述代码中，a_由a.clone() 生成。对a_ 进行修改并不会影响原本的a

5. .clone() 和.detach()

   .clone() 生成的 tensor 是可微的，在 backward 时候会将梯度回传

   在官方文档-clone() 中提到

   This function is differentiable, so gradients will flow back from the result of this operation to input. To create a tensor without an autograd relationship to input see detach().

   a = torch.tensor([1.0, 1.0], requires_grad=True)
   b = torch.tensor([2.0, 2.0], requires_grad=True)
   a_ = a.clone()
   a_[0] +=2 
   loss = a_@b
   loss.backward()
   print(a, b)
   print(a.grad, b.grad)
   

   tensor([1., 1.], requires_grad=True) tensor([2., 2.], requires_grad=True)
   tensor([2., 2.]) tensor([3., 1.])

   可以看到，b 的梯度是 [3., 1.] 而不是 [1., 1.]

   这是因为使用 .clone() 生成的 tensor 进行运算，反向求导产生的梯度会传回输入节点。

   所以一般.clone() 和.detach() 需要配合使用