- with torch.no_grad():
该语句下的tensor，pytorch不会追踪，也不会算在链式法则的梯度图内。举例：下面a不会被追踪，也不参与反向传播。而a1会被追踪，打印这两个变量，会发现a1变量存在grad_fn==属性，但是a没有。with torch.no_grad(): a = b + c a1 = b1 + c1 - with torch.autograd.set_detect_anomaly(True):
将该语句放置于可能出现问题的网络代码下，会返回在反向传播时具体出问题语句的代码，但是通常没啥用，不精确。 - inplace问题经常导致pytorch无法反向传播求导，可能的情况有很多
3.1 被pytorch追踪的变量名重用
3.2 += *= 等操作
