pytorch 查看中间变量的梯度

pytorch 为了节省显存，在反向传播的过程中只针对计算图中的叶子结点(leaf variable)保留了梯度值(gradient)。但对于开发者来说，有时我们希望探测某些中间变量(intermediate variable) 的梯度来验证我们的实现是否有误，这个过程就需要用到 tensor的register_hook接口。一段简单的示例代码如下，代码主要来自pytorch开发者的回答，笔者稍作修改使其更符合最新版的pytorch 语法(v1.2.0)。

grads = {}def save_grad(name):def hook(grad):grads[name] = gradreturn hookx = torch.randn(1, requires_grad=True) y = 3*x z = y * y# 为中间变量注册梯度保存接口，存储梯度时名字为 y。 y.register_hook(save_grad('y'))# 反向传播 z.backward()# 查看 y 的梯度值 print(grads['y'])

一个示例输出是：

tensor([-1.5435])

转载于:https://www.cnblogs.com/SivilTaram/p/pytorch_intermediate_variable_gradient.html

总结

以上是生活随笔为你收集整理的pytorch 查看中间变量的梯度的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。