关于Pytorch中autograd和backward的一些笔记
参考自《Pytorch autograd,backward详解》:
1 Tensor
Pytorch中所有的计算其实都可以回归到Tensor上,所以有必要重新认识一下Tensor。
如果我们需要计算某个Tensor的导数,那么我们需要设置其.requires_grad
属性为True
。为方便说明,在本文中对于这种我们自己定义的变量,我们称之为叶子节点(leaf nodes),而基于叶子节点得到的中间或最终变量则可称之为结果节点。
另外一个Tensor中通常会记录如下图中所示的属性:
data
: 即存储的数据信息requires_grad
: 设置为True
则表示该 Tensor 需要求导grad
: 该 Tensor 的梯度值,每次在计算 backward 时都需要将前一时刻的梯度归零,否则梯度值会一直累加,这个会在后面讲到。grad_fn
: 叶子节点通常为 None,只有结果节点的 grad_fn 才有效,用于指示梯度函数是哪种类型。is_leaf
: 用来指示该 Tensor 是否是叶子节点。
举例:
x = torch.rand(3, requires_grad=True)
y = x ** 2
z = x + x print(
'x requires grad: {}, is leaf: {}, grad: {}, grad_fn: {}.'
.format(x.requires_grad, x.is_leaf, x.grad, x.grad_fn)
)
print(
'y requires grad: {}, is leaf: {}, grad: {}, grad_fn: {}.'
.format(y.requires_grad, y.is_leaf, y.grad, y.grad_fn)
)
print(
'z requires grad: {}, is leaf: {}, grad: {}, grad_fn: {}.'
.format(z.requires_grad, z.is_leaf, z.grad, z.grad_fn)
)
运行结果:
x requires grad: True, is leaf: True, grad: None, grad_fn: None.
y requires grad: True, is leaf: False, grad: None, grad_fn: <PowBackward0 object at 0x0000021A3002CD88>.
z requires grad: True, is leaf: False, grad: None, grad_fn: <AddBackward0 object at 0x0000021A3002CD88>.
2 torch.autograd.backward
如下代码:
x = torch.tensor(1.0, requires_grad=True)
y = torch.tensor(2.0, requires_grad=True)
z = x**2+y
z.backward()
print(z, x.grad, y.grad) >>> tensor(3., grad_fn=<AddBackward0>) tensor(2.) tensor(1.)
当 z 是一个标量,当调用它的 backward 方法后会根据链式法则自动计算出叶子节点的梯度值。
但是如果遇到 z 是一个向量或者是一个矩阵的情况,这个时候又该怎么计算梯度呢?这种情况我们需要定义grad_tensor
来计算矩阵的梯度。在介绍为什么使用之前我们先看一下源代码中backward的接口是如何定义的:
torch.autograd.backward(
tensors,
grad_tensors=None,
retain_graph=None,
create_graph=False,
grad_variables=None)
tensor
: 用于计算梯度的 tensor。也就是说这两种方式是等价的:torch.autograd.backward(z) == z.backward()
grad_tensors
: 在计算非标量的梯度时会用到。他其实也是一个tensor,它的shape一般需要和前面的tensor
保持一致。retain_graph
: 通常在调用一次 backward 后,pytorch 会自动把计算图销毁,所以要想对某个变量重复调用 backward,则需要将该参数设置为True
create_graph
: 当设置为True
的时候可以用来计算更高阶的梯度grad_variables
: 这个官方说法是 grad_variables' is deprecated. Use 'grad_tensors' instead. 也就是说这个参数后面版本中应该会丢弃,直接使用grad_tensors
就好了。
pytorch设计了grad_tensors
这么一个参数。它的作用相当于“权重”。
先看一个例子:
x = torch.ones(2,requires_grad=True)
z = x + 2
z.backward() >>> ...
RuntimeError: grad can be implicitly created only for scalar outputs
上面的报错信息意思是只有对标量输出它才会计算梯度,而求一个矩阵对另一矩阵的导数束手无策。
$X = \begin{bmatrix} x_0 & x_1 \end{bmatrix} \Rightarrow Z = \begin{bmatrix} x_0 + 2 & x_1 + 2 \end{bmatrix} \Rightarrow \frac{\partial Z}{\partial X} = ?$
那么我们只要想办法把 $Z$ 转变成一个标量不就好了?比如我们可以对 $Z$ 求和,然后用求和得到的标量在分别对 $x_0, x_1$ 求导,这样不会对结果有影响,例如:
$Z_{sum} = \sum z_i = x_0 + x_1 + 4$
$\frac{\partial Z_{sum}}{\partial x_0} = \frac{\partial Z_{sum}}{\partial x_1} = 1$
x = torch.ones(2,requires_grad=True)
z = x + 2
z.sum().backward()
print(x.grad) >>> tensor([1., 1.])
而grad_tensors
这个参数就扮演了帮助求和的作用。
换句话说,就是对 $Z$ 和一个权重张量grad_tensors
进行 hadamard product 后求和。这也是 grad_tensors 需要与传入的 tensor 大小一致的原因。
x = torch.ones(2,requires_grad=True)
z = x + 2
z.backward(torch.ones_like(z)) # grad_tensors需要与输入tensor大小一致
print(x.grad) >>> tensor([1., 1.])
3 torch.autograd.grad
torch.autograd.grad(
outputs,
inputs,
grad_outputs=None,
retain_graph=None,
create_graph=False,
only_inputs=True,
allow_unused=False)
看了前面的内容后再看这个函数就很好理解了,各参数作用如下:
outputs
: 结果节点,即被求导数inputs
: 叶子节点grad_outputs
: 类似于backward
方法中的grad_tensors
retain_graph
: 同上create_graph
: 同上only_inputs
: 默认为True
,如果为True
,则只会返回指定input
的梯度值。 若为False
,则会计算所有叶子节点的梯度,并且将计算得到的梯度累加到各自的.grad
属性上去。allow_unused
: 默认为False
, 即必须要指定input
,如果没有指定的话则报错。
注意该函数返回的是 tuple 类型。
关于Pytorch中autograd和backward的一些笔记的更多相关文章
- Pytorch中的自动求导函数backward()所需参数含义
摘要:一个神经网络有N个样本,经过这个网络把N个样本分为M类,那么此时backward参数的维度应该是[N X M] 正常来说backward()函数是要传入参数的,一直没弄明白backward需要传 ...
- pytorch学习-AUTOGRAD: AUTOMATIC DIFFERENTIATION自动微分
参考:https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#sphx-glr-beginner-blitz-autog ...
- pytorch 中的重要模块化接口nn.Module
torch.nn 是专门为神经网络设计的模块化接口,nn构建于autgrad之上,可以用来定义和运行神经网络 nn.Module 是nn中重要的类,包含网络各层的定义,以及forward方法 对于自己 ...
- pytorch中调用C进行扩展
pytorch中调用C进行扩展,使得某些功能在CPU上运行更快: 第一步:编写头文件 /* src/my_lib.h */ int my_lib_add_forward(THFloatTensor * ...
- PyTorch中的C++扩展
今天要聊聊用 PyTorch 进行 C++ 扩展. 在正式开始前,我们需要了解 PyTorch 如何自定义module.这其中,最常见的就是在 python 中继承torch.nn.Module,用 ...
- [源码解析] PyTorch 分布式 Autograd (1) ---- 设计
[源码解析] PyTorch 分布式 Autograd (1) ---- 设计 目录 [源码解析] PyTorch 分布式 Autograd (1) ---- 设计 0x00 摘要 0x01 分布式R ...
- [源码解析] PyTorch 分布式 Autograd (2) ---- RPC基础
[源码解析] PyTorch 分布式 Autograd (2) ---- RPC基础 目录 [源码解析] PyTorch 分布式 Autograd (2) ---- RPC基础 0x00 摘要 0x0 ...
- [源码解析] PyTorch 分布式 Autograd (3) ---- 上下文相关
[源码解析] PyTorch 分布式 Autograd (3) ---- 上下文相关 0x00 摘要 我们已经知道 dist.autograd 如何发送和接受消息,本文再来看看如何其他支撑部分,就是如 ...
- [源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎
[源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎 目录 [源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎 0x00 摘要 0 ...
随机推荐
- pyhton机器学习入门基础(机器学习与决策树)
//2019.07.26#scikit-learn数据挖掘工具包1.Scikit learn是基于python的数据挖掘和机器学习的工具包,方便实现数据的数据分析与高级操作,是数据分析里面非常重要的工 ...
- python-python基础1(变量、判断、循环、模块、数据运算)
一.变量 name=input("name:") age=input("age:") job=input("job:") info=''' ...
- java.jvm调优
_amazing~ 基本: 整理:
- ip 在网络传输中是如何传递的
前言 ip 我们知道有ip4与ip6.ip6还未实行,那么就暂且不谈. ip4我们在传递的时候一般是这样的"127.0.0.1",但是我们传输的是信号,也就是二进制数据,这个字符如 ...
- C++用sqlite3_open连接打开指定数据库的小问题
一开始我也纳闷,我以为是我数据库没弄好,但是当我仔细检查,才发现 原来我少了分号 写少了分号,可能会导致 database 和 table 找不到... 所以用的时候需要注意... 代 ...
- BInder机制总结
BInder机制 Linux内核的基础知识 进程隔离/虚拟地址空间 操作系统当中为了保证进程间互不干扰,设计了进程隔离的技术,避免了一个进程去操作另一个进程的数据.进程隔离用到了虚拟地址空间,不同进程 ...
- 吴裕雄--天生自然java开发常用类库学习笔记:RumTime类
public class RuntimeDemo01{ public static void main(String args[]){ Runtime run = Runtime.getRuntime ...
- Centos 8下命令行界面支持鼠标
yum install gpm* service gpm start systemctl enable gpm.service
- FreeCAD stp文件基于python脚本操作
FreeCAD对于3D模型处理这块的东西封装的还是很完善的,所以移植这块的东西还是有必要的! 首先下载FreeCAD编译好的库: https://www.freecadweb.org/wiki/Dow ...
- 利用vim查看日志,快速定位问题《转载》
利用vim查看日志,快速定位问题 链接:https://www.cnblogs.com/abcwt112/p/5192944.html