PyTorch学习之自动求导机制-Volatile标志

修改官方文档的错误

运行官方文档中的代码可能会报错（维度不一致）：

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "e:\Anaconda3\lib\site-packages\torch\nn\modules\module.py", line 489, in __call__
result = self.forward(*input, **kwargs)
File "e:\Anaconda3\lib\site-packages\torchvision\models\resnet.py", line 150, in forward
x = self.conv1(x)
File "e:\Anaconda3\lib\site-packages\torch\nn\modules\module.py", line 489, in __call__
result = self.forward(*input, **kwargs)
File "e:\Anaconda3\lib\site-packages\torch\nn\modules\conv.py", line 320, in forward
self.padding, self.dilation, self.groups)
RuntimeError: Expected 4-dimensional input for 4-dimensional weight [64, 3, 7, 7], but got 2-dimensional input of size [5, 5] instead

因为model需要四维变量，而官方文档中的是二维变量，所以会报错

修改方法：去掉Variable函数，这是0.4版本的函数，我们现在使用的大多数是1.0版本

regular_input=torch.randn(1,3,224,224)#默认是True
volatile_input=torch.randn(1,3,224,224)
Model=torchvision.models.resnet18(pretrained=True)
Model(regular_input).requires_grad
with torch.no_grad():
Model(volatile_input).requires_grad

总结：（1）requires_grad=Fasle时不需要更新梯度， 适用于冻结某些层的梯度；
volatile=True相当于requires_grad=False，适用于推断阶段，不需要反向传播。这个现在已经取消了，使用with torch.no_grad()来替代

原文地址：https://www.cnblogs.com/cola-1998/p/10977479.html

时间： 2024-11-02 10:25:02

PyTorch学习之自动求导机制-Volatile标志的相关文章

PyTorch 1.0 中文文档：自动求导机制

译者:冯宝宝 本说明将概述autograd(自动求导)如何工作并记录每一步操作.了解这些并不是绝对必要的,但我们建议您熟悉它,因为它将帮助你编写更高效,更清晰的程序,并可以帮助您进行调试. 反向排除子图 每个张量都有一个标志:requires_grad,允许从梯度计算中细致地排除子图,并可以提高效率. requires_grad 只要有单个输入进行梯度计算操作,则其输出也需要梯度计算.相反,只有当所有输入都不需要计算梯度时,输出才不需要梯度计算.如果其中所有的张量都不需要进行梯度计算,后向计算不

『PyTorch』第三弹_自动求导

torch.autograd 包提供Tensor所有操作的自动求导方法. 数据结构介绍 autograd.Variable 这是这个包中最核心的类. 它包装了一个Tensor,并且几乎支持所有的定义在其上的操作.一旦完成了你的运算,你可以调用 .backward()来自动计算出所有的梯度,Variable有三个属性: 访问原始的tensor使用属性.data: 关于这一Variable的梯度则集中于 .grad: .creator反映了创建者,标识了是否由用户使用.Variable直接创建(No

NDArray自动求导

NDArray可以很方便的求解导数,比如下面的例子:(代码主要参考自https://zh.gluon.ai/chapter_crashcourse/autograd.html) 用代码实现如下: 1 import mxnet.ndarray as nd 2 import mxnet.autograd as ag 3 x = nd.array([[1,2],[3,4]]) 4 print(x) 5 x.attach_grad() #附加导数存放的空间 6 with ag.record(): 7 y

第一章基本操作-自动求导

使用目标对象的.backward()进行反向梯度求导 import torch x = torch.randn(3, 4, requires_grad=True) print(x) b = torch.randn(3, 4, requires_grad=True) t = x + b y = t.sum() y.backward() print(b.grad) x = torch.rand(1) b = torch.rand(1, requires_grad=True) w = torch.ra

PyTorch入门学习（二）：Autogard之自动求梯度

autograd包是PyTorch中神经网络的核心部分,简单学习一下. autograd提供了所有张量操作的自动求微分功能. 它的灵活性体现在可以通过代码的运行来决定反向传播的过程, 这样就使得每一次的迭代都可以是不一样的. Variable类 autograd.Variable是这个包中的核心类. 它封装了Tensor,并且支持了几乎所有Tensor的操作. 一旦你完成张量计算之后就可以调用.backward()函数,它会帮你把所有的梯度计算好. 通过Variable的.data属性可以获取到

自动求梯度（pytorch版本）——2.20

一.Tensor用于自动求梯度 "tensor"这个单词?般可译作"张量",张量可以看作是?个多维数组.标量可以看作是0维张量,向量可以看作1维张量,矩阵可以看作是?维张量. ????在深度学习中,我们经常需要对函数求梯度(gradient).PyTorch提供的autograd 包能够根据输?和前向传播过程?动构建计算图,并执?反向传播.本节将介绍如何使?autograd包来进??动求梯度的有关操作. 概念 ????Pytorch中的Tensor 是这个包的核?类

Yii2的深入学习--自动加载机制

Yii2 的自动加载分两部分,一部分是 Composer 的自动加载机制,另一部分是 Yii2 框架自身的自动加载机制. Composer自动加载 对于库的自动加载信息,Composer 生成了一个 vendor/autoload.php 文件.你可以简单的引入这个文件,你会得到一个自动加载的支持. 在之前的文章,入口文件的介绍中,我们可以看到如下内容: // 引入 vendor 中的 autoload.php 文件,会基于 composer 的机制自动加载类 require(__DIR__ .

Yii2的深入学习--自动加载机制（转）

Yii2 的自动加载分两部分,一部分是 Composer 的自动加载机制,另一部分是 Yii2 框架自身的自动加载机制. Composer自动加载 对于库的自动加载信息,Composer 生成了一个 vendor/autoload.php 文件.你可以简单的引入这个文件,你会得到一个自动加载的支持. 在之前的文章,入口文件的介绍中,我们可以看到如下内容: // 引入 vendor 中的 autoload.php 文件,会基于 composer 的机制自动加载类 require(__DIR__ .

Programming Ability Test学习 02-线性结构2. 一元多项式求导 (25)

02-线性结构2. 一元多项式求导 (25) 时间限制 400 ms 内存限制 65536 kB 代码长度限制 8000 B 判题程序 Standard 设计函数求一元多项式的导数.(注:xn(n为整数)的一阶导数为n*xn-1.) 输入格式:以指数递降方式输入多项式非零项系数和指数(绝对值均为不超过1000的整数).数字间以空格分隔. 输出格式:以与输入相同的格式输出导数多项式非零项的系数和指数.数字间以空格分隔,但结尾不能有多余空格.注意“零多项式”的指数和系数都是0,但是表示为“0 0”.