[Pytorch笔记] scatter_

https://blog.csdn.net/qq_16234613/article/details/79827006 scatter_(input, dim, index, src)将src中数据根据index中的索引按照dim的方向填进input中. >>> x = torch.rand(, ) >>> x 0.4319 0.6500 0.4080 0.8760 0.2355 0.2609 0.4711 0.8486 0.8573 0.1029 [torch.Floa…

[Pytorch] pytorch笔记 <三>

pytorch笔记 optimizer.zero_grad() 将梯度变为0,用于每个batch最开始,因为梯度在不同batch之间不是累加的,所以必须在每个batch开始的时候初始化累计梯度,重置为0. for epoch in range(num_epoches):# 每个epoch for inputs,labels in dataloader:# 每个batch optimizer.zero_grad()# 初始化梯度 outputs = model(inputs)# 正向 _,pred…

[Pytorch] pytorch笔记 <二>

pytorch笔记2 用到的关于plt的总结 plt.scatter scatter(x, y, s=None, c=None, marker=None, cmap=None, norm=None, vmin=None, vmax=None, alpha=None, linewidths=None, verts=None, edgecolors=None, *, data=None, **kwargs) 其他参数大致解释一下,x输入自变量list,y输入因变量list. c是颜色,可以是list…

[Pytorch] pytorch笔记 <一>

pytorch笔记 - torchvision.utils.make_grid torchvision.utils.make_grid torchvision.utils.make_grid(tensor, nrow=8, padding=2, normalize=False, range=None, scale_each=False) # 将一小batch图片变为一张图.nrow表示每行多少张图片的数量. # 给一个batch为4的图片,h和w分别为32,channel为3,看看结果 imag…

PyTorch笔记之 scatter() 函数

scatter() 和 scatter_() 的作用是一样的,只不过 scatter() 不会直接修改原来的 Tensor,而 scatter_() 会 PyTorch 中,一般函数加下划线代表直接在原来的 Tensor 上修改 scatter(dim, index, src) 的参数有 3 个 dim:沿着哪个维度进行索引 index:用来 scatter 的元素索引 src:用来 scatter 的源元素,可以是一个标量或一个张量这个 scatter 可以理解成放置元素或者修改元素简单…

【转载】 pytorch笔记：06)requires_grad和volatile

原文地址: https://blog.csdn.net/jiangpeng59/article/details/80667335 作者:PJ-Javis 来源:CSDN -------------------------------------------------------------------------------------------------- requires_grad Variable变量的requires_grad的属性默认为False,若一个节点requires_gr…

pytorch笔记：09)Attention机制

刚从图像处理的hole中攀爬出来,刚走一步竟掉到了另一个hole(fire in the hole*▽*) 1.RNN中的attentionpytorch官方教程:https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html首先,RNN的输入大小都是(1,1,hidden_size),即batch=1,seq_len=1,hidden_size=embed_size,相对于传统的encoder-decod…

[pytorch笔记] 调整网络学习率

1. 为网络的不同部分指定不同的学习率 class LeNet(t.nn.Module): def __init__(self): super(LeNet, self).__init__() self.features = t.nn.Sequential( t.nn.Conv2d(3, 6, 5), t.nn.ReLU(), t.nn.MaxPool2d(2, 2), t.nn.Conv2d(6, 16, 5), t.nn.ReLU(), t.nn.MaxPool2d(2, 2) ) # 由于调…

[pytorch笔记] torch.nn vs torch.nn.functional; model.eval() vs torch.no_grad(); nn.Sequential() vs nn.moduleList

1. torch.nn与torch.nn.functional之间的区别和联系 https://blog.csdn.net/GZHermit/article/details/78730856 nn和nn.functional之间的差别如下,我们以conv2d的定义为例 torch.nn.Conv2d import torch.nn.functional as F class Conv2d(_ConvNd): def __init__(self, in_channels, out_channels…

Pytorch笔记 (3) 科学计算1

一.张量标量可以看作是零维张量向量可以看作是一维张量矩阵可以看作是二维张量继续扩展数据的维度,可以得到更高维度的张量 ————> 张量又称多维数组给定一个张量数据,就可以确定它的维度 + 大小 + 元素个数 # 对于一个大小为 0个条目的元组() ,元素个数为1 只有维度.大小.元素个数.各元素都相同的两个张量,才是两个相同的张量举例:对于某个张量,若其中有个条目是 ,那么这个1不可省略.也应该算进张量的维度中. 大小为(,) 的二维张量和大小为 (,…

Pytorch笔记 (2) 初识Pytorch

一.人工神经网络库 Pytorch ———— 让计算机确定神经网络的结构 + 实现人工神经元 + 搭建人工神经网络 + 选择合适的权重 (1)确定人工神经网络的结构: 只需要告诉Pytorch 神经网络中的神经元个数每个神经元是怎么样的[比如输入输出非线性函数] 各神经元的连接方式 (2)确定人工神经元的权重值: 只需要告诉 pytorch 什么样的权重值比较好 (3)处理输入和输出: pytorch 可以和其他库合作,协助处理神经网络的输入和输出二.利用Pyto…

PyTorch笔记之 Dataset 和 Dataloader

一.简介在 PyTorch 中,我们的数据集往往会用一个类去表示,在训练时用 Dataloader 产生一个 batch 的数据 https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#sphx-glr-beginner-blitz-cifar10-tutorial-py 比如官方例子中对 CIFAR10 图像数据集进行分类,就有用到这样的操作,具体代码如下所示 trainset = torchvision.data…

pytorch笔记

Tensor slice Tensor的indices操作以[2,3]矩阵为例,slice后可以得到任意shape的矩阵,并不是说一定会小于2行3列. import torch truths=torch.Tensor([[1,2,3],[4,5,6]]) #代表新生成一个[3,]的矩阵,行位置分别取原先矩阵的第1,第0,第1行. print(truths[[1,0,1],:]) print(truths[[1,0,1]]) #等同于truths[[1,0,1],:] #代表新生成一个[,4]的…

Pytorch笔记 (3) 科学计算2

一.组织张量的元素 (1)重排张量元素本节介绍在不改变张量元素个数和各元素的值的情况下改变张量的大小 torch.Tensor类的成员方法 reshape() 参数是多个int类型的值. 如果想要把一个张量的大小改成 s[0],s[1],s[2],s[3]....那就让s[0],s[1],s[2],s[3]....作为reshape() 方法的n个参数使用 reshape() 在不改变元素个数和各元素的值的情况下改变张量大小 tc = torch.arange(12) #张量大小 (…

Pytorch笔记 (1) 初始神经网络

一.人工神经元上方人工神经元中: 输入 * 权重 ——> 相当于人神经元中树突的功能各输入相加 ,再做非线性变化f ——> 相当于胞体的功能将非线性变化的结果输出 ——> 相当于轴突在非线性函数f固定的情况下,选择不同的权重,单个神经元可以完成不同的运算但并不是全部,比如 : “或运算” 上述证明过程可表示为: y = f( w[0] * x[0] + w[1] * w[1] + w[2] ) 在 x[0] x[1] 两个输入分别为 00 10 01…

PyTorch笔记之 squeeze() 和 unsqueeze()

1.squeeze() 函数 squeeze() 用来去掉向量的一个维度,只有维度为 1 的那一维才能去掉 example: 初始化1个向量shape为(1,2,3)的向量 import torch a = torch.rand((1,2,3)) 去掉第 0 维,第 0 维的大小是1,所以可以去掉第0维,去掉后向量的 shape 是(2,3) 去掉最后一维,最后一维的大小是3,所以不会操作成功,向量的 shape 仍然是(1,2,3) 2.unsqueeze()函数从函数名字就可以看出,uns…

PyTorch 于 JupyterLab 的环境准备

PyTorch 是目前主流的深度学习框架之一,而 JupyterLab 是基于 Web 的交互式笔记本环境.于 JupyterLab 我们可以边记笔记的同时.边执行 PyTorch 代码,便于自己学习.调试或以后回顾. 本文将介绍这样的环境如何进行准备.了解更多: PyTorch 官方文档 JupyterLab 交互式笔记本安装 Anaconda Anaconda: https://www.anaconda.com/products/individual#Downloads 北外镜像源: ht…

[源码解析]PyTorch如何实现前向传播(1) --- 基础类(上)

[源码解析]PyTorch如何实现前向传播(1) --- 基础类(上) 目录 [源码解析]PyTorch如何实现前向传播(1) --- 基础类(上) 0x00 摘要 0x01 总体逻辑 0x02 废弃类 2.1 Variable 2.2 Function 0x03 Tensor 3.1 定义 in python 3.2 查找定义 3.2.1 Tensor 3.2.2 _TensorBase 3.3 转换 3.3.1 Python 导入 3.3.2 C++ 导出 & 初始化 3.3.2.1 共享库…

[源码解析]PyTorch如何实现前向传播(2) --- 基础类(下)

[源码解析]PyTorch如何实现前向传播(2) --- 基础类(下) 目录 [源码解析]PyTorch如何实现前向传播(2) --- 基础类(下) 0x00 摘要 0x01 前文回顾 0x02 TensorImpl 2.1 转嫁 2.2 定义 0x03 自动求导相关类 3.1 AutogradMeta 3.2 DifferentiableViewMeta 3.3 AutogradContext 3.4 Auto Function 0x04 Node 4.1 定义 4.2 重要成员变量 4.2.…