pytorch学习笔记一之张量
1. 张量¶
1.1. 概述¶
张量(tensor)是pytorch中的一种较为基础的数据结构,类比于numpy中的ndarrays,在pytorch中,张量可以在GPU中进行运算
通过以下命令,我们导入pytorch和numpy:
import torch
import numpy as np
1.2. 张量初始化¶
1.2.1. 直接生成张量¶
data = [[1, 2], [3, 4]]
x_data = torch.tensor(data)
x_data
tensor([[1, 2],
[3, 4]])
1.2.2. ndarrays转化¶
np_array = np.array(data)
x_np = torch.from_numpy(np_array)
x_np
tensor([[1, 2],
[3, 4]])
1.2.3. 通过已有张量生成¶
继承结构与数据类型:
x_ones = torch.ones_like(x_data)
x_ones
tensor([[1, 1],
[1, 1]])
继承结构,改变数据类型:
x_rand = torch.rand_like(x_data, dtype=torch.float)
x_rand
tensor([[0.9849, 0.3644],
[0.0800, 0.2939]])
1.2.4. 指定维数生成张量¶
用元组类型的数据指定维数:
shape = (2, 3)
生成张量:
torch.ones(shape)
tensor([[1., 1., 1.],
[1., 1., 1.]])
torch.zeros(shape)
tensor([[0., 0., 0.],
[0., 0., 0.]])
torch.rand(shape)
tensor([[0.1744, 0.3771, 0.7969],
[0.7098, 0.9853, 0.3950]])
1.3. 张量属性¶
维数:
x_data.shape
torch.Size([2, 2])
数据类型:
x_data.dtype
torch.int64
存储设备:
x_data.device
device(type='cpu')
1.4. 张量计算¶
GPU对于张量的计算更快,检测GPU是否可用:
torch.cuda.is_available()
False
显然,对于笔者设备来说,由于没有显卡,GPU加速是不可用的,如果设备GPU可用,可以将CPU中的数据导入GPU:
if torch.cuda.is_available():
tensor = x_data.to('cuda')
1.4.1. 索引和切片¶
tensor = torch.ones((3, 4))
tensor
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])
类比于ndarrays,tensor也可理解为是一个多维数组,以下表示将tensor变量的第一行、第一列变为0:
tensor[1, 1] = 0
tensor
tensor([[1., 1., 1., 1.],
[1., 0., 1., 1.],
[1., 1., 1., 1.]])
以下表示将tensor变量的第三列变为0:
tensor[:, 3] = 0
tensor
tensor([[1., 1., 1., 0.],
[1., 0., 1., 0.],
[1., 1., 1., 0.]])
1.4.2. 张量的拼接¶
tensor1 = torch.ones((3, 4))
tensor2 = torch.zeros((3, 4))
使用torch.cat()方法,指定维数进行拼接:
torch.cat([tensor1, tensor2], dim=1)
tensor([[1., 1., 1., 1., 0., 0., 0., 0.],
[1., 1., 1., 1., 0., 0., 0., 0.],
[1., 1., 1., 1., 0., 0., 0., 0.]])
torch.cat([tensor1, tensor2], dim=0)
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.],
[0., 0., 0., 0.],
[0., 0., 0., 0.],
[0., 0., 0., 0.]])
torch.cat([tensor1, tensor2], dim=-1)
tensor([[1., 1., 1., 1., 0., 0., 0., 0.],
[1., 1., 1., 1., 0., 0., 0., 0.],
[1., 1., 1., 1., 0., 0., 0., 0.]])
torch.cat([tensor1, tensor2], dim=-2)
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.],
[0., 0., 0., 0.],
[0., 0., 0., 0.],
[0., 0., 0., 0.]])
torch.cat([tensor1, tensor2, tensor], dim=-2)
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.],
[0., 0., 0., 0.],
[0., 0., 0., 0.],
[0., 0., 0., 0.],
[1., 1., 1., 0.],
[1., 0., 1., 0.],
[1., 1., 1., 0.]])
此处实验 dim = 2 时,有:
torch.cat([tensor1, tensor2], dim=2)
---------------------------------------------------------------------------
IndexError Traceback (most recent call last)
<ipython-input-31-dc57fe12e880> in <module>
----> 1 torch.cat([tensor1, tensor2], dim=2)
IndexError: Dimension out of range (expected to be in range of [-2, 1], but got 2)
根据官网示例,此处dim的取值主要是0和1:
x = torch.randn(2, 3)
torch.cat((x, x, x), 0)
torch.cat((x, x, x), 1)
综上,dim的取值有 -2、-1、0、1,然而-2、-1与0、1的意思似乎是一样的
1.4.3. 张量的乘积与矩阵乘法¶
逐个元素相乘:
tensor.mul(tensor)
tensor([[1., 1., 1., 0.],
[1., 0., 1., 0.],
[1., 1., 1., 0.]])
等价于:
tensor * tensor
tensor([[1., 1., 1., 0.],
[1., 0., 1., 0.],
[1., 1., 1., 0.]])
张量与张量的矩阵乘法:
tensor.matmul(tensor.T)
tensor([[3., 2., 3.],
[2., 2., 2.],
[3., 2., 3.]])
等价于:
tensor @ tensor.T
tensor([[3., 2., 3.],
[2., 2., 2.],
[3., 2., 3.]])
1.4.4. 自动赋值运算¶
自增运算:
tensor
tensor([[1., 1., 1., 0.],
[1., 0., 1., 0.],
[1., 1., 1., 0.]])
tensor.add_(5)
tensor([[6., 6., 6., 5.],
[6., 5., 6., 5.],
[6., 6., 6., 5.]])
tensor
tensor([[6., 6., 6., 5.],
[6., 5., 6., 5.],
[6., 6., 6., 5.]])
复制运算:
tensor.copy_(tensor1)
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])
tensor
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])
注意:自动赋值运算可以节省内存,但是会导致一些中间过程的问题
1.5. Tensor与Numpy的转换¶
1.5.1. Tensor转换为Numpy¶
tensor
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])
np_t = tensor.numpy()
np_t
array([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]], dtype=float32)
tensor.add_(5)
tensor([[6., 6., 6., 6.],
[6., 6., 6., 6.],
[6., 6., 6., 6.]])
np_t
array([[6., 6., 6., 6.],
[6., 6., 6., 6.],
[6., 6., 6., 6.]], dtype=float32)
可见:Tensor和Numpy共用内存,一个改变时另一个也改变
1.5.2. Numpy转Tensor¶
np_t
array([[6., 6., 6., 6.],
[6., 6., 6., 6.],
[6., 6., 6., 6.]], dtype=float32)
tensor
tensor([[6., 6., 6., 6.],
[6., 6., 6., 6.],
[6., 6., 6., 6.]])
t_np = torch.from_numpy(np_t)
t_np
tensor([[6., 6., 6., 6.],
[6., 6., 6., 6.],
[6., 6., 6., 6.]])
np.add(np_t, 1, out=np_t)
array([[7., 7., 7., 7.],
[7., 7., 7., 7.],
[7., 7., 7., 7.]], dtype=float32)
t_np
tensor([[7., 7., 7., 7.],
[7., 7., 7., 7.],
[7., 7., 7., 7.]])
np.add(np_t, 1)
array([[8., 8., 8., 8.],
[8., 8., 8., 8.],
[8., 8., 8., 8.]], dtype=float32)
t_np
tensor([[7., 7., 7., 7.],
[7., 7., 7., 7.],
[7., 7., 7., 7.]])
可见:np.add()指定out=时才会重新赋值
1.6. 参考资料:¶
pytorch学习笔记一之张量的更多相关文章
- [PyTorch 学习笔记] 1.3 张量操作与线性回归
本章代码:https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson1/linear_regression.py 张量的操作 拼 ...
- [PyTorch 学习笔记] 1.2 Tensor(张量)介绍
本章代码: https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson1/tensor_introduce1.py https: ...
- Pytorch学习笔记(二)---- 神经网络搭建
记录如何用Pytorch搭建LeNet-5,大体步骤包括:网络的搭建->前向传播->定义Loss和Optimizer->训练 # -*- coding: utf-8 -*- # Al ...
- Pytorch学习笔记(一)---- 基础语法
书上内容太多太杂,看完容易忘记,特此记录方便日后查看,所有基础语法以代码形式呈现,代码和注释均来源与书本和案例的整理. # -*- coding: utf-8 -*- # All codes and ...
- 【pytorch】pytorch学习笔记(一)
原文地址:https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html 什么是pytorch? pytorch是一个基于p ...
- [PyTorch 学习笔记] 1.4 计算图与动态图机制
本章代码:https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson1/computational_graph.py 计算图 深 ...
- [PyTorch 学习笔记] 2.2 图片预处理 transforms 模块机制
PyTorch 的数据增强 我们在安装PyTorch时,还安装了torchvision,这是一个计算机视觉工具包.有 3 个主要的模块: torchvision.transforms: 里面包括常用的 ...
- [PyTorch 学习笔记] 4.3 优化器
本章代码: https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/optimizer_methods.py https: ...
- 【深度学习】Pytorch 学习笔记
目录 Pytorch Leture 05: Linear Rregression in the Pytorch Way Logistic Regression 逻辑回归 - 二分类 Lecture07 ...
- Pytorch学习笔记(二)——Tensor
一.对Tensor的操作 从接口的角度讲,对Tensor的操作可以分为两类: (1)torch.function (2)tensor.function 比如torch.sum(a, b)实际上和a.s ...
随机推荐
- JavaScript冒泡排序+Vue可视化冒泡动画
冒泡排序(Bubble Sort)算是前端最简单的算法,也是最经典的排序算法了.网上JavaScript版本的冒泡排序很多,今天用Vue实现一个动态的可视化冒泡排序. 01.JavaScript冒泡排 ...
- Django(2) - Django模板
1.Django模板介绍 基础概念 模板是具有一定的格式或骨架,可以动态的生成HTML 模板引擎决定以何种方式组织代码 一个项目可以有一个或者是多个模板引擎,Django里面主要两个模板引擎:DTL. ...
- WCF 服务容器化的一些问题
背景 目前项目当中存有 .NET Framework 和 .NET Core 两种类型的项目,但是都需要进行容器化将其分别部署在 Windows 集群和 Linux 集群当中.在 WCF 进行容器化的 ...
- CentOS7升级Linux内核
CentOS7升级Linux内核 什么是Linux内核 虽然时候使用 Linux 来表示整个操作系统,严格地说,Linux 只是个内核,而发行版的操作系统是一个完整功能的系统,它建立在内核之上,具有各 ...
- tempdb数据文件暴增分析
背景 某客户tempdb数据文件突然暴增,导致磁盘可用空间紧张,让我们找到暴增的原因. 现象 登录到SQL专家云,通过趋势分析进行回溯,在4月12日,tempdb数据文件在3个小时内从10GB涨到了8 ...
- 快速排序——C++左闭右开区间实现
代码 #include<iostream> #include<vector> using namespace std; class Solution { public: //快 ...
- C#调用js库的方法
前言 用.net6开发一个Winform程序,处理Excel文件,并把结果导出Excel文件. 要用到两个算法,一是turf.js库的booleanPointInPolygon方法,判断经纬度坐标是否 ...
- Java基础学习笔记-Java数据类型转换-(~ ̄▽ ̄)~
JAVA数据类型和JS数据类型转换不一样,因为它是强类型语言嘛 类型转换规则 不允许数值类型和布尔类型 转换 整型.实型.字符型数据可以混合运算 类型转换分类 自动类型转换-隐式转换 1.整数转换为小 ...
- 如何使用MASA.Blazor
MASA.Blazor 是什么? 基于Material Design设计和BlazorComponent的交互能力提供标准的基础组件库.提供如布局.弹框标准.Loading.全局异常处理等标准场景的预 ...
- mov eax,dword ptr[0x00aff834] 和 lea eax,[0x00aff834]区别
mov eax,dword ptr[0x00aff834] 和 lea eax,[0x00aff834]区别 mov eax,[内存]是将内存的值赋值给eax,而lea是直接将地址值赋值给eax 因此 ...