tensor的维度扩张的手段--Broadcasting
broadcasting是tensorflow中tensor维度扩张的最常用的手段,指对某一个维度上重复N多次,虽然它呈现数据已被扩张,但不会复制数据。
可以这样理解,对 [b,784]@[784,10]+[10]这样一个操作([10]可以理解为偏置项),那么原式可以化为[b,10]+[10],但是[b,10]和[10]这两个tensor是不能直接相加的,两者必须化为相一致维度的单元才能相加,即,把[10]扩张为[b,10],两者才能相加,而broadcasting做的就是这样一件事。
如果上面的说法仍然不好理解,我们再换一个说法,对于两个tensor,tensor1:[4,16,16,32](4维)和tensor2:[32](1维),我们将两个不同维度的张量右对齐即4-null,16-null,16-null,32-32,然后从右往前,即从小维度往大维度延伸,如果tensor2在相应的维度上没有维度,我们就插入一个维度,即,从[32]变为[1,1,1,32],然后把插入的维度扩张成相同的size,即把[1,1,1,32]扩张为[4,16,16,32]
又如,对tensor[4,32,32,3],要给它加一个偏置项b:[3],那么这个b的扩张过程为[3]→[1,1,1,3]→[4,32,32,3]
又如,现有两个tensor,tensor1:[4,1],tensor2:[1,3],两个tensor相加,则变化为,[4,1]→[4,3],[1,3]→[4,3]
又如,现有两个tensor,tensor1:[4],tensor2:[1,3],两个tensor不能相加,因为我们扩张时遵循的是右对齐原则,即[4]将要变成[1,4],而[1,4]和[1,3]是不能相加的
那么broadcasting有什么实际意义呢?
举个实际例子,对于[classes,students,scores]这样一个tensor概念(前文已经提过),由于期末考试某科难度提高,我们需要提高它的基准分,因此我们构建一个偏置项[scores],让它与前者相加,这时候通过broadcasting我们就可以让高维元素普适我们的[scores]操作(因为单纯的[scores]是没有学生和班级这样的概念的,通过broadcasting可以看成是对这种概念的补充),即,给所有班级的所有学生的成绩都加上这样的一个偏置。
开头我们提到broadcasting可以实现数据的维度扩张但不会复制数据,意思是,对于[b,10]+[10]这样一个操作,虽然经过broadcasting我们将[10]理解为了一个[b,10](扩张),但其实际的数据shape仍然是[10],如果不使用broadcasting而是用我们前面提到过的维度变换的方法,过程是这个样子的:首先使用expand方法在axis=0的地方插入一个维度使其变为[1,10],然后使用tf.tile方法对[1,10]复制b次,使其变为[b,10],经过这样一个数据变换后,原来的偏置就真的变成了shape为[b,10]的tensor。对比之下可以看到,如果不指定高维度的配置,只给定低维度的概念那么broadcasting默认会进行高维的适配和扩张,而且broadcasting使用更加的简洁,同时可以节省大量的存储空间(因为并没有复制数据)。
使用方法只需要调用tf.broadcast_to函数即可,代码很简单,不再给出。
tensor的维度扩张的手段--Broadcasting的更多相关文章
- Pytorch 中 tensor的维度拼接
torch.stack() 和 torch.cat() 都可以按照指定的维度进行拼接,但是两者也有区别,torch.satck() 是增加新的维度进行堆叠,即其维度拼接后会增加一个维度:而torch. ...
- pytorch 调整tensor的维度位置
target.permute([0, 3, 1, 2]) 一定要使用permute以及中括号 一些在我这里没起到作用的网上的例子: 1. https://blog.csdn.net/zouxiaolv ...
- [TensorFlow]Tensor维度理解
http://wossoneri.github.io/2017/11/15/[Tensorflow]The-dimension-of-Tensor/ Tensor维度理解 Tensor在Tensorf ...
- tensorflow中tensor的静态维度和动态维度
tf中使用张量(tensor)这种数据结构来表示所有的数据,可以把张量看成是一个具有n个维度的数组或列表,张量会在各个节点之间流动,参与计算. 张量具有静态维度和动态维度. 在图构建过程中定义的张量拥 ...
- tensor维度变换
维度变换是tensorflow中的重要模块之一,前面mnist实战模块我们使用了图片数据的压平操作,它就是维度变换的应用之一. 在详解维度变换的方法之前,这里先介绍一下View(视图)的概念.所谓Vi ...
- Pytorch Tensor 维度的扩充和压缩
维度扩展 x.unsqueeze(n) 在 n 号位置添加一个维度 例子: import torch x = torch.rand(3,2) x1 = x.unsqueeze(0) # 在第一维的位置 ...
- Pytorch-tensor的维度变化
引言 本篇介绍tensor的维度变化. 维度变化改变的是数据的理解方式! view/reshape:大小不变的条件下,转变shape squeeze/unsqueeze:减少/增加维度 transpo ...
- pytorch张量数据索引切片与维度变换操作大全(非常全)
(1-1)pytorch张量数据的索引与切片操作1.对于张量数据的索引操作主要有以下几种方式:a=torch.rand(4,3,28,28):DIM=4的张量数据a(1)a[:2]:取第一个维度的前2 ...
- Pytorch | 详解Pytorch科学计算包——Tensor
本文始发于个人公众号:TechFlow,原创不易,求个关注 今天是Pytorch专题的第二篇,我们继续来了解一下Pytorch中Tensor的用法. 上一篇文章当中我们简单介绍了一下如何创建一个Ten ...
随机推荐
- tomcat-windows10环境搭建
1.进入Tomcat官网Apache Tomcat® - Welcome! 2.根据操作系统选择合适的版本下载 zip用于windows操作系统, tar.gz用于unix和linux操作系统 Bin ...
- PC微信逆向--实现消息防撤回
自从聊天软件消息撤回功能问世后,对于撤回的消息,我们对它一直有种强烈的好奇感."Ta刚撤回了什么?是骂我的话?还是说喜欢我?还是把发给其他人的消息误发给了我?好气呀,都看不到了...&quo ...
- num09---建造者模式
建造者模式: 核心思想:将产品 和 产品建造过程解耦
- VFP 用 SPT 来发布一条 SELECT 到一个新的 SQL Server 表
为了发布一条 SQL SELECT 语句来创建一个新的 SQL Server 表, SQL Server 数据库的 select into/bulkcopy 选项必须是可用的. 在默认情况下, 对于 ...
- 字符编码及字节串bytes类型
1 字符编码简介 ASCII码:美国人发明并使用,用1个字节(8位二进制)代表一个字符,ASCII码是其他任意编码表的子集(utf-16除外). Unicode:包含和兼容全世界的语言,与全世界的语言 ...
- C#基础知识学习(2)string类中的方法
1.Compare 比较字符串 用来比较2个字符串的长度大小和值是否相同,相同则返回0,当x比y小返回-1,否则返回1,如果长度相同,且值不同,则返回1,代码如下 public static void ...
- Properties(hashtable的子类)
Properties: Properties是hashtable的子类(在java.util包中).该集合的特点:可以用于键值对形式的配置文件,且不允许Key重复,若有重复的,后者会覆盖前者. 也就是 ...
- springBoot2.x启动项目报java.sql.SQLNonTransientConnectionException
将项目从springBoot1.x升级到springBoot2.x,启动报错: java.sql.SQLNonTransientConnectionException: Cannot load con ...
- JVM垃圾回收——GC
一.JVM内存分配与回收 下图为堆内存结构图(注意:元数据区(MetaData )实际上不属于堆): 1.对象优先在Eden区分配 大多数情况下,对象在新生代中Eden区分配.当Eden区没有足够空间 ...
- 简单了解css3样式表写法和优先级
css3和css有什么区别?首先css3是css(层叠样式表)技术的升级版本,而css是一种用来表现HTML(标准通用标记语言的一个应用)或XML(标准通用标记语言的一个子集)等文件样式的计算机语言. ...