[转载]Tensorflow 的reduce_sum()函数的axis,keep_dim这些参数到底是什么意思?
来源:知乎
这个问题无外乎有三个难点:
- 什么是sum
- 什么是reduce
- 什么是维度(indices, 现在均改为了axis和numpy等包一致)
sum很简单,就是求和,那么问题就是2和3,让我们慢慢来讲。其实彻底讲清楚了这个问题,很多关于reduce,维度的问题都会恍然大悟。
0. 到底操作哪个维度??
sum这个操作完全可以泛化为任意函数,我们就以sum为例,来看看各种情况。
首先是1维(按照tensorflow的说法其实是0维,后面会说)就是这样:
a = 1
sum(a) => 1
那么看看2维的情况,为了看的更清楚,特意写成了矩阵的形式:
a = [[1,2],
[3,4]]
sum(a) => ???
仔细观察,那么问题来了,sum(a)
到底应该是多少?有人说,当然是[3, 7](“横着加”[[1+2],[3+4]])
,有人说 不应该是[4, 6](“竖着加”[[1+3],[2+4]])
吗?还有人或说,不应该是10(全加在一起)
吗?
谁是对的?
都是对的。
所以,对于多维数组元素的相加,如果不指定“如何加”,结果是未定义的,之所以有些时候没有指定也可以得到结果,是因为不同的软件或框架有默认的行为。对于tensorflow,默认行为是最后一种,也就是全加在一起。
1. 什么是维度?什么是轴(axis)?如何索引轴(axis)?
注:对Axis比较熟悉的读者可跳过这部分解释,只看加粗字体。
这是一个很大的问题,到底什么是维度呢?维基百科说:
维度,又称维数,是数学中独立参数的数目。在物理学和哲学的领域内,指独立的时空坐标的数目。
0维是一点,没有长度。1维是线,只有长度。2维是一个平面,是由长度和宽度(或曲线)形成面积。3维是2维加上高度形成“体积面”。虽然在一般人中习惯了整数维,但在分形中维度不一定是整数,可能会是一个非整的有理数或者无理数。
妈呀,好复杂,我只是想写个tensorflow代码呀。
那么,编程时,你就可以简单的认为:
维度是用来索引一个多维数组中某个具体数所需要最少的坐标数量。
把这句话多读几遍,我想你肯定会有所顿悟。这里之所以说第一个1维的例子时0维,是因为,一个数字根本不需要索引,因为就只有一个呀。所有不同维度的形式如下:
0维,又称0维张量,数字,标量:1
1维,又称1维张量,数组,vector:[1, 2, 3]
2维,又称2维张量,矩阵,二维数组:[[1,2], [3,4]]
3维,又称3维张量,立方(cube),三维数组:[ [[1,2], [3,4]], [[5,6], [7,8]] ]
n维:你应该get到点了吧~
再多的维只不过是是把上一个维度当作自己的元素
1维的元素是标量,2维的元素是数组,3维的元素是矩阵。
从0维到3维,边看边念咒语“维度是用来索引一个多维数组中某个具体数所需要最少的坐标。”
在纸上写写看,想要精确定位一个数字,需要几个数字呢?比如上面例子中的3维数组,我们想要3这个数字,至少要3个数字定位,它的坐标是(0为索引起点):[0, 1, 0]
好了,现在就能说了,什么是轴(axis),如何索引axis(代码中常用的变量名,后文就用axis代表轴)。
什么是axis,编程时,你就可以简单的认为:
axis是多维数组每个维度的坐标。
同样,把这句话多读几遍,我想你一定有体悟。
还拿3维来说,数字3的坐标是[0, 1, 0],那么第一个数字0的axis是0,第二个数字1的axis是1,第三个数字0的axis是2。
让我们再看看我们是如何得到3这个数字的:
- 找到3所在的2维矩阵在这个3维立方的索引:0
- 找到3所在的1维数组在这个2维矩阵的索引:1
- 找到3这个数这个1维数组的索引:0
(这里最好写在纸上看一看,括号比较多。)
也就是说,对于[ [[1,2], [3,4]], [[5,6], [7,8]] ]这个3维情况,[[1,2],[[5,6]], [[3,4], [7,8]]这两个矩阵(还记得吗,高维的元素低一个维度,因此三维立方的元素是二维矩阵)的axis是0,[1,2],[3,4],[5,6],[7,8]这4个数组(二维矩阵的元素是一维数组)的axis是1,而1,2,3,4,5,6,7,8这8个数的axis是2。
越往里axis就越大,依次加1。
那么,对于3维的情况,令a = [ [[1,2], [3,4]], [[5,6], [7,8]] ],tf.reduce_sum(a, axis=1)应该输出[[ 4, 6], [12, 14]],这就是处在axis=1的4个数组相加的结果,并reduce掉了一个维度。
这里需要注意的是,axis可以为负数,此时表示倒数第axis个维度,这和Python中列表切片的用法类似。
那么什么是reduce呢?
2. 什么是reduce
reduce这个词字面上来讲,大多称作“归约”,但这个词太专业了,以至于第一眼看不出来意思。我更倾向于解释为“塌缩”,这样就形象多了。对一个n维的情况进行reduce,就是将执行操作的这个维度“塌缩”。还是上面tf.reduce_sum(a, axis=1)的例子,输出[[ 4, 6], [12, 14]]是二维,显然是被“塌缩”了,塌缩的哪个维度呢?就是被操作的维度,第2个维度,也就是axis=1(0开始索引)。tf.reduce_sum(a, axis=1)具体执行步骤如下:
- 找到a中axis=1的元素,也就是[1,2],[3,4],[5,6],[7,8]这4个数组(两两一组,因为前两个和后两个的地位相同)
- 在axis=1的维度进行相加也就是[1,2]+[3,4]=[4,6],[5,6]+[7,8]=[12, 14]
- “塌缩”这一维度,也就是说“掉一层方括号”,得出[[ 4, 6], [12, 14]]
接下来是一个附加问题:
3. 什么是keepdims
上面的reduce已经解释了,“塌缩”的是被操作的维度,那么keepdims也就是保持维度,直观来看就是“不掉一层方括号”,不掉哪层方括号呢?就是本来应该被塌缩的那一层(详细解释见评论)。tf.reduce_sum(a, axis=1, keepdims=True)得出[[[ 4, 6]], [[12, 14]]],可以看到还是3维。这种尤其适合reduce完了要和别的同维元素相加的情况。
[转载]Tensorflow 的reduce_sum()函数的axis,keep_dim这些参数到底是什么意思?的更多相关文章
- [转载]tensorflow中使用tf.ConfigProto()配置Session运行参数&&GPU设备指定
tf.ConfigProto()函数用在创建session的时候,用来对session进行参数配置: config = tf.ConfigProto(allow_soft_placement=True ...
- TensorFlow基础1:reduce_sum()函数和reduce_mean()函数
https://blog.csdn.net/chengshuhao1991/article/details/78545723 在计算损失时,通常会用到reduce_sum()函数来进行求和,但是在使用 ...
- tensorflow.nn.bidirectional_dynamic_rnn()函数的用法
在分析Attention-over-attention源码过程中,对于tensorflow.nn.bidirectional_dynamic_rnn()函数的总结: 首先来看一下,函数: def bi ...
- 【转载】C/C++ 函数指针 总结
转载自:http://blog.csdn.net/shihui512/article/details/9787125 什么是函数指针函数指针的声明函数指针的赋值函数指针的使用将函数作为其他函数的参数在 ...
- TensorFlow常用的函数
TensorFlow中维护的集合列表 在一个计算图中,可以通过集合(collection)来管理不同类别的资源.比如通过 tf.add_to_collection 函数可以将资源加入一个 或多个集合中 ...
- TensorFlow 常用的函数
TensorFlow 中维护的集合列表 在一个计算图中,可以通过集合(collection)来管理不同类别的资源.比如通过 tf.add_to_collection 函数可以将资源加入一个或多个集合中 ...
- Tensorflow Batch normalization函数
Tensorflow Batch normalization函数 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 stackoverflow上tensorflow实现BN的不同函数的 ...
- [转载]Linux下getopt()函数的简单使用
转载源地址:https://www.cnblogs.com/qingergege/p/5914218.html 1.getopt()函数的出处就是unistd.h头文件(哈哈),写代码的时候千万不要忘 ...
- 【转载】SQL SERVER 函数大全
SQL Server 函数大全 一旦成功地从表中检索出数据,就需要进一步操纵这些数据,以获得有用或有意义的结果.这些要求包括:执行计算与数学运算.转换数据.解析数值.组合值和聚合一个范围内的值等. 下 ...
随机推荐
- python之三元表达式、列表推导、生成器表达式、递归、匿名函数、内置函数
目录 一 三元表达式 二 列表推到 三 生成器表达式 四 递归 五 匿名函数 六 内置函数 一.三元表达式 def max(x,y): return x if x>y else y print( ...
- aerospike数据库配置
https://blog.csdn.net/u011344514/article/details/53082757
- 2017-12-15python全栈9期第二天第三节之使用while循环输出0到10
#!/user/bin/python# -*- coding:utf-8 -*-count = 0while count < 10: count += 1 print(count)
- SVN简单的使用
一.什么是SVN有什么用? SVN是Subversion的简称,是一个开放源代码的版本控制系统.主要是用于团队开发中的资源共享和团队协作. 二.SVN服务器的安装 1.下载安装文件 在下面地址下载Vi ...
- 【.NET】using 语句中使用的类型必须可隐式转换为"System.IDisposable"
#问题: 在使用EF开发中,出现如下错误:“using 语句中使用的类型必须可隐式转换为“System.IDisposable” #原因: 项目中没有引用 EntityFramework 这个程序集: ...
- 网络编程基础【day09】:通过socket实现简单ssh客户端(三)
本节内容 1.概述 2.socket发送中文 3.重复发送和多次接收 4.模拟ssh客户端 一.概述 本篇博客讲一下,如果socket客户端断了,另外的客户端怎么接入服务端,还有模拟ssh的链接等. ...
- ESB简介及选型(转) http://www.cnblogs.com/skyme/archive/2012/08/06/2623414.html
什么是ESB 企业服务总线(Enterprise Service Bus,ESB)的概念是从面向服务体系架构(Service Oriented Architecture, SOA)发展而来的.SOA描 ...
- Django之组件--cookie与session
cookie组件 cookie:由服务器产生,存放在客户端浏览器上的键值对. 使用: -设置值: obj=HttpResponse('ok') obj.set_cookie('key','value' ...
- golang interface
接口定义 Interface类型可以定义一组方法,但是这些不需要实现.并且interface不能 包含任何变量. type Interface interface { test1(a, b int) ...
- mysql:insert插入数据过慢如何解决,设置innodb_flush_log_at_trx_commit为0就能解决
问题: 最近在做性能测试,造数据,发现insert好慢,只有几十条每秒,很奇怪,最后再网上找到了原因. 网文如下: MY SQL insert 速度过慢 最近在用MySQL做存储,测试中发现插入数据太 ...