tf.nn.softmax

softmax是神经网络的最后一层将实数空间映射到概率空间的常用方法,公式如下:

\[softmax(x)_i=\frac{exp(x_i)}{\sum_jexp(x_j)}
\]

本文意于分析tensorflow中的tf.nn.softmax(),关于softmax的具体推导和相关知识点,参照其它文章

tensorflow的tf.nn.softmax()函数实现位于这里,可以看到,实现起来相当简明:

tf.exp(logits)/tf.reduce_sum(tf.exp(logits),axis)

看一个例子:

x=tf.constant([[[1.0,2.0],[3.0,4.0]],
[[5.0,6.0],[7.0,9.0]],
[[9.0,10.0],[11.0,12.0]]]) with tf.Session() as sess:
print(sess.run(tf.nn.softmax(x,axis=0)))
print(sess.run(tf.nn.softmax(x,axis=1)))
print(sess.run(tf.nn.softmax(x,axis=2)))

这里主要关注axis参数,它表示在那个维度上做softmax。从上面可以看到,axis参数传递给了tf.reduce_sum。上述的运行结果类似于:

axis=0:
[[[3.2932041e-04 3.2932041e-04]
[3.2932041e-04 3.2932041e-04]]
[[1.7980287e-02 1.7980287e-02]
[1.7980287e-02 1.7980287e-02]]
[[9.8169035e-01 9.8169035e-01]
[9.8169035e-01 9.8169035e-01]]] axis=1:
[[[0.11920291 0.11920291]
[0.880797 0.880797 ]]
[[0.11920291 0.11920291]
[0.880797 0.880797 ]]
[[0.11920291 0.11920291]
[0.880797 0.880797 ]]] axis=2:
[[[0.26894143 0.7310586 ]
[0.26894143 0.7310586 ]]
[[0.26894143 0.7310586 ]
[0.26894143 0.7310586 ]]
[[0.26894143 0.7310586 ]
[0.26894143 0.7310586 ]]]

这里以axis=0为例,tf.reduce_sum(tf.exp(x),axis=0)的结果为:

[[  8254.216  22437.285]
[ 60990.863 165790.34 ]]

tf.exp(x)的结果为:

[[[2.7182817e+00 7.3890562e+00]
[2.0085537e+01 5.4598152e+01]]
[[1.4841316e+02 4.0342880e+02]
[1.0966332e+03 2.9809580e+03]]
[[8.1030840e+03 2.2026467e+04]
[5.9874145e+04 1.6275478e+05]]]

假设最外层axis=0的维度表示样本数,取出第一个样本看其计算过程,可知:

[[3.2932041e-04 3.2932041e-04]
[3.2932041e-04 3.2932041e-04]]=
[[2.7182817e+00 7.3890562e+00]
[2.0085537e+01 5.4598152e+01]]
/
[[ 8254.216 22437.285]
[ 60990.863 165790.34 ]]

也就是样本概率加和为1,也就是对axis=0处做softmax(axis=0维度上,概率加和为1),而其“内部”的值一样。

tf.reduce_sum

这里从tf.reduce_sum函数这个角度提一下,tensorflow中的维度这个参数。axis这个参数可以从张量从外向里看,axis=0表示最外一层,举例而言:

x=tf.constant([[[1.0,2.0],[3.0,4.0]],
[[5.0,6.0],[7.0,9.0]],
[[9.0,10.0],[11.0,12.0]]]) with tf.Session() as sess:
print(sess.run(tf.reduce_sum(x,axis=0)))

上述这个例子中,x的shape为[3,2,2]。最外层的张量有3个元素,现在要对最外层(也就是axis=0)reduce_sum,也就是:

[[1.0,2.0],[3.0,4.0]]+[[5.0,6.0],[7.0,9.0]]+[[9.0,10.0],[11.0,12.0]]
=[[15.0,18.0],[21.0,24.0]]

3维张量内部的2维张量,对应位置相加。例如:15.0=1.0+5.0+9.0

同样的:

with tf.Session() as sess:
print(sess.run(tf.reduce_sum(x,axis=1)))
print(sess.run(tf.reduce_sum(x,axis=2)))

axis=1时,是第二层,第二层中每个张量有2个元素,对于第一个第二层(axis=1)张量[[1.0,2.0],[3.0,4.0]],现在要对其reduce_sum,运算过程如下:

[1.0,2.0]+[3.0,4.0]=[4.0,6.0]

第二个第二层张量和第三个第二层张量运算过程:

[5.0,6.0]+[7.0,8.0]=[12.0,14.0]
[[9.0,10.0]+[11.0,12.0]]=[20.0,22.0]

拼合起来结果就是:

[[ 4.  6.]
[12. 14.]
[20. 22.]]

当axis=2时,也就是

with tf.Session() as sess:
print(sess.run(tf.reduce_sum(x,axis=2)))

结果是什么呢?

[[ 3.  7.]
[11. 15.]
[19. 23.]]

其中,3.0=1.0+2.0

tf.nn.softmax_cross_entropy_with_logits

一般我们在用softmax做最后一层,计算loss时常常用到该函数,函数签名:

tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)
  • logits:神经网络最后一层的输出,如果有batch的话,它的大小就是[batchsize,num_classes]。单样本的话,大小就是num_classes
  • labels:标签,大小要与logits保持一致

计算过程分为2步:

  • 对网络最后一层的输出做一个softmax,这一步通常是求取输出属于某一类的概率,output_shape: [None, num_classes]

  • 对每个样本,使用神经网络的输出和真实标签做交叉熵,交叉熵公式如下:

    \[H_{y'}(y)=-\sum_iy_i'log(y_i)
    \]

    对单个样本而言,\(y_i'\)是真实标签第i维的值,\(y_i\)是神经网络输出的向量的第i维的值。可以看到,\(y_i'\)和\(y_i\)越一致,交叉熵越小,所以可以使用交叉熵作为loss。交叉熵可以参考其它文章

    该函数返回向量,要求标量交叉熵,可以使用tf.reduce_sum将其变为标量

tf.nn.softmax & tf.nn.reduce_sum & tf.nn.softmax_cross_entropy_with_logits的更多相关文章

  1. 深度学习原理与框架-Tensorflow基本操作-mnist数据集的逻辑回归 1.tf.matmul(点乘操作) 2.tf.equal(对应位置是否相等) 3.tf.cast(将布尔类型转换为数值类型) 4.tf.argmax(返回最大值的索引) 5.tf.nn.softmax(计算softmax概率值) 6.tf.train.GradientDescentOptimizer(损失值梯度下降器)

    1. tf.matmul(X, w) # 进行点乘操作 参数说明:X,w都表示输入的数据, 2.tf.equal(x, y) # 比较两个数据对应位置的数是否相等,返回值为True,或者False 参 ...

  2. tf.nn.softmax(logits,name=None)

    tf.nn.softmax( logits, axis=None, name=None, dim=None #dim在后来改掉了 ) 通过Softmax回归,将logistic的预测二分类的概率的问题 ...

  3. 对tf.nn.softmax的理解

    对tf.nn.softmax的理解 转载自律者自由 最后发布于2018-10-31 16:39:40 阅读数 25096  收藏 展开 Softmax的含义:Softmax简单的说就是把一个N*1的向 ...

  4. tf.nn.softmax 分类

    tf.nn.softmax(logits,axis=None,name=None,dim=None) 参数: logits:一个非空的Tensor.必须是下列类型之一:half, float32,fl ...

  5. 深度学习原理与框架-图像补全(原理与代码) 1.tf.nn.moments(求平均值和标准差) 2.tf.control_dependencies(先执行内部操作) 3.tf.cond(判别执行前或后函数) 4.tf.nn.atrous_conv2d 5.tf.nn.conv2d_transpose(反卷积) 7.tf.train.get_checkpoint_state(判断sess是否存在

    1. tf.nn.moments(x, axes=[0, 1, 2])  # 对前三个维度求平均值和标准差,结果为最后一个维度,即对每个feature_map求平均值和标准差 参数说明:x为输入的fe ...

  6. 深度学习原理与框架-Tensorflow卷积神经网络-卷积神经网络mnist分类 1.tf.nn.conv2d(卷积操作) 2.tf.nn.max_pool(最大池化操作) 3.tf.nn.dropout(执行dropout操作) 4.tf.nn.softmax_cross_entropy_with_logits(交叉熵损失) 5.tf.truncated_normal(两个标准差内的正态分布)

    1. tf.nn.conv2d(x, w, strides=[1, 1, 1, 1], padding='SAME')  # 对数据进行卷积操作 参数说明:x表示输入数据,w表示卷积核, stride ...

  7. Difference between nn.softmax & softmax_cross_entropy_with_logits & softmax_cross_entropy_with_logits_v2

    nn.softmax 和 softmax_cross_entropy_with_logits 和 softmax_cross_entropy_with_logits_v2 的区别   You have ...

  8. 深度学习原理与框架-Tfrecord数据集的读取与训练(代码) 1.tf.train.batch(获取batch图片) 2.tf.image.resize_image_with_crop_or_pad(图片压缩) 3.tf.train.per_image_stand..(图片标准化) 4.tf.train.string_input_producer(字符串入队列) 5.tf.TFRecord(读

    1.tf.train.batch(image, batch_size=batch_size, num_threads=1) # 获取一个batch的数据 参数说明:image表示输入图片,batch_ ...

  9. 对抗生成网络-图像卷积-mnist数据生成(代码) 1.tf.layers.conv2d(卷积操作) 2.tf.layers.conv2d_transpose(反卷积操作) 3.tf.layers.batch_normalize(归一化操作) 4.tf.maximum(用于lrelu) 5.tf.train_variable(训练中所有参数) 6.np.random.uniform(生成正态数据

    1. tf.layers.conv2d(input, filter, kernel_size, stride, padding) # 进行卷积操作 参数说明:input输入数据, filter特征图的 ...

随机推荐

  1. mysql 下 计算 两点 经纬度 之间的距离 计算结果排序

    根据经纬度计算距离公式 公式 对上面的公式解释如下: Lung1 Lat1表示A点经纬度, Lung2 Lat2表示B点经纬度: a=Lat1 – Lat2 为两点纬度之差 b=Lung1 -Lung ...

  2. svn创建版本库和删除版本库

    作者:朱金灿 来源:http://blog.csdn.net/clever101 svn创建版本库的做法:使用cd命令进入版本仓库的根目录,我的是E:\Repository,然后运行命令: svnad ...

  3. 【u127】台阶问题

    Time Limit: 1 second Memory Limit: 128 MB [问题描述] 有N级的台阶,你一开始在底部,每次可以向上迈最多K级台阶(最少1级),问到达第N级台阶有多少种不同方式 ...

  4. JavaScript动态广告弹出框

    <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title> ...

  5. WPF 在image控件用鼠标拖拽出矩形

    原文:WPF 在image控件用鼠标拖拽出矩形 版权声明:博客已迁移到 http://lindexi.gitee.io 欢迎访问.如果当前博客图片看不到,请到 http://lindexi.gitee ...

  6. android模拟器上不了网的解决办法

    Android模拟器默认的地址是10.0.2.3,默认的DNS也是10.0.2.3,对于在家里上网学习Android的人来讲,一般电脑的IP都是192.168.1.100之类的,不在同一个网段.所以就 ...

  7. 关于undefind

    var undefined = "东方云游"; alert(undefined); // undefined 不一定为undefined ie8(包含ie8)以下会返回 " ...

  8. Linux下编译,要下载tar.xz,而不要下载zip,因为换行的编码不一样,对.h.cpp没有影响,但是对脚本有影响 good

    原因是 在win下编辑的时候,换行结尾是\n\r , 而在linux下 是\n,所以才会有 多出来的\r但是这个我是直接下载的官网文件解压的,没有动过啊. 破案了. linux下编译要下 .tar.x ...

  9. Android 调用系统分享文字、图片、文件,可直达微信、朋友圈、QQ、QQ空间、微博

    原文:Android 调用系统分享文字.图片.文件,可直达微信.朋友圈.QQ.QQ空间.微博 兼容SDK 18以上的系统,直接调用系统分享功能,分享文本.图片.文件到第三方APP,如:微信.QQ.微博 ...

  10. HDU 1618 Oulipo KMP解决问题的方法

    鉴于两个字符串,寻找一个字符串的频率,另一个字符串出现. 原版的kmp另一个陷阱.以下凝视了,标不是踩着好,有加班一定几率,也有机会错误,根据不同的字符串可以是详细. 变化看起来像一个,kmp速度是非 ...