Relu优点:

1、可以使网络训练更快。

相比于sigmoid、tanh,导数更加好求,反向传播就是不断的更新参数的过程,因为其导数不复杂形式简单。

2、增加网络的非线性。

本身为非线性函数,加入到神经网络中可以是网格拟合非线性映射。

3、防止梯度消失。

当数值过大或者过小,sigmoid,tanh的导数接近于0,relu为非饱和激活函数不存在这种现象。

4、使网格具有稀疏性。

由于小于0部分为0,大于0部分才有值,所以可以减少过拟合。

softmax作用:

将神经网络的输出变为概率分布。

1、数据之和为1.

2、负数变为正数。

cross entropy

衡量两个概率分布的距离。

1、值越小,距离越近。

2、值越大,距离越远。

AlexNet优点:

(1)成功使用relu作为cnn的激活函数,并验证其效果在较深的网络超过sigmoid,成功解决了sigmoid在网络较深时的梯度弥散问题。

(2)训练时使用Dropout随机忽略一部分神经元,以避免模型过拟合。dropout虽有单独的论文论述。但是AlexNet将其实用化。通过实践证实了它的效果。在AlexNet中主要是最后几个全连接层使用了Dropout。

(3)在cnn中使用重叠的最大池化,此前cnn中普遍使用平均池化。AlexNet全部使用最大池化。避免平均池化的模糊化效果。并且让步长比池化核的尺寸小。这样池化的输出之间会有重叠和覆盖。提升了特征的丰富性。

(4)提出了LRN层,对局部神经元的活动创建竞争机制,使得其中相应比较大的值变得相对更大。并抑制其他反馈较小的神经元,增强模型的泛化能力。

(5)使用CUDA加深深度卷积网络的训练,利用GPU强大的并行计算能力。处理神经网络训练时大量的矩阵运算。AlexNet使用了两块GTX 580 GPU进行训练。同时AlexNet的设计让Gpu之间的通信只在网络的某些层进行,控制了通信的性能损耗。

(6)数据增强。随机地从256*256的原始图像中截取224*224大小的区域(以及水平旋转的镜像)对图像的RGB数据进行PCA处理,并对主成分做一个标准差为0,1高斯扰动,增加 一些噪声。

Relu激活函数的优点的更多相关文章

  1. RELU 激活函数及其他相关的函数

    RELU 激活函数及其他相关的函数 转载 2016年07月21日 20:51:17 45778 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 更多相关博客 ...

  2. tensorflow Relu激活函数

    1.Relu激活函数 Relu激活函数(The Rectified Linear Unit)表达式为:f(x)=max(0,x). 2.tensorflow实现 #!/usr/bin/env pyth ...

  3. MINST手写数字识别(三)—— 使用antirectifier替换ReLU激活函数

    这是一个来自官网的示例:https://github.com/keras-team/keras/blob/master/examples/antirectifier.py 与之前的MINST手写数字识 ...

  4. ReLU激活函数:简单之美

    出自 http://blog.csdn.net/cherrylvlei/article/details/53149381 导语 在深度神经网络中,通常使用一种叫修正线性单元(Rectified lin ...

  5. ReLU激活函数

    参考:https://blog.csdn.net/cherrylvlei/article/details/53149381 首先,我们来看一下ReLU激活函数的形式,如下图: 单侧抑制,当模型增加N层 ...

  6. 深度学习基础系列(三)| sigmoid、tanh和relu激活函数的直观解释

    常见的激活函数有sigmoid.tanh和relu三种非线性函数,其数学表达式分别为: sigmoid: y = 1/(1 + e-x) tanh: y = (ex - e-x)/(ex + e-x) ...

  7. ReLU激活函数的缺点

    训练的时候很”脆弱”,很容易就”die”了,训练过程该函数不适应较大梯度输入,因为在参数更新以后,ReLU的神经元不会再有激活的功能,导致梯度永远都是零. 例如,一个非常大的梯度流过一个 ReLU 神 ...

  8. tf.nn.relu 激活函数

    tf.nn.relu(features, name = None) 计算校正线性:max(features, 0) 参数: features:一个Tensor.必须是下列类型之一:float32,fl ...

  9. 深度学习的激活函数 :sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign 、softplus、GELU

    深度学习的激活函数  :sigmoid.tanh.ReLU .Leaky Relu.RReLU.softsign .softplus.GELU 2019-05-06 17:56:43 wamg潇潇 阅 ...

随机推荐

  1. POJ 2718 Smallest Difference dfs枚举两个数差最小

    Smallest Difference Time Limit: 1000MS   Memory Limit: 65536K Total Submissions: 19528   Accepted: 5 ...

  2. Redis官方Tutorial

    基本命令     包括SET , GET , INCR , DEL , EXPIRE , TTL   SET server:name "10" GET server:name IN ...

  3. OpenWRT飞行计划

    openwsn飞行计划 工程wiki http://openwsn-berkeley.github.io/firmware/ 2015-12-30 Openwrt 预备 openwrt 未整理 小神器 ...

  4. grep -o -E

    sed 命令可以很好的进行行匹配,但从某一行中精确匹配某些内容,则使用 grep 命令并辅以 -o 和 -E 选项可达到此目的.其中 -o 表示“only-matching”,即“仅匹配”之意.光用它 ...

  5. R box-cox变换 《回归分析与线性统计模型》page100

    > rm(list = ls()) > library(openxlsx) > electric= read.xlsx("data101.xlsx",sheet ...

  6. Flask—核心对象app初步理解

    前言 flask的核心对象是Flask,它定义了flask框架对于http请求的整个处理逻辑.随着服务器被启动,app被创建并初始化,那么具体的过程是这样的呢? flask的核心程序就两个: 1.we ...

  7. 027、Java中的转义字符

    01.代码如下: package TIANPAN; /** * 此处为文档注释 * * @author 田攀 微信382477247 */ public class TestDemo { public ...

  8. 022、Java中boolean的用法

    01.代码如下: package TIANPAN; /** * 此处为文档注释 * * @author 田攀 微信382477247 */ public class TestDemo { public ...

  9. 吴裕雄 Bootstrap 前端框架开发——Bootstrap 字体图标(Glyphicons):glyphicon glyphicon-minus

    <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <meta name ...

  10. writeObiect与序列化反序列化

    在写仿QQ聊天工具中,客户端与服务端之间的通信一开始是采用的是InputStream和OutputStream,这导致在数据传输过程中,登录信息,注册信息等难以区分,这时我给传输的数据加了标识来分辨信 ...