deep learning初学者，最近在看一些GAN方面的论文，在生成器中通常会用到skip conections，于是就上网查了一些skip connection的博客，虽然东西都是人家的，但是出于学习的目的，还是有必要自行总结下。

skip connections中文翻译叫跳跃连接，通常用于残差网络中。

它的作用是：在比较深的网络中，解决在训练的过程中梯度爆炸和梯度消失问题。

那么什么是残差块呢？

这个就是残差快，其实就是在神经网络前向传播的时候，考虑第l，l+1，l+2层，a[l]代表第l层的输出，而在一般的神经网络中，需要经过l+1层才能到达l+2层，而残差块中直接将a[l]传出到l+2层，使得a[l+2] = g(z[l+2]+a[l])，其实就是在a[l+2]个激活单元除了与第l+2层的z相关，还与第l层的a相关，这就是跳跃连接。

残差块的原理是什么呢？

一个很深的网络，加入残差块后公示为：

a[l+2]=g(z[l+2]+a[l])=g(w[l+2]*a[l+1]+b[l+2]+a[l])

假设梯度消失，则就是w[l+2]=0，此时a[l+2]=g(a[l])，相当于把第l层的输出直接经过relu传输出去，则避免了梯度消失的问题。

参考链接：

https://cloud.tencent.com/developer/news/134921

skip connections的更多相关文章

  1. Analyzing The Papers Behind Facebook's Computer Vision Approach

    Analyzing The Papers Behind Facebook's Computer Vision Approach Introduction You know that company c ...

  2. awesome-very-deep-learning

    awesome-very-deep-learning is a curated list for papers and code about implementing and training ver ...

  3. cs231n --- 3 : Convolutional Neural Networks (CNNs / ConvNets)

    CNN介绍 与之前的神经网络不同之处在于,CNN明确指定了输入就是图像,这允许我们将某些特征编码到CNN的结构中去,不仅易于实现,还能极大减少网络的参数. 一. 结构概述 与一般的神经网络不同,卷积神 ...

  4. 吴恩达深度学习笔记（deeplearning.ai）之卷积神经网络（二）

    经典网络 LeNet-5 AlexNet VGG Ng介绍了上述三个在计算机视觉中的经典网络.网络深度逐渐增加,训练的参数数量也骤增.AlexNet大约6000万参数,VGG大约上亿参数. 从中我们可 ...

  5. ResNet

     上图为单个模型 VGGNet, GoogleNet 都说明了深度对于神经网络的重要性. 文中在开始提出: 堆叠越多的层, 网络真的能学习的越好吗? 然后通过神经网络到达足够深度后出现的退化(deg ...

  6. （转）Illustrated: Efficient Neural Architecture Search ---Guide on macro and micro search strategies in ENAS

    Illustrated: Efficient Neural Architecture Search --- Guide on macro and micro search strategies in  ...

  7. OSVOS 半监督视频分割入门论文（中文翻译）

    摘要: 本文解决了半监督视频目标分割的问题.给定第一帧的mask,将目标从视频背景中分离出来.本文提出OSVOS,基于FCN框架的,可以连续依次地将在IMAGENET上学到的信息转移到通用语义信息,实 ...

  8. Resnet BN

    [深度学习]深入理解Batch Normalization批标准化 https://www.zhihu.com/topic/20084849/hot resnet(残差网络)的F(x)究竟长什么样子? ...

  9. Background removal with deep learning

    [原文链接] Background removal with deep learning   This post describes our work and research on the gree ...

随机推荐

  1. XStream处理XML用法

    参考:https://www.yiibai.com/xstream/xstream_json.html 1.简介: XStream是一个简单的基于Java库,Java对象序列化到XML,反之亦然(即: ...

  2. WPF 有任何Focus问题，就找 Keyboard_Navigation

    牛牛的博客 https://www.cnblogs.com/smallidea/p/3412699.html 参照官网教程: https://docs.microsoft.com/en-us/dotn ...

  3. Winform中设置ZedGraph鼠标焦点位置画出十字线并在鼠标移出时十字线消失

    场景 Winforn中设置ZedGraph曲线图的属性.坐标轴属性.刻度属性: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/10 ...

  4. postman强大的团队协作功能

    今天无意在调项目的接口 ,使用的postman工具 ,自己写的接口信息,只能自己看 ,感觉有点不方便,如果一个公司多名测试,如果一个人写接口信息,大家都能用,就会很节约时间 所以团队协作的功能就诞生了 ...

  5. windows下编写dll

    dll的优点 简单的说,dll有以下几个优点: 1) 节省内存.同一个软件模块,若是以源代码的形式重用,则会被编译到不同的可执行程序中,同时运行这些exe时这些模块的二进制码会被重复加载到内存中.如果 ...

  6. elasticsearch ik分词

    elasticsearch 默认并不支持中文分词,默认将每个中文字切分为一个词,这明显不符合我们的业务要求.这里就需要用到ik分词插件. 本文主要囊括了以下几部分,ik插件安装.ik用法介绍.自定义词 ...

  7. eclipse 导出 jar包详细步骤

    如图所示:

  8. ios开发的技巧

    http://www.cocoachina.com/ios/20141231/10783.html

  9. LeetCode——Nth Highest Salary

    Write a SQL query to get the nth highest salary from the Employee table. +----+--------+ | Id | Sala ...

  10. python 之serial、pyusb 使用开发

    说明:本次是在windows 系统操作实现的. serial 使用场景,获取得力扫码枪的扫码数据,该扫码枪支持三种通讯接口设置,如下图 即插即用的是 USB-KBW功能,插上去即可获取扫码数据,第二种 ...