ResNet



上图为单个模型

VGGNet, GoogleNet 都说明了深度对于神经网络的重要性. 文中在开始提出: 堆叠越多的层, 网络真的能学习的越好吗? 然后通过神经网络到达足够深度后出现的退化(degradation problem)问题, 从而引出残差学习!



退化问题有何引起?

臭名昭著的梯度消失和梯度爆炸问题已经通过提出的标准初始化(如 Xavier)和中间层标准化(BN)解决.

退化问题也不是由于 overfitting 造成, 毕竟是由于 training error 在上升. 而不是training error 在下降, testing error 上升

(作者推测，退化问题可能是由于深度传统卷积网络的收敛速度可能呈指数级低, 当前的计算能力没法等到它收敛)

那退化问题有何引起?

于是论文提出:退化问题（of train accuracy）表明并非所有系统都同样易于优化。

让我们考虑一个更浅的架构和更深层次的架构，后者在前者上添加更多层。 在深层模型中存在这样一个优化方案：增加的层是使用恒等映射(identity mapping)，其他层是从学习的浅层模型复制的。这种构建解决方案的存在表明，深层模型不应该比浅层模型产生更高的训练误差。 然而, 实验表明，我们目前的求解器(solver)无法找到与构建的解决方案一样好或更好的方案.

于是作者提出, 既然网络不能找到与构建的解决方案相当的方案, 我们就手动在不同层间加入恒等映射, 然后让网络学习残差映射(residual mapping). 并假设网络优化残差映射比优化原始映射要简单, 比如说,就拿极端情况来说, 如果恒等映射是最优的, 让残差(f(x)=0)为零要比让堆叠的几个非线性层去学习恒等映射要简单.



恒等映射的好处: 既不增加额外的参数也不增加计算复杂度
残差定义: 数理统计上, 残差表示实际观测值与估计值(拟合值)的差, 蕴含模型的重要信息.

残差学习(Residual Learning)

如果假设多个非线性层可以渐近地逼近复杂函数，那么可以假设它们也可以渐近地逼近残差函数，即 H(x)-x(假设输入和输出具有相同的维数)。 因此，不是期望堆叠层接近H（x），我们明确地让这些层接近剩余函数F(x)=H(x)-x。 原始函数因此变成 F(x)+x。 尽管两种形式都应该能够渐近地接近理想的功能（如同假设），但学习的难易可能不同。

实验证据:

在实际情况下，恒等映射不太可能是最优的，但我们的重定义可能有助于预先解决这个问题。 如果最优函数比零映射更接近恒等映射，那么求解器(solver)应该更容易找出参照恒等映射的扰动，而不是将函数学习为新映射。 实验显示,通常所学习的残差函数具有很小的响应，这表明恒等映射提供了合理的预处理。

网络架构

VGGNet 哲学:

1. 卷积层主要是 3×3 卷积核(filter)
2. 具有有相同的输出特征图(feature maps)大小的层，具有相同数量的 filter
3. 如果特征图大小减半, filter 的数量加倍以保持每层的时间复杂度。

网络==直接采用跨度为2的卷积层执行下采样==, 网络以 Global Average Pooling 和具有1000路 softmax 的完全连接层结束。



虚线残差连接为残差块输入输出维度不同. 当维度相同时, 使用恒等映射; 当输出维度升高(stride=2)时, 使用 Zero-Padding 或者 Projection Shortut(通过 1×1 卷积升维)

实现

基础学习率 lr: 0.1, 每次训练到达平原, 除以10
weight decay(L2正则项): 0.0001
momentum: 0.9



\(\color{red}{Deeper Bottleneck Architectures}\)



Identity Mapping

Residual Units 可以表示为如下形式:


如果 h(x）和 f(y) 都是恒等映射，则信号可以直接从一个单位传播到任何其他单位，无论是信息前向出还是误差反向传递。 我们的实验证明，当架构更接近上述两个条件时，训练总体上会变得更容易。

pre-activation

定义: To construct an identity mapping f(y) = y, we view the activation functions (BN 和 ReLU) as “pre-activation” of the weight layers, in contrast to conventional wisdom of “post-activation”. 结构如下图, (b)部分

好处:

1. 让优化更简单(由于 f 变为了恒等映射), 加快模型训练速度
2. 提升模型的正则化. 在原来的 Residual Unit(下图(a)部分) 中, 虽然 BN 标准化了 signal, 不过标准化结果会与 shortcut 相加, 因此合并的 signal 并没有被正则化.



Identity Skip Connections 的重要性

如果将恒等映射换成一个简单修改版 \(h(x_l) = \lambda_l x_l\), 那么, 梯度传递如下

\[
\begin{align}
x_{l+1} &= \lambda_lx_l + F(x_l, W_l) \\
\frac{\partial L}{\partial x_l} &= \frac{\partial L}{\partial x_L}\left( \prod _{ i=l }^{ L-1 }{ \lambda _{ i } } + \sum _{ i=l }^{L-1 }{ \hat F(x_i, W_i) }\right)
\end{align}
\]

\(\prod _{ i=l }^{ i=L-1 }{ \lambda _{ i } }\) 对于一个极深的网络（L很大），如果对于所有 i，\(λ_i > 1\) ，则该因子可以是指数级大的; 如果对于所有 i，\(λ_i < 1\)，则该因子可以呈指数规律地变小并消失，这阻止了从捷径中反向传播的信号并迫使它通过重物层流动。这导致了我们通过实验显示的优化难题。