从Bayesian角度浅析Batch Normalization

前置阅读：http://blog.csdn.net/happynear/article/details/44238541——Batch Norm阅读笔记与实现

前置阅读：http://www.zhihu.com/question/38102762——知乎网友

Deep Learning与Bayesian Learning在很多情况下是相通的，随着Deep Learning理论的发展，

我们看到，Deep Learning越来越像Bayesian Learning的一个子集，Deep Learning的高手当中，

很多也是Bayesian Learning高手，尤其是Hinton一门，嘲讽Hinton只会神经玄学的可以去一边凉快了。

尤其是Hinton的首席弟子——Russ Salakhutdinov，对Bayesian Learning的造诣相当高。

Deep Learning的很多做法，从Bayesian角度都可以合理给出解释。

相反，Vapnik的统计机器学习，看起来就和Bayesian背道而驰。

ICML 2015火起来的Batch Normalization，同样也有一些Bayesian的道理。

零均值、单位方差

L2-NORM

零均值、等量方差的高斯分布在贝叶斯拟合领域有个重要身份——L2-NORM

在PRML的序章，Bishop揭示了L2-NORM的由来：

I、似然函数*先验分布=后验分布

II、log(后验分布)=log(似然函数)+L2-NORM

很不巧的是，这个先验分布恰恰是零均值、等量方差的高斯分布：

$N(w|0,\alpha^{-1}I)$

不过较为特殊的是，等量方差仅限于协方差矩阵的对角线，这与Batch Norm的简化方差是相同的处理。

Regularizer

PRML读书后记(一): 拟合学习解释了加入等量方差之后，后验分布的拟合会受到一种压制之力。

在式 $-ln\,p(w|T)= \frac{\beta}{2}\sum _{n=1}^{N}\{t_{n}-w^{T}\phi (x_{n})\}^{2}+\frac{\alpha}{2}W^{T}W+const$  中，

如果我们考虑将等量方差设为1，即$\alpha=1$，那么在L2-NORM中，对参数$W$的压制是相当大的。

这点在从参数$W$，迁移到输入$X$的时候，效果仍然存在。

固定输入$X$的高斯分布，本质是压制输入$X$的波动，进而均衡各层的输入量级。

共轭分布与表征破坏

与在目标函数里加入先验分布的假设一样，对输入做标准化，依然会改变其分布。

做标准化的分布，会以共轭分布的形式，叠加至原始分布中。

考虑这么一种情况：

假设在神经网络某层激活之后，传递的新一层当中，我们得到关于输出的分布$P(X)$，

如果我们在学习一群猫，那么$P(X)$就可能是关于描述一张猫脸的概率分布。

这种理解，来自于对Deep Learning与Bayesian Learning的结合，即:

神经网络的逐层抽象，本身就是对自然物体在自然界中存在的概率建模。

单独从传统Bayesian Learning角度看，我们很少会考虑对图像的特征概率建模，

如何计算一张图的概率？

CV界的老一辈大牛会告诉你，根本不可能，乖乖用人工特征吧。

但是神经网络却可以做到这点，基于误差的修正，本身是可以近似出图像的特征概率的。

这种想法，在早期，对于传统CV界，以及传统Bayesian界，都是天方夜谭，但是Deep Learning却做到了。

Salakhutdinov教授在2015年的BPL中，更进一步，对图像特征的概率建模，大胆，而且有趣。

而且也证明了一点，对图像特征的直接概率建模比基于误差迭代计算概率的Deep Learning更有效率，

前者只需要使用很少的数据，后者则需要要庞大的数据支持，才能得到图像的概率建模。

单独从传统Deep Learning来看，这个是老问题了，很多人认为Deep Learning就是玄学，

其实是他们没有将其与Bayesian贯通起来，熟悉Bayesian的人，不会觉得Deep Learning是毫无理论的玄学，

Hinton的RBM就是Bayesian与神经网络结合的最好例子。

回到主题，对一张猫脸的分布$P(X)$，进行normalize，

相当于得到一个后验分布：

$P(MAP)=P(X)P(NORM)$

这个后验分布是一个双刃剑：

I、一方面，它有利于训练收敛。

II、另一方面，你觉得这张猫脸会不会被扭曲？会不会少了耳朵？缺了鼻子或是眼睛？

第二点你不用猜了，对原始表征分布的破坏是必然的，这会造成模型容量的下降。

猫脸的耳朵不见了，鼻子不见了，眼睛不见了，就需要额外的W去拟合。

假设W的数量是一定的，额外的W会被其他表征竞争，就可以造成模型容量下降了。

这点可以从L2-NORM角度理解，破坏了$P(X)$之后，必然会波及到$P(W)$。

L2-NORM降低模型容量也是一个事实了。

在这点上，作者在论文里给出一个误导解释，那就是举了一个不恰当的例子：

normalize，在sigmoid当中，只会利用线性部分，在论文配图中，确实给出了证明。

这个例子本身是对的，但是用来解释表征破坏就是牵强的，

甚至在happynear的文章中就理解错了，认为逆转回去的参数$\beta$、$\gamma$，是在校正激活函数的激活范围。

实际上并不是，将normalize的$\hat{X}$逆转回去，是为了在加速收敛和表征破坏之间，留一个trade off的空间。

表征缠绕

表征之间存在着复杂的缠绕关系，这在Deep Learning和Sparse Coding中已经成为共识。

normalize之后，将对这些缠绕关系造成破坏。

用逆思维考虑，如果能够直接暴力拆掉这些缠绕，比如PCA或者ZCA，

那还要RBM或者AutoEncoder干嘛？还要Deep Learning干嘛？

在Bengio的[Learning Deep Architectures for AI]中，AutoEncoder/RBM被解释成了智能化的PCA

因为它能智能化地拆解数据的非线性缠绕关系，当然是得益于BP算法的对比误差校正。

你觉得normalize像是一个智能拆解的工具嘛？显然不是。

所以，Batch Normalization最大的亮点在于，模仿AutoEncoder/RBM，添加逆转参数，

让梯度流经过，做二次tuning，对为了追求加速收敛而造成的破坏表征，进行一次修复工作。

当然，这个修复是不可能100%完成的，正如AutoEncoder/RBM不可能由$\hat{X}$复现出$X$一样。

Covariate Shift VS Internal Covariate Shift

关于Covariate Shift，知乎已经给出了不错的解释。

但是针对Internal Covariate Shift，我们又被作者误导了。

Covariate Shift ≠ Internal Covariate Shift，前者是迁移学习问题，后者是一个训练优化问题。

正如知乎的层主所说的那样，各层添加零均值、单位方差的共轭分布，只针对数值，而不针对表征。

实际上，如果把表征也”共荣化“，那就反而糟糕了。

多层神经网络可以看作是一个迁移学习问题，层与层之间的抽象等级不同，

比如学习一只猫，经过多层神经网络抽象后，就可以迁移分裂成多个机器学习问题：

学习猫脸、学习猫腿、学习猫身、学习猫爪、学习猫尾。

如果normalize之后，这五个部分的表征分布都变一样了，那么Deep Learning不是可以废掉了？

所以说，normalize仅仅是数值层面的均衡化，以及表征层面的轻度破坏化。

Internal Covariate Shift只针对数值偏移，而Covariate Shift才针对表征偏移。

BN as a Regularizer

来自[Segedy15]，也就是著名的Inception V3的观点，见第四节末：

This also gives a weak supporting evidence for the conjecture that batch normalization acts as a regularizer.

再从贝叶斯观点来看，BN其实没啥稀奇的，就是共轭一个高斯分布而已，自然同L2一样。

个人比较支持Segedy大神认为BN也是一个regularizer。

均衡的数值体系

Gradient Vanish

Gradient Vanish问题是深度神经网络优化的头号难题。(Bengio组证明了局部最小值有有益的)

从目前来看，造成Vanish的有两种原因，论文提了一处，就是Sigmoid函数问题。

当$X$变大时，$Sigmoid\,'(X)\rightarrow 0$ 。

考虑一下，何时$X$变大？网络从后往前时，这样，Sigmoid深度网络的梯度衰减了相当严重。

那是不是换成了ReLU，就没有Gradient Vanish了？显然你太天真了。

Hinton在2015年的剑桥讲座中，给了一张有趣的图，见 神经网络模型算法与生物神经网络的最新联系：

这是使用了ReLU的梯度流动图，我们可以看到，替换Sigmoid为ReLU之后，

较低层的梯度已经得到了很好的缩放了。

让我们仔细推敲一下梯度计算公式：

设$y=Wx$，则$\frac{\partial y}{\partial W}=x$

看起来没有什么问题。

当迁移到深度神经网络当中，我们又有：

$\frac{\partial l}{\partial y_{1}}\frac{\partial y_{1} }{\partial y_{2}}\frac{\partial y_{2} }{\partial y_{3}}.....\frac{\partial y_{n} }{\partial y}\frac{\partial y }{\partial W}$

化简一下：

$\frac{\partial l}{\partial y_{1}}W_{1}W_{2}W_{3}.......W_{n}\frac{\partial y }{\partial W}$

中间冗长的W累积，是Gradient Vanish的真正原因，在RNN中，Gradient也有同样的问题。

以LSTM的观点来看，这大概可以视作是BP链路承载了太多冗余信息，衰减是必然的。

但LSTM使用了门控电路的方法，由神经网络嵌套神经网络，对梯度链路进行了智能裁剪，

以达到跳跃中间某些信息，到达反向传播底层的目的，详情见 Long-Short Memory Network(LSTM长短期记忆网络)

再次回到这张图：

可以看到，从W3到W1，W衰减的相当厉害，累积之后依然可以造成可观的Vanish。

这种逐层衰减有一个直接诱因，就是输入$X$波动比较厉害。

直观上来说，对于一个网络层：

I、$X$大点，$W$肯定要小点。

II、$X$小点，$W$肯定要大点。

违反这两条，会让激活值处于函数边界，从而被自然选择淘汰掉（有点遗传算法的味道）。

另一方面，从初始化方案来看，我们也能看到，对$W$的初始化范围是逐层递增的。

这是经典的大拇指规则(Rule of Thumb)，由无数前辈的实验得到，似乎已经成了共识。

normalize之后，各层的$X$遭到了压制，并且向高斯分布中心进行数值收缩。

进而，由$X$影响到了$W$，$W$也向高斯分布中心进行数值收缩。

这样，$W_{1}W_{2}W_{3}.......W_{n}$的衰减将会得到可观的减缓。

这大概是Batch Normalization可以减轻使用ReLU的Gradient Vanish的直接原因。

Sigmoid

如果上一部分的推测是对的，那么可以使用Sigmoid的原因，就独立开来了。

正如论文中的那张配图：

可以看到，Sigmoid函数的输入值$X$几乎是被压制到了线性响应部分。

这时候，两端的侧抑制似乎是没有多少用的，Sigmoid已经开始向ReLU近似。

此时，$Sigmoid\,'(X)$为趋于0的可能性已经不大了。

Over Fitting

正如第一章从Beyesian角度分析一样，收缩了$P(X)$之后，也波及到$P(W)$。

$W$数值的整体量级得到了削减。

PRML读书后记(一): 拟合学习、关于过拟合、局部最小值、以及Poor Generalization的思考中，

给出了维数灾难形象描述。

$W$的数值收缩，从维数灾难角度理解，撇开降维这种暴力方法，一定程度上可以减轻过拟合问题。

Learning Rate

论文中应该给出的是稍大，而不是无限大。

事实上，你要是给个比较大的学习率，还是会导致目标函数发散。

包括在训练后期，你要不把学习率降低量级，训练有很大可能从函数谷面跑飞过去了。(亲测)

个人推测，应该是$X$、$W$、$Gradient$被均衡后，量级得到收缩，允许稍大的学习率存在。

二阶近似优化方案，ADADELTA以及RMSPROP，免除人工干扰学习率的困扰。

ADADELTA详细参考：自适应学习率调整：AdaDelta

Dropout

从我实际测试来看，非常不鼓励扔掉Dropout。

Batch Norm根本压不住大模型在训练后期的过拟合。

我甚至还是保留着50%的Dropout，速度也还不错。

Dropout的两个作用：稀疏与动态平均，不仅从数值上抑制过拟合。

在表征训练方面，也有一定的regularize效果。

编程技巧

BN有两种写法，合并式和分离式。

Caffe master branch采用的是分离式写法，CONV层扔掉bias，接一个BN层，再接一个带bias的SCALE层。

我个人更推崇合并式写法，这样在深度网络定义文件中，可以不用眼花缭乱。

从执行速度来看，合并式写法需要多算一步bias；

分离式写法，在切换层传播时，OS需要执行多个函数，在底层（比如栈）调度上会浪费一点时间。

可以说，各有优劣。默认推荐https://github.com/ducha-aiki/caffe的合并式写法。

分离式写法，见官方master branch。

代码

默认实现在我的Dragon框架下，只提供GPU代码，Caffe稍作修改即可，CPU也稍作修改即可。

(注意dragon_copy和caffe的是相反的)

https://github.com/neopenx/Dragon/blob/master/Dragon/layer_include/common_layers.hpp

https://github.com/neopenx/Dragon/blob/master/Dragon/layer_src/batch_norm_layer.cpp

(forward、backward是错的，参考cu文件里的写法)

https://github.com/neopenx/Dragon/blob/master/Dragon/layer_src/batch_norm.cu

还有proto：

message BatchNormParameter{
    optional bool use_global_stats= [default=true];
    optional float decay= [default=0.95];
    optional float eps= [default=1e-];
}

message LayerParameter{
    .......
    optional BatchNormParameter batch_norm_param=xxx;
    .......
}

精度eps推荐1e-10，1e-5在cifar10中已经过大了。

$\beta$、$\gamma$的初始化

论文里没说，https://github.com/ducha-aiki/caffe/blob/elu/examples/BN-nator.ipynb中给出的方案是：

$\beta$为常数0.0000001，$\gamma$为常数1.0000001

我测了几次，发现用0和1的效果好像随机出来不是很好，推测是精度问题？还是我人品太差了？

全局统计测试

论文默认推荐是开启全局统计测试，也就是记录每次batch的均值和方差。

在测试的时候，用累积和的期望值。无偏估计的系数可以忽略，意义不大。

我与ducha-aiki的方案不同之处，在于用blob[4]记录总batch数量，

在训练的时候，利用：

(均值*数量+新值)/(数量+1)来更新

在测试的时候，直接copy过来，然后做norm。

在cifar10测试中，我发现，对于batch为100的验证集，精度会比不做全局统计差很多。

可能是，训练次数过低，导致的全局统计值不是很稳定。

在追加了一定训练次数之后，在cifar10 quick epoch12时，

差距仍然达到了8%，(66% vs 74%)。

所以不推荐在测试数据充裕的情况下，做全局统计测试，往往会得到不好的结果。(写论文注意)

相反，对于实际使用的时候，测试数据就几个，这时候做一做效果还是可以的。

不过还是看人品，没准就偏移大了，不准了，这大概是Batch Norm唯一不好的地方吧。

—————————————————————————————————————————————————

在epoch达到60后，这种方法的测试精度已经退化到40%了。

仔细想了一下，发现做纯平均是错的，因为前后更新的重要度不一样。

一般我们认为，最新更新的比较重要。

所以改用ducha-aiki的moving average decay的方案。

设置decay=0.95，

每次更新的时候，最新量0.95+0.05*history，这种平均比纯平均期望意义更大。

后者在训练末期，数值体系已经被纯平均搞得崩溃了。

使用这种滑动平均期望后，默认的验证和测试，开启全局统计就没问题了。

随机抖动

使用Batch Norm之后，每次跑程序的时候，在初期，训练似然和验证精度都有很大的变化。

有时候特别好，有时候特别差，相当不稳定。

推测应该是normalize之后，放大了随机初始化的差异问题，这个在写代码debug的时候需要注意。

多测几次，不要误判为bug。

适用范围

在https://github.com/ducha-aiki/caffe/blob/elu/examples/BN-nator.ipynb中，

我们可以看到，所有CONV和INNER_PRODUCT层都是可以做Batch Norm的。

实际测试的时候，因为波动、以及层数少的问题，没发现什么异常。

用法如下（不要像激活函数那样用成in-place)：

layer{
    name:"bn1"
    type:"BatchNorm"
    bottom:"conv1"
    top:"bn1"
}

—————————————————————————————————————————————————

由于INNER_PRODUCT层后一般习惯接DROPOUT，而且INNER_PRODUCT一般处于反向链式

前端，所以INNER_PRODUCT上的Batch Norm可能显得多余，我用浅层模型没有测出来较大的差异。

计算代价

注意论文中的：

在实现的时候，是可以优化的，主要是提取公因子，x_norm.diff、-1/m，以及sqrt(..)项都可以提出来。

具体需要仔细琢磨，x_norm.diff计算出来之后，下面那几段收缩、扩展的代码，相当经典。

尽管如此，Batch Norm的计算代价还是相当大的，我觉得比卷积层还大。

所以CPU党可以不用尝试了，逐层Batch Norm实在是太慢了。