Batch normalization批标准化的理解

BN的基本思想，其提出是解决梯度消失的问题的某一方法。

在深度神经网络做非线性变换前的激活输入值（x=wu+b,u是输入)，当层数越深的时候，输入值的分布就会发生偏移，梯度出现消失的情况，

一般是整体分布逐渐往函数的取值区间的上下限靠拢，而这个时候非线性函数的梯度就会发生消失，所以训练收敛变慢。

BN就是通过强行把每层神经网络任意神经元的输入值的分布变成标准化的正太分布，这样就会使激活输入值落入函数比较敏感的区域，输入小

的变化也会产生比较大的损失函数的变化，梯度也变大，就避免了梯度消失的问题，从而加快收敛速度。

因为梯度一直都能保持比较大的状态，所以很明显对神经网络的参数调整效率比较高，就是说向损失函数最优值迈动的步子大，也就是说收敛地快。