摘要:在深度神经网络训练的过程中,由于网络中参数变化而引起网络中间层数据分布发生变化的这一过程被称为内部协变量偏移(Internal Covariate Shift),而 BN 可以解决这个问题. 本文分享自华为云社区<神经网络基础部件-BN层详解>,作者:嵌入式视觉 . 一,数学基础 1.1,概率密度函数 随机变量(random variable)是可以随机地取不同值的变量.随机变量可以是离散的或者连续的.简单起见,本文用大写字母 XX 表示随机变量,小写字母 xx 表示随机变量能够取到的值…