神经网络与机器学习 笔记—卷积神经网络（CNN）

卷积神经网络

之前的一些都是考虑多层感知器算法设计相关的问题，这次是说一个多层感知器结构布局相关的问题。来总结卷积神经网络。对于模式分类非常合适。网络的提出所隐含的思想收到了神经生物学的启发。

第一个卷积网络是为了识别二维形状而特殊设计的一个多层感知器，这种二维形状对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。这个艰巨的任务是通过如下网络在监督方式下学会的，网络的结构包括如下形式的约束。

1. 特征提取。每一个神经元从上一层的局部接收域得到突触输入，因而迫使它提取局部特征。一旦一个特征被提取出来，只要它相对于其他特征的位置被近似保留下来，他的精确位置就变得没有那么重要了。
2. 特征映射。网络的每一个计算层都是由多个特征映射组成的，每个特征映射都是平面形式的，平面中单独的神经元在约束下共享相同的突触权值。这种结构约束的第二种形式具有如下的有益效果：

平移不变性，强迫特征映射的执行使用具有小尺度核的卷积，再接着用一个sigmoid函数。

自由参数数量的减缩，通过权值共享实现。

1. 子抽样。每个卷积网层跟着一个实现局部平均和子抽样的计算层，由此特征映射的分辨率降低。这种操作具有使特征映射的输出对平移和其他形式的变形的敏感度下降作用。

注意，在一个卷积网络所有层中的所有权值都是通过训练来学习的。此外，网络自动地学习提取它自身的特征。

用于图像处理如手写识别的卷积网络:

上面是一个由一个输入层和四个隐藏层与一个输出层组成的卷积网络的体系结构布局。这个网络被设计用于实现图像处理（如手写识别）。输入层由28x28个感知节点组成，接收已经近似处于中心位置和在大小上规整化的不同字符的图像。然后，计算流程在卷积和子抽样之间交替：

1. 第一隐藏层进行卷积。它由四个特征映射组成，每个特征映射由24x24个神经元组成。每个神经元指定一个5x5的接收域；
2. 第二隐藏层实现了子抽样和局部平均。他同样由四个特征映射组成。但其每个特征映射由12x12个神经元组成。每个神经元具有一个2x2的接收域，一个可训练系数，一个可训练偏置和一个sigmoid激活函数。可训练系数和偏置控制神经元的操作点；例如，如果系数很小，该神经元以拟线性方式操作。
3. 第三个隐藏层进行第二次卷积。它由12个特征映射组成，每个特征映射由8x8个神经元组成。该隐藏层中的每个神经元可能具有和上一个隐藏层几个特征映射相连的突触连接。否则，它以第一个卷积层相似的方式操作。
4. 第四个隐藏层进行第二次子抽样和局部平均计算。它由12个特征映射组成，但每个特征映射由4x4个神经元组成。否则它以第一次抽样相似的方式操作。
5. 输出层实现卷积的最后阶段。它由26个神经元组成，每个神经元指定为26个可能的字符中的一个。跟前面一样，每个神经元指定一个4x4的接收域。

相继的计算层在卷积和抽样之间的连续交替，得到一个“双尖塔”的效果。也就是在每个卷积或抽样层，随着空间分辨率下降，与相应的前一层相比特征映射的数量增加。卷积之后进行子抽样的思想是受到H和W首先提出的“简单的”细胞后面跟着“复杂的”细胞的概念启发而产生的。

上面的多层感知器包含近似100000个突触连接，但只有大约2600个自由参数。自由参数在数量上显著减少是通过权值共享实现的。机器学习的能力因而下降，这有提高了它的泛化能力。甚至更值得注意的事实是对自由参数的调整通过反向传播学习的随机形式实现。

另一个显著的特点是使用权值共享使得以并行形式实现卷积网络成为可能。这是卷积网络对完全连接的多层感知器而言的另一个优点。

卷积也说明了两点。首先，通过结合当前任务的先验知识约束其设计，一个可调整大小的多层感知器能够学习一个复杂的、高维的和非线性的映射。其次，突触权值和偏置水平可以周而复始地执行通过训练集的简单反向传播算法进行学习。