RNN 的不变性

卷积神经网络的不变性
  不变性的实现主要靠两点：大量数据（各种数据）；网络结构（pooling）
不变性的类型
  1）平移不变性
  卷积神经网络最初引入局部连接和空间共享，就是为了满足平移不变性。
  关于CNN中的平移不变性的来源有多种假设。
  一个想法是平移不变性是由于连续卷积层中神经元的感受野尺寸增加。另一个可能性是不变性是由于pooling操作。我们开发了一个简单的工具，即平移灵敏度图，我们用它来可视化和量化各种体系结构的平移不变性。我们得到了令人惊讶的结果，诸如池层数和卷积滤波器大小之类的架构选择仅对网络的平移不变性具有次要影响。
  2）旋转和视角不变性
  个人觉得卷积神经网络克服这一不变性的主要手段还是靠大量的数据。并没有明确加入“旋转和视角不变性”的先验特性。Deformable Convolutional Networks似乎是对此变性进行了进行增强。
  3）尺寸不变性
  我们知道filter的size是事先选择的，而不同的尺寸所寻找的形状（概念）范围不同（就是说感受野不同）。可以说Inception是为了尺寸不变性而引入的一个先验知识。
————————————————
版权声明：本文为CSDN博主「whitenightwu」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/wydbyxr/article/details/83651411