CNN、RNN

卷积神经网络有三个结构上的特性：局部连接，权重共享以及空间或时间上的次采样。这些特性使得卷积神经网络具有一定程度上的平移、缩放和扭曲不变性.

CNN由可学习权重和偏置的神经元组成。每个神经元接收多个输入，对它们进行加权求和，将其传递给一个激活函数并用一个输出作为响应。

循环神经网络可以记住先前时间步骤的输入状态，这有助于它决定未来的时间步长。

卷积层：使用过滤器执行卷积操作，扫描输入大小。

池化层（POOL）是一种下采样操作，通常在卷积层之下使用，该卷积层执行一些空间不变性。其中最大池化和平均池化属于特殊操作，分别采用最大值和平均值。

全连接层（FC）在平坦输入上运行，每个输入都连接到所有神经元。如果全连接层存在，通常位于网络体系结构的末尾，可用于优化诸如分类评分等目标。