AlexNet 中包含了比较新的技术点,首次在CNN中成功应用了 ReLu .Dropout和LRN等Trick. 1.成功使用了Relu作为CNN的激活函数,并验证其效果在较深的网络中超过了Sigmoid成功解决了Simoid在网络较深时的梯度弥散问题. 2.训练时使用了Dropout随机忽略一部分神经元,以避免模型过拟合. 3.在CNN中使用了重叠的最大池化,AlexNet全部使用最大池化,避免平均池化的模糊效果.并且AlexNet中提出让步长比池化核的尺寸小,这样池化层的输出之间会有重叠核…