paper 158：CNN(卷积神经网络)：Dropout Layer

Dropout作用

    在hinton的论文Improving neural networks by preventing coadaptation提出的，主要作用就是为了防止模型过拟合。当模型参数较多，训练数据较少时候，根据线性代数相关知识可以知道，当前模型可以非常完美的拟合我们的曲线。但该模型对测试数据集可能就没有很好的表现了，也就是说训练出的模型泛化能力很弱，我们称之为过拟合。从文章题目通过阻止特征检测器的共同作用来提高神经网络的性能可以看出，网络在提取训练集特征时，舍弃掉了一部分特征来提高网络的泛化能力。

基本认识

   Dropout用网络训练时工作变化来定义的话，是指在模型训练时随机让某些神经单元的权重停止本次更新，等下次训练时就有可能更新，对与一层中每个神经单元来说，它们更新的概率是相同的。
   在hinton论文中没有数学公式，只是作者直观解释：
     1. 网络中某层神经单元权值更新是等概率的，因此，不能保证相邻的神经单元每次都更新，直观解释就是有些特征不必完全依托于其他的特征。举个栗子：假如有5兄弟，老大和老二，老二和老三、、、相邻两个人才能完成一个任务，现在呢，我们把5兄弟放在黑屋子里面，每次随机选择一个兄弟执行任务，如果完成不了就惩罚其他兄弟，同时被选中的大兄弟当面对自己这次没有完成任务来自我反思（权值更新），在我们的逼迫下，进行了N次随机选择，发现5兄弟都能通过自我努力（权值更新）独立完成任务。
     2. 论文讲，把dropout看作是，针对每次batch_size大的样本集训练，对应的网络结构是不同的，但是呢，它们之间还可以共享权重，不同的样本集合训练出了不同的网络模型。最后，得出的网络模型是每次训练的模型的“平均模型”。这种解释还是不错的^.^……
     3. 把dropout比作是贝叶斯，贝叶斯有个大前提（不一定对哈）所有的特征是相互独立的，训练样本较少时候，独立学习每个特征，测试时候将所有的特征相乘。实际效果还不错。
     4. 仿生物进化。适者生存，不断适应环境的变化。
参考来源：
  https://github.com/rasmusbergpalm/DeepLearnToolbox
 【面向代码】学习 Deep Learning（一）Neural Network
  http://www.cnblogs.com/tornadomeet/p/3258122.html
  http://blog.csdn.net/qq_25073253/article/details/72457840