Dropout是深度学习中的一种防止过拟合手段,在面试中也经常会被问到,因此有必要搞懂其原理. 1 Dropout的运作方式 在神经网络的训练过程中,对于一次迭代中的某一层神经网络,先随机选择中的一些神经元并将其临时隐藏(丢弃),然后再进行本次训练和优化.在下一次迭代中,继续随机隐藏一些神经元,如此直至训练结束.由于是随机丢弃,故而每一个mini-batch都在训练不同的网络. 在训练时,每个神经单元以概率$p$被保留(Dropout丢弃率为$1-p$):在预测阶段(测试阶段),每个神经单元都是