CS231n 2016 通关 第五、六章 Dropout 作业

Dropout的作用：

cell  1 - cell 2 依旧

cell 3 Dropout层的前向传播

　　核心代码：

　　　　train 时：

   if mode == 'train':
     ###########################################################################
     # TODO: Implement the training phase forward pass for inverted dropout.   #
     # Store the dropout mask in the mask variable.                            #
     ###########################################################################
     mask = (np.random.rand(*x.shape) < p) /p
     out = x * mask

　　　　test 时：

     ###########################################################################
   elif mode == 'test':
     ###########################################################################
     # TODO: Implement the test phase forward pass for inverted dropout.       #
     ###########################################################################
     out = x

　　原理较为简单。

cell 4 反向传播：

　　主要是计算偏导。

　　核心代码:

     dx = dout * mask    

cell 5 对全连接网络使用Dropout

　　将相应的层加入到模型即可。

附：通关CS231n企鹅群：578975100 validation：DL-CS231n