深度学习 CNN CUDA 版本2

作者：zhxfl

邮箱：zhxfl##mail.ustc.edu.cn

主页：http://www.cnblogs.com/zhxfl/p/4155236.html

第1个版本blog在这里：http://www.cnblogs.com/zhxfl/p/4134834.html

第2个版本github：https://github.com/zhxfl/CUDA-CNN

欢迎fork，在第一个版本的时候，我们只是针对手写数字，也就是黑白图片。在第二个版本中，我加入了很多东西。

第二个版本的特性

1、支持rgb图片格式和rgbd图片格式（带有深度信息的图片）训练，带有深度信息的图片可以来源于Kinect。

参考论文Anddrew Y.Ng的论文：Convolutional-Recursive Deep Learning for 3D Object Classification，你可以找到对应的带有深度信息的数据集。

4d的图片不是这个版本的主要目的，但是你确实可以用这个代码来训练4D的数据集。（我在不久的未来会让这个版本更好的支持4D数据的训练）

2、第二个比较突出的特性是你可以看到配置文件的参数更加复杂了，我会对所有参数一一做说明。

 #Comment#

 IS_GRADIENT_CHECKING = false;   #is true when debug#
 BATCH_SIZE = 100;               #test image size should be divided with no remainder#
 NON_LINEARITY = NL_RELU;        #NON_LINEARITY CAN = NL_SIGMOID , NL_TANH , NL_RELU#
 CHANNELS = 3;                   #1, 3, 4#
 CROP = 0.0;                     #0<= crop <=imgSize#
 SCALE = 0.0;                    #ImgSize from -13.0 to 13.0#
 ROTATION = 0.0;                 #angle from -13.0 to 13.0#
 DISTORTION = 0.0;               #just for mnist#
 SHOWIMAGE = false;              #show the images after transformation#

 [
 LAYER = CONV;
 KERNEL_SIZE = 5;
 KERNEL_AMOUNT = 7;
 WEIGHT_DECAY = 1e-6;
 POOLING_DIM = 2;
 ]

 [
 LAYER = CONV;
 KERNEL_SIZE = 5;
 KERNEL_AMOUNT = 9;
 WEIGHT_DECAY = 1e-6;
 POOLING_DIM = 2;
 ]

 [
 LAYER = FC;
 NUM_HIDDEN_NEURONS = 256;
 WEIGHT_DECAY = 1e-6;
 DROPOUT_RATE = 0.5;
 ]

 [
 LAYER = FC;
 NUM_HIDDEN_NEURONS = 256;
 WEIGHT_DECAY = 1e-6;
 DROPOUT_RATE = 0.5;
 ]

 [
 LAYER = SOFTMAX;
 NUM_CLASSES = 10;
 WEIGHT_DECAY = 1e-6;
 ]

1）IS_GRADIENT_CHECKING 这是一个debug选项（其原理可以参考斯坦福深度学习的教程）。如果你修改了代码，建议你设置为true。你必须确保(g(s + delta) - g(s - delta)) / 2 约等于g(s)。他可以辅助你判断目前的代码是否存在bug。
2）BASH_SIZE，我们训练的方法是mini-batch，这个数值的设置对于收敛的结果和速度都是有影响的。建议可以尝试50,100,150,200等，你会得到不同的试验结果。

接下来的几个参数都是用来克服overfitting的，对于深度学习而言，训练样本越多，效果会越好。所以我们对于训练数据必须加以扩展。

3）CROP是裁剪参数，假设图像大小为ImgSize，那么是最终训练的数据应该是ImgSize-CROP,裁剪的窗口起点是随机的，也就是一张图片已经变成了CROP*CROP张图片了。
4）ROTATION是旋转，这步操作对于手写数字非常有效，但是你必须确保旋转的角度不要过大，比如13度，那么最后代码训练的图片都会被随机的旋转角度[-13,13]，这是一个区间。
5）DISTORTION又称为畸变，这个也比较适合手写数字，参数越大，图片变化越大，从大量实验看，针对手写数据集，设置为3.4是比较合适的，原理参考论文Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis
6）SHOWIMAGE这是一个debug选项，3）-5）都是对图片做一些变化，如果你想知道变化的效果，那么可以把这个参数设置为true，这样你就可以看到变化之后的效果。方便你更好的调整3）-5）这些参数。

目前试验结果
1、对CIFAR-10数据集进行了比较短时间的训练（没有对数据进行变化），测试准确率是81.37%，接近于https://code.google.com/p/cuda-convnet/ 的初步结果，这样一个试验结果已经足够说明代码的正确性了。
  我最初的代码是参考http://eric-yuan.me/cnn3/，Eric加入了不少东西，但是针对CIFAR-10他只是得到了71%的正确率，我能够等到更高的正确率归功于CUDA加速，使得我可以设置规模更大的网络，仅此而已。
  当然，在我的第三个大版本中，我会确保针对cifar-10数据集，我能够得到接近于所有公开结果中最好的实验结果。
2、针对mnist数据集，依然可以轻易的实现99%以上的正确率。

第3个版本的主要任务。
1、在实现第二个版本的时候，我fix了大量的bug，你要清楚，一个大型项目不可能没有bug的，只要他不影响工作，目前从试验效果看，第二个版本已经稳定了。
2、目前我的网络结构依然太单一了，第3个版本的核心任务就是加入如下两个特性：
1）参考Notes on Convolutional Neural Networks第3.3节，Learning Conbinations of Feature Maps。
2）参考ImageNet Classification with Deep Convolutional Neural Networks第3.3节，Local Response Normalization。
这两个特性是非常重要，可以非常显著提升数据集CIFAR-10的准确率，你会在第3个版本看到这两个特性，并且通过配置文件决定是否使用它们进行训练（因为针对mnist你并不需要这么复杂的特性，加入会降低运算效率）。