原文地址：http://blog.csdn.net/sunbaigui/article/details/39938097
 
本文章已收录于：

 分类：
deep learning（28） 

版权声明：本文为博主原创文章，未经博主允许不得转载。

在imagenet上的图像分类challenge上Alex提出的alexnet网络结构模型赢得了2012届的冠军。要研究CNN类型DL网络模型在图像分类上的应用，就逃不开研究alexnet，这是CNN在图像分类上的经典模型（DL火起来之后）。

在DL开源实现caffe的model样例中，它也给出了alexnet的复现，具体网络配置文件如下https://github.com/BVLC/caffe/blob/master/models/bvlc_reference_caffenet/train_val.prototxt：

接下来本文将一步步对该网络配置结构中各个层进行详细的解读（训练阶段）：

1. conv1阶段DFD（data flow diagram）：

2. conv2阶段DFD（data flow diagram）：

3. conv3阶段DFD（data flow diagram）：

4. conv4阶段DFD（data flow diagram）：

5. conv5阶段DFD（data flow diagram）：

6. fc6阶段DFD（data flow diagram）：

7. fc7阶段DFD（data flow diagram）：

8. fc8阶段DFD（data flow diagram）：

各种layer的operation更多解释可以参考http://caffe.berkeleyvision.org/tutorial/layers.html

从计算该模型的数据流过程中，该模型参数大概5kw+。

caffe的输出中也有包含这块的内容日志，详情如下：

  1. I0721 10:38:15.326920  4692 net.cpp:125] Top shape: 256 3 227 227 (39574272)
  2. I0721 10:38:15.326971  4692 net.cpp:125] Top shape: 256 1 1 1 (256)
  3. I0721 10:38:15.326982  4692 net.cpp:156] data does not need backward computation.
  4. I0721 10:38:15.327003  4692 net.cpp:74] Creating Layer conv1
  5. I0721 10:38:15.327011  4692 net.cpp:84] conv1 <- data
  6. I0721 10:38:15.327033  4692 net.cpp:110] conv1 -> conv1
  7. I0721 10:38:16.721956  4692 net.cpp:125] Top shape: 256 96 55 55 (74342400)
  8. I0721 10:38:16.722030  4692 net.cpp:151] conv1 needs backward computation.
  9. I0721 10:38:16.722059  4692 net.cpp:74] Creating Layer relu1
  10. I0721 10:38:16.722070  4692 net.cpp:84] relu1 <- conv1
  11. I0721 10:38:16.722082  4692 net.cpp:98] relu1 -> conv1 (in-place)
  12. I0721 10:38:16.722096  4692 net.cpp:125] Top shape: 256 96 55 55 (74342400)
  13. I0721 10:38:16.722105  4692 net.cpp:151] relu1 needs backward computation.
  14. I0721 10:38:16.722116  4692 net.cpp:74] Creating Layer pool1
  15. I0721 10:38:16.722125  4692 net.cpp:84] pool1 <- conv1
  16. I0721 10:38:16.722133  4692 net.cpp:110] pool1 -> pool1
  17. I0721 10:38:16.722167  4692 net.cpp:125] Top shape: 256 96 27 27 (17915904)
  18. I0721 10:38:16.722187  4692 net.cpp:151] pool1 needs backward computation.
  19. I0721 10:38:16.722205  4692 net.cpp:74] Creating Layer norm1
  20. I0721 10:38:16.722221  4692 net.cpp:84] norm1 <- pool1
  21. I0721 10:38:16.722234  4692 net.cpp:110] norm1 -> norm1
  22. I0721 10:38:16.722251  4692 net.cpp:125] Top shape: 256 96 27 27 (17915904)
  23. I0721 10:38:16.722260  4692 net.cpp:151] norm1 needs backward computation.
  24. I0721 10:38:16.722272  4692 net.cpp:74] Creating Layer conv2
  25. I0721 10:38:16.722280  4692 net.cpp:84] conv2 <- norm1
  26. I0721 10:38:16.722290  4692 net.cpp:110] conv2 -> conv2
  27. I0721 10:38:16.725225  4692 net.cpp:125] Top shape: 256 256 27 27 (47775744)
  28. I0721 10:38:16.725242  4692 net.cpp:151] conv2 needs backward computation.
  29. I0721 10:38:16.725253  4692 net.cpp:74] Creating Layer relu2
  30. I0721 10:38:16.725261  4692 net.cpp:84] relu2 <- conv2
  31. I0721 10:38:16.725270  4692 net.cpp:98] relu2 -> conv2 (in-place)
  32. I0721 10:38:16.725280  4692 net.cpp:125] Top shape: 256 256 27 27 (47775744)
  33. I0721 10:38:16.725288  4692 net.cpp:151] relu2 needs backward computation.
  34. I0721 10:38:16.725298  4692 net.cpp:74] Creating Layer pool2
  35. I0721 10:38:16.725307  4692 net.cpp:84] pool2 <- conv2
  36. I0721 10:38:16.725317  4692 net.cpp:110] pool2 -> pool2
  37. I0721 10:38:16.725329  4692 net.cpp:125] Top shape: 256 256 13 13 (11075584)
  38. I0721 10:38:16.725338  4692 net.cpp:151] pool2 needs backward computation.
  39. I0721 10:38:16.725358  4692 net.cpp:74] Creating Layer norm2
  40. I0721 10:38:16.725368  4692 net.cpp:84] norm2 <- pool2
  41. I0721 10:38:16.725378  4692 net.cpp:110] norm2 -> norm2
  42. I0721 10:38:16.725389  4692 net.cpp:125] Top shape: 256 256 13 13 (11075584)
  43. I0721 10:38:16.725399  4692 net.cpp:151] norm2 needs backward computation.
  44. I0721 10:38:16.725409  4692 net.cpp:74] Creating Layer conv3
  45. I0721 10:38:16.725419  4692 net.cpp:84] conv3 <- norm2
  46. I0721 10:38:16.725427  4692 net.cpp:110] conv3 -> conv3
  47. I0721 10:38:16.735193  4692 net.cpp:125] Top shape: 256 384 13 13 (16613376)
  48. I0721 10:38:16.735213  4692 net.cpp:151] conv3 needs backward computation.
  49. I0721 10:38:16.735224  4692 net.cpp:74] Creating Layer relu3
  50. I0721 10:38:16.735234  4692 net.cpp:84] relu3 <- conv3
  51. I0721 10:38:16.735242  4692 net.cpp:98] relu3 -> conv3 (in-place)
  52. I0721 10:38:16.735250  4692 net.cpp:125] Top shape: 256 384 13 13 (16613376)
  53. I0721 10:38:16.735258  4692 net.cpp:151] relu3 needs backward computation.
  54. I0721 10:38:16.735302  4692 net.cpp:74] Creating Layer conv4
  55. I0721 10:38:16.735312  4692 net.cpp:84] conv4 <- conv3
  56. I0721 10:38:16.735321  4692 net.cpp:110] conv4 -> conv4
  57. I0721 10:38:16.743952  4692 net.cpp:125] Top shape: 256 384 13 13 (16613376)
  58. I0721 10:38:16.743988  4692 net.cpp:151] conv4 needs backward computation.
  59. I0721 10:38:16.744000  4692 net.cpp:74] Creating Layer relu4
  60. I0721 10:38:16.744010  4692 net.cpp:84] relu4 <- conv4
  61. I0721 10:38:16.744020  4692 net.cpp:98] relu4 -> conv4 (in-place)
  62. I0721 10:38:16.744030  4692 net.cpp:125] Top shape: 256 384 13 13 (16613376)
  63. I0721 10:38:16.744038  4692 net.cpp:151] relu4 needs backward computation.
  64. I0721 10:38:16.744050  4692 net.cpp:74] Creating Layer conv5
  65. I0721 10:38:16.744057  4692 net.cpp:84] conv5 <- conv4
  66. I0721 10:38:16.744067  4692 net.cpp:110] conv5 -> conv5
  67. I0721 10:38:16.748935  4692 net.cpp:125] Top shape: 256 256 13 13 (11075584)
  68. I0721 10:38:16.748955  4692 net.cpp:151] conv5 needs backward computation.
  69. I0721 10:38:16.748965  4692 net.cpp:74] Creating Layer relu5
  70. I0721 10:38:16.748975  4692 net.cpp:84] relu5 <- conv5
  71. I0721 10:38:16.748983  4692 net.cpp:98] relu5 -> conv5 (in-place)
  72. I0721 10:38:16.748998  4692 net.cpp:125] Top shape: 256 256 13 13 (11075584)
  73. I0721 10:38:16.749011  4692 net.cpp:151] relu5 needs backward computation.
  74. I0721 10:38:16.749022  4692 net.cpp:74] Creating Layer pool5
  75. I0721 10:38:16.749030  4692 net.cpp:84] pool5 <- conv5
  76. I0721 10:38:16.749039  4692 net.cpp:110] pool5 -> pool5
  77. I0721 10:38:16.749050  4692 net.cpp:125] Top shape: 256 256 6 6 (2359296)
  78. I0721 10:38:16.749058  4692 net.cpp:151] pool5 needs backward computation.
  79. I0721 10:38:16.749074  4692 net.cpp:74] Creating Layer fc6
  80. I0721 10:38:16.749083  4692 net.cpp:84] fc6 <- pool5
  81. I0721 10:38:16.749091  4692 net.cpp:110] fc6 -> fc6
  82. I0721 10:38:17.160079  4692 net.cpp:125] Top shape: 256 4096 1 1 (1048576)
  83. I0721 10:38:17.160148  4692 net.cpp:151] fc6 needs backward computation.
  84. I0721 10:38:17.160166  4692 net.cpp:74] Creating Layer relu6
  85. I0721 10:38:17.160177  4692 net.cpp:84] relu6 <- fc6
  86. I0721 10:38:17.160190  4692 net.cpp:98] relu6 -> fc6 (in-place)
  87. I0721 10:38:17.160202  4692 net.cpp:125] Top shape: 256 4096 1 1 (1048576)
  88. I0721 10:38:17.160212  4692 net.cpp:151] relu6 needs backward computation.
  89. I0721 10:38:17.160222  4692 net.cpp:74] Creating Layer drop6
  90. I0721 10:38:17.160230  4692 net.cpp:84] drop6 <- fc6
  91. I0721 10:38:17.160238  4692 net.cpp:98] drop6 -> fc6 (in-place)
  92. I0721 10:38:17.160258  4692 net.cpp:125] Top shape: 256 4096 1 1 (1048576)
  93. I0721 10:38:17.160265  4692 net.cpp:151] drop6 needs backward computation.
  94. I0721 10:38:17.160277  4692 net.cpp:74] Creating Layer fc7
  95. I0721 10:38:17.160286  4692 net.cpp:84] fc7 <- fc6
  96. I0721 10:38:17.160295  4692 net.cpp:110] fc7 -> fc7
  97. I0721 10:38:17.342094  4692 net.cpp:125] Top shape: 256 4096 1 1 (1048576)
  98. I0721 10:38:17.342157  4692 net.cpp:151] fc7 needs backward computation.
  99. I0721 10:38:17.342175  4692 net.cpp:74] Creating Layer relu7
  100. I0721 10:38:17.342185  4692 net.cpp:84] relu7 <- fc7
  101. I0721 10:38:17.342198  4692 net.cpp:98] relu7 -> fc7 (in-place)
  102. I0721 10:38:17.342208  4692 net.cpp:125] Top shape: 256 4096 1 1 (1048576)
  103. I0721 10:38:17.342217  4692 net.cpp:151] relu7 needs backward computation.
  104. I0721 10:38:17.342228  4692 net.cpp:74] Creating Layer drop7
  105. I0721 10:38:17.342236  4692 net.cpp:84] drop7 <- fc7
  106. I0721 10:38:17.342245  4692 net.cpp:98] drop7 -> fc7 (in-place)
  107. I0721 10:38:17.342254  4692 net.cpp:125] Top shape: 256 4096 1 1 (1048576)
  108. I0721 10:38:17.342262  4692 net.cpp:151] drop7 needs backward computation.
  109. I0721 10:38:17.342274  4692 net.cpp:74] Creating Layer fc8
  110. I0721 10:38:17.342283  4692 net.cpp:84] fc8 <- fc7
  111. I0721 10:38:17.342291  4692 net.cpp:110] fc8 -> fc8
  112. I0721 10:38:17.343199  4692 net.cpp:125] Top shape: 256 22 1 1 (5632)
  113. I0721 10:38:17.343214  4692 net.cpp:151] fc8 needs backward computation.
  114. I0721 10:38:17.343231  4692 net.cpp:74] Creating Layer loss
  115. I0721 10:38:17.343240  4692 net.cpp:84] loss <- fc8
  116. I0721 10:38:17.343250  4692 net.cpp:84] loss <- label
  117. I0721 10:38:17.343264  4692 net.cpp:151] loss needs backward computation.
  118. I0721 10:38:17.343305  4692 net.cpp:173] Collecting Learning Rate and Weight Decay.
  119. I0721 10:38:17.343327  4692 net.cpp:166] Network initialization done.
  120. I0721 10:38:17.343335  4692 net.cpp:167] Memory required for Data 1073760256

【转】[caffe]深度学习之图像分类模型AlexNet解读的更多相关文章

  1. [caffe]深度学习之图像分类模型AlexNet解读

    在imagenet上的图像分类challenge上Alex提出的alexnet网络结构模型赢得了2012届的冠军.要研究CNN类型DL网络模型在图像分类上的应用,就逃不开研究alexnet.这是CNN ...

  2. [caffe]深度学习之图像分类模型VGG解读

    一.简单介绍 vgg和googlenet是2014年imagenet竞赛的双雄,这两类模型结构有一个共同特点是go deeper.跟googlenet不同的是.vgg继承了lenet以及alexnet ...

  3. Caffe 深度学习框架上手教程

    Caffe 深度学习框架上手教程   blink 15年1月   Caffe (CNN, deep learning) 介绍 Caffe -----------Convolution Architec ...

  4. [转]Caffe 深度学习框架上手教程

    Caffe 深度学习框架上手教程 机器学习Caffe caffe 原文地址:http://suanfazu.com/t/caffe/281   blink 15年1月 6   Caffe448是一个清 ...

  5. supervessel-免费云镜像︱GPU加速的Caffe深度学习开发环境

    开发环境介绍 在SuperVessel云上,我们为大家免费提供当前火热的caffe深度学习开发环境.SuperVessel的Caffe有如下优点: 1) 免去了繁琐的Caffe环境的安装配置,即申请即 ...

  6. 深度学习的seq2seq模型——本质是LSTM，训练过程是使得所有样本的p(y1,...,yT‘|x1,...,xT)概率之和最大

    from:https://baijiahao.baidu.com/s?id=1584177164196579663&wfr=spider&for=pc seq2seq模型是以编码(En ...

  7. 深度学习 vs. 概率图模型 vs. 逻辑学

    深度学习 vs. 概率图模型 vs. 逻辑学 摘要:本文回顾过去50年人工智能(AI)领域形成的三大范式:逻辑学.概率方法和深度学习.文章按时间顺序展开,先回顾逻辑学和概率图方法,然后就人工智能和机器 ...

  8. 时间序列深度学习：seq2seq 模型预测太阳黑子

    目录 时间序列深度学习:seq2seq 模型预测太阳黑子 学习路线 商业中的时间序列深度学习 商业中应用时间序列深度学习 深度学习时间序列预测:使用 keras 预测太阳黑子 递归神经网络 设置.预处 ...

  9. Ubuntu 14.04 安装caffe深度学习框架

    简介:如何在ubuntu 14.04 下安装caffe深度学习框架. 注:安装caffe时一定要保持网络状态好,不然会遇到很多麻烦.例如下载不了,各种报错. 一.安装依赖包 $ sudo apt-ge ...

随机推荐

  1. Unity2D多分辨率屏幕适配方案（转载）

    一下内容转自:http://imgtec.eetrend.com/forum/3992 此文将阐述一种简单有效的Unity2D多分辨率屏幕适配方案,该方案适用于基于原生开发的Unity2D游戏,即没有 ...

  2. java基础要点

    Java语言是现在比较常用的编程语言,因为Java语言可以编写桌用程序,也可以编写web程序,还能编写嵌入式程序.这是由于相比脚本语言,Java 的运行速度要快.而对于底层语言,Java与平台无关,可 ...

  3. SQL语句 DML,DDL,DCL

    数据控制语言(DCL)是用来设置或者更改数据库用户或角色权限的语句,这些语句包括GRANT.DENY.REVOKE等语句,在默认状态下,只有 sysadmin.dbcreator.db_owner或d ...

  4. buildbot的codebaseGenerator

    buildbot的codebaseGenerator文档非常简单,简单到令人发指. 也没有一个例子,唉,辛苦了好几个小时才研究清楚怎么设置. 赶紧记录下吧,不然下次又要纠结. 应用场景:web sta ...

  5. [IIS]IIS扫盲(七)

    (4)汉化补丁 许多软件都是英文版本的,国人的英语水平普遍不高,包括笔者.因为这个,影响了不少人学习电脑的兴趣. 为了占领市场,软件开发商提供了中文版本:为了大家学习方便,爱好汉化工作的国人制作了汉化 ...

  6. 数据结构&算法-双向链表

    1.引言 双向链表原理和单链表差不多,就是操作相对繁琐一些,简单画了几个图,把思想弄清楚就好. 2.正文 这里介绍一下插入和删除的原理,相信这两个操作搞清楚的话,其他操作也没什么问题. 2.1插入节点 ...

  7. CGContextAddArcToPoint和CGContextAddArc

    比较难的是CGContextAddArcToPoint 代码如下: CGContextRef context=UIGraphicsGetCurrentContext(); CGContextSetRG ...

  8. 百度地图api简单使用方法

    百度地图API的使用方法   百度地图API 开始学习百度地图API最简单的方式是看一个简单的示例.以下代码创建了一个520x340大小的地图区域并以天安门作为地图的中心: 1. <html&g ...

  9. leetcode-【简单题】Two Sum

    题目: Given an array of integers, return indices of the two numbers such that they add up to a specifi ...

  10. dedecms代码研究四

    partview php文件之前,我们像掉进沼泽一样,看到无尽的变量,数组元素,莫名其面的东西摆在我们面前.今天,我们继续艰难前行,想办法走出partview类的泥潭.上一篇,我们胡乱分析了partv ...