cuda-convnet 卷积神经网络 一般性结构卷积核个数 和 输入输出的关系以及输入输出的个数的说明:
卷积神经网络 一般性结构卷积核个数和 输入输出的关系以及输入输出的个数的说明:
以cifar-10为例:
Initialized data layer 'data', producing3072 outputs
Initialized data layer 'labels', producing1 outputs
Initialized convolutional layer 'conv1',producing 32x32 64-channel output
Initialized max-pooling layer 'pool1',producing 16x16 64-channel output
Initialized cross-mapresponse-normalization layer 'rnorm1', producing 16x16 64-channel output
Initialized convolutional layer 'conv2',producing 16x16 64-channel output
Initialized cross-map response-normalizationlayer 'rnorm2', producing 16x16 64-channel output
Initialized max-pooling layer 'pool2',producing 8x8 64-channel output
Initialized locally-connected layer'local3', producing 8x8 64-channel output
Initialized locally-connected layer'local4', producing 8x8 32-channel output
Initialized fully-connected layer 'fc10',producing 10 outputs
Initialized softmax layer 'probs',producing 10 outputs
Initialized logistic regression cost'logprob'
Initialized neuron layer 'conv1_neuron',producing 65536 outputs
Initialized neuron layer 'conv2_neuron',producing 16384 outputs
Initialized neuron layer 'local3_neuron',producing 4096 outputs
Initialized neuron layer 'local4_neuron',producing 2048 outputs
1、卷积说明:
输入是3个32*32, 共3*1024=3072。每条边padding为2,则内存里实际为3个36*36.
卷积核个数是3维的5*5分别与3个输入进行卷积运算,得到3维的32*32的输出,这里将3维的32*32相应位相加得到一张32*32的feature Map
假设有64个3维的5*5卷积核就有64张feature Map
详细过程图示为:
卷积的权值存取方式为:
第一个5*5作用于第一张输入全图,
第二个5*5作用于第二张输入全图,
第三个5*5作用于第三张输入全图,
再把这三个相应位置相加,在加上biases,得到第一张feature map
最后64个5*5*3反复上面的过程,得到64个featuremap
这里weights有3*5*5*64个,biases有64个.
这里输入是3 输出是64,卷积核是5*5权值个数是64* 5*5*3
2、local层说明:
输入是8x8 64-channel output 。每条边padding为1,则内存里实际为64个10*10.
卷积核个数是8*8个的3*3的卷积核分别与单一的一个输入相应位置卷积,得到1个8*8的中间输出O1。这里将8*8个的3*3作用于单一单张输入O1的卷积核组称为A。
如今64维的A分别作用于64个输入,将得到64个中间输出O2(就是64个O1),这里将64维的O2相应位相加得到一张8*8的feature Map。这里将64维的A称作B。
假设有64个B就有64张feature Map,就是终于的输出。
Local层和conv层的差别就在于local的单一输入的feature Map不共享卷积核。而conv是共享卷积核的,所以local比conv多了在单一输入的卷积核。
权值存取方式说明:
每一列是64*3*3*8*8=36864;将一列分成64份:每一份就是64*3*3.一份相应输出的一个pixel.
前64*3*3个权值怎么计算的呢:
64个3*3与64个输入的左上角3*3分别卷积,就是第一个3*3与第一个输入的左上角卷积,第二个3*3与第二个输入的左上角卷积,。。。得到64个值,然后这64个值相加再加biases就是第一个输出的左上角的值.
cuda-convnet 卷积神经网络 一般性结构卷积核个数 和 输入输出的关系以及输入输出的个数的说明:的更多相关文章
- [CLPR] 卷积神经网络的结构
本文翻译自: http://www.codeproject.com/Articles/16650/Neural-Network-for-Recognition-of-Handwritten-Digi ...
- 深度学习-使用cuda加速卷积神经网络-手写数字识别准确率99.7%
源码和运行结果 cuda:https://github.com/zhxfl/CUDA-CNN C语言版本参考自:http://eric-yuan.me/ 针对著名手写数字识别的库mnist,准确率是9 ...
- 卷积神经网络概念及使用 PyTorch 简单实现
卷积神经网络 卷积神经网络(CNN)是深度学习的代表算法之一 .具有表征学习能力,能够按其阶层结构对输入信息进行平移不变分类,因此也被称为“平移不变人工神经网络”.随着深度学习理论的提出和数值计算设备 ...
- 卷积神经网络(CNN,ConvNet)
卷积神经网络(CNN,ConvNet) 卷积神经网络(CNN,有时被称为 ConvNet)是很吸引人的.在短时间内,变成了一种颠覆性的技术,打破了从文本.视频到语音等多个领域所有最先进的算法,远远超出 ...
- CS231n课程笔记翻译9:卷积神经网络笔记
译者注:本文翻译自斯坦福CS231n课程笔记ConvNet notes,由课程教师Andrej Karpathy授权进行翻译.本篇教程由杜客和猴子翻译完成,堃堃和李艺颖进行校对修改. 原文如下 内容列 ...
- 【cs231n】卷积神经网络
较好的讲解博客: 卷积神经网络基础 深度卷积模型 目标检测 人脸识别与神经风格迁移 译者注:本文翻译自斯坦福CS231n课程笔记ConvNet notes,由课程教师Andrej Karpathy授权 ...
- 第二次作业:卷积神经网络 part 1
第二次作业:卷积神经网络 part 1 视频学习 数学基础 受结构限制严重,生成式模型效果往往不如判别式模型. RBM:数学上很漂亮,且有统计物理学支撑,但主流深度学习平台不支持RBM和预训练. 自编 ...
- 神经网络:卷积神经网络CNN
一.前言 这篇卷积神经网络是前面介绍的多层神经网络的进一步深入,它将深度学习的思想引入到了神经网络当中,通过卷积运算来由浅入深的提取图像的不同层次的特征,而利用神经网络的训练过程让整个网络自动调节卷积 ...
- TensorFlow 实战之实现卷积神经网络
本文根据最近学习TensorFlow书籍网络文章的情况,特将一些学习心得做了总结,详情如下.如有不当之处,请各位大拿多多指点,在此谢过. 一.相关性概念 1.卷积神经网络(ConvolutionNeu ...
随机推荐
- 转载:fstream和ifstream详细用法
文件 I/O 在C++中比烤蛋糕简单多了.在这篇文章里,我会详细解释ASCII和二进制文件的输入输出的每个细节,值得注意的是,所有这些都是用C++完成的. 一.ASCII 输出 为了使用下面的方法, ...
- 再谈Jquery Ajax方法传递到action(转)
之前写过一篇文章Jquery Ajax方法传值到action,本文是对该文的补充. 假设 controller中的方法是如下: public ActionResult ReadPerson(Perso ...
- 2.2……测试
概述 黑盒测试: 是以用户的角度,从输入数据与输出数据的对应关系出发进行测试的. 白盒测试: 又称结构测试.透明盒测试.逻辑驱动测试或基于代码的测试. 单元测试: 又称模块测试,是开发者编写的 ...
- The Administration Console(管理员控制台)
当你的应用准备好了首次露面时,你要创建一个管理员用户以及将这个应用安装到App Engine上.你使用你的管理员帐户创建和管理这个应用,查看它的资源利用统计,消息日志以及更多.所有这些基于一个叫做管理 ...
- Getting Started(Google Cloud Storage Client Library)
在运行下面的步骤之前,请确保: 1.你的项目已经激活了Google Cloud Storage和App Engine,包括已经创建了至少一个Cloud Storage bucket. 2.你已经下载了 ...
- TJOI2013 DAY2
第一题:明显先处理出最终序列,然后用线段树求解.处理最终序列可以用二分加树状数组(时间复杂度log2n, 用平衡树也可以搞...). /* * Problem: TJOI2013-day2-Seque ...
- AndroidAsync :异步Socket,http(client+server),websocket和socket.io的Android类库
AndroidAsync是一个用于Android应用的异步Socket,http(client+server),websocket和socket.io的类库.基于NIO,没有线程.它使用java.ni ...
- 黄金点游戏之客户端(homework-05)
0. 摘要 之前我们玩了2次黄金数游戏,我也幸运的得到了一本<代码大全>,嘿嘿.这次的作业是一个Client/Server程序,自动化完成多轮重复游戏. 我完成了Client部分,使用C# ...
- crontab 定时任务格式
如下内容节选自<Linux Crontab 定时任务 命令详解> 用crontab -e 添加要执行的命令 添加的命令必须以如下格式: * * * * * /command path 前五 ...
- maven系列(3)-maven生命周期的介绍
1. 概述 Maven有三套相互独立的生命周期,请注意这里说的是"三套",而且"相互独立",初学者容易将Maven的生命周期看成一个整体,其实不然.这三套生命周 ...