卷积神经网络-LeNet

  理解channel:卷积操作完成后输出的 out_channels ,取决于卷积核的数量。此时的 out_channels 也会作为下一次卷积时的卷积核的 in_channels

  C1 层功能解读:卷积核(filter)实际上就是小的特征模版(5×5 feature window),卷积的作用就是用 特征模版在全图(input image)逐点计算每个点及其邻域 与该模版的符合度

  S2 层功能解读:S2 层将 C1 层的 6 个特征图分别缩小 1 倍,在尺寸缩小的前提下,要保留 C1 层特 征图中的显著特征,这种保留分两个方面解读:位置、输出

  C3 层功能解读:这一层将前层的 6 个特征按 16 种方式组合成 16 个组合卷积核(combined filters), 用这种卷积核对前层的 6 个特征图,做卷积、加截距(偏差)、通过激活函数,获得 16 个新的特征 图,每个特征图对应一个组合卷积核所表达的组合特征

  S4 层功能解读:S4 层将 C3 层的 16 个特征图分别缩小 1 倍,在尺寸缩小的前提下,要保留 C3 层 特征图中的显著特征。

  C5 层功能解读:这一层将前层的 16 个特征按全参加的方式组合成 120 个组合卷积核(combined filters),用这种卷积核对前层的 16 个特征图,做卷积、加截距、通过激活函数,获得 120 个新的 特征图(实际上只是一个特征值),每个特征值对应一个组合卷积核所表达的全图组合特征

  F6 层功能解读:这一层将前层的 120 个神经元输出值按全连接方式得到本层的 84 个单元

  F7 层功能解读:这一层将前层的 84 个神经元输出值按全连接方式得到本层的 10 个单元

代价函数:而网络学习的目的就是要通过修改网络权值,从而 降低这个代价值,使得网络输出尽量靠近对应的标签

Gradient Descent :

  神经网络训练的目的就是选择合适的 θ使得代价函数取得极小

Cross Entropy Loss Function

  是与Softmax网络相匹配的代价函数

  基于信息熵的解释:

  

NiN块

  一个卷积层后跟两个全连接层

  步幅为1, 无填充, 输出形状跟卷积层输出一样

  起到全连接层的作用

  架构:

    无全连接层

    交替使用NiN块和步幅为2的最大池 化层,逐步减少高度和最大通道数

    最后使用全局平均池化层得到输出,其输入通道数是类别数

  

LeNet,AlexNet,VGG,GoogLeNet的更多相关文章

  1. AlexNet,VGG,GoogleNet,ResNet

    AlexNet: VGGNet: 用3x3的小的卷积核代替大的卷积核,让网络只关注相邻的像素 3x3的感受野与7x7的感受野相同,但是需要更深的网络 这样使得参数更少 大多数内存占用在靠前的卷积层,大 ...

  2. CNN Architectures(AlexNet,VGG,GoogleNet,ResNet,DenseNet)

    AlexNet (2012) The network had a very similar architecture as LeNet by Yann LeCun et al but was deep ...

  3. LeNet, AlexNet, VGGNet, GoogleNet, ResNet的网络结构

    1. LeNet 2. AlexNet 3. 参考文献: 1.  经典卷积神经网络结构——LeNet-5.AlexNet.VGG-16 2. 初探Alexnet网络结构 3.

  4. #Deep Learning回顾#之LeNet、AlexNet、GoogLeNet、VGG、ResNet

    CNN的发展史 上一篇回顾讲的是2006年Hinton他们的Science Paper,当时提到,2006年虽然Deep Learning的概念被提出来了,但是学术界的大家还是表示不服.当时有流传的段 ...

  5. LeNet,AlexNet,GoogleLeNet,VggNet等网络对比

    CNN的发展史 上一篇回顾讲的是2006年Hinton他们的Science Paper,当时提到,2006年虽然Deep Learning的概念被提出来了,但是学术界的大家还是表示不服.当时有流传的段 ...

  6. Deep Learning 经典网路回顾#之LeNet、AlexNet、GoogLeNet、VGG、ResNet

    #Deep Learning回顾#之LeNet.AlexNet.GoogLeNet.VGG.ResNet 深入浅出——网络模型中Inception的作用与结构全解析 图像识别中的深度残差学习(Deep ...

  7. 五大经典卷积神经网络介绍:LeNet / AlexNet / GoogLeNet / VGGNet/ ResNet

    欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/,学习更多的机器学习.深度学习的知识! LeNet / AlexNet / GoogLeNet / VGG ...

  8. (转)ResNet, AlexNet, VGG, Inception: Understanding various architectures of Convolutional Networks

    ResNet, AlexNet, VGG, Inception: Understanding various architectures of Convolutional Networks by KO ...

  9. 深度学习方法(五):卷积神经网络CNN经典模型整理Lenet,Alexnet,Googlenet,VGG,Deep Residual Learning

    欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 技术交流QQ群:433250724,欢迎对算法.技术感兴趣的同学加入. 关于卷积神经网络CNN,网络和文献中 ...

  10. 经典深度学习CNN总结 - LeNet、AlexNet、GoogLeNet、VGG、ResNet

    参考了: https://www.cnblogs.com/52machinelearning/p/5821591.html https://blog.csdn.net/qq_24695385/arti ...

随机推荐

  1. 郁金香 注入DLL代码 与MFC窗口DLL文件 开源

    10/10号更新 DLL注入器注入DLL卡死 问题 新增打开控制台 将阳光输出到控制台中 注入DLL代码 1 #include <stdio.h> 2 #include<Window ...

  2. 【Gerald and Giant Chess】

    一道计数类DP例题~~~ ps:P党似乎不多了-- 我这只蒟蒻第一次写题解,而且计数类DP还是早上刚学的,现学现用,或者说是所谓的"浅谈"一番吧!况且这题写题解的人似乎并不多(大佬 ...

  3. 【雅礼联考DAY01】逃跑

    #pragma GCC optimize(2) #pragma GCC optimize(3) #include<cstdio> using namespace std; const in ...

  4. JZOJ 5415. 【NOIP2017提高A组集训10.22】公交运输

    题目 城市中有一条长度为 \(n\) 的道路,每隔 \(1\) 的长度有一个公交车站,编号从 \(0\) 到 \(n\),学校在 \(0\) 号车站的位置.其中每个公交车站(除了 \(n\) 号车站) ...

  5. 推荐系统[八]算法实践总结V1:淘宝逛逛and阿里飞猪个性化推荐:召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】

    0.前言:召回排序流程策略算法简介 推荐可分为以下四个流程,分别是召回.粗排.精排以及重排: 召回是源头,在某种意义上决定着整个推荐的天花板: 粗排是初筛,一般不会上复杂模型: 精排是整个推荐环节的重 ...

  6. GPS地图生成01之概述

    图片来源: Author: Tang Email: jianbo.tang@csu.edu.cn

  7. vue3.0中ref动态绑定

    // 自己使用 <div v-for="item in ['lisi','wanger']" :key="item"> <test :ref= ...

  8. 华为S6720S-S24S28X-A配置参数

  9. 【研究生学习】SNR、Eb/N0和Es/N0的关系

    SNR.Eb/N0与Es/N0的关系 在模拟通信中,SNR是一个非常有用的指标 实例说明

  10. javaSE学习四

    Super /*super注意点: 1. super调用父类的构造方法,必须在构造方法的第一一个 2. super必须只能出现在子类的方法或者构造方法中! 3. super和this 不能同时调用构造 ...