SqueezeNet系列是比较早期且经典的轻量级网络,SqueezeNet使用Fire模块进行参数压缩,而SqueezeNext则在此基础上加入分离卷积进行改进.虽然SqueezeNet系列不如MobieNet使用广泛,但其架构思想和实验结论还是可以值得借鉴的.   来源:晓飞的算法工程笔记 公众号 SqueezeNet 论文: SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size 论…

完整代码及其数据,请移步小编的GitHub地址 传送门:请点击我 如果点击有误:https://github.com/LeBron-Jian/DeepLearningNote 这里结合网络的资料和MobileNet论文,捋一遍MobileNet,基本代码和图片都是来自网络,这里表示感谢,参考链接均在后文.下面开始. MobileNet论文写的很好,有想法的可以去看一下,我这里提供翻译地址: 深度学习论文翻译解析(十七):MobileNets: Efficient Convolutional Ne…

前言 深度卷积网络除了准确度,计算复杂度也是考虑的重要指标.本文列出了近年主流的轻量级网络,简单地阐述了它们的思想.由于本人水平有限,对这部分的理解还不够深入,还需要继续学习和完善. 最后我参考部分列出来的文章都写的非常棒,建议继续阅读. 复杂度分析 理论计算量(FLOPs):浮点运算次数(FLoating-point Operation) 参数数量(params):单位通常为M,用float32表示. 对比 std conv(主要贡献计算量) params:\(k_h\times k_w\ti…

全卷积网络(FCN)是用于图片语义分割的一种卷积神经网络(CNN),由Jonathan Long,Evan Shelhamer 和Trevor Darrell提出,由此开启了深度学习在语义分割中的应用.语义分割是计算机视觉领域很重要的一个分支,在自动驾驶.地面检测等方面都起到很重要作用.与简单区分前景后景的图像分割技术不同,语义分割则不仅是区分每个像素的前后景,更需要将其所属类别预测出来,属于像素层面的分类,是密集的目标识别.传统用于语义分割的CNN网络每个像素点用包围其的对象或区域类别进行标注…

论文笔记-IGCV3:Interleaved Low-Rank Group Convolutions for Efficient Deep Neural Networks 2018年07月11日 14:05:46 Liven_Zhu 阅读数 846   介绍 在这篇论文中,作者同时使用低秩核和稀疏核(low-rank and sparse kernel)来组成一个密集kernel.基于ICGV2的基础上,作者提出了ICGV3. 近几年,卷积网络在计算机视觉上的有效性已经得到了验证.目前卷积网络的…

ShuffleNet系列是轻量级网络中很重要的一个系列,ShuffleNetV1提出了channel shuffle操作,使得网络可以尽情地使用分组卷积来加速,而ShuffleNetV2则推倒V1的大部分设计,从实际出发,提出channel split操作,在加速网络的同时进行了特征重用,达到了很好的效果 来源:晓飞的算法工程笔记 公众号 ShuffleNet V1 论文: ShuffleNet: An Extremely Efficient Convolutional Neural Netwo…

MobileNet系列很重要的轻量级网络家族,出自谷歌,MobileNetV1使用深度可分离卷积来构建轻量级网络,MobileNetV2提出创新的inverted residual with linear bottleneck单元,虽然层数变多了,但是整体网络准确率和速度都有提升,MobileNetV3则结合AutoML技术以及人工微调进行更轻量级的网络构建   来源:晓飞的算法工程笔记 公众号 MobileNetV1 论文: MobileNets: Efficient Convolutiona…

ESPNet系列的核心在于空洞卷积金字塔,每层具有不同的dilation rate,在参数量不增加的情况下,能够融合多尺度特征,相对于深度可分离卷积,深度可分离空洞卷积金字塔性价比更高.另外,HFF的多尺度特征融合方法也很值得借鉴   来源:晓飞的算法工程笔记 公众号 ESPNet 论文: ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation 论文地址:https://arxiv.o…

前言 在论文笔记:CNN经典结构1中主要讲了2012-2015年的一些经典CNN结构.本文主要讲解2016-2017年的一些经典CNN结构. CIFAR和SVHN上,DenseNet-BC优于ResNeXt优于DenseNet优于WRN优于FractalNet优于ResNetv2优于ResNet,具体数据见CIFAR和SVHN在各CNN论文中的结果.ImageNet上,SENet优于DPN优于ResNeXt优于WRN优于ResNet和DenseNet. WideResNet( WRN ) mot…

前言 本文主要介绍2012-2015年的一些经典CNN结构,从AlexNet,ZFNet,OverFeat到VGG,GoogleNetv1-v4,ResNetv1-v2. 在论文笔记:CNN经典结构2中我介绍了2016-2017年的几个经典CNN结构,WideResNet,FractalNet,DenseNet,ResNeXt,DPN,SENet.另外,在ImageNet历年冠军和相关CNN模型中,我简单介绍了ImageNet和历年冠军. AlexNet 贡献:ILSVRC2012冠军,展现出了…