0.背景 这个模型是<Deep Learning高质量>群里的牛津大神Weidi Xie在介绍他们的VGG face2时候,看到对应的论文<VGGFace2: A dataset for recognising faces across pose and age>中对比实验涉及到的SENet,其结果比ResNet-50还好,所以也学习学习. github上的SENet CNN是通过用局部感受野,基于逐通道基础上,去融合空间信息来提取信息化的特征,对于图像这种数据来说很成功.不过,为…

关于SE-Net有些很奇妙的点: 1.首先,所谓的SE module加在了BN层后面,这样的话,SE首先应该是对于BN层输出的feature map求取global average pooling,一个样本的一个channel做一次pooling,注意这个地方的pooling输出值不是bn_weight * 0 + bn_bias,因为对于BN层而言,是在整个Batch里面对应channel求取的 均值,而不是一个样本一个channel求取的均值,所以一个样本一个channel的均值未必为0.…

从LeNet到SENet——卷积神经网络回顾 从 1998 年经典的 LeNet,到 2012 年历史性的 AlexNet,之后深度学习进入了蓬勃发展阶段,百花齐放,大放异彩,出现了各式各样的不同网络,包括 LeNet.AlexNet.ZFNet.VGG.NiN.Inception v1 到 v4.Inception-ResNet.ResNet.WRN.FractalNet.Stochastic Depth.DenseNet.ResNeXt.Xception.SENet.SqueezeNet.N…

简介 图像分类对网络结构的要求,一个是精度,另一个是速度.这两个需求推动了网络结构的发展. resneXt:分组卷积,降低了网络参数个数. densenet:密集的跳连接. mobilenet:标准卷积分解成深度卷积和逐点卷积,即深度分离卷积. SENet:注意力机制. 简单起见,使用了[1]的代码,注释掉 layer4,作为基本框架resnet14.然后改变局部结构,验证分类效果. 实验结果 GPU:gtx1070 超参数:epochs=80,lr=0.001,optim=Adam 数据集:c…

前言 在论文笔记:CNN经典结构1中主要讲了2012-2015年的一些经典CNN结构.本文主要讲解2016-2017年的一些经典CNN结构. CIFAR和SVHN上,DenseNet-BC优于ResNeXt优于DenseNet优于WRN优于FractalNet优于ResNetv2优于ResNet,具体数据见CIFAR和SVHN在各CNN论文中的结果.ImageNet上,SENet优于DPN优于ResNeXt优于WRN优于ResNet和DenseNet. WideResNet( WRN ) mot…

Momenta详解ImageNet 2017夺冠架构SENet 转自机器之心专栏 作者:胡杰 本届 CVPR 2017大会上出现了很多值得关注的精彩论文,国内自动驾驶创业公司 Momenta 联合机器之心推出 CVPR 2017 精彩论文解读专栏.除此之外,Momenta 还受邀在 CVPR 2017 的 ImageNet Workshop 中发表演讲,介绍 Momenta 在ImageNet 2017 挑战赛中夺冠的网络架构SENet.本文作者为 Momenta 高级研发工程师胡杰. 我是 M…

总结近期CNN模型的发展(一) from:https://zhuanlan.zhihu.com/p/30746099 余俊 计算机视觉及深度学习   1.前言 好久没有更新专栏了,最近因为项目的原因接触到了PyTorch,感觉打开了深度学习新世界的大门.闲暇之余就用PyTorch训练了最近在图像分类上state-of-the-art的CNN模型,正好在文章中总结如下: ResNet [1, 2] Wide ResNet [3] ResNeXt [4] DenseNet [5] DPNet [9]…

前言 深度卷积网络极大地推进深度学习各领域的发展,ILSVRC作为最具影响力的竞赛功不可没,促使了许多经典工作.我梳理了ILSVRC分类任务的各届冠军和亚军网络,简单介绍了它们的核心思想.网络架构及其实现. 代码主要来自:https://github.com/weiaicunzai/pytorch-cifar100 ImageNet和ILSVRC ImageNet是一个超过15 million的图像数据集,大约有22,000类. ILSVRC全称ImageNet Large-Scale Visu…

论文原址:https://arxiv.org/abs/1709.01507 github:https://github.com/hujie-frank/SENet 摘要 卷积网络的关键构件是卷积操作,在每层感受野的范围内通过融合局部及channel-wise信息可以使网络构建特征.一些研究关注空间组件,通过增强空间特征等级的编码能力在增强表示力.本文重点在于通道之间的联系,提出了SENet block,通过对通道之间的独立性建模来自适应的调整通道之间的响应.可以将这些block进行堆叠得到SEN…

一.SENet简介 Squeeze-and-Excitation Networks(SENet)是由自动驾驶公司Momenta在2017年公布的一种全新的图像识别结构,它通过对特征通道间的相关性进行建模,把重要的特征进行强化来提升准确率.这个结构是2017 ILSVR竞赛的冠军,top5的错误率达到了2.251%,比2016年的第一名还要低25%,可谓提升巨大.        Squeeze-and-Excitation(SE) block并不是一个完整的网络结构,而是一个子结构,可以嵌到其他分…