第四讲_图像识别之图像分类Image Classification

第四讲_图像识别之图像分类Image Classification

• 目录
  

图片分类

• 性能指标：top1,top5
• ILSVRC：每种任务数据集不一样
  
• imageNet：根据WorldNet组织的图片集，为每个名词提供平均1000张图片
• 网络进化
  
  

卷积神经网络（CNN）

• 基础神经网络：

  • 神经元（输入，w,b,sigmoid）
  • 优化：梯度下降，BP反向传播（链式规则），3~5层
  • 优化交叉熵（之前是均方误差）：批量梯度下降，随机梯度下降（学习率、步长，扰动->动量算法momentum）

• 构建CNN的基本层

卷积层

• 不同的损失函数：注意跳出鞍点（在一个方向极小值，另一个方向极大值）
  
  
  
• ReLU激活函数：分段线性函数，无饱和问题，明显减轻梯度消失问题
• 卷积步长大于1，有降维的作用

池化层

• 特征融合，降维
  

全连接层

Softmax层

工程实际

AlexNet

• 基本概述
  
• 局部响应归一化
  
  

Network-in-Network(NiN)

• 1*1卷积层，实现特征的降维，这个就是卷积核的大小
  

VGG网络-2014

• 卷积核的分解
  
• 由于最后的卷积层--->第一个全连接；就是需要全局卷积，这里的卷积核大小是超参数，是固定的参数，所以对输入图片的大小有要求；而ResNet对输入图片大小没有要求
• 网络结构，D,E结构用的多一些
  

GoogLeNet网络

• 进化顺序
  
• Inception V1网络
• 和ResNet一样有基本的模块
  
  
• 取消全连接层；最后的卷积层--->第一个全连接需要的参数最多
  
• 网络结构
  
• 网络参数
  
• 两个辅助分类器：深度网络中，梯度回传到最初层，严重消失；有效加速收敛，测试阶段不使用

Inception V2网络

• 核心有批归一化
• 一批一批batch进行处理，每一批在第k个通道进行均值方差归一化操作
  
  
  

Inception V3网络

• 卷积进行分解：非对称卷积；三种分解方案
  

• 高效的降尺寸：避免表达瓶颈
  
  

• 网络整体框架
  

ResNet残差网络

• skip/shortcut connection
  
• 虚线有降维作用
  
• 往更深的走
• 原始输入改为256，优化就是先通道降维，然后卷积，升维
  
• 网络整体情况：5个卷积组
  

Inception V4网络

• 引入残差
  

ResNeXt网络

• 概况
  
• 1**1卷积就相当于全连接降通道数
• 32**4d块，保证参数量不变；32*4=128通道是普通64通道的2倍
• 分支数就是基数，网络宽度就是分支数*每个分支的通道数
  
  

CNN设计准则

• 避免信息瓶颈：数据量H**W(尺度大小)*C(通道数)变换要缓慢；通道数要不能弥补尺度减小，但要缓慢

• 通道（卷积核）数量保持在可控范围内

• 感受野要足够大
  

• 分组策略--降低计算量

• 低秩分解
  

实验结果

• 代码实验ResNet