第三节，目标检测---R-CNN网络系列

1、目标检测

检测图片中所有物体的

• 类别标签
• 位置（最小外接矩形/Bounding box）

区域卷积神经网络R-CNN

模块进化史

2、区域卷积神经网络R-CNN

• Region proposals+手工特征+分类器

R-CNN模块划分

• 模块1：Selective Search(SS)获取区域
  • ~2000个区域Region proposals
  • 跟分类无关，包含物体
• 区域预处理
  • Bounding box膨胀
  • 尺寸变换成227x227
• 模块2：AlexNet 网络
  • 对所有区域进行特征提取
  • fine-tune
• 模块3：线性SVMs分类器
  • 对CNN特征（4096）进行分类
  • 每个分类一个SVM
• 模块4：Bounding box回归模型
  • 对SS提供的区域进行精化
  • 基于CNN特征
  • 每个分类一个SVM

正样本：所有Ground-truth区域

负样本：跟Ground-truth重合IoU<0.3的SS区域

R-CNN训练流程

• M<——在ImageNet上对CNN模型进行预训练pre-train
• M‘<——在SS生成的所有区域上对M进行fine-tune
• C<——在M’的Fc7特征上训练线性SVMs分类器
• R<——在M‘的Conv5特征上训练Bounding box回归模型

R-CNN测试阶段

• Selective Search（fast mode）提取~2000区域/图片
• 将所有区域膨胀+缩放到227x227
• 使用fine-tune过的AlexNet计算两套特征
  • 为每个类别执行
    • Fc7特征——>SVM分类器——>类别分值
    • 使用非极大值抑制（IoU>=0.5）获取无冗余的区域子集
      • 所有区域分值从大到小排序
      • 剔除冗余：与最大分值区域IoU>=0.5的所有区域
      • 保留该最大分值区域，剩余区域作为新候选集
    • Conv5特征——>Bounding box回归模型——>Bbox偏差
    • 使用Bbox偏差修正区域子集

R-CNN性能评价

True Positive区域：IoU>=0.5

False Positive区域：IoU<0.5

False Negative区域：遗漏的Ground truth区域

准确率precision：TP/(TP+FP)

号召率recall：TP/(TP+FN)

第C类的平均精度（AP）：PR曲线之下的面积，是Precision对于Recall的积分。

mAP：所有类别的平均精度求和初一所有类别，即数据集中所有类的平均精度的平均值。

3、SSP-Net

• R-CNN速度慢的原因之一：卷积特征重复计算量太大，每张图片的~2000区域都会计算CNN特征
• 两大改进
  • 直接输入整张图片，所有区域共享卷积计算（一遍）：在Conv5层输出上提取所有区域的特征
  • 引入空间金字塔池化（Spatial Pyramid Pooling）：为不同尺寸的区域，在Conv5输出上提取特征；映射到尺寸固定的全连接层上。

SSP-空间金字塔池化：

• 替换Conv5的Pooling层
• 3个level和21个Bin：1x1，2x2，4x4
• Bin内使用Max pooling

SPP-Net训练过程

• M<——在ImageNet上对CNN模型进行pre-train
• F<——计算所有SS区域的SPP特征
• M'<——使用F特征fine tune新fc6——>fc7——>fc8层
  • 与R-CNN区别：SPP特征<——Pool5特征；只finetune全连接层
• F'<——计算M'的fc7特征
• C<——使用F'特征训练线性SVM分类器
• R<——适应F特征训练Bounding box回归模型

4、Fast R-CNN网络

改进：

• 比R-CNN，SPP-Net更快的training/test
• 更高的mAP
• 实现end-to-end（端对端）单阶段训练：多任务损失函数（Multi-task loss）
• 所有层的参数都可以fine-tune
• 不需要离线存储特征文件

在SPP-Net基础上引入2个新技术

• 感兴趣区域池化层（RoI pooling layer）

• 多任务损失函数（Multi-task loss）：分类器loss；Bounding box回归L1 loss。

 5、Faster R-CNN=Fast R-CNN+RPN

集成Region Proposal Network（RPN）网络:取代离线Selective Search模块，解决性能瓶颈。

进一步共享卷积层计算；基于Attention注意机制；Region proposals量少质优：高precision，高recall。

训练过程：

Step1---训练RPN网络

• 卷积层初始化<——ImageNet上pretrained模型参数

Step2---训练Fast R-CNN网络

• 卷积层初始化<——ImageNet上pretrained模型参数
• Region proposals由Step1的RPN生成

Step3---调优RPN

• 卷积层初始化<——Fast R-CNN的卷积层参数
• 固定卷积层，finetune剩余层

Step4---调优Fast R-CNN

• 固定卷积层，finetune剩余层
• Region proposals由Step3的RPN生成

Region Proposal Network（RPN）网络：全卷积网络

• 3x3,256-d卷积层+ReLU<——输入图片的Conv5特征
• 1x1,4k-d卷积层——>输出k组proposal的offsets(r,c,w,h)
• 1x1,2k-d卷积层——>输出k组（object score,non-object score）