Object Detection based on Region Decomposition and Assembly

AAAI2019 | 基于区域分解集成的目标检测 论文解读

作者 | 文永亮

学校 | 哈尔滨工业大学(深圳)

研究方向 | 目标检测、GAN

推荐理由:

这是一篇发表于AAAI2019的paper,文章提出了一种R-DAD的方法来对RCNN系列的目标检测方法进行改进。

研究动机:

目前主流的目标检测算法分为1 stage和2 stage的,而2 stage的目标检测方法以Faster-RCNN为代表是需要RPN(Region Proposals Network)生成RoI(Region of Interests感兴趣区域)的,文章认为正是因为被遮挡了的或者不精确的Region Proposals导致目标检测算法的不准确。作者的想法动机其实很简单,就是假如一辆车的左边被人遮挡了,那么这辆车的右边带来的信息其实才是更可信的。基于这个想法,文章提出R-DAD(Region Decomposition and Assembly Detector),即区域分解组装检测器,来改善生成的Region Proposals。

R-DAD的网络结构:

文章以Faster-RCNN的网络结构为例,修改成它提出的R-DAD结构:

R-DAD网络架构主要分成两个模块MRP和RDA:

  1. MRP(Multi-Scale Region Proposal)模块,用来改善RPN生成的Region Proposals的准确率。

    图一:MRP模块,框内分别对应S=0.7,1,1.2的Region Proposals

    MRP表面意思就是生成多尺度的Region Proposal,方法很简单,就是使用传统的RPN生成一些建议框,然后用不同的缩放因子(文章使用了5种缩放因子作为一组s=[0.5,0.7,1,1.2,1.5])对生成出的建议框进行不同比例的缩小放大从而提高Region Proposals的多样性。如图一,生成了不同尺度的区域,有一些仅仅是局部有一些是大于目标本身的,但是这也带来了一个问题,就是原来的Region Proposals已经可以说是极大的数量了,再乘以五倍,想要网络能够完全利用这些建议框是不切实际的,作者最后还添加了RoI的采样层,对分数低的和跟ground truth重叠率低的进行了筛选。

    由MRP网络生成的各种Region Proposals可以进一步适应目标之间因为空间变化所导致的特征变化,提高结构的鲁棒性。

  2. RDA(Region Decomposition and Assembly)模块,作者也称它为mutil-region-based appearance model,即基于多区域的外观模型,它可以同时描述一个物体的全局外观和局部外观,RDA分为目标分解和目标区域集成的两部分,目标分解如图二所示,把一个目标分为上下左右四个方向的分解部分

    一般会先用线性插值两倍上采样之后再分解,后面作者给出了表格表示这样效果更好。左右刚好是特征图的左右一半,上下也同理,都会送入RAB模块,RAB模块如图三所示:

    图三:RAB模块

    其实就是下面这个函数:

    其中p代表着上下左右的每一个部分或者组合后的部分如左-右(l/r)、下-上(b/u)和comb(l/r与b/u的组合),*是卷积操作,f()是ReLU单元。最后再取max,是为了融合了的信息,生成同样大小的。最后就是代表着全局信息的scale为1生成的Region Proposals,一起送进RAB模块。这样整个网络结构就可以做到既捕捉到局部信息的同时,也不丢失全局信息。

    RAB模块是一个类似maxout的单元,理论上它可以逼近任何连续的函数,所以我们使用RAB而不是直接使用ReLU。这表明可以通过配置不同的分层地组合RAB模块来表示各种各样的目标特征。

    损失函数:

    对每一个框(box)d,我们都会通过IoU筛选出跟GT(ground truth)最匹配的d*,如果d跟任何的d*的IoU超过0.5,给予正标签,若在0.1到0.5之间的,给予负标签。R-DAD的输出层对每一个框d都有四个参数化坐标和一个分类标签。对于box regression来说,我们与以往目标检测的参数化一致如下:

    同理,是用来评估预测框和GT的差距的。

    跟训练RPN网络相似,R-DAD也需要最小化分类损失和回归损失,如下:

    实验结果:

    文章中做了各种设置的组合,关于MRP里缩放因子的组合、是否有RDA模块以及是否上采样,得分如下表所示:

    与Faster-RCNN对比,作者使用了VOC07trainval和VOC12trainval数据集训练,再在VOC07test上测试,并且用了不同的特征提取器(VGG、ZF、Res101),得分均比Faster-RCNN高。

    在速度方面均比Faster-RCNN慢。

    与没有上下区域分解集成的R-DAD对比,有上下分解集成的误判率低很多,因为它在复杂情形下被遮挡物体会更有选择地相信得到的信息。

    R-DAD的优点:

    1.文章提出因为我们最大化目标在横向空间位置上局部特征的语义响应,与使用支持小区域的最大池化相比,在没有深层次结构的情况下,我们可以改善特征位置的空间不变性。我的理解就是作者取了上下左右四个方向的特征模板,最后对四个方向进行了融合语义信息,利用了横向空间上的空间不变性,揭示了不同方向上的语义关系。

    2.在复杂场景下,如有目标对象被另一目标对象遮挡时,通过左右上下模板筛选出来的特征是更符合真实场景的,这样的Region Proposals也更加可信。

    3.同时描述了全局特征和局部特征的语义信息,在RAB的组装上具有很强的可操作性,通过配置分层式地组装RAB模块,以及修改特征模板,特征的表达会更加灵活。

    点评:

    这个区域分解集成的算法令我觉得跟以前传统的人脸识别算法提取Haar-like特征有点异曲同工之处,同样都是把特征图分成上下两部分,然后做特征提取操作,都是定义了特定的特征模板,这就很容易理解为什么作者要做multi scale的操作了,因为在以前使用Haar/SIFT/HoG的时候,往往都需要使用muti scale来检测。

    但是R-DAD为什么对特征只分成上下各一半,左右各一半这种特征模板,文章并没有给出令人信服的理由。尽管如此,这也是一个对目标检测的改进方向,通过MRP和RDA模块代替了之前的单纯的RPN网络,而且在不使用FPN(Feature Pyramid Networks)的情况下取得了不错的mAP,这样看来R-DAD是2 stage目标检测系列的另一种技巧,综合了横向空间上的语义信息。

AAAI2019 | 基于区域分解集成的目标检测 论文解读的更多相关文章

  1. 目标检测论文解读5——YOLO v1

    背景 之前热门的目标检测方法都是two stage的,即分为region proposal和classification两个阶段,本文是对one stage方法的初次探索. 方法 首先看一下模型的网络 ...

  2. 目标检测论文解读1——Rich feature hierarchies for accurate object detection and semantic segmentation

    背景 在2012 Imagenet LSVRC比赛中,Alexnet以15.3%的top-5 错误率轻松拔得头筹(第二名top-5错误率为26.2%).由此,ConvNet的潜力受到广泛认可,一炮而红 ...

  3. 目标检测论文解读10——DSSD

    背景 SSD算法在检测小目标时精度并不高,本文是在在SSD的基础上做出一些改进,引入卷积层,能综合上下文信息,提高模型性能. 理解 Q1:DSSD和SSD的区别有哪些? (1)SSD是一层一层下采样, ...

  4. 目标检测论文解读13——FPN

    引言 对于小目标通常需要用到多尺度检测,作者提出的FPN是一种快速且效果好的多尺度检测方法. 方法 a,b,c是之前的方法,其中a,c用到了多尺度检测的思想,但他们都存在明显的缺点. a方法:把每图片 ...

  5. 目标检测论文解读9——R-FCN

    背景 基于ResNet 101的Faster RCNN速度很慢,本文通过提出Position-sensitive score maps(位置敏感分值图)来给模型加速. 方法 首先分析一下,为什么基于R ...

  6. 目标检测论文解读12——RetinaNet

    引言 这篇论文深刻分析了one-stage的模型精度比two-stage更差的原因,并提出Focal Loss提高精度. 思路 在论文中,作者指出,造成one-stage模型精度差的原因主要是:正负样 ...

  7. 目标检测论文解读11——Mask R-CNN

    目的 让Faster R-CNN能做实例分割的任务. 方法 模型的结构图如下. 与Faster R-CNN相比,主要有两点变化. (1) 用RoI Align替代RoI Pool. 首先回顾一下RoI ...

  8. 目标检测论文解读6——SSD

    背景 R-CNN系列算法检测速度不够快,YOLO v1检测准确率较低,而且无法检测到密集目标. 方法 SSD算法跟YOLO类似,都属于one stage的算法,即通过回归算法直接从原图得到预测结果,为 ...

  9. 目标检测论文解读4——Faster R-CNN

    背景 Fast R-CNN中的region proposal阶段所采用的SS算法成为了检测网络的速度瓶颈,本文是在Fast R-CNN基础上采用RPN(Region Proposal Networks ...

随机推荐

  1. Sensor Fusion-based Exploration in Home Environments using Information, Driving and Localization Gains(基于传感器融合的使用信息、驾驶和定位增益在家庭环境中的探索)

    Authors: Joong-Tae Park, Jae-Bok Song Department:Department  of  Mechanical  Engineering,  Korea  Un ...

  2. spring mvc + velocity 搭建实例程序maven版本并且使用的是tomcat容器而不是jetty(step by step)

    笔者最近在学习spring mvc 查了很多资料,但用jsp的居多,但项目中需要用velocity,所以说就学习了一下,现将所查资料以及搭建过程陈述如下,供需要的人参考 1.楼主用的是eclipse+ ...

  3. dstat常用参数组合

    io/if/vm三合一 dstat -cdlmnpsy dstat --top-mem --top-cpu --top-io

  4. CSS3 & 页面布局

    相关链接 视频链接: CSS3 & 页面布局 CSS3与页面布局学习总结(一) CSS3与页面布局学习总结(二) CSS3与页面布局学习总结(三) CSS3与页面布局学习总结(四) CSS3与 ...

  5. fast powf

    测试结果: sum (fast) in clock 1562sum (fast2) in clock 1407sum (fast3) in clock 3156sum in clock 7797Err ...

  6. day24 计算任意文件夹大小 , 校验大文件的一致性 , 发抢红包程序

    #!/usr/bin/env python# -*- coding:utf-8 -*- # 1.计算任意一个文件夹的大小(考虑绝对路径的问题)# 基础需求 这个文件夹中只有文件# 进阶需求 这个文件夹 ...

  7. Mysql错误处理: /usr/bin/mysqld_safe: line xxx: xxxx Killed ... (mysql自动停止 Plugin FEDERATED is disabled 的完美解决方法)

    哈哈哈,问题总算解决,内心抑不住的开心 centos mysql 问题:Plugin 'FEDERATED' is disabled. /usr/sbin/mysqld: Table 'mysql.p ...

  8. 系统可能不会保存你所做的修改 onbeforeunload

    网上找了好多实现这个的方法,说的还是不明白.害得我(我自己的原因)以为是需要在服务器环境下才能跑通 window.onbeforeunload; 后来猜想是不是函数返回值发生变化就会触发. <! ...

  9. webpack快速入门——如何安装webpack及注意事项

    1.window+R键,输入cmd打开命令行工具,输入 mkdir XXXX(XX:文件夹名): 2.cd XXX 进入刚刚创建好的文件夹里,输入cnpm install -g webpack (安装 ...

  10. [Swift实际操作]七、常见概念-(7)日历Calendar和日期组件DateComponents

    本文将为你演示日历和日期组件的使用.通过日历的日期部件,可以获得日期的各个部分. 首先引入需要用到的界面工具框架 import UIKit 初始化一个日期对象,其值为当前的日期. let dt = D ...