论文基于DA Faster R-CNN系列提出类别正则化框架,充分利用多标签分类的弱定位能力以及图片级预测和实例级预测的类一致性,从实验结果来看,类该方法能够很好地提升DA Faster R-CNN系列的性能



来源:晓飞的算法工程笔记 公众号

论文: Exploring Categorical Regularization for Domain Adaptive Object Detection

Introduction


  由于标注成本大,在训练好检测算法后,面对差异较大的新场景(类别不变),若想获取大量的带标注图片进行再训练是很不方便的。对于这种情况,无监督的域自适应方法能够灵活地自适应新场景,从包含丰富标注信息的源域转移到无标注的目标域。其中,域自适应方法中比较有代表性的是Donamin Adaptive(DA) Faster R-CNN系列,利用对抗训练来对齐图片和实例的分布,使得模型能够做到域不变性,具体可以看上一篇介绍。

  但是这些方法大都把无法转化的背景内容也进行了对齐,而且在实例对齐时,没有从包含较多低质量的proposal集合中识别出难样本。为了解决上面的问题,论文提出类别正则化框架,帮助DA Faster R-CNN专注于对齐跨域中的关键区域和重要目标。

  论文的主要贡献如下:

  • 提出新的类别正则化框架,作为域自适应目标检测算法的插件,不需要额外的标注和超参数。
  • 设计了两个正则化模块,分别用于榨取卷积分类器的弱定位能力以及图像级别预测和实例级别预测间的类别一致性,能够帮助分类器专注于对齐目标相关区域以及难对齐实例。
  • 对多种域转移场景进行实验,验证论文提出的方法的有效性。从实验结果来看,类别正则化框架能够提出DA Faster R-CNN系列方法的性能,并在基础数据集上达到SOTA。

Approach


Framework Overview

  论文方法的整体架构如图2,在DA Faster R-CNN基础上添加了ICR(image-level categorical regularization)和CCR(categorical consistency regularization),能够更好地对齐域间的关键区域和重要实例。

Image-Level Categorical Regularization

  ICR的主要目的是提高主干网络的目标特征提取能力,同时降低背景的激活。结构如图2b所示,ICR使用源域数据进行有监督训练,对主干网络的特征输出进行全局池化,再使用多标签分类器($1\times 1$卷积)进行分类,损失函数使用标准交叉熵多标签损失:

  $C$为类别总数,$yc$为GT标签,$\hat{y}c$为预测标签,$y^c=1$表示图片至少包含一个类别$c$物体。

 ICR模块利用多标签分类器的弱定位能力,能够有监督地引导主干网络只激活类相关特征。如图3所示,类相关的特征会有较高的激活值。在图像级对齐时,能够对齐域间关键区域,同时,由于背景没有参与到图像级多标签分类器中,能够有效减少拟合不可对齐的源背景的可能性。

Categorical Consistency Regularization

  CCR负责发现难对齐实例,调整实例级对齐损失的权重,基于两点考虑:

  • 由于不能区分前景和后景,实例对齐模块可能被低质量背景proposal占据。
  • 添加的图像级分类器和实例检测head是互补的,前者负责获取所有图像级上下文信息,后者使用精确的RoI特征,当两者预测不一致时,该实例就是难样本。

  基于以上考虑,论文采用图像级预测和实例级预测的类别一致性作为目标分类难易程度的判断,并在目标域中使用该一致性作为正则因子,调节难对齐样本在实例对齐中的权重。假定$\hat{p}{c}_j$为预测第$j$个实例为类别$c$的概率,$\hat{y}c$为实例预测包含类别$c$的概率,类别一致性的计算为

  使用公式5来加权实例级对抗损失

  需要注意,仅对目标域的检测head预测为前景的实例使用公式5加权,源域的所有实例和目标域的背景实例均使用$d_j=1$,前者因为是有监督的,而后者则是因为不重要。

Integration with DA Faster R-CNN Series

  将论文提出的方法加入到DA Faster R-CNN中,ICR为直接加入,CCR为对原损失的修改,最终的损失函数为

  论文也对比了另外一种主流的DA -Faster改进SW-Faster,该方法使用弱全局对齐模型来提升DA-Faster的强图像对齐模块,直接加入ICR和CCR,最终的损失函数为

Experiments


Comparison Results

  Faster R-CNN(Source)仅使用源域训练,Faster R-CNN(Oracle)仅使用目标域训练。

  • Weather Adaptation

  这里对比模型对天气的自适应性。

  • Scene Adaptation

  这里对比模型对不同城市的场景的自适应性。

  • Dissimilar Domain Adaptation

  这里对比模型对真实图片和卡通图片的自适应性。

Visualization and Analyses

  对前面对比实验的目标域测试图片进行了可视化。

  将特征降维并可视化,蓝点为源域样本,红点为目标域样本,可以看到论文的方法能够让域间的同分类实例距离更近。

  论文也计算了域间距离,使用Earth Movers Distance (EMD) 测量,SW-Faster, SW-Faster-ICR and SW-FasterICR-CCR的结果分别是8.84、8.59和8.15。

CONCLUSION


  论文基于DA Faster R-CNN系列提出类别正则化框架,充分利用多标签分类的弱定位能力以及图片级预测和实例级预测的类一致性,从实验结果来看,类该方法能够很好地提升DA Faster R-CNN系列的性能。





如果本文对你有帮助,麻烦点个赞或在看呗~

更多内容请关注 微信公众号【晓飞的算法工程笔记】

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020的更多相关文章

  1. Domain Adaptive Faster R-CNN:经典域自适应目标检测算法,解决现实中痛点,代码开源 | CVPR2018

    论文从理论的角度出发,对目标检测的域自适应问题进行了深入的研究,基于H-divergence的对抗训练提出了DA Faster R-CNN,从图片级和实例级两种角度进行域对齐,并且加入一致性正则化来学 ...

  2. 谷歌大脑提出:基于NAS的目标检测模型NAS-FPN,超越Mask R-CNN

    谷歌大脑提出:基于NAS的目标检测模型NAS-FPN,超越Mask R-CNN 朱晓霞发表于目标检测和深度学习订阅 235 广告关闭 11.11 智慧上云 云服务器企业新用户优先购,享双11同等价格 ...

  3. RANet : 分辨率自适应网络,效果和性能的best trade-off | CVPR 2020

    基于对自适应网络的研究,论文提出了自适应网络RANet(Resolution Adaptive Network)来进行效果与性能上的取舍,该网络包含多个不同输入分辨率和深度的子网,难易样本的推理会自动 ...

  4. CVPR 2019 论文解读 | 小样本域适应的目标检测

    引文 ​ 最近笔者也在寻找目标检测的其他方向,一般可以继续挖掘的方向是从目标检测的数据入手,困难样本的目标检测,如检测物体被遮挡,极小人脸检测,亦或者数据样本不足的算法.这里笔者介绍一篇小样本(few ...

  5. iframe 完全跨域自适应高度

    1.跨域访问页面, 需要访问后台的页面,通过后台调转 2.跨域自适应宽高   思路:通过相互嵌套,获取跨域页面的高度,通过src传回到本域,通过parent方法设置主页的iframe的高度 index ...

  6. 【目标检测+域适应】CVPR18 CVPR19总结

    域适应已经是一个很火的方向了,目标检测更不用说,二者结合的工作也开始出现了,这里我总结了CVPR18和CVPR19的相关论文,希望对这个交叉方向的近况有一个了解. 1. 2018_CVPR Domai ...

  7. 增量学习不只有finetune,三星AI提出增量式少样本目标检测算法ONCE | CVPR 2020

    论文提出增量式少样本目标检测算法ONCE,与主流的少样本目标检测算法不太一样,目前很多性能高的方法大都基于比对的方式进行有目标的检测,并且需要大量的数据进行模型训练再应用到新类中,要检测所有的类别则需 ...

  8. 商汤提出解偶检测中分类和定位分支的新方法TSD,COCO 51.2mAP | CVPR 2020

    目前很多研究表明目标检测中的分类分支和定位分支存在较大的偏差,论文从sibling head改造入手,跳出常规的优化方向,提出TSD方法解决混合任务带来的内在冲突,从主干的proposal中学习不同的 ...

  9. CVPR2019目标检测论文看点:并域上的广义交

    CVPR2019目标检测论文看点:并域上的广义交 Generalized Intersection over Union Generalized Intersection over Union: A ...

随机推荐

  1. Java并没有衰落.大家对它的认识才刚刚开始 Java8全新出发

    Java并没有衰落.大家对它的认识才刚刚开始 很高兴能在此给大家分享Java8的新特性.这篇文章将一步一步带你了解Java8的所有新特性.我将通过简单的实例代码向大家展示接口中默认方法,lambda ...

  2. Java集合(九)哈希冲突及解决哈希冲突的4种方式

    Java集合(九)哈希冲突及解决哈希冲突的4种方式 一.哈希冲突 (一).产生的原因 哈希是通过对数据进行再压缩,提高效率的一种解决方法.但由于通过哈希函数产生的哈希值是有限的,而数据可能比较多,导致 ...

  3. 线程池 & 线程调度

    线程池1. 第四种获取线程的方法:线程池,一个 ExecutorService,它使用可能的几个池线程之 一执行每个提交的任务, 通常使用 Executors 工厂方法配置. 2. 线程池可以解决两个 ...

  4. & 加密

    接口参数中sign加密方式: 1. 签名算法使用SHA256: 2. 服务方和消费方都需要校验签名: 3. 签名生成步骤: 第一步,设所有发送或者接收到的数据为集合M1,将集合M1内非空参数值的参数按 ...

  5. ActiveMQ 反序列化漏洞(CVE-2015-5254)复现

    1.运行漏洞环境 sudo docker-compose up -d 环境运行后,将监听61616和8161两个端口.其中61616是工作端口,消息在这个端口进行传递:8161是Web管理页面端口.访 ...

  6. 06 . Nginx静态资源缓存

    Nginx静态资源 Nginx可以处理静态资源 非Web服务器可以运行处理而生成的文件,即服务器只需要从硬盘或者缓存中读取然后直接给客户端响应即可. 常见的静态资源 # 浏览器渲染: html文件,样 ...

  7. Rocket - devices - CanHaveBuiltInDevices

    https://mp.weixin.qq.com/s/C9iktVr4hnQ8lM0CiWtedQ 简单介绍CanHaveBuiltInDevices的实现. 1. HasBuiltInDeviceP ...

  8. Rocket - debug - TLDebugModuleInner - COMMAND

    https://mp.weixin.qq.com/s/Lz_D43YdhbRhiGiyoCBxDg 简单介绍TLDebugModuleInner中COMMAND寄存器的实现. 1. COMMANDRe ...

  9. Java实现 LeetCode 481 神奇字符串

    481. 神奇字符串 神奇的字符串 S 只包含 '1' 和 '2',并遵守以下规则: 字符串 S 是神奇的,因为串联字符 '1' 和 '2' 的连续出现次数会生成字符串 S 本身. 字符串 S 的前几 ...

  10. Java实现 POJ 2749 分解因数(计蒜客)

    POJ 2749 分解因数(计蒜客) Description 给出一个正整数a,要求分解成若干个正整数的乘积,即a = a1 * a2 * a3 * - * an,并且1 < a1 <= ...