论文基于DA Faster R-CNN系列提出类别正则化框架,充分利用多标签分类的弱定位能力以及图片级预测和实例级预测的类一致性,从实验结果来看,类该方法能够很好地提升DA Faster R-CNN系列的性能



来源:晓飞的算法工程笔记 公众号

论文: Exploring Categorical Regularization for Domain Adaptive Object Detection

Introduction


  由于标注成本大,在训练好检测算法后,面对差异较大的新场景(类别不变),若想获取大量的带标注图片进行再训练是很不方便的。对于这种情况,无监督的域自适应方法能够灵活地自适应新场景,从包含丰富标注信息的源域转移到无标注的目标域。其中,域自适应方法中比较有代表性的是Donamin Adaptive(DA) Faster R-CNN系列,利用对抗训练来对齐图片和实例的分布,使得模型能够做到域不变性,具体可以看上一篇介绍。

  但是这些方法大都把无法转化的背景内容也进行了对齐,而且在实例对齐时,没有从包含较多低质量的proposal集合中识别出难样本。为了解决上面的问题,论文提出类别正则化框架,帮助DA Faster R-CNN专注于对齐跨域中的关键区域和重要目标。

  论文的主要贡献如下:

  • 提出新的类别正则化框架,作为域自适应目标检测算法的插件,不需要额外的标注和超参数。
  • 设计了两个正则化模块,分别用于榨取卷积分类器的弱定位能力以及图像级别预测和实例级别预测间的类别一致性,能够帮助分类器专注于对齐目标相关区域以及难对齐实例。
  • 对多种域转移场景进行实验,验证论文提出的方法的有效性。从实验结果来看,类别正则化框架能够提出DA Faster R-CNN系列方法的性能,并在基础数据集上达到SOTA。

Approach


Framework Overview

  论文方法的整体架构如图2,在DA Faster R-CNN基础上添加了ICR(image-level categorical regularization)和CCR(categorical consistency regularization),能够更好地对齐域间的关键区域和重要实例。

Image-Level Categorical Regularization

  ICR的主要目的是提高主干网络的目标特征提取能力,同时降低背景的激活。结构如图2b所示,ICR使用源域数据进行有监督训练,对主干网络的特征输出进行全局池化,再使用多标签分类器($1\times 1$卷积)进行分类,损失函数使用标准交叉熵多标签损失:

  $C$为类别总数,$yc$为GT标签,$\hat{y}c$为预测标签,$y^c=1$表示图片至少包含一个类别$c$物体。

 ICR模块利用多标签分类器的弱定位能力,能够有监督地引导主干网络只激活类相关特征。如图3所示,类相关的特征会有较高的激活值。在图像级对齐时,能够对齐域间关键区域,同时,由于背景没有参与到图像级多标签分类器中,能够有效减少拟合不可对齐的源背景的可能性。

Categorical Consistency Regularization

  CCR负责发现难对齐实例,调整实例级对齐损失的权重,基于两点考虑:

  • 由于不能区分前景和后景,实例对齐模块可能被低质量背景proposal占据。
  • 添加的图像级分类器和实例检测head是互补的,前者负责获取所有图像级上下文信息,后者使用精确的RoI特征,当两者预测不一致时,该实例就是难样本。

  基于以上考虑,论文采用图像级预测和实例级预测的类别一致性作为目标分类难易程度的判断,并在目标域中使用该一致性作为正则因子,调节难对齐样本在实例对齐中的权重。假定$\hat{p}{c}_j$为预测第$j$个实例为类别$c$的概率,$\hat{y}c$为实例预测包含类别$c$的概率,类别一致性的计算为

  使用公式5来加权实例级对抗损失

  需要注意,仅对目标域的检测head预测为前景的实例使用公式5加权,源域的所有实例和目标域的背景实例均使用$d_j=1$,前者因为是有监督的,而后者则是因为不重要。

Integration with DA Faster R-CNN Series

  将论文提出的方法加入到DA Faster R-CNN中,ICR为直接加入,CCR为对原损失的修改,最终的损失函数为

  论文也对比了另外一种主流的DA -Faster改进SW-Faster,该方法使用弱全局对齐模型来提升DA-Faster的强图像对齐模块,直接加入ICR和CCR,最终的损失函数为

Experiments


Comparison Results

  Faster R-CNN(Source)仅使用源域训练,Faster R-CNN(Oracle)仅使用目标域训练。

  • Weather Adaptation

  这里对比模型对天气的自适应性。

  • Scene Adaptation

  这里对比模型对不同城市的场景的自适应性。

  • Dissimilar Domain Adaptation

  这里对比模型对真实图片和卡通图片的自适应性。

Visualization and Analyses

  对前面对比实验的目标域测试图片进行了可视化。

  将特征降维并可视化,蓝点为源域样本,红点为目标域样本,可以看到论文的方法能够让域间的同分类实例距离更近。

  论文也计算了域间距离,使用Earth Movers Distance (EMD) 测量,SW-Faster, SW-Faster-ICR and SW-FasterICR-CCR的结果分别是8.84、8.59和8.15。

CONCLUSION


  论文基于DA Faster R-CNN系列提出类别正则化框架,充分利用多标签分类的弱定位能力以及图片级预测和实例级预测的类一致性,从实验结果来看,类该方法能够很好地提升DA Faster R-CNN系列的性能。





如果本文对你有帮助,麻烦点个赞或在看呗~

更多内容请关注 微信公众号【晓飞的算法工程笔记】

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020的更多相关文章

  1. Domain Adaptive Faster R-CNN:经典域自适应目标检测算法,解决现实中痛点,代码开源 | CVPR2018

    论文从理论的角度出发,对目标检测的域自适应问题进行了深入的研究,基于H-divergence的对抗训练提出了DA Faster R-CNN,从图片级和实例级两种角度进行域对齐,并且加入一致性正则化来学 ...

  2. 谷歌大脑提出:基于NAS的目标检测模型NAS-FPN,超越Mask R-CNN

    谷歌大脑提出:基于NAS的目标检测模型NAS-FPN,超越Mask R-CNN 朱晓霞发表于目标检测和深度学习订阅 235 广告关闭 11.11 智慧上云 云服务器企业新用户优先购,享双11同等价格 ...

  3. RANet : 分辨率自适应网络,效果和性能的best trade-off | CVPR 2020

    基于对自适应网络的研究,论文提出了自适应网络RANet(Resolution Adaptive Network)来进行效果与性能上的取舍,该网络包含多个不同输入分辨率和深度的子网,难易样本的推理会自动 ...

  4. CVPR 2019 论文解读 | 小样本域适应的目标检测

    引文 ​ 最近笔者也在寻找目标检测的其他方向,一般可以继续挖掘的方向是从目标检测的数据入手,困难样本的目标检测,如检测物体被遮挡,极小人脸检测,亦或者数据样本不足的算法.这里笔者介绍一篇小样本(few ...

  5. iframe 完全跨域自适应高度

    1.跨域访问页面, 需要访问后台的页面,通过后台调转 2.跨域自适应宽高   思路:通过相互嵌套,获取跨域页面的高度,通过src传回到本域,通过parent方法设置主页的iframe的高度 index ...

  6. 【目标检测+域适应】CVPR18 CVPR19总结

    域适应已经是一个很火的方向了,目标检测更不用说,二者结合的工作也开始出现了,这里我总结了CVPR18和CVPR19的相关论文,希望对这个交叉方向的近况有一个了解. 1. 2018_CVPR Domai ...

  7. 增量学习不只有finetune,三星AI提出增量式少样本目标检测算法ONCE | CVPR 2020

    论文提出增量式少样本目标检测算法ONCE,与主流的少样本目标检测算法不太一样,目前很多性能高的方法大都基于比对的方式进行有目标的检测,并且需要大量的数据进行模型训练再应用到新类中,要检测所有的类别则需 ...

  8. 商汤提出解偶检测中分类和定位分支的新方法TSD,COCO 51.2mAP | CVPR 2020

    目前很多研究表明目标检测中的分类分支和定位分支存在较大的偏差,论文从sibling head改造入手,跳出常规的优化方向,提出TSD方法解决混合任务带来的内在冲突,从主干的proposal中学习不同的 ...

  9. CVPR2019目标检测论文看点:并域上的广义交

    CVPR2019目标检测论文看点:并域上的广义交 Generalized Intersection over Union Generalized Intersection over Union: A ...

随机推荐

  1. spring设计模式之applicationContext.getBean("beanName")思想

    1.背景 在实际开发中我们会经常遇到不同的业务类型对应不同的业务处理,而这个业务类型又是经常变动的; 比如说,我们在做支付业务的时候,可能刚开始需要实现支付宝支付和微信支付,那么代码逻辑可能如下 /* ...

  2. 02 . Redis哨兵

    Redis高可用概述 ​ 在 Web 服务器中,高可用 是指服务器可以 正常访问 的时间,衡量的标准是在 多长时间 内可以提供正常服务(99.9%.99.99%.99.999% 等等).在 Redis ...

  3. 08 . Nginx状态码

    HTTP状态码 本篇文章主要介绍运维过程中经常遇到的状态码,并通过业界流行的Nginx进行模拟实现. 2XX状态码 2XX类型状态码表示一个HTTP请求成功,最典型的就是200 # 200状态码 # ...

  4. PHP AES加解密(兼容php5,php7)

    最近在工作中负责对接API,对方要求对业务数据进行AES 算法(256,ECB,补码方式:PKCS5Padding)加密. 加密算法要求如下: 算法AES/ECB/PKCS5Padding 密钥长度2 ...

  5. day08 for循环与字符串掌握操作

    # 1.什么是for循环# 循环就是重复做某件事情,for循环是python提供第二种循环机制# 2.为何:理论上for循环可以做的事情while循环也可以做# for循环再循环取值(遍历取值)比wh ...

  6. zabbix通过IPMI模式监控服务器风扇转速和温度反映机房室温变化实例

      说明:2019年4月7日321机房OA服务器主板监控风扇转速和温度有明显升高,其后3天呈逐日升高趋势.检查机房感觉空调制冷量不足.4月11日联系空调维修进行处理,空调制冷恢复正常,风扇转速和温度监 ...

  7. Username for 'https://github.com': remote: Invalid username or password. fatal: Authentication failed for 'https://github.com/GLSmile/pythontest.git/' 问题

    使用$ git push -u origin master 进行同步时,提示输入用户名和密码,但是我输入正确的信息后,仍然 会报Username for 'https://github.com': r ...

  8. 高性能可扩展mysql 笔记(六) SQL执行计划及分页查询优化、分区键统计

    个人博客网:https://wushaopei.github.io/    (你想要这里多有) 常见业务处理 一.使用数据库处理常见业务: 案例: 如何对评论进行分页展示 使用 EXPLAIN 获得s ...

  9. Java实现 蓝桥杯VIP 算法训练 矩阵加法

    时间限制:1.0s 内存限制:512.0MB 问题描述 给定两个N×M的矩阵,计算其和.其中: N和M大于等于1且小于等于100,矩阵元素的绝对值不超过1000. 输入格式 输入数据的第一行包含两个整 ...

  10. Java实现 LeetCode 24 两两交换链表中的节点

    24. 两两交换链表中的节点 给定一个链表,两两交换其中相邻的节点,并返回交换后的链表. 你不能只是单纯的改变节点内部的值,而是需要实际的进行节点交换. 示例: 给定 1->2->3-&g ...