安妮 乾明 发自 凹非寺 
本文转载自量子位(QbitAI)

实习生又立功了!

这一次,亮出好成绩的实习生来自地平线,是一名华中科技大学的硕士生。

他作为第一作者完成的研究Mask Scoring R-CNN,在COCO图像实例分割任务上超越了何恺明的Mask R-CNN,拿下了计算机视觉顶会CVPR 2019的口头报告。

也就是说,它从5000多篇投稿中脱颖而出,成为最顶尖的5.6%

无论搭配的基干怎么变,表现一直稳定,总是比Mask R-CNN好一点。

可谓青出于蓝而胜于蓝。

并且,他们的算法已经开源了(传送门在文末)。

给蒙版打分

Mask R-CNN,一种简洁、灵活的实例分割框架,大神何恺明的“拿手作”之一。自2017年一出场就惊艳了四方研究者,何恺明也借此一举拿下ICCV 2017最佳论文奖。

 何恺明

新鲜出炉的Mask Scoring R-CNN,性能是怎样超越前辈的呢?

关键就在名字里的“打分”(Scoring)。这篇论文中,研究人员提出了一种给算法的“实例分割假设”打分的新方法。这个分数打得是否准确,就会影响实例分割模型的性能。

而Mask R-CNN等前辈,用的打分方法就不太合适。

这些模型在实例分割任务里,虽然输出结果是一个蒙版,但打分却是和边界框目标检测共享的,都是针对目标区域分类置信度算出来的分数。

这个分数,和图像分割蒙版的质量可未必一致,用来评价蒙版的质量,可能就会出偏差。

于是,这篇CVPR 2019论文就提出了一种新的打分方法:给蒙版打分,他们称之为蒙版得分(mask score)。

 MS R-CNN架构

Mask Scoring R-CNN中提出的计分方式很简单:不仅仅直接依靠检测得到的分类算分,而且还让模型单独学一个针对蒙版的得分规则:MaskIoU head

MaskIoU head是在经典评估指标AP(平均正确率)启发下得到的,会拿预测蒙版与物体特征进行对比。MaskIoU head同时接收蒙版head的输出与ROI的特征(Region of Interest)作为输入,用一种简单的回归损失进行训练。

最后,同时考虑分类得分与蒙版的质量得分,就可以去评估算法质量了。

评测方法公平公正,实例分割模型性能自然也上去了。

实验证明,在挑战COCO benchmark时,在用MS R-CNN的蒙版得分评估时,在不同基干网路上,AP始终提升近1.5%。

优于Mask R-CNN

下面的表格,是COCO 2017测试集(Test-Dev set)上MS R-CNN和其他实例分割方法的成绩对比。

无论基干网络是纯粹的ResNet-101,还是用了DCN、FPN,MS R-CNN的AP成绩都比Mask R-CNN高出一点几个百分点。

在COCO 2017验证集上,MS R-CNN的得分也优于Mask R-CNN:

作者是谁?

第一作者,名为黄钊金,华中科技大学的硕士生,师从华中科技大学电信学院副教授王兴刚,王兴刚也是这篇论文的作者之一。

其他的作者,分别是地平线的Chang Huang、Yongchao Gong和Lichao Huang。

如果你对这项研究感兴趣,请收好传送门:

Mask Scoring R-CNN论文

https://arxiv.org/abs/1903.00241

GitHub地址
https://github.com/zjhuang22/maskscoring_rcnn

Mask R-CNN的其他优化思路

在此之前,也有人提出了优化Mask R-CNN的思路。

比如,香港中文大学、北京大学、商汤科技、腾讯优图在CVPR 2018发表的一篇论文,提出了一个名为PANet的实例分割框架。

优化了Mask R-CNN中的信息传播,通过加速信息流、整合不同层级的特征,提高了生成预测蒙版的质量。

在未经大批量训练的情况下,就拿下了COCO 2017挑战赛实例分割任务的冠军。

论文地址:

Path Aggregation Network for Instance Segmentation
https://arxiv.org/abs/1803.01534

代码地址:
https://github.com/ShuLiu1993/PANet

---End---

想要了解最新最快最好的论文速递、开源项目和干货资料,欢迎加入CVer学术交流群。涉及图像分类、目标检测、图像分割、人脸检测&识别、目标跟踪、GANs、学术竞赛交流、Re-ID、风格迁移、医学影像分析、姿态估计、OCR、SLAM、场景文字检测&识别和超分辨率等方向。

扫码进群

▲长按关注我们

麻烦给我一个好看

文章转载自公众号

CVPR2019 | 超越Mask R-CNN!华科开源图像实例分割新方法MS R-CNN的更多相关文章

  1. 手把手教你使用LabVIEW实现Mask R-CNN图像实例分割

    前言 前面给大家介绍了使用LabVIEW工具包实现图像分类,目标检测,今天我们来看一下如何使用LabVIEW实现Mask R-CNN图像实例分割. 一.什么是图像实例分割? 图像实例分割(Instan ...

  2. 图像实例分割:CenterMask

    图像实例分割:CenterMask CenterMask: single shot instance segmentation with point representation 论文链家: http ...

  3. 谷歌大脑提出:基于NAS的目标检测模型NAS-FPN,超越Mask R-CNN

    谷歌大脑提出:基于NAS的目标检测模型NAS-FPN,超越Mask R-CNN 朱晓霞发表于目标检测和深度学习订阅 235 广告关闭 11.11 智慧上云 云服务器企业新用户优先购,享双11同等价格 ...

  4. 图像语义分割出的json文件和原图,用plt绘制图像mask

    1.弱监督 由于公司最近准备开个新项目,用深度学习训练个能够自动标注的模型,但模型要求的训练集比较麻烦,,要先用ffmpeg从视频中截取一段视频,在用opencv抽帧得到图片,所以本人只能先用语义分割 ...

  5. 开源图像标注工具labelme的安装使用及汉化

    一 LabelMe简介 labelme是麻省理工(MIT)的计算机科学和人工智能实验室(CSAIL)研发的图像标注工具,人们可以使用该工具创建定制化标注任务或执行图像标注,项目源代码已经开源. 项目开 ...

  6. OpenCV计算机视觉学习(2)——图像算术运算 & 掩膜mask操作(数值计算,图像融合,边界填充)

    在OpenCV中我们经常会遇到一个名字:Mask(掩膜).很多函数都使用到它,那么这个Mask到底是什么呢,下面我们从图像基本运算开始,一步一步学习掩膜. 1,图像算术运算 图像的算术运算有很多种,比 ...

  7. 为什么CNN能自动提取图像特征

    1.介绍 在大部分传统机器学习场景里,我们先经过特征工程等方法得到特征表示,然后选用一个机器学习算法进行训练.在训练过程中,表示事物的特征是固定的. 后来嘛,后来深度学习就崛起了.深度学习对外推荐自己 ...

  8. Tensorflow实现Mask R-CNN实例分割通用框架,检测,分割和特征点定位一次搞定(多图)

    Mask R-CNN实例分割通用框架,检测,分割和特征点定位一次搞定(多图)   导语:Mask R-CNN是Faster R-CNN的扩展形式,能够有效地检测图像中的目标,同时还能为每个实例生成一个 ...

  9. CVPR目标检测与实例分割算法解析:FCOS(2019),Mask R-CNN(2019),PolarMask(2020)

    CVPR目标检测与实例分割算法解析:FCOS(2019),Mask R-CNN(2019),PolarMask(2020)1. 目标检测:FCOS(CVPR 2019)目标检测算法FCOS(FCOS: ...

随机推荐

  1. weblogic-开发模式与生产模式互换

    生产转开发 Step 1: 目标文件:domain/bin/setDomainEnv.sh 修改内容:PRODUCTION_MODE="true"改为PRODUCTION_MODE ...

  2. Linux每日练习-批量删除用户,非脚本运行方式 20200225

  3. UVA - 10817 Headmaster's Headache (状压dp+记忆化搜索)

    题意:有M个已聘教师,N个候选老师,S个科目,已知每个老师的雇佣费和可教科目,已聘老师必须雇佣,要求每个科目至少两个老师教的情况下,最少的雇佣费用. 分析: 1.为让雇佣费尽可能少,雇佣的老师应教他所 ...

  4. HYSBZ - 1588 营业额统计 (伸展树)

    题意:营业额统计 Tiger最近被公司升任为营业部经理,他上任后接受公司交给的第一项任务便是统计并分析公司成立以来的营业情况. Tiger拿出了公司的账本,账本上记录了公司成立以来每天的营业额.分析营 ...

  5. Codeforces735D Taxes(哥德巴赫猜想)

    题意:已知n元需缴税为n的最大因子x元.现通过将n元分成k份的方式来减少缴税.问通过这种处理方式需缴纳的税费. 分析: 1.若n为素数,不需分解,可得1 2.若n为偶数,由哥德巴赫猜想:一个大于2的偶 ...

  6. HDU 5495:LCS

    LCS  Accepts: 127  Submissions: 397  Time Limit: 6000/3000 MS (Java/Others)  Memory Limit: 65536/655 ...

  7. Linux系统下的/etc/nsswitch.conf文件

    一.什么是nsswithch.conf(服务搜索顺序)文件呢? nsswitch.conf(name service switch configuration,名字服务切换配置)文件位于/etc目录下 ...

  8. 简单的js队列

    简单的js队列 /** * [Queue] * @param {[Int]} size [队列大小] */ function Queue(size) { var list = []; //向队列中添加 ...

  9. 一次C语言编程遇到的问题总结

    今天用C语言做了一个简单的用户登录注册存取款等功能的系统,发现有很多功能并不会实现,大概是使用Java太多了导致许多C的知识都忘记了,现在把碰到的问题总结如下: 1.字符串复制问题 java等一些编程 ...

  10. 152-PHP htmlspecialchars函数

    <?php //定义一个HTML代码字符串 $str=<<<HTM <a href=#><b><i>到一个网址的链接<>< ...