论文笔记：Fast Online Object Tracking and Segmentation: A Unifying Approach

Fast Online Object Tracking and Segmentation: A Unifying Approach

CVPR-2019

2019-03-11 23:45:12

Paper：https://arxiv.org/pdf/1812.05050

Project Page: http://www.robots.ox.ac.uk/~qwang/SiamMask/

Code（Test Only）：https://github.com/foolwood/SiamMask

Blog：https://zhuanlan.zhihu.com/p/58154634

Demo Video: https://www.youtube.com/watch?v=I_iOVrcpEBw&feature=youtu.be

这篇博文主要从 Tracking 的角度来看待这个跟踪算法，具体分割算法请参考原文。本文提出一种多任务框架，来实现同时跟踪与分割，初步探索了目标的表达对跟踪结果的影响。具体效果如下图所示：

究其根本，就是在想怎么用更好的 Bounding Box 框柱物体，以适应物体的形变等导致的跟踪不准确的问题。当上一帧的跟踪结果靠谱时，那么当前帧就可以进行很好的采样，跟踪。作者在 Siamese Net based tracker 的基础上，进一步引入 Mask branch，得到分割结果。然后在此基础上，进行跟踪。这一步，其实相当于一定程度上解决了目标尺度变化的问题。其跟踪框架的大致流程如下所示：

其中，分割模块的具体网络结构，如下所示：

其实，貌似就是这样简单。但是由于 Siamese tracker 效率很高，加上分割的分支之后，速度也没有变慢很多。但是，在 VOT 的跟踪数据集上，取得了很好的跟踪效果。

总结：

关于该文章，算是在 Siamese Tracker 基础上的改进，当然不限于文中所涉及到的两个跟踪算法，SiamFC 和 Siamese RPN。比如 MDNet 的几个基于分类的跟踪算法，也存在类似的目标表达方面的问题，即：Scale variation 。由于本文是基于 Siamese tracker 来做的，原始 Siamese tracker 的一些毛病，可能依然存在，如：heavy occlusion，fast motion 等问题。本文的作者也对跟踪未来的发展做了一些展望，详情可参考其知乎文章：https://zhuanlan.zhihu.com/p/58154634 。

匆匆扫了扫论文，还没来得及跑跑代码。明天跑一下 demo video，再来总结吧。

==