论文笔记:Learning Attribute-Specific Representations for Visual Tracking
Learning Attribute-Specific Representations for Visual Tracking
AAAI-2019
Paper:http://faculty.ucmerced.edu/mhyang/papers/aaai2019_tracking.pdf
本文提出一种新的学习思路,即:属性信息 (e.g., illumination changes, occlusion and motion) ,来进行 CNN 特征的学习,以得到更加鲁棒的 tracker。具体来说,就是设计一种基于属性的 CNN,并且带有多个分支,每一个分支用于分类特定属性的目标。这种设计的优势在于:在每一种挑战下,降低了目标外观的多样性,用更少的训练数据就可以训练模型(reduces the appearance diversity of the target under each attribute and thus requires less data to train the model)。我们将所有的特定属性feature,通过集成层(ensemble layer)进行聚合,得到更加具有判别力的特征来进行分类。其实这个思路,类似于 MDNet,但是又跟 MDNet 不同。
具体流程(ANT Tracker):
1. Attribute-based Neural Network:
如上图所示,该网络的前几层是从 VGG-M 模型得到的几层卷积层,用于提取底层信息,如边缘和纹理信息等。然后,用五个属性分支来学习对应属性的表达。文章作者用了 VOT 数据集提供的五个属性:target motions, camera motions, illumination variations, occlusions, and scale change, 这些挑战性因素可以涵盖 OTB100 数据集的 11 种属性。此外,VOT数据集属性的标注是每一帧都进行了标注,这就允许作者可以将训练数据集划分为不同的属性组(attribute groups)来训练对应的分支。
紧跟着这些属性分支的是 ensemble layer 和 fc layer。在测试阶段,属性组是未知的,一个视频帧可能也包含多种属性。所以,仅仅将视频帧传送到每一个分支也是不合理的。所以,作者这里将输入图像区域传递到所有的属性分支,并且训练一个 ensemble layer 来自适应的组合所有的特征,得到一个充分并且具有判别性的表达。ensemble layer 的输出被传送到 FC layer 进行最终前景和背景的分类。
对于每一分支的结构,我们采用 Inception 的结构,如下图所示,以得到更好的feature。
2. Two-Stage Training:
作者这里提到 end-to-end learning 的方式,无法确保每个分支可以学会分类对应属性的数据(can not guarantee each branch to learn to classify data of the corresponding attribute),因为任何训练样本的分类损失都可以反向传递到所有的五个分支。为了解决这个问题,作者采用了两个阶段的训练策略。
Stage-I:training attribute branches.
这个五个分支是依次训练的。特别的,作者将 ensemble layer 和 last FC layer 移除,然后对每一种属性,添加一个 new FC layer,进行训练。
Stage-II:training ensemble layers.
一旦上述属性分支训练完毕,就开始训练 ensemble layer,以得到这些特征的最终集成特征,用于分类。首先将 FC 层给 remove 掉,然后,接上 ensemble layer 和 FC layer,继续训练。这里采用 softmax-loss 进行训练,大约 150 次迭代后,开始收敛。
3. Tracking:
在实际跟踪的时候,就直接通过采样,然后打分的方式进行:
4. 实验结果:
==
论文笔记:Learning Attribute-Specific Representations for Visual Tracking的更多相关文章
- 论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning
论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning 2017-06-06 21: ...
- 论文笔记: Dual Deep Network for Visual Tracking
论文笔记: Dual Deep Network for Visual Tracking 2017-10-17 21:57:08 先来看文章的流程吧 ... 可以看到,作者所总结的三个点在于: 1. ...
- 论文笔记:SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks
SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks 2019-04-02 12:44:36 Paper:ht ...
- Deep Reinforcement Learning with Iterative Shift for Visual Tracking
Deep Reinforcement Learning with Iterative Shift for Visual Tracking 2019-07-30 14:55:31 Paper: http ...
- 论文笔记之: Recurrent Models of Visual Attention
Recurrent Models of Visual Attention Google DeepMind 模拟人类看东西的方式,我们并非将目光放在整张图像上,尽管有时候会从总体上对目标进行把握,但是也 ...
- 论文笔记 — Learning to Compare Image Patches via Convolutional Neural Networks
论文: 引入论文中的一句话来说明对比图像patches的重要性,“Comparing patches across images is probably one of the most fundame ...
- 论文笔记:Fully-Convolutional Siamese Networks for Object Tracking
Fully-Convolutional Siamese Networks for Object Tracking 本文作者提出一个全卷积Siamese跟踪网络,该网络有两个分支,一个是上一帧的目标,一 ...
- 论文笔记-Deep Affinity Network for Multiple Object Tracking
作者: ShijieSun, Naveed Akhtar, HuanShengSong, Ajmal Mian, Mubarak Shah 来源: arXiv:1810.11780v1 项目:http ...
- Summary on Visual Tracking: Paper List, Benchmarks and Top Groups
Summary on Visual Tracking: Paper List, Benchmarks and Top Groups 2018-07-26 10:32:15 This blog is c ...
随机推荐
- 微信小程序登录流程及解析用户openid session_key,获取用户信息
为优化用户体验,使用 wx.getUserInfo 接口直接弹出授权框的开发方式将逐步不再支持.从2018年4月30日开始,小程序与小游戏的体验版.开发版调用 wx.getUserInfo 接口,将无 ...
- Oracle查询重复数据并删除,只保留一条记录
前言 项目中,在“资源目录-在线编目”中,资源项子表存在多条重发数据,需要进行数据清理,删除重发的数据,最终只保留一条相同的数据. 操作的表名:R_RESOURCE_DETAILS 操作步骤 一.重复 ...
- Python 进阶 异步async/await
一,前言 本文将会讲述Python 3.5之后出现的async/await的使用方法,我从上看到一篇不错的博客,自己对其进行了梳理.该文章原地址https://www.cnblogs.com/dhcn ...
- MATLAB程序控制语句
Matlab中的程序控制语句包括条件控制(Conditional Control).循环(Loop Control).异常处理(Error Control)和程序返回(Program Terminat ...
- NodeMan架构
在上一篇文章中我们介绍了NodeMan的基本概念,介绍了这是一套利用NodeJs框架来管理Ubuntu服务器的解决方案,接下来我们会继续介绍关于这样一套解决方案更多细节的内容. 后台: 使用node作 ...
- MUI 返回顶部
//绑定滚动到顶部按钮事件 if ($("#scroll-up").length > 0) { var scrollToTopBox = $("#scroll-up ...
- 工具方法: jQuery.方法() $.extend (小计)
$.extend(布尔值,目标对象,合并对象,……) 布尔值 : true,深拷贝(递归拷贝) false,浅拷贝(非递归拷贝) ...
- react使用create-react-app创建的项目部署
一.在所有的项目代码编写完成后,react项目直接部署是无法正常访问的 1.问题一 网页无法正常的浏览器刷新,刷新会报404错,路由找不到页面 2.问题二 路由跳转后,浏览器后退按钮点击后,页面不刷新 ...
- com.mysql.cj.core.exceptions.InvalidConnectionAttributeException: The server time zone value '��� mysql-installer-community-8.0.15.0
<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> &l ...
- codeforces-5
这题可害苦了我最后用了大哥的代码才过的 Diverse String #include<iostream> #include<cstdio> #include<strin ...