论文阅读笔记(十六)【AAAI2018】:Region-Based Quality Estimation Network for Large-Scale Person Re-Identification
Introduction
(1)Motivation:
当前的行人重识别方法都只能在标准的数据集上取得好的效果,但当行人被遮挡或者肢体移动时,往往效果不佳。
(2)Contribution:
① 提出了一个基于区域的适应性质量估计网络(adaptive region-based quality estimation network,RQEN),包含了区域性特征提取模块和基于区域的质量预测模块。其旨在减小低质量图像区域的影响,利用序列中的区域互补。
② 提供了一个大规模的较整洁的数据集:Labeled Pedestrain in the Wild(LPW),包含了2731个行人,从3个不同场景拍摄,每个行人被2-4个相机捕获,共7694个tracklet、590000帧。该数据集囊括了孩童到老人、步行和快跑等不同的场景。
Proposed Method
输入:一个行人的图像序列 S = {I1, I2, ..., In}
区域特征提取模块:landmark detector标记行人身体的关键点 [Wei 2016. Convolutional pose machines.CVPR],middle representation按照关键点位置进行划分,然而由于分辨率低的原因,划分常常不够精确。采用的方法:按照关键点分布,将人体大致分为三个部分,定义 u、m、l 为上部、中部、下部区域,分别生成特征向量,即 ,并进行平均池化。
质量预测模块:对区域特征生成质量估计。
最终生成视频特征表示 Fw(S)。
(1)区域生成策略:
令 Pi = {p1, p2, ..., pm} 为图像 Ii 的坐标(landmark)集合,m 为坐标点的数量(作者设置 m = 14),如图:
由于低分辨率和遮挡等影响,很多情况下坐标点很难被确定。
采用 k-means 聚类方法对三个集合进行聚类,聚类的设定为:S1P = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],S2P = [9, 10, 11, 12],S3P = [11, 12, 13, 14].
(2)区域质量预测:
middle representation 输入到卷积网络中,该网络包含卷积层和全连接层,输出的 orignial score μori(Ii) 对应了图片不同的区域,再通过sigmoid函数求出各区域的[0, 1]得分,视频序列不同帧中属于同一区域的得分进行正则化,得到最终结果。
(3)设置聚合单元:
一个图像集合 S = {I1, I2, ..., In},对于每帧图片,有不同的区域表征:,区域对应的质量评估得分为:
,则生成的特征为:
,其中:
(4)联合训练帧级特征和视频级特征:
训练帧级特征是为了让同一视频内部更紧凑,训练视频级特征是为了让不同视频间更有区分度。
损失函数:
其中三元组损失函数为:
距离采用 L2-norm 距离。
在区域质量估计部分,T表示输入的数据,输出的 orignial score μori(Ii) 为:
再进行正则化:
Experiments
(1)数据集:PRID2011、iLIDS-VID、MARS、LPW
(2)实验结果:
(1)本方法分析:
method(a):GoogLeNet+batch norm(用ImageNet model初始化)[baseline]
method(b)(c)(d):+RU、+RM、+RL表示不同的区域特征
method(e):+QFix表示质量生成单元中设置所有质量得分为1,即消除质量得分的影响
method(f):+MP表示控制参数数量不变(作者提到在RQEN方法中参数会变多?这是为什么?)
(2)对比方法分析:
论文阅读笔记(十六)【AAAI2018】:Region-Based Quality Estimation Network for Large-Scale Person Re-Identification的更多相关文章
- 论文阅读笔记十六:DeconvNet:Learning Deconvolution Network for Semantic Segmentation(ICCV2015)
论文源址:https://arxiv.org/abs/1505.04366 tensorflow代码:https://github.com/fabianbormann/Tensorflow-Decon ...
- 论文阅读笔记十八:ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation(CVPR2016)
论文源址:https://arxiv.org/abs/1606.02147 tensorflow github: https://github.com/kwotsin/TensorFlow-ENet ...
- 论文阅读笔记十四:Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation(CVPR2015)
论文链接:https://arxiv.org/abs/1506.04924 摘要 该文提出了基于混合标签的半监督分割网络.与当前基于区域分类的单任务的分割方法不同,Decoupled 网络将分割与分类 ...
- 论文阅读笔记十九:PIXEL DECONVOLUTIONAL NETWORKS(CVPR2017)
论文源址:https://arxiv.org/abs/1705.06820 tensorflow(github): https://github.com/HongyangGao/PixelDCN 基于 ...
- 论文阅读笔记十五:Pyramid Scene Parsing Network(CVPR2016)
论文源址:https://arxiv.org/pdf/1612.01105.pdf tensorflow代码:https://github.com/hellochick/PSPNet-tensorfl ...
- 论文阅读笔记十二:Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation(DeepLabv3+)(CVPR2018)
论文链接:https://arxiv.org/abs/1802.02611 tensorflow 官方实现: https: //github.com/tensorflow/models/tree/ma ...
- 论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)
论文链接:https://arxiv.org/pdf/1606.00915.pdf 摘要 该文主要对基于深度学习的分割任务做了三个贡献,(1)使用空洞卷积来进行上采样来进行密集的预测任务.空洞卷积可以 ...
- 论文阅读笔记(六)【TCSVT2018】:Semi-Supervised Cross-View Projection-Based Dictionary Learning for Video-Based Person Re-Identification
Introduction (1)Motivation: ① 现实场景中,给所有视频进行标记是一项繁琐和高成本的工作,而且随着监控相机的记录,视频信息会快速增多,因此需要采用半监督学习的方式,只对一部分 ...
- 云时代架构阅读笔记十六——Hystrix理解
背景 分布式系统环境下,服务间类似依赖非常常见,一个业务调用通常依赖多个基础服务.如下图,对于同步调用,当库存服务不可用时,商品服务请求线程被阻塞,当有大批量请求调用库存服务时,最终可能导致整个商品服 ...
- 论文阅读笔记(十八)【ITIP2019】:Dynamic Graph Co-Matching for Unsupervised Video-Based Person Re-Identification
论文阅读笔记(十七)ICCV2017的扩刊(会议论文[传送门]) 改进部分: (1)惩罚函数:原本由两部分组成的惩罚函数,改为只包含 Sequence Cost 函数: (2)对重新权重改进: ① P ...
随机推荐
- eclipse导入项目时的一些准备
导入前的工作: 1.因为别人项目的运行环境可能和我们不一样,所以首先要在要导入的项目里面找到.setting文件,修改下面的xml文件,这个文件里面是关于服务器的一些配置的信息,你可以改成与你电脑一样 ...
- 视觉slam十四讲ch6曲线拟合 代码注释(笔记版)
// ceres 版本 1 #include <opencv2/core/core.hpp> #include <ceres/ceres.h> #include <chr ...
- 三、 TCP(传输控制协议)
它建立在网际层协议(IP)提供的数据包传输技术之上,.TCP使应用程序可使用连续的数据进行通信.除非由于网络故障导致连接中断或冻结,TCP都能保证数据流完好地传输.而不会发生丢包 ,重包或是乱序的问题 ...
- HEXO常用命令总结
博客搬家:hexo常用命令总结 常见命令 hexo new "postName" #新建文章 hexo new page "pageName" #新建页面(新建 ...
- Codeforces_839
A.每天更新判断. #include<bits/stdc++.h> using namespace std; ]; int main() { ios::sync_with_stdio(); ...
- 基于MXNet的im2rec.py的debug
1.im2rec.py调试错误:multiprocessing not available, fall back to single threaded encoding imread 经过查找发现是程 ...
- java11类和对象
import java.util.Scanner; public class jh_01_如何认识事物 { public static void main(String[] args) { Scann ...
- Spark Streaming运行流程及源码解析(一)
本系列主要描述Spark Streaming的运行流程,然后对每个流程的源码分别进行解析 之前总听同事说Spark源码有多么棒,咱也不知道,就是疯狂点头.今天也来撸一下Spark源码. 对Spark的 ...
- ASP.NET Core 2.2 WebApi 系列【九】使用SignalR (作者:tenghao510 ) 学习及内容补充
原文地址: ASP.NET Core 2.2 WebApi 系列[九]使用SignalR 今天,看到了大牛的这篇博文, 发了一下评论, 我很惊喜, 没想到他很快就回复了我, 而且通过QQ帮助了S ...
- Go语言实现:【剑指offer】求1+2+3+...+n
该题目来源于牛客网<剑指offer>专题. 求1+2+3+-+n,要求不能使用乘除法.for.while.if.else.switch.case等关键字及条件判断语句(A?B:C). Go ...