Introduction

(1)Motivation:

当前的行人重识别方法都只能在标准的数据集上取得好的效果,但当行人被遮挡或者肢体移动时,往往效果不佳。

(2)Contribution:

① 提出了一个基于区域的适应性质量估计网络(adaptive region-based quality estimation network,RQEN),包含了区域性特征提取模块和基于区域的质量预测模块。其旨在减小低质量图像区域的影响,利用序列中的区域互补。

② 提供了一个大规模的较整洁的数据集:Labeled Pedestrain in the Wild(LPW),包含了2731个行人,从3个不同场景拍摄,每个行人被2-4个相机捕获,共7694个tracklet、590000帧。该数据集囊括了孩童到老人、步行和快跑等不同的场景。

Proposed Method

输入:一个行人的图像序列 S = {I1, I2, ..., In}

区域特征提取模块:landmark detector标记行人身体的关键点 [Wei 2016. Convolutional pose machines.CVPR],middle representation按照关键点位置进行划分,然而由于分辨率低的原因,划分常常不够精确。采用的方法:按照关键点分布,将人体大致分为三个部分,定义 u、m、l 为上部、中部、下部区域,分别生成特征向量,即 ,并进行平均池化。

质量预测模块:对区域特征生成质量估计

最终生成视频特征表示 Fw(S)。

(1)区域生成策略:

令 Pi = {p1, p2, ..., pm} 为图像 Ii 的坐标(landmark)集合,m 为坐标点的数量(作者设置 m = 14),如图:

由于低分辨率和遮挡等影响,很多情况下坐标点很难被确定。

采用 k-means 聚类方法对三个集合进行聚类,聚类的设定为:S1P = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],S2P = [9, 10, 11, 12],S3P = [11, 12, 13, 14].

(2)区域质量预测:

middle representation 输入到卷积网络中,该网络包含卷积层和全连接层,输出的 orignial score μori(Ii) 对应了图片不同的区域,再通过sigmoid函数求出各区域的[0, 1]得分,视频序列不同帧中属于同一区域的得分进行正则化,得到最终结果。

(3)设置聚合单元:

一个图像集合 S = {I1, I2, ..., In},对于每帧图片,有不同的区域表征:,区域对应的质量评估得分为:,则生成的特征为:,其中:

(4)联合训练帧级特征和视频级特征:

训练帧级特征是为了让同一视频内部更紧凑,训练视频级特征是为了让不同视频间更有区分度。

损失函数:

其中三元组损失函数为:

距离采用 L2-norm 距离。

在区域质量估计部分,T表示输入的数据,输出的 orignial score μori(Ii) 为:

再进行正则化:

Experiments

(1)数据集:PRID2011、iLIDS-VID、MARS、LPW

(2)实验结果:

(1)本方法分析:

method(a):GoogLeNet+batch norm(用ImageNet model初始化)[baseline]

method(b)(c)(d):+RU、+RM、+RL表示不同的区域特征

method(e):+QFix表示质量生成单元中设置所有质量得分为1,即消除质量得分的影响

method(f):+MP表示控制参数数量不变(作者提到在RQEN方法中参数会变多?这是为什么?)

(2)对比方法分析:

论文阅读笔记(十六)【AAAI2018】:Region-Based Quality Estimation Network for Large-Scale Person Re-Identification的更多相关文章

  1. 论文阅读笔记十六:DeconvNet:Learning Deconvolution Network for Semantic Segmentation(ICCV2015)

    论文源址:https://arxiv.org/abs/1505.04366 tensorflow代码:https://github.com/fabianbormann/Tensorflow-Decon ...

  2. 论文阅读笔记十八:ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation(CVPR2016)

    论文源址:https://arxiv.org/abs/1606.02147 tensorflow github: https://github.com/kwotsin/TensorFlow-ENet ...

  3. 论文阅读笔记十四:Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation(CVPR2015)

    论文链接:https://arxiv.org/abs/1506.04924 摘要 该文提出了基于混合标签的半监督分割网络.与当前基于区域分类的单任务的分割方法不同,Decoupled 网络将分割与分类 ...

  4. 论文阅读笔记十九:PIXEL DECONVOLUTIONAL NETWORKS(CVPR2017)

    论文源址:https://arxiv.org/abs/1705.06820 tensorflow(github): https://github.com/HongyangGao/PixelDCN 基于 ...

  5. 论文阅读笔记十五:Pyramid Scene Parsing Network(CVPR2016)

    论文源址:https://arxiv.org/pdf/1612.01105.pdf tensorflow代码:https://github.com/hellochick/PSPNet-tensorfl ...

  6. 论文阅读笔记十二:Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation(DeepLabv3+)(CVPR2018)

    论文链接:https://arxiv.org/abs/1802.02611 tensorflow 官方实现: https: //github.com/tensorflow/models/tree/ma ...

  7. 论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

    论文链接:https://arxiv.org/pdf/1606.00915.pdf 摘要 该文主要对基于深度学习的分割任务做了三个贡献,(1)使用空洞卷积来进行上采样来进行密集的预测任务.空洞卷积可以 ...

  8. 论文阅读笔记(六)【TCSVT2018】:Semi-Supervised Cross-View Projection-Based Dictionary Learning for Video-Based Person Re-Identification

    Introduction (1)Motivation: ① 现实场景中,给所有视频进行标记是一项繁琐和高成本的工作,而且随着监控相机的记录,视频信息会快速增多,因此需要采用半监督学习的方式,只对一部分 ...

  9. 云时代架构阅读笔记十六——Hystrix理解

    背景 分布式系统环境下,服务间类似依赖非常常见,一个业务调用通常依赖多个基础服务.如下图,对于同步调用,当库存服务不可用时,商品服务请求线程被阻塞,当有大批量请求调用库存服务时,最终可能导致整个商品服 ...

  10. 论文阅读笔记(十八)【ITIP2019】:Dynamic Graph Co-Matching for Unsupervised Video-Based Person Re-Identification

    论文阅读笔记(十七)ICCV2017的扩刊(会议论文[传送门]) 改进部分: (1)惩罚函数:原本由两部分组成的惩罚函数,改为只包含 Sequence Cost 函数: (2)对重新权重改进: ① P ...

随机推荐

  1. eclipse导入项目时的一些准备

    导入前的工作: 1.因为别人项目的运行环境可能和我们不一样,所以首先要在要导入的项目里面找到.setting文件,修改下面的xml文件,这个文件里面是关于服务器的一些配置的信息,你可以改成与你电脑一样 ...

  2. 视觉slam十四讲ch6曲线拟合 代码注释(笔记版)

    // ceres 版本 1 #include <opencv2/core/core.hpp> #include <ceres/ceres.h> #include <chr ...

  3. 三、 TCP(传输控制协议)

    它建立在网际层协议(IP)提供的数据包传输技术之上,.TCP使应用程序可使用连续的数据进行通信.除非由于网络故障导致连接中断或冻结,TCP都能保证数据流完好地传输.而不会发生丢包 ,重包或是乱序的问题 ...

  4. HEXO常用命令总结

    博客搬家:hexo常用命令总结 常见命令 hexo new "postName" #新建文章 hexo new page "pageName" #新建页面(新建 ...

  5. Codeforces_839

    A.每天更新判断. #include<bits/stdc++.h> using namespace std; ]; int main() { ios::sync_with_stdio(); ...

  6. 基于MXNet的im2rec.py的debug

    1.im2rec.py调试错误:multiprocessing not available, fall back to single threaded encoding imread 经过查找发现是程 ...

  7. java11类和对象

    import java.util.Scanner; public class jh_01_如何认识事物 { public static void main(String[] args) { Scann ...

  8. Spark Streaming运行流程及源码解析(一)

    本系列主要描述Spark Streaming的运行流程,然后对每个流程的源码分别进行解析 之前总听同事说Spark源码有多么棒,咱也不知道,就是疯狂点头.今天也来撸一下Spark源码. 对Spark的 ...

  9. ASP.NET Core 2.2 WebApi 系列【九】使用SignalR (作者:tenghao510 ) 学习及内容补充

    原文地址:  ASP.NET Core 2.2 WebApi 系列[九]使用SignalR 今天,看到了大牛的这篇博文,  发了一下评论, 我很惊喜, 没想到他很快就回复了我,  而且通过QQ帮助了S ...

  10. Go语言实现:【剑指offer】求1+2+3+...+n

    该题目来源于牛客网<剑指offer>专题. 求1+2+3+-+n,要求不能使用乘除法.for.while.if.else.switch.case等关键字及条件判断语句(A?B:C). Go ...