论文解读:3D Hand Shape and Pose Estimation from a Singl RGB Image
本文链接:https://blog.csdn.net/williamyi96/article/details/89207640
由于最近做到了一些 3D Hand Pose Estimation 相关的内容,因而看了这篇CVPR19的 oral 论文,官方说公布源代码,但是github给的是个空repo,希望早点开源吧。
近些年来,基于 RGB图像+depth map 的 3D Hand Pose Estimation 在多个数据榜上基本饱和了,而由于本身2D single rgb image 生成 3D keypoints (21个) 的困难,目前并没有那么饱和。而最近涌现出了一批利用 depth map 来做 fine-tuning 的工作。这篇文章就是从此出发的。
总的来说,这篇论文的主要贡献在于提出了一套模型框架,不仅能够通过 RGB图像得到 Hand Pose, 同时能够从 Hand Mesh 中线性回归得到 Hand Pose。
模型总体架构
以下先从模型整体架构出发进行分析:
这篇论文模型的训练有两个阶段,第一个阶段在合成数据集上进行训练 (合成数据集由自己的手形配上COCO里面的不同背景融合得到),第二个阶段将第一阶段的模型在真实数据集上 fine-tuning, 美其名曰让模型更加鲁棒,从而能够在真实场景下表现更好。
合成数据集上的训练
合成数据集上的整体流程如上图所示:首先将 synthetic image 经过一个 two-stacked hourglass network,得到image的热力图,然后联合热力图和 hourglass network 的输出作为 resnet 的输入 feature maps (按照原文中8层的设置加上4层的pooling推测可能是浓缩 resnet18), 接着得到所谓的 latent feature 输出。然后将 latent feature 传给 graph cnn, 得到 1280 维的 3D hand mesh, 最后通过 linear regression (卷积后不接relu)得到 3D Hand Pose。
合成数据集上的损失函数由三个部分构成,分别为 heat-map loss, mesh loss 和 pose loss。
真实数据集上的训练
真实数据集上的整体流程如上图所示:模型在合成数据集上训练到满足一定要求之后,一直到graph cnn 输出,基本与上述合成数据集上一样的操作,唯一的区别是我们对 3d hand mesh 的操作不仅包括了 linear regression 得到 3d hand pose, 还包括了 mesh renderer 的操作,得到深度图 (后续将对各个步骤所使用的方法进行具体分析)。
————————————————
论文解读:3D Hand Shape and Pose Estimation from a Singl RGB Image的更多相关文章
- Towards Accurate Multi-person Pose Estimation in the Wild 论文阅读
论文概况 论文名:Towards Accurate Multi-person Pose Estimation in the Wild 作者(第一作者)及单位:George Papandreou, 谷歌 ...
- (转)Awesome Human Pose Estimation
Awesome Human Pose Estimation 2018-10-08 11:02:35 Copied from: https://github.com/cbsudux/awesome-hu ...
- paper 154:姿态估计(Hand Pose Estimation)相关总结
Awesome Works !!!! Table of Contents Conference Papers 2017 ICCV 2017 CVPR 2017 Others 2016 ECCV 20 ...
- 《Stereo R-CNN based 3D Object Detection for Autonomous Driving》论文解读
论文链接:https://arxiv.org/pdf/1902.09738v2.pdf 这两个月忙着做实验 博客都有些荒废了,写篇用于3D检测的论文解读吧,有理解错误的地方,烦请有心人指正). 博客原 ...
- [论文笔记] Fine-Grained Head Pose Estimation Without Keypoints
Fine-Grained Head Pose Estimation Without Keypoints 简介 head pose estimation 经典论文,使用CNN预测三个角度值,pitch, ...
- CVPR2020论文解读:三维语义分割3D Semantic Segmentation
CVPR2020论文解读:三维语义分割3D Semantic Segmentation xMUDA: Cross-Modal Unsupervised Domain Adaptation for 3 ...
- CVPR2020论文解读:3D Object Detection三维目标检测
CVPR2020论文解读:3D Object Detection三维目标检测 PV-RCNN:Point-Voxel Feature Se tAbstraction for 3D Object Det ...
- A Unified Deep Model of Learning from both Data and Queries for Cardinality Estimation 论文解读(SIGMOD 2021)
A Unified Deep Model of Learning from both Data and Queries for Cardinality Estimation 论文解读(SIGMOD 2 ...
- Fauce:Fast and Accurate Deep Ensembles with Uncertainty for Cardinality Estimation 论文解读(VLDB 2021)
Fauce:Fast and Accurate Deep Ensembles with Uncertainty for Cardinality Estimation 论文解读(VLDB 2021) 本 ...
随机推荐
- linux技能四 用户管理
用户管理:用户类型,添加用户,修改用户,删除用户,查看用户信息,用户的切换,添加组,修改组,删除组,查看组 用户类型:超级用户:root,UID=1 系统用户:运行系统服务的,不能登陆的,UID=(1 ...
- CSS的一个小bug,Gradient has outdated direction syntax. New syntax is like `to left` instead of `right`.
在vue重新渲染页面的时候,报了一个错误: 翻译了报错信息后,Gradient has outdated direction syntax. New syntax is like to left in ...
- Mybatis返回表自增id
在Mapper中,设置insert中添加useGeneratedKeys = "true" keyProperty = "id" keyColumn=&qu ...
- GDI双缓冲
GDI双缓冲 翻译自Double buffering,原作者Dim_Yimma_H 语言:C (原文写的是C++,实际上是纯C) 推荐知识: 构建程序 函数 结构体 变量和条件语句 switch语句 ...
- IPC机制和生产者消费者模型
IPC机制:(解决进程间的数据隔离问题) 进程间通信:IPC(inter-Process Comminication) 创建共享的进程列队,Queue 是多进程的安全列队,可以使用Queue 实现多进 ...
- 【Code Tools】AB性能测试工具(一)
一.工具下载 yum -y install httpd-tools 二.AB工具使用 格式: ab [options] [http://]hostname[:port]/path 例如:ab -n - ...
- gps示例代码
/* main.c */ #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #incl ...
- Python入门篇-匿名函数
Python入门篇-匿名函数 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.匿名函数概述 1>.什么是匿名函数 匿名,即没有名字 匿名函数,即没有名字的函数 2>. ...
- robotframework+Python3.7 接口自动化测试
具体的测试用例,password,channel,resultCode传给接口描述 集成了一些常见的测试接口方法 1. Get请求下,
- X.509
参考:https://baike.baidu.com/item/X.509/2817050?fr=aladdin 标题:X.509 百度百科 在密码术中,X.509是定义公用密钥证书格式的标准. X ...