论文笔记 Robust face landmark estimation under occlusion

1. Abstract

现实世界中的人脸很多时候都存在遮挡以及大的形状变化，而目前的人脸关键点检测方法在这种情况下表现欠佳，
因为它们未能提供一种系统的方法来处理异常。因而authors提出一种新的方法--稳健级联姿态回归（RCPR），这
是基于姿态级联回归（CPR）方法的改进。此方法在数据集LFW、LFPW、HELEN以及COFW（作者引入的数据集）
上表现比state-of-the-art 方法要好。大约能够降低一半的错误率；在检测人脸遮挡部分的precision/recall 为80/40%。

2. Introduction

CPR方法在人脸关键点检测中表现高效，但在遮挡以及较大形状变化的情况下有所欠缺。RCPR方法在现实世界中
表现稳健，在估计关键点位置的同时能够检测出人脸的遮挡区域。因为遮挡信息在学习选择未遮挡区特征期间能够
起到作用，并且可以被动态地利用（通过稳健统计量）从而在级联中减小误差，

主要contributions：

（1）提出RCPR方法，对差的初始值、大的形状变化和遮挡稳健。第一个方法既能检测遮挡又能同时估计关键位置

（2）引入新的数据集COFW，数据集中的人脸包含遮挡以及大的形状变化，比较接近现实情况。

3. Related work

shape 估计模型：

（1）ASM、AAM ：泛化能力差、训练慢，现实条件下表现差
（2）modern 方法：先检测出目标，再估计位置；准确率较低
（3）回归方法（RCP）：直接预测目标的shape；boosted regression + random fern regressors

4. Method

4.1 CPR

在CPR的基础上进行改进，从而使得RCPR对遮挡以及大的形状变化稳健。
用CPR估计shape：$ S_p = [x_p,y_p],p = 1,2,...,P;$ 表示P个关键点的位置坐标
CPR由T个回归器 $R^{1...T}$ 级联组成。先初始化 $S^0$ ，然后逐步估计，最后输出 $S^T$ 。

输入：Image I, initial guess $S^0$ , regressors $ R^{1...T}$ ,shape-indexed features $ h^{1...T}$
for t = 1 to T do
//compute shape-indexed features(提取特征)
$x^t = h^t(S^{t-1},I) $
// evaluate regressor(用回归器估计update $ \delta $S)
$ \delta $S = $ S^{t-1} $ + $ \delta $S
end
输出：final estimation $ S^T$

回归器$ R^t$ 的训练使得真实的shape与当前估计值$S^{t-1}$之间的差异最小
CPR具体的想法可以参考https://pdollar.github.io/files/papers/DollarCVPR10pose.pdf

RCPR

对遮挡稳健

ground-truth 标记

把数据集中人脸的关键点标记成0-1，分别表示遮挡与未遮挡（训练过程中当作连续变量，最后利用PR曲线选取阈值二值化）

occlusion-centered approach

这个方法对$\delta $S 的估计稳健
把人脸分成3x3 一共9个区域，每个小区域具有特定的遮挡比例。然后训练 $S_{tot}$个回归器，保证它们"visually different",
最后根据遮挡比例对回归器进行加权估计Shape的更新量

对形状变化稳健

Interpolated shape-indexed features

在进行shape 估计时对遮挡形状变化比较稳健,并且速度快.

smart restarts

CPR是依赖初值的选取。给定原始图像和不同的初始值，先用10%的级联回归器回归，然后比较差异性，若小于阈值，
再继续用剩下的90%回归器估计。否则重新初始化。实验证明如此效果高效，通过交叉验证设置阈值为0.15

5. Experiments & results

在三个数据集（LFW、LFPW、HELEN）上比较实验结果。RCPR只用feature + restart
在引入数据集（COFW）上测试效果。

结果图如下：

6. Conclusion

RCPR能够检测遮挡的同时估计关键点的位置。并且在有遮挡、形状有较大变化的情况下稳健。

7. References

[1] Xavier P. Burgos-Artizzu,Pietro Perona,and Piotr Dollar .Robust face landmark estimation under occlusion.In ICCV,2013
https://ieeexplore.ieee.org/document/6751298/