Foreground-aware Image Inpainting

引言

语义分割得到边缘信息指导修复其三

存在问题：现在的图像修复方法主要的通过周围像素来修复，当修复区域与前景区域（显著物体）有交叠时，由于修复区域缺失前景与背景的时间内容导致修复结果不理想。

提出方法：a foreground-aware image inpainting system，可明确区分结构推断和内容修复。模型首先预测前景轮廓，然后根据预测发前景轮廓进行区域修复。

论文来源：CVPR 2019

相关论文：

《Image inpainting for irregular holes using partial convolutions.》部分卷积《Free-form image inpainting with gated convolution》门控卷积

《Spg-net: Segmentation prediction and guidance network for image inpainting.》通过语义分割获取前景蒙版，来修复图像

论文贡献：

1.提出区分结构推断和内容修复的模型，使用显式轮廓指导explicit contour guidance修复图像

2.为了推断图像结构（图像边界），提出了边界修复模型来参数精确的图像边界

3.为了高效率完成模型的训练，我们采用curriculum的训练方法来训练结构推断和内容修复的模型

数据集的制作：

基于前景感知的图像修复框架要求我们训练一个轮廓补全模块并自动推断轮廓，因此我们需要一个带有标记轮廓的训练数据集。

salient object segmentation datasets（显著物体目标检测）：显著目标检测来源于视觉显著性，即找到一张图像中人眼最关注的目标区域，是一个二分类的问题。背景全部变为黑色，而目标变为白色，但是一般只能检测一个显著性目标，不会涉及到分类的问题。

从各种公共数据集(显著性分割数据集：包括MSRA-10K[10]、人工注释的Flickr自然图像数据集等)中收集了超过15762幅包含一个或几个突出对象的自然图像。每个图像在这个突出数据集中被注释与一个精确的分割掩码。数据集的内容非常多样化，包含了各种各样的对象，包括动物、植物、人、面孔、建筑物、街道等等。每个图像中物体的相对大小有很大的差异。我们将所有样本分为12,609张训练图像和3,153张测试图像。

利用mask的数据集：Places2, Paris ，CelebFace

网络结构：

1  Contour Detection

通过DeepCut生成一个具有精确边界的物体蒙版；

由于图像上缺失区域的存在，导致生成的语义分割模板带有噪声，使用二值化孔洞蒙版的方式移除蒙版中被误分类为物体的像素点，再通过connected component analysis连接成分分析进一步移除小集群来获得前景蒙版；

再通过Sobel边缘检测算子获得物体的不完整边界

2Contour Completion Module

目的：是补全缺失区域内的输入图像的缺失轮廓。预测出的edge map是二值图像。1表示前景对象的边界，0表示图像中的其他像素。

架构：

输入：待修复的图像、生成的非完整边界、孔的蒙版

输出：完整的物体边界

主体是GAN网络，经过粗细两层修复网络。

粗网络：encoder-decoder结构，得到孔洞粗略的边界预测，不能作为有效指导。

细网络：在粗网络的基础上机上 contextual attention layer。

类似于下图

PatchGAN

损失函数：

细网络上增加hinge loss，采用ReLu函数

3 Image Completion Module

损失函数

实验结果