论文笔记《Feedforward semantic segmentation with zoom-out features》

【论文信息】

《Feedforward semantic segmentation with zoom-out features》

CVPR 2015

superpixel-level，fully supervised，CNN

【方法简单介绍】

首先对输入图像以superpixel为单位提取CNN特征(使用VGG16)，然后把这些特征作为CNN classifier(使用imageNet)的输入，imageNet输出是每一个superpixel的class。

【细节记录】

feature

特征提取过程是，对每一个卷积层的输出，用双线性插值的方法做upsampling使之与原图尺寸一致。然后对superpixel s的区域做pooling，这样就得到一个特征向量，这个向量的维度就是当前卷积层的卷积核个数。

例如以下图：

是对每一个superpixel下表中是VGG每一层提取特征的情况：

把每一层的输出向量连接起来，就得到终于的CNN特征。是12416维的。

作者通过实验证明，把每一个卷积层的输出都连接起来形成的特征是最优的：

version=auto&filename=QQ%E6%88%AA%E5%9B%BE20150801222314.png" width="417" height="261" style="margin:0.2em 0px; padding:0px; border:1px solid rgb(217,217,217); vertical-align:middle; max-width:100%; width:auto; height:auto">

zoom-out 

原因在于，CNN的每一个卷积层，设卷积核大小不变，由于有下採样。图像在逐步变小。所以实际上卷积核所能感知的范围是逐步增大的，也就是文中所说的zoom out

version=auto&filename=QQ%E6%88%AA%E5%9B%BE20150801222950.png" width="519" height="454" style="margin:0.2em 0px; padding:0px; border:1px solid rgb(217,217,217); vertical-align:middle; max-width:100%; width:auto; height:auto">

在superpixel level。红色框区域和蓝色框区域，也就是CNN的浅层。输出的特征是local feature，主要包括这个小区域的颜色信息和密度信息，它和相邻的superpixel的特征会有较大差异。

把superpixel向外zoom out。在proximal level，能够得到橄榄色的区域。在这个level提取的特征主要捕捉superpixel周围其它superpixel的信息。已经不是local的信息了，应该是neiboring的信息。对于离得近的superpixel（如A和B的橄榄绿框），它们在这个level的receptive fileds会有较多的overlap。它们之间存在smoothness。在这一层面的特征表示会有些相似。而假设离得远（A和C），overlap小。那么它们的特征表示会有较大差异。

version=auto&filename=QQ%E6%88%AA%E5%9B%BE20150801223517.png" width="469" height="317" style="margin:0.2em 0px; padding:0px; border:1px solid rgb(217,217,217); vertical-align:middle; max-width:100%; width:auto; height:auto">

继续向外zoom out，在distant level。紫色的蓝色的区域，经常带来较大的overlap，可以在superpixel之间建立联系，而且，此时的感知区域已经可以包括一些object，所以这个level提取的特征会包括object的一些形状信息、空间位置信息、复杂的颜色和梯度信息。一些方法用CRF来挖掘这类信息。这样做经常带来复杂的难以求解的模型。

再zoom out，在scene level，就是对整幅图片感知，得到的是global的信息。这level的特征主要包括的信息是”what kind of an image we are looking at“，能够基本限定class的范围。

【实验设计】

1，选择combine哪些层输出的feature。最后结果最好的是全部层的输出连起来得到的feature

2，和现有的方法在VOC的结果比較mean IoU。是最优(Hypercolumns, FCN-8s, SDS, DivMbest+rerank, Codemaps, O2P, Regions&parts, D-sampling, Harmony potentials.)

3，和现有方法在SBD的结果比較pixel accuracy, class accuracy是最优(Multiscale convnet, recurrent CNN, Pylon, Recursive NN, Multilevel)

【总结】

长处

1。它把CNN每一层的特征都拿出来使用，兼顾了local信息和global信息。

2，直接使用image classification的现有成果，不用自己训练网络。方便高效，易于推广。

3，实验结果FCN的方法结果还好。

缺点

从作者贴出的example来看，切割的边缘还是有些粗糙。原因是：本文方法是直接基于superpixel做特征提取和分类的，提取的superpixel是不够准确的。一个superpixel中可能包括了多个class。要优化这个边缘，应该还是要挖掘出pixel level的细节信息。

version=auto&filename=QQ%E6%88%AA%E5%9B%BE20150801225749.png" width="1148" height="508" style="margin:0.2em 0px; padding:0px; border:1px solid rgb(217,217,217); vertical-align:middle; max-width:100%; width:auto; height:auto">