ScSPM

Linear Spatial Pyramid Matching using Sparse Coding for Image Classification (CVPR'09)

稀疏编码系列：

• （一）----Spatial Pyramid 小结
• （二）----图像的稀疏表示——ScSPM和LLC的总结
• （三）----理解sparse coding
• （四）----稀疏模型与结构性稀疏模型

李菲菲 bag of words：现在Computer Vision中的Bag of words来表示图像的特征描述也是很流行的。大体思想是这样的，假设有5类图像，每一类中有10幅图像，这样首先对每一幅图像划分成patch（可以是刚性分割也可以是像SIFT基于关键点检测的），这样，每一个图像就由很多个patch表示，每一个patch用一个特征向量来表示，咱就假设用Sift表示的，一幅图像可能会有成百上千个patch，每一个patch特征向量的维数128。

接下来就要进行构建Bag of words模型了，假设Dictionary词典的Size为100，即有100个词。那么咱们可以用K-means算法对所有的patch进行聚类，k=100，我们知道，等k-means收敛时，我们也得到了每一个cluster最后的质心，那么这100个质心（维数128）就是词典里的100个词了，词典构建完毕。

词典构建完了怎么用呢？是这样的，先初始化一个100个bin的初始值为0的直方图h。每一幅图像不是有很多patch么？我们就再次计算这些patch和和每一个质心的距离，看看每一个patch离哪一个质心最近，那么直方图h中相对应的bin就加1，然后计算完这幅图像所有的patches之后，就得到了一个bin=100的直方图，然后进行归一化，用这个100维的向量来表示这幅图像。对所有图像计算完成之后，就可以进行分类聚类训练预测之类的了。

那么，这里影响效率的一个方面是构建词典时的K-means聚类，我在用的时候遇到了两个问题：1、内存溢出。这是由于一般的K-means函数的输入是待聚类的完整的矩阵，在这里就是所有patches的特征向量f合成的一个大矩阵，由于这个矩阵太大，内存不顶了。我内存为4G。2、效率低。因为需要计算每一个patch和每一个质心的欧拉距离，还有比较大小，那么要是循环下来这个效率是很低的。

参考： 第九章三续：SIFT算法的应用--目标识别之Bag-of-words模型

图像分类中的max pooling和average pooling是对特征的什么来操作的，结果是什么？链接：https://www.zhihu.com/question/23437871/answer/44678835

题主问的应该是feature coding之后的那步pooling（bag-of-words framework下），而上面回答的那个pooling用在CNN中（CNN和BoW是两套系统），两个不太一样。CNN的那个pooling主要目的是降维，也是CNN精髓所在。但是我们特征编码之后做pooling，是因为不做就进行不下去了。

这个故事还要从feature coding讲起。最初编码的方式比较耿直（VQ，矢量量化），这样计算的结果本身是一个统计直方图，也就是向量的，因此不需要做什么处理，直接送到SVM里面就完了。但是由于特征本身语义不高，这样的编码方式会造成比较大的误差。2009年，图像方面的稀疏编码被提了出来（Jianchao Yang, Kai Yu, Yihong Gong, and Thomas Huang. Linear spatial pyramid matching using sparse coding for image classification. CVPR2009.）掀起了一股特征编码的潮流（集中在09-10这个阶段）。稀疏编码减小了量化误差，效果也十分显著（14%的正确率提升），但是经过稀疏编码得到的结果是一个矩阵而不是向量（具体可以看paper），矩阵的两个维度分别是word和location，这个矩阵是无法直接拿来分类的，所以需要对它做pooling变成一个向量，这就是题主所说的pooling。

刚开始的pooling比较拍脑袋，sum就是对每一列求和，max就是求最大，因为矩阵里面的数值强度表现了这个词本身的响应，所以对响应不同的操作会得到不同的结果。上面的那篇文章也比较了一些pooling的效果，但是没有探讨哪种比较好，或者哪种为什么好。

后来有一些工作开始思考什么样的pooling比较好以及为什么好。比如Y. Boureau, J. Ponce, Y. LeCun A Theoretical Analysis of Feature Pooling in Visual Recognition, ICML, 2010，P. Koniusz, F. Yan, K. Mikolajczyk Comparison of Mid-Level Feature Coding Approaches And Pooling Strategies in Visual Concept Detection. CVIU, 117(5):479-492, 2013。 CVIU的这篇文章提出了AxMin的方法，应该是比较新的（是不是最新不太确定）。也有尝试探讨什么样的pooling好以及为什么好的：Protected Pooling Method Of Sparse Coding In Visual Classi cation，ICCVG，2014（会很水而且写得非常naive，只供参考）。不过pooling本身对分类系统的影响不大，2%以内差不多。

总的来说pooling确实起到了整合特征的作用，因为不同的方法得到的结果有些差别，不过我理解主要动机还是“不池化就没法继续了”这种感觉。

 

数据库：Caltech 101