一种基于空间金字塔特征的图像分类降维算法

李青彦 彭进业

摘 要： 有效去除图像特征中的冗余是图像分类研究领域的一个重要内容。在SPM（Spatial Pyramid Matching）图像分类算法的基础上，结合主成分分析方法（Principal Component Analysis，PCA），提出了一种新的PcSPM算法。该方法能在多种尺度上提取图像金字塔直方图主成分，可减少特征冗余，并将其应用于图像分类。实验表明，该方法能够有效去除图像特征中的冗余，提高了图像分类的精度。

关键词： 图像分类; SPM; 特征降维; 主成分分析; 词袋算法

中图分类号： TP301.6      文献标志码： A

Dimension Reduction Algorithm for Image Classification Based on

Spatial Pyramid Matching Features

LI Qingyan1， PENG Jinye1，2

（1. School of Electronics and Information， Northwestern Ploytechnical University， Xi'an 710072;

2. School of Information and Technology， Northwest University， Xi'an 710127）

Abstract： Effective elimination of redundancy in image features is a major content in the research field of image classification. Based on the Spatial Pyramid Matching （SPM） image classification algorithm， and by integrating with principal component analysis （PCA） method， this paper proposed a new PcSPM algorithm. It is able to extract pyramid histogram principal components of image on multiple levels， and reduce feature redundancy and be applied in image classification. Experiment shows that this method is capable of effectively eliminating redundancy in image features and improving the accuracy of image classification.

Key words： Image classification; SPM; Feature dimensionality reduction; Principal component analysis; Bag of Word （BoW）

0 引言

詞袋算法（Bag of Word， BoW）是近年来图像分类领域中最为成功的算法。词袋算法最早应用于文本分类。与在文本分类中文本单词数目具有上限值不同，图像特征因其提取方式的多元化，用来表示图像细节的特征千差万别。因此，用于图像分类的词袋算法需要对图像特征进行聚类，以获得规模适中、具有代表性的视觉单词。

在基于BoW的图像分类研究领域上，应用空间金字塔匹配核的词袋模型[1]（Spatial Pyramid Matching，SPM）取得了很大成功。SPM把金字塔匹配[2]的思想应用到词袋模型中，考虑了图像的空间信息，取得了很好的效果，成为了近些年图像分类研究领域的一个热点，大量的学者针对SPM方法进行了研究[3-10]。

图像处理过程中，特征提取会产生大量的冗余，消耗大量的计算资源。为提高运算性能，学者们开始研究如何降低图像的冗余特征。文献[11]提出了PCA-SIFT（Scale-invariant feature transform，SIFT）特征描述子算法，将PCA降维方法运用到SIFT特征提取中，有效降低了图像的特征维数。

本文提出了一种PcSPM降维算法，对SPM方法进行了改进，在不降低图像分类精度的情况下，在图像空间金字塔不同尺度上运用主成分分析方法，减少图像特征维数。经过在图像数据集实验验证，PcSPM方法有效地减少了图像特征冗余，提高了分类精度。

2 PcSPM图像特征降维

为有效降低数据维数，同时保证图像空间信息不受损失，本文提出了PcSPM算法，通过计算不同金字塔尺度上的协方差矩阵，对相应尺度的不同区域的图像特征主成分进行提取，然后连接金字塔各尺度中的所有区域特征，实现了空间金字塔词袋算法的PCA操作，图像分类整体过程如图1所示。

2.1 SPM图像特征

SPM方法特征提取时选用了DenseSIFT算子，把图像分割成密度逐步增长的网格，每一个网格形成一个图像块，对每一个图像块运用BoW算法计算图像直方图，然后将所有图像块的直方图加权并连接起来进行图像表示。最终的图像向量h维数如式（1）。

（1）其中，M是图像字典的单词数，L是图像金字塔尺度。很明显，图像维数的复杂度为L的指数阶O（4L）。随着L的增长，运算效率迅速下降。

SPM方法在表达图像显著特征的基础上，考虑了图像的空间信息，获得了很好的分类效果。算法复杂度是L的指数阶，因此仍然损失了部分空间信息。当图像背景信息对图像类别有很大影响时，该算法分类性能下降。

2.2 PcSPM图像特征降维

主成分分析（Principal Component Analysis，PCA）是经典的降维算法。主成分分析根据贡献率（thresh）来确定图像主成分数目n，贡献率是指选取的特征值的和占所有特征值的和之比。本文提出的PcSPM特征转换算法过程描述如算法1所示。

算法1：PcSPM算法过程

輸入：图像，金字塔尺度，词典规模

输出：PcSPM图像特征，图像分类结果

1.提取图像SIFT特征

2.运用Kmeans聚类方法，获得图像视觉字典

3.获取图像在不同金字塔尺度下的特征直方图

4.对相同金字塔尺度下得图像特征直方图提取主成分，求取图像金字塔各层主成分的最大维度值

5.将图像不同金字塔尺度的主成分加权组合，作为图像最终的PcSPM特征表达

6.利用支持向量机进行图像分类，获取分类结果

为保证图像特征维数相同，PcSPM算法以图像集子类为单位进行了PCA操作。首先比较贡献率大于thresh的所有图像的主成分维数，寻找不同图像集子类在空间金字塔不同尺度下的最大维。然后将图像金字塔各层主成分加权组合，获得最终的PcSPM图像转化特征。

PcSPM特征与SPM图像特征相比，去除了图像特征中的冗余信息，降低了图像特征维数，降低了计算机的资源消耗。与视觉单词直接降维方法相比，PcSPM不减少视觉单词数量，以图像金字塔的各尺度为单位进行降维操作，更多的考虑了图像的尺度和空间信息。

3 实验结果与分析

实验图像集采用文献[1]使用的15类场景图像库，该图像集共15个自然场景图像子类，每类中大约200-400幅图像，每幅图像的尺寸限制在300×240像素。图像特征提取选用DenseSift特征。每次实验从子类中随机选取60%的图像作为训练集，其余作为测试集。

实验选取图像集中的SPM算法分类精度高于50%的部分子类作为实验对象。PcSPM实验固定视觉单词数量M为100、200，对金字塔尺度L分别选取2、3进行实验。为保证实验结果的准确，PcSPM每次实验均重复10次，取其平均值作为最终结果。分类器选用了直方图内插核的支持向量机。实验结果如表1所示。

当主成分贡献率thresh选择100%，算法还原为了SPM图像特征的初始维度。当主成分贡献率达到98%以上，向量维度减少到原来的80%左右时，图像分类精度有了不同程度的提高。当主成分贡献率达到99%时，向量维度减少到原来的88.8%～92.5%之间，分类精度有了更为明显的提高。对较高维的图像特征，本算法在分类精度提升和特征维数降低方面效果更为显著。

当L=3，M=200时本算法在分类精度提升和特征维数降低方面效果更为显著。与颜色特征[12]、规范割[13]、PCA-SIFT[11]等算法相比较，选取参数L=2，M=200，thresh=99%时，PcSPM算法分类精度有明显提高，如表2所示。时间复杂度与改造前的算法相比基本没有差异，如表3所示。图像集各样本类降维后的平均维度和分类精度如表4所示。

4 总结

BoW算法在图像分类领域取得了很大的成功，尤其是在其基础之上衍生出来的SPM系列算法取得了很好的分类效果。本文着眼于消除图像特征冗余，降低图像维度，提高图像分类精度等方面的研究，提出了PcSPM算法，将主成分分析方法运用到了空间金字塔的不同尺度特征中。实验表明，本方法能够提取出图像特征主成分，有效降低了图像特征维度，提高了算法的分类精度。

参考文献

[1] Lazebnik S， C Schmid， J Ponce. Beyond Bags of Features： Spatial Pyramid Matching for Recognizing Natural Scene Categories[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition，New York， US， June 2006：2169-2178.

[2] Grauman K， T Darrell. The pyramid match kernel： discriminative classification with sets of image features[C]// Tenth IEEE International Conference on Computer Vision， Beijing， China， October， 2005：1458-1465.

[3] Zou Jinyi， Li Chenchen， Du Clian， et al. Scene Classification Using Local and Global Features with Collaborative Representation Fusion[J]. Information Sciences， 2016，348： 209-226.

[4] Peng T， F Li. Image classification algorithm based on hash codes and space pyramid[J]. Journal of Image & Graphics， 2016 IEEE Advanced Information Management， Communicates， Electronic and Automation Control Conference[C]∥Xian， China， October 2016：114-118.

[5] Cho W， K Lam. Image classification without segmentation using a hybrid pyramid kernel[J]. Multimedia Tools and Applications， 2014. 73（3）： 1195-1224.

[6] Wang F. Large Scale Image Retrieval with Practical Spatial Weighting for Bag-of-Visual-Words[C]// Advances in Multimedia Modeling， S Li. Berlin： Springer， 2013： 513-523.

[7] Shaban A， H R Rabiee， M Najibi. From Local Similarities to Global Coding： An Application Image Classfication 2003 IEEE Conference on Computer Vision and Pattern Recognition[C]∥San Francisco， Jane 2013：2794-2801. arXiv preprint arXiv：1311.6079， 2013.

[8] Qian-Qian LI，G Cao. Image Classification Based on Laplacian Non-negative Sparse Coding[J]. Computer Engineering， 2013. 39（11）： 240-244.

[9] Wang Jinjun， Yang Jianchao， Ynkai， et al. Locality-constrained linear coding for image classification， 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C]∥San Francisco， June 2010：3360-3367.

[10] Yang Jianchao， Yu Kai， Gong Yihong， et al. Linear spatial pyramid matching using sparse coding for image classification， 2009 IEEE Computer Socicty Conference on Computer Vision and Pattern Recognition[C]∥MiamiFl VS， June 2009：1794-1801.

[11] Ke Y， R Sukthankar. PCA-SIFT： A more distinctive representation for local image descriptorsm. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C]∥Washington， DC， US， June 2004：11506-11513.

[12] 余雄， 張著洪. 基于颜色特征的自适应图像分类算法及其应用[J]. 贵州大学学报（自然科学版）， 2017（1）： 62-65.

[13] 丁锴，陈伟海，吴星明，等. 基于规范割的空间金字塔图像分类算法[J]. 北京航空航天大学学报， 2013. 39（10）： 1342-1347.

（收稿日期： 2019.08.15）

作者简介：李青彦（1982-），男，菏泽人，博士研究生，研究领域：数字图像仿真处理。

彭进业（1964-），男，娄底市人，教授，博士生导师，研究领域：图像处理与模式识别。文章编号：1007-757X（2020）02-0017-03