基于JointBoost I2C距离度量的图像分类方法

Foundation items: Supported by the National Natural Science Foundation of China(50978106,60273064)and the Natural Science Foundation of Jiangsu Higher Education Institutions of China(14KJB520038,13KJD510007)

基于JointBoost I2C距离度量的图像分类方法*

李子龙刘伟铭

(华南理工大学 土木与交通学院, 广东 广州 510640)

摘要：基于图像到类(I2C)距离度量的图像分类是一种新颖的方法,但其分类性能仍有待提高.为此,文中提出了一种基于JointBoost I2C距离度量的图像分类方法.首先生成原型特征集,该集合中的样本具有代表性,故计算测试图像到该原型特征集的距离更有效;然后根据JointBoost算法的思想,联合多个I2C距离度量生成一个强分类器,并将空间信息融合到强分类器中.实验结果表明,该方法在图像分类实验中具有更高的分类性能.

关键词：图像分类；JointBoost；图像到类距离；原型特征集

收稿日期：2014-05-06

基金项目：* 国家自然科学基金资助项目(50978106,60273064);江苏省高校自然科学研究项目(14KJB520038，13KJD510007)

作者简介：李子龙(1979-),男,在职博士生,徐州工程学院讲师,主要从事智能交通、图像处理与模式识别研究.E-mail:longtaizi1979@gmail.com

文章编号：1000-565X(2015)05-0114-06

中图分类号：TP391.4

doi:10.3969/j.issn.1000-565X.2015.05.018

图像分类一直是计算机视觉和模式识别领域中的研究热点之一[1-5],但在实际应用中,光照、遮挡和类内图像变化突出等因素的影响,使得图像分类仍然是一个具有挑战性的问题.

从有无参数的角度来说,图像分类方法可以分为两类:带参数的分类器(如SVM[2]、Boosting[3])和无参数的分类器(如NN[4]、KNN[5]).相比于带参数的分类器,无参数的分类模型无需训练,可直接在测试数据集上进行分类.但在大多数情况下,带参数方法的分类性能要远高于无参数的分类方法,因为它们的分类模型经过了训练.文献[6]中提出了基于图像到类(I2C)距离度量的图像分类方法,该方法是基于最近邻原则的非参数方法(NBNN).由于其简单、高效,且能避免因特征的量化而降低图像信息的损失,从而引起了学者们的关注[7-9].

文献[10]中提出了基于Mahalanobis I2C距离的图像分类方法(I2CDML),该方法在特征数量较少时仍能保持较好的分类特性.文献[11]中使用参数化的I2C距离进行图像分类,以增强其适应性.文献[12]中提出了基于权重I2C距离的图像分类方法(LI2C),进一步提高了其抗噪能力.文献[13]中对I2C距离进行线性距离编码(LDC),不仅降低了测试时间,还增强了识别能力,提升了I2C距离的泛化能力.文献[14]中提出了基于监督的最近邻分类方法,该方法通过梯度下降法来优化测试样本点到原型样本点的最近邻距离.文献[15]中结合贝叶斯分类器和K最近邻分类器提出了一种新的基于距离度量的分类方法,该方法不仅具有NBNN的特性,而且其性能优于NBNN.

虽然改进后的I2C距离在图像分类和抗噪能力方面都有所提高,但仍然存在一些不足:首先,抗噪能力仍然不够,尤其是在复杂背景下,提取的图像局部特征包含了大量噪声,这导致图像分类结果往往难以保证正确率;其次,对类内变化突出、类间界限模糊的适应能力不强,如文献[11]方法为每个测试特征到训练特征的距离赋予一个权重,这对同类图像的识别能力表现不强.

在基于机器学习的图像分类算法中,如何利用有效的训练样本快速准确地构造一个具有良好性能的分类器,是图像分类成败的关键因素之一.建立一个识别能力很强的分类器往往是一件很困难、很费时的事情,然而获得一些较为粗糙的分类器往往要容易得多.

为此,文中提出了一种基于JointBoost I2C距离度量的图像分类方法,首先将每一类训练特征集简化为映射特征集(称为原型特征集,该集合中的样本特征更具代表性),并根据JointBoost算法快速高效的特点[16]组合弱分类(即I2C距离),改进特征选取方法,选取识别能力更强的特征集进行目标图像分类,实现一种共享I2C距离的多类分类算法,以提高分类器准确率.

1优化图像到类的距离

1.1基于I2C距离的分类方法

基于I2C距离的分类方法的主要思想是:计算测试图像中的每个特征(一般选择SIFT特征)和其在候选类特征集中最近邻特征的欧式距离之和,并作为I2C距离.测试图像的分类原则是与哪个候选类距离最近就划分为哪一类.

图1图像到类距离的图像分类框架

Fig.1Image classification framework of image-to-class distance

1.2优化I2C距离

计算I2C距离的关键是计算局部特征到类样本特征集中最近邻特征的距离.而实际的训练样本较多,且类内多样性突出,这对复杂背景下的图像分类是不利的.为此,文中为每类训练特征集生成一个简化的特征集合(称为原型特征集).该集合中的样本特征更具代表性.这样,原始的I2C距离就变为局部特征到类原型特征集合中最近邻特征的距离,此距离更有效.

文中所用的局部特征到类原型特征集的距离公式为

(1)

式中,Fc为要学习的关于类c的原型特征集.

为了能确定合适的原型特征,将式(1)看作xc的函数,文中采用随机梯度下降算法来优化类c原型特征集中的特征.即如果特征的类标志y与c相同,则对式(1)求取的梯度为

(2)

最后更新原型特征集中的特征值:

(3)

式中,ηt为学习率,t为迭代次数.

基于此思想,文中提出的原型特征集学习算法的具体实现如下:

给定训练特征集{(x1,y1),(x2,y2),…，(xN,yN)},xi为从训练图像中提取的特征,yi∈{1,2,…,C},初始时将每类原型特征集置为空,即Fc←∅;

Foreachc∈{1,2,…,C}

repeat

随机选取一样本(xi,yi);

如果xi∉Fc且yi=c,则Fc=Fc∪{xi};

End Foreach

Fori=1 toN

End If

End For

在该算法中,先随机选取一些训练数据来生成每类的原型特征集,而原型特征集的数量由实验来确定;然后使用所有训练数据更新类和类原型特征集中的特征.

2联合多I2C距离度量的图像分类

2.1基于I2C的弱分类器设计

经过学习获得的原型特征集对提高目标分类有一定的改善,但由于类间特征空间交叠,且从实际场景下获取的图像往往包含着大量噪声,这都影响I2C距离的分类效果.为此,文中采用JointBoost算法来进一步优化I2C分类器.选择该算法的原因是它简单、易于实现,且性能高于其他Boosting改进算法.文中图像分类方法的实现思路是:使用局部特征到类的距离作为弱分类器,每个弱分类器都有相应的原型特征集,通过把多个弱分类器联合在一起得到一个分类能力很强的分类器.

JointBoost算法是一种基于特征共享的多类分类算法[16],在训练步骤m,强分类器H的更新公式为

H(x,c)=H(x,c)+hm(x,c)

(4)

其中,H(x,c)就是需要学习获得的图像到类c距离的强分类器.为了在每一轮迭代选取一个最优的弱分类器来更新强分类器,JointBoost要满足的损失函数为

(5)

JointBoost算法的主要思想是将多类问题转化为多个二类问题进行处理.每次迭代时,在多个二类子集中找到最佳的多个类别共享的特征集.然后通过共享特征的分类器叠加,得到最终的强分类器对多类进行分类.对于C种类别,一共可以分成2C-1个二类子集,文中用S(n)表示该二类子集(n=1,2,…,2C-1).JointBoost算法的伪代码如下:

H(xi,c)=C;

Form=1 toM

Forn=1 to 2C-1

根据式(5)计算损失代价;

End For

End For}

为了使JointBoost框架下的弱分类器能达到优化损失函数的目的,文中使用I2C距离来设计新的弱分类器,即

(6)

(7)

(8)

(9)

2.2融合空间信息

特征点的空间信息有助于目标分类,文献[17]使用空间金字塔匹配的方式来限制最近邻特征点的查找范围,从而融合了空间信息.它将图像分别划分成1×1、2×2、4×4三个层次的区域块,对每一层次每一区域内提取的特征,只需在相同层次相同区域内寻找类原型特征集中的最近邻特征.该方法的空间限制能减少来自不对应区域块错误匹配的干扰,进一步增强查找最近邻特征的鲁棒性,但该方法计算复杂度较高,空间信息描述仍不够充分.为此,文中提出了一种新的融合空间信息的方法.

对于提取的图像特征集(x1,y1),(x2,y2),…，(xN,yN),yi∈{1,2,…,C}为其类别标志,它们的空间位置集为{(h1,v1),(h2,v2),…,(hN,vN)}，为了将它们的坐标位置统一到一个坐标系中,文中计算这些空间位置信息的相对空间位置集:

(10)

式中,Wi和Hi分别为特征xi所在图像的宽度和高度.

为了将特征点的相对坐标位置信息融入到I2C距离中,文中将图像划分成大小为M×M的若干网格,并为每个网格赋予一个权重作为特征集中特征在空间上的布局分布,实验中取M=5.当计算图像X到类c之间的距离时,分别计算它们所拥有的特征在每个网格的空间分布权重,第i行第j列网格gij的权重可以根据下式计算:

(11)

式中,kc和kX分别为类c原型特征集和图像X的特征落入该网格内的特征数,Nc和NX分别为类c原型特征集和图像X中所包含的所有特征数.

根据网格权重,图像X到类c之间的距离变为

(12)

3实验结果及分析

为验证文中算法的有效性,分别对Scene 15中的15类图像[17](分别是suburb、office、forest、tall buil-ding、inside city、coast、highway、open country、mountain、street、kitchen、living room、bedroom、industrial、store,并依次编号为1-15)和Caltech101中随机选择的6类[18]进行了分类对比实验.对于Scene 15中每类场景图像,文中分别随机选取100幅图像用于训练和测试.从Caltech 101中选取6类目标图像(分别是buf-ferfly、carside、goat、face、bear和rifle,依次编号为1-6)各30幅图像用于训练和测试.原型特征集的学习率ηt取0.1.融合空间信息的调整常量γc取为0.65.文中所有实验是在P4 2.54GHz、内存6GB的计算机上进行.

图2在不同图像数据库上原型特征数、弱分类器数和分类错误率之间的关系

Fig.2Relationship between the number of prototype features,the number of weak classifiers and classification error rate on different image datasets

原型特征集大小、弱分类器数量和分类错误率之间的关系如图2所示.可以看出:随着弱分类器数量的增加,不同大小的原型特征集下文中算法的分类错误率有所降低;原型特征集中特征数越大,并不能保证分类效果越好;当原型特征集中特征数为60、弱分类器数为20时,在这两个图像数据库上均能获得较好的分类准确率.因此在后面的分类实验中,原型特征集中特征数和弱分类器数分别取为60和20.

在Scenes15和Caltech101图像数据库上使用文中方法和NBNN[6]、LI2C[12]进行图像分类性能比较,结果如图3所示.文献[12]中用于优化I2C距离最大间隔方法的平衡参数取经验值1,所用空间金字塔是1×1、2×2、4×4三个层次,文中实验也采用同样的设置.

从图3可以看出:对于易于区分的图像(如Scene15的suburb、office和Caltech101的carside、face),文中方法的分类性能与其他方法差不多;而对于那些难于区分的图像(如Scene15的living room、store和Caltech101的bufferfly、bear),文中方法的分类性能优于其他两种方法.

图3　3种方法在不同图像数据库上的分类准确率对比

为了进一步比较文中方法与其他方法的检测效果,表1给出了NBNN[6]、I2CDML[10]、LI2C[12]、LDC[13]和文中方法的平均分类性能对比.文献[10]中优化I2C距离最大间隔方法的平衡参数取为0.95,在采用梯度下降法求解该优化问题时,学习率取为0.05.文献[10,13]所用的空间金字塔层次与文献[12]相同,文中方法在对比实验中也采用相同的参数设置.从表1可以看出,文中方法的平均分类性能高于其他4种方法.

表1　不同方法的平均分类结果

表2给出了一组使用不同方法进行图像分类的结果,从表中可以看出,文中方法的图像分类效果优于其他方法.NBNN方法对6幅图像的分类都失败,I2CDML方法使用了Mahalanobis I2C距离,它比NBNN的欧式距离在图像分类中更有效,但在类内变化较大、背景杂乱的情况下适应性不强,故其对5幅图像的分类都失败.为了减少噪声的干扰,LI2C方法使用了权重的I2C距离,增强了相关特征的权重.此外,LDC对I2C距离进行了稀疏编码,进一步增强了其分类性能.文中方法通过学习原型特征集和联合I2C距离弱分类器来获得更好的分类效果.然而,对于相似程度较高的图像(如Forest图像),文中方法的分类结果也出现了错误,该图像被错分为Mountain.

4结论

文中以I2C距离度量为基础,探讨了图像分类问题.针对I2C距离容易受噪声干扰和适应能力不强等不足,文中首先生成一个更具代表性的特征集(原型特征集),将每个I2C距离看作一个弱分类器,借助JointBoost算法联合多个I2C距离来生成一个强分类器,进而提出了一种将空间信息融合到I2C的图像分类方法.实验证明,该方法是可行的,能有效地提高基于I2C距离度量的图像分类性能.

参考文献：

[1]梁鹏,黎绍发,覃姜维.基于局部类别一致k均值聚类的目标识别方法 [J].华南理工大学学报:自然科学版,2011,39(2):118-124.

Liang Peng,Li Shao-fa,Qin Jiang-wei.Object recognition approach based on local type-consistentk-means clustering [J].Journal of South China University of Technology:Natural Science Edition,2011,39(2):118-124.

[2]Felzenszwalb P F,Girshick R B,McAllester D,et al.Object detection with discriminatively trained part-based models

表2　不同方法在Scene15图像数据库上的分类结果

[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(9):1627-1645.

[3]Huang Z F,Yang W,Wang Y,et al.Latent Boosting for action recognition [C]∥Proceedings of British Machine Vision Conference.Dundee:BMVA,2011:1-11.

[4]Wu R,Yu Y,Wang W.SCaLE:supervised and cascaded laplacian eigenmaps for visual object recognition based on nearest neighbors [C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Oregon:IEEE,2013:867-874.

[5]Xu Y,Zhu Q,Fan Z,et al.Coarse to fineKnearest neighbor classifier [J].Pattern Recognition Letters,2013,34(9):980-986.

[6]Boiman O,Shechtman E,Irani M.Indefense of nearest-neighbor based image classification [C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Anchorage:IEEE,2008:1-8.

[7]Wang Z,Hu Y,Chia L T.Learning instance-to-class distance for human action recognition [C]∥Proceedings of the 16th IEEE International Conference on Image Proces-sing.Cairo:IEEE,2009:3545-3548.

[8]Huang Y,Xu D,Cham T J.Face and human gait recognition using image-to-class distance [J].IEEE Transactions on Circuits and Systems for Video Technology,2010,20(3):431-438.

[9]Timofte R,Tuytelaars T,van Gool L.Naive bayes image classification:beyond nearest neighbors [C]∥Procee-dings of Asian Conference of Computer Vision.Daejeon:Springer,2012:689-703.

[10]Wang Z,Hu Y,Chia L T.Image-to-class distance metric learning for image classification [C]∥Proceedings of European Conference on Computer Vision.Crete:Sprin-ger,2010:709-719.

[11]Behmo R,Marcombes P,Dalalyan A,et al.Towards optimal naive Bayes nearest neighbor [C]∥Proceedings of European Conference on Computer Vision.Crete:Sprin-ger,2010:171-184.

[12]Wang Z,Hu Y,Chia L T.Improved learning of I2C distance and accelerating the neighborhood search for image classification [J].Pattern Recognition,2011,44(10):2384-2394.

[13]Wang Z,Feng J,Yan S,et al.Linear distance coding for image classification [J].IEEE Transactions on Image Processing,2013,22(2):537-548.

[14]Wohlhart P,Kostinger M,Donoser M,et al.Optimizing 1-nearest prototype classifiers [C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Portland:IEEE,2013:460-467.

[15]Zannatul Ferdousy E,Islam M,Abdul Matin M.Combination of Naïve Bayes classifier andk-nearest neighbor(cNK) in the classification based predictive models [J].Computer & Information Science,2013,6(3):48-56.

[16]Torralba A,Murphy K P,Freeman W T.Sharing visual features for multiclass and multiview object detection [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(5):854-869.

[17]Lazebnik S,Schmid C,Ponce J.Beyond bags of features:spatial pyramid matching for recognizing natural scene categories [C]∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York:IEEE,2006:2169-2178.

[18]Li Fei-Fei ,Fergus R,Perona P.Learning generative vi-sual models from few training examples:an incremental Bayesian approach tested on 101 object categories [J].Computer Vision and Image Understanding,2007,106(1):59-70.

Image Classification Based on JointBoost I2C Distance Metric

LiZi-longLiuWei-ming

(School of Civil Engineering and Transportation,South China University of Technology,Guangzhou 510640,Guangdong,China)

Abstract:Image classification on the basis of image-to-class (I2C) distance metric is a novel method. However, its classification performance needs to be further improved. In this paper, a new image classification method on the basis of JointBoost I2C distance metric is proposed. In this method, a prototype feature set with representative samples is generated, which makes the calculation of distance from the test image to the set more effective. Then, on the basis of JointBoost algorithm, multiple I2C distance metrics are combined to generate a strong classifier for integrating spatial information. Experimental results show that the proposed method is of higher performance for image classification.

Key words: image classification;JointBoost;image to class distance;prototype feature set