基于显著区域和相关反馈的图像检索算法

崔敬敏　王晓晓　郝昕疌

摘要：针对基于内容的图像检索中遇到的效率低下和语义鸿沟问题，设计并实现了一个交互式的图像检索系统。系统首先结合人类视觉注意机制提取图像显著区域，再对不同的区域进行不同特征或不同权重的描述。最后，在初次检索后应用支持向量机（Support Vector Machine， SVM）和粒子群优化（Particle Swarm Optimization， PSO）算法进行相关反馈（Relevance Feedback， RF），使检索结果更符合用户目的。实验表明，用SVM进行反馈检索效率有大幅度提高，而PSO在小样本指导下，表现出高效的学习和快速的收敛优势。

关键词： 基于内容的图像检索； 语义鸿沟； 视觉注意机制；显著区域； 支持向量机； 粒子群优化；相关反馈

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2013）08-1869-05

图像检索是图像处理和计算机视觉领域研究的热点之一。基于内容的图像检索技术从图像自身内容特征出发，自动化地检索出满足用户需要的图像。但是由于图像的底层特征和高层语义之间存在语义鸿沟[1]，目前没有任何一种方法和特征可以在所有类型的图像上都取得较好的检索效果。另一方面，人们对图像的理解存在主观性，系统通常难以用图像的底层物理特征准确地刻画用户提交的检索需求，即系统从用户提交的样本中提取的特征往往不能很好的体现用户此次检索的目的。因此，通过引入相关反馈技术[2]进行人机交互，形成图像低层特征与用户高层语义间的映射关系，是目前改进图像检索效果的重要途径。

1 相关反馈技术研究

相关反馈技术源于文本信息检索，是一种人机交互的检索技术。1997 年，由美国Illinois 大学YongRui 等率先将相关反馈技术引入图像检索领域，并在MARS 系统中实验成功[3]。经典的RF过程为：首先系统根据预定的相似性度量准则返回初次检索结果，然后用户根据自身的检索需求对检索结果进行评价，指出哪些检索结果是与检索目的相关的（正样本）/或不相关的（负样本），进而相关反馈算法根据用户的反馈样本进行相似性度量准则的调整，重新返回检索结果，持续进行直到用户满意为止。

随着反馈技术的深入研究和不断发展，许多学者开始将成熟的统计学习理论和机器学习理论引入到RF 技术中。典型的机器学习算法如支持向量机、人工神经网络[4]（Artificial Neural Network，ANN）、Boosting[5]等。目前较流行的方法是SVM和PSO。

2 显著区域和SVM反馈相结合

2.1 显著区域提取

在图像处理中，人们往往只对图像的某个区域或某个对象感兴趣，这些部分常称为前景或者显著区域。传统方法利用显著点进行区域生长获取显著区域，生长尺度单一，容易产生空洞或生长不足。为了从图像中准确提取观察者感兴趣的区域，采用文献[8]中提出的基于改进区域生长的图像显著区域的提取方法，能有效地提高图像感兴趣区域提取的准确性。

2.2 特征向量的提取

2.2.1不同权重的颜色特征描述

通过提取图像的显著区域，将图像的前景和背景特征分开表示，构成一个新的特征向量。初次检索时，将前景和背景赋予不同的权重，即：[IMGi=wfFroi+wbBaci]。

其中[IMGi]是图像[i]的颜色特征向量，[wf]是前景的权重，[wb]是背景的权重，[Froi]是图像[i]的前景颜色特征向量，[Baci]是图像[i]的背景颜色特征向量。实验中，选取[HSV]颜色空间的36维非均匀量化颜色直方图，最后将各区域特征进行综合就得到整幅图像的特征向量。

2.3 算法描述

2.4.2实验结果

为了客观的评价上述算法，该文分别统计了两个图像库在一次反馈之后与传统算法的查准率对比，以及反馈4次的各类图像的查准率对比。实验中一次反馈后我们采用前30幅图像的查准率来衡量检索反馈效果，由于库一中恐龙的初次检索效率较高，所以实验未对恐龙类进行相关反馈测试。

3 基于粒子群优化（PSO）的相关反馈算法

实际上，图像检索相关反馈过程可以看作是函数优化问题。PSO[10]对反馈样本的对称性和数量没有要求，仅由正例样本对群体进行指导，搜索空间是全局向量空间，不易陷入局部极小值，且收敛速度快。因此，将PSO算法引入相关反馈领域，提出基于图像全局和局部特征的PSO相关反馈算法，展示了PSO的优越性[11]。

3.1 问题分析

PSO应用于图像检索领域需在粒子位置、进化准则等关键技术找到契合点：

1）确定搜索空间。对图像库进行特征提取，将“图像库”转变为特征的“搜索空间”，图像库中的每个图像可视为特征空间中的一个点，通过全局特征竞争提取出最相似特征。

3.2 实验结果及分析

为客观评价PSO在小样本下的检索优势，将初次检索效果比较差的各类图像（查准率低于30%）在PSO一次反馈与SVM一次反馈后的平均检索准确率进行对比。另外，对PSO前4次反馈的情况P（30）进行了统计，粒子规模设为N=30，每轮反馈正样本数量最多取9幅，即小于样本总数的1/3。

可以看出SVM只对类别较明显的图像类能进行较好的分类，对于不容易分类的图像PSO则能表现出较好的反馈效果，如“大象”、“食物”、“雪山”、“人物”等。随着反馈次数的增加，PSO的检索效率在一定的范围内上下波动。这是因为，算法的“最优位置”是由正样本图像的平均位置决定的，每轮反馈图像的差异性，使得反馈的最优位置在每轮都会出现偏离。这正是PSO在确定最优位置时需要改进的地方。

4 结束语

为了弥补图像检索的语义鸿沟问题，该文深入研究了相关反馈技术，实现了有效的反馈算法。但反馈算法对样本集要求较高，在正负样本比例不平衡时，SVM的训练结果也不如人意，此外，该文使用的训练特征仍然是以底层的物理特征为主，虽然通过图像分割对图像的不同区域采用不同的特征描述具有一定的语义效果，但本文的图像分割方法也没有与任务相关，缺乏高层语义的指导，因此在后续的研究中，可针对具体任务进行训练和学习，建立与其对应的图像分割模型和特征表达方式。

参考文献：

[1] 张菁，沈兰荪， David Dagan Feng.基于视觉感知的图像检索的研究[J].电子学报， 2008， 36（3）：494-499.

[2] 吴洪，卢汉青，马颂德.基于内容图像检索中相关反馈技术的回顾[J].计算机学报， 2005， 28（12）：1969-1979.

[3] Rui Y， Huang T S， Mehrotra S. Content-based image retrieval with relevance feedback in MARS[C]. In： Proceedings of IEEE International Conference on Image Processing， Santa Barbara， CA， USA： IEEE Computer Society， 1997：815-818.

[4] 张磊，林福宗，张钱.基于前向神经网络的图像检索相关反馈算法设计[J].计算机学报， 2002， 25（7）：673-680.

[5] Tieu K， Viola P. Boosting image retrieval[C]. Proceedings.IEEE Conference on Computer Vision and Pattern Recognition， Hilton Head Island， SC， Jun 13-15， vol.1， 228-235， 2000.

[6] Zhou X S， Huang T S. Relevance feedback in image retrieval： a comprehensive review[J]. ACM Multimedia Systems Journal， 2003，8（6）：536-544.

[7] Xiao Xiao et al.， Content-Based Image Retrieval through Region Uniformly Partition[J].Key Engineering Materials， Vol.500， 2012：471-474.

[8] 王晓晓，刘丹华.基于改进区域生长的图像显著区域的提取算法[J].现代计算机，2012（3）.

[9] MING-KUEI HU. Visual Pattern Recognition by Moment Invariants [J]. IRE Transactions on Information Theory， Vol.8， Issue 2， 1962：179-187.

[10] Eberhart R， Kennedy J. A New Optimizer Using Particle Swarm Theory[C]， Proc.6 Int. Symposium on Micro Machine and Human Science，1995.39-43.

[11] 许相莉. 基于智能计算的图像检索算法研究[D].吉林大学， 2011.