基于显著性特征的图像检索相关反馈算法研究

张戎秋

（1.安徽大学 计算机科学与技术学院，安徽 合肥 230038；2.淮南师范学院 计算机与信息工程系，安徽 淮南 232038）

1 前言

近年来基于内容的图像检索技术（CBIR）日益受到了人们的广泛关注，它的目的是实现自动地、智能地检索图像，研究重点就是对图像内容的视觉特征（如颜色、纹理、形状、空间关系等底层特征）进行检索。由于图像的低层特征同高层语义的非一致性使得CBIR结果并不是每次都能让用户满意，因此相关反馈（relevance feedback，RF）技术被引入到图像检索技术中来。

RF技术是一种利用先前的检索结果信息进行反馈来自动调节当前查询，或借助人机交互细化低级特征表达的高层查询技术。它根据用户先前检索结果与需求相关性的反馈信息自动地调整已有的查询使之更好地吻合用户的需求①Salton G,McGill MJ.1983.Introduction to Modern Information Retrieval，New York:McGrawHill。

基于显著性特征的图像检索相关反馈算法是在Rui所提出的基于特征权重调整的相关反馈算法的基础上提出的一种新的反馈策略，以提高图像数据库检索的效果②Rui Y,Huang TS,Ortega M,et al.1998b.Relevance feedback:a power tool for interactive contenet-bas-ed image retrieval，IEEE CSVT,8(5):644-655。

2 显著性特征的相关反馈算法的基本思想

设用户提交的图像Q，IP、IN分别为经用户反馈后检索到的图像集合中的相关图像集合和无关图像集合，若图像Q'∈IP，且Q'也能被Q通过某个特征（如颜色直方图）检索到，显然用户的需求能通过 Q'的这个特征表示。再次检索时，把图像Q'的这个特征向量作为检索标准。同样经过用户反馈，可以得到多条检索标准，用它们构造新的查询向量，这个查询向量我们称为相关反馈中的显著性特征向量，它所对应的特征称为显著性特征。再轮检索中，我们用新的显著特征向量为中心，结合特征权重调整方法，处理反馈正例集合中的其它正例图像和反馈负例图像，改进相似性度量公式。通过这种方法进行检索，既有效地满足用户的需求，也提高了系统的检索性能。

3 显著性特征的相关反馈的算法

图像特征向量若满足相似性度量中的正定性、对称性和三角不等性度量公理，它们之间的相似程度可以采用距离度量或统计学方法来进行图像相似性判断[3]。因此在用户反馈后，调整相似度计算公式或参数，重新计算相似度，以提高系统的检索性能。下面我们直接讨论反馈后相似度的计算。

用户提交图像Q，用特征1检索，排序得到检索到的前T幅图像集合T1；……；用特征k检索，排序得到检索的前T幅图像集合TK；综合以上特征进行检索，排序得到检索到的前N幅图像集合I，将此N幅图像显现给用户，用户在其中指定正例和负例，得到用户反馈正例集合和反馈负例集合分别记为 IP、IN。

对反馈正例集合IP进行分类：

IPi是单一特征检索到的图像集合与综合特征检索到图像正例集合的交集，用来估计各单一特征的检索准确率并确定其相应权重。实际计算中，为取得比较准确的权重，令T〉N（例如T=2*N）；IP'表示用户反馈的正例集合中存在但各特征单独检索没检索到的图像正例集合，即综合特征新检索出的正例图像集合，这个值一般比较小，据统计，为0的几率大于90%。

设 c1，c2，c3分别为 IP1，IP2……IPk中的元素个数。

W1，……，Wk为估计到的各特征的权重。对反馈负例集合IN进行分类：

INK为综合特征检索到而单一特征m(1≤m≤k)没有检索到的负例集合。集合中的图像，用综合特征检索到，却被用户反馈为负例，而用特征m没有检索到，说明其与查询图像Q在特征m上不相似，故应该在特征m上远离它。

此次反馈后，对图像库中每一幅图像P，计算其相似性公式为：

Sk(P,M)表示图像P与图像M按特征k计算出的相似度，δ为反馈负例的权重系数，起始为1/k，因反馈负例不聚类，加入反馈有时不能提高系统检索性能，故具体应该根据反馈前后的系统检索性能进行调整。

由上述公式算出的相似度按降序排列即为此次反馈后的检索结果，根据需要返回相似的N幅图像，供用户评价。

第二次及以后各次反馈后的检索计算，我们用以下公式进行简化，实验证明，使用简化公式并不降低反馈后的检索性能。

INP表示此次反馈的正例集合与上次反馈的正例集合之差，即本次检索出而上次没有检索出的图像集合。

4 实验及结果分析

为了客观地评价显著性特征的相关反馈方法的性能，我们与Rui所提出的经典算法进行比较，并在此基础上进行了编程实现。考虑到用户的耐心程度，本实验只进行三次反馈。通过大量检索实验，结果如图所示：

图1 两种相关反馈算法检索性能比较

从图中分析看出，本文提出的基于图像显著性特征的反馈方法在三次反馈后，检索性能平均提高34%—41%。

5 结束语

本文首先对相关反馈（relevance feedback）进行阐述，然后提出的基于图像显著性特征的反馈方法，并给出具体算法加以实现，最后与Rui所提出的经典算法进行比较。通过实验加以验证，基于显著性特征的相关反馈算法比Rui所提出的经典算法检索的性能有了很大提高，结果更加准确。