基于内容的图像检索相关反馈

杜飞

（商丘师范学院，河南 商丘 476000）

基于内容的图像检索相关反馈

杜飞

（商丘师范学院，河南 商丘 476000）

随着多媒体、网络技术的迅速发展,图像信息的应用日益广泛,对规模越来越大的图像数据库、可视信息进行有效的管理成为迫切需要解决的问题,灵活、高效、准确的图像检索策略是解决这一问题的关键技术之一。

图像；检索；反馈

随着多媒体、网络技术的迅速发展,图像信息的应用日益广泛,对规模越来越大的图像数据库、可视信息进行有效的管理成为迫切需要解决的问题,灵活、高效、准确的图像检索策略是解决这一问题的关键技术之一。传统的图像检索基于文本方式,使用关键字或自由文本描述图像数据库中的每幅图像,采用文本匹配检索。但目前计算机视觉技术还不成熟,达不到对图像的描述性关键字和语意信息的自动提取,而人工提取一方面费时,另一方面带有主观性;同时,图像的某些可视信息,例如纹理、形状等,很难用文本准确描述。因此,人们提出了基于图像内容的图像检索(CBIR)技术。这种技术由机器自动提取包含图像内容的可视特征:颜色、纹理、形状、对象的位置和相互关系等,对数据库中图像和查询样本图像在特征空间进行相似匹配,检索出与样本相似的图像。此技术的核心是包含图像内容的可视特征,称为基于内容的图像检索技术。基于内容的图像检索融合了图像理解、模式识别等技术,克服了传统检索方法的缺陷,具有无法比拟的优越性,该技术的研究已成为当前的热点。

一、在图像检索相关反馈方面国内外的研究情况

目前比较流行的相关反馈图像检索方法有以下几种:（1）基于前向传播神经网络(简称FP神经网络)进行自学习的图像检索方法。（2）基于支持向量机的相关反馈图像检索算法。（3）异种特征的组合查询和相关反馈。

二、系统总体设计

本系统主要是由检索与反馈两部分组成。系统开始时进行图像的特征提取，然后进行相似匹配，返回匹配结果时要由用户判断是否满意，如果满意则输出结果程序终止，若不满意则根据反馈特征信息重新调整相似匹配特征再次进行形似匹配，最终达到用户满意。

本系统运用了异种特征的组合查询和相关反馈技术，与其他反馈算法相比，有效地增强了CBIR系统的灵活性，改进了系统的检索性能。使用异种特征的组合查询的关键在于正确设定个别特征的权重，该方法对复杂图像的检索性能有明显的改善。当用户使用不恰当的特征权重值来组合查询时，系统能够通过相关反馈技术来调整特征权重值，能够更加有效地组合异种特征来提高系统检索的准确性。反馈的次数没有限制，原则上直到用户满意为止，但一般使用三次反馈就已经接近能获得的最优性能。

三、数据库的建立和连接

本系统的数据库是在Access 2000下建立并连接的。Access 2000作为Office 2000的有机组成部分，与其他组件共同组成Office 2000家族，为办公软件提供了相当完善的解决方案。Access 2000提供了表生成器，查询生成器、报表设计器等许多便捷的可视化操作工具以及数据库向导、表向导、查询向导、窗体向导、报表向导等众多向导，这些工具和向导为构造功能完善的数据库管理系统提供了极大便利。对于初级用户和简单应用，不必编写任何代码，只需通过直观的可视化操作就能完成大部分数据管理任务。同时，Access 2000为专业数据库开发人员提供 Visual Basic for Application (VBA)程序设计语言，完善兼容Visual Basic，便于高级用户开发完善界面丰富多彩的面向对象的数据库管理系统。本系统需要事先在Access 2000中建立一个用来存放图像特征的特征数据库，该数据库命名为Mydb，在“我的文档”数据库中新建“数据表视图”命名为“Pictureprop，先在Windows中注册，因为未经注册的数据库是不能够被程序调用的。

创作步骤如下：

1.进入Access 2000选择建立一个空的Access数据库。

2.命名为Mydb存放在“我的文档”中，单击创建。

3.在数据表视图中新建一个名为Pictureprop的数据表视图。并将事先已经提取好的图像特征存入表中。

4.在控制面板中，可以找到一个叫ODBC数据源的可执行命令，双击该命令后弹出一对话框，选择“Microsoft Access Driver(＊.mdb),单击完成。在弹出的对话框中的“数据源名”中写入刚刚创建的Mydb后，该数据库的创建和注册已经完成。

四、相关反馈算法的简介

在很多情况下，用户的查询目标很难通过一幅或几幅示例图像来精确表达。检索系统需要一种手段以更大程度地利用用户的知识来辅助查询。信息检索领域的研究已经证明：让用户交互式地参与检索的整个过程，使系统充分利用用户的知识能力，可以明显地改进检索的性能。相关反馈就是一种由用户指引计算机去找到相关信息的机制。其过程是，系统按用户的查询要求检索出一组图像返回给用户。用户浏览结果集合，挑选出满意和不满意的结果，并把对结果的评估反馈给系统，系统从用户的标注中分析用户的查询需要，并自动调整查询特征形成一个新的查询。如此循环，直到用户满意查询结果为止。可见，它是一个逐步精益求精的过程，通过特征调整、重新匹配的循环过程来定位用户所期望的图像。用户不必负责分配特征的权重值，只要告诉系统对检索到的图像满意或者不满意即可。系统通过分析用户的反馈来了解用户最感兴趣的是哪些特征，并在检索过程中通过动态调整特征的权重值来精化查询。

下面将讨论如何根据用户的相关反馈来调整特征权重。设用户的组合查询中组合了r种特征，系统基于单个特征检索出K个最相似的图像集合：

用户的反馈信息Score=[Scorel,……Scorei，……Scorek]返回给系统。

系统要根据用户反馈重新计算特征fj的权重值wj，该值应该反映出特征fj的检索与用户的检索需求之间的对应程度。

系统首先求出RTj中的第i个图像的相关系数：如果出现在RT中则，就等于用户为该图像指定的相关系数；如果落在RT之外，我们就认为它是部分相关的其为0特征fj的权重值wj按以下公式来计算：

可以看出，当同时出现在RTj这两个图像集合中的相关图像数目越多时，特征fj的权重值wj就越高，也就是说，特征越能反映用户的信息需求，在检索过程中的重要性越大。系统按照计算出来的权重值重构查询特征，进行下一次检索。重复以上过程，查询被逐渐精化而接近用户的期盼。

1.相关反馈算法的具体实现

（1）基于纹理检索

在数据库中的图像每个图像有14个属性，前7个为纹理属性，后7个为形状属性。定义了一个二维数组data[50][14]用来存放数据库中的图像属性。对于已经打开的示例图像的属性存放在prop[14]数组中。首先在代码的最开始定义一些变量。

（2）基于形状检索

数据库中图像与示例图像形状差值

然后对数据库中的图像与示例图像的差值进行比较排序，比较出差值最少的5幅图像作为形状检索最接近的5幅图像。这样就可以获得纹理和形状2组检索后最接近的图像代号。

（2）纹理+形状综合检索

（4）获取权重值

获取权重值的过程包括将用户的反馈信息传达给系统→分析用户的反馈信息→通过比较算出重新分配的权重值。

程序流程图如下：

因为在窗体上定义了10个按扭，在每幅图像下面有（yes和no）两个选项，用户可以选择图像是否满意。自定义的变量number表示最终用户所满意的图像的个数，k则表示用户不满意的图像的个数。通过以上比较，可以最终确定用户满意与不满意的图像个数和图像对应代号。

2.按照重新分配的权重值重新检索

重新检索的过程实际于基于（纹理+形状）的过程和做法很相似，并且在最终排序过程时根据用户已经给予肯定的图像数目进行削减。假如用户在第一次检索中已经选择了3幅图片可用，那么在二次再检索中只要在检索出2幅最相似的就可以。

3.多次检索反馈最终达到满意的结果

如果两次检索还不能够达到用户满意的结果，那么可以多次检索不断修正特征权重值来达到最终用户满意的结果。

TN

A

1673-0046（2010）5-0165-02