数字图书馆中的CBIR系统构建研究

基金项目：国家社科基金重大资助项目“图书、博物、档案数字化服务融合研究”（项目编号：10&ZD134）。

作者简介：师文（１９８４－），男，博士研究生，研究方向：计算机视觉、模式识别、多媒体信息处理。•信息资源开发与利用•

〔摘要〕分析了CBIR系统的结构模式，探讨了基于形状特征的图像检索系统构建问题。重点研究了形状描述、特征向量索引以及特征相似性度量及匹配等相关技术，应用轮廓点与兴趣点之间的空间分布关系构造形状描述函数并提取图像特征。实验结果表明，系统在动物形状测试集中具有较高的检索效率。

〔关键词〕数字图书馆；基于内容的图像检索；形状分析；系统构建

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００８－０８２１．２０１４．０５．０１６

〔中图分类号〕Ｇ２５０７６〔文献标识码〕Ａ〔文章编号〕１００８－０８２１（２０１４）０５－００７９－０４

System Construction for CBIR in Digital LibraryShi Wen

（School of Information Management，Institute of Multimedia Information Processing，

Nanjing University，Nanjing 210093，China）

〔Ａｂｓｔｒａｃｔ〕In this paper,the structure pattern of CBIR was analyzed,and the construction of shape-based retrieval system was discussed.The research mainly focused on the technologies of shape description,feature vector index and similarity measure and match.The contour and feature points were used in constructing the description function and extract the shape features.Retrieval results in the animal shape dataset showed the effectiveness of the system.

〔Ｋｅｙｗｏｒｄｓ〕digital library;content-based image retrieval;shape analysis;system construction

随着当今人们对信息资源共享要求的不断提高，以及互联网技术的快速发展，数字图书馆成了社会经济文化发展的必然产物。自20世纪70年代图书馆开始将计算机技术融入日常信息管理，到20世纪80年代图书馆自动化系统投入应用，图书馆正式开启了数字化改革的进程。随着当今网络通信技术的普及，数字图书馆的重要性日益凸显，其系统构成也向着分布式管理的高级阶段不断进步。在图书馆的数字化过程中，信息载体的数字化和信息传播的网络化是两个直接的技术动因。其中信息载体的数字化首先需要对各种形式的信息资源进行编辑、加工、组织以及存储，并在此基础上运用数字通信技术进行传递和共享。在数字化信息资源中，图像不仅是除文本之外使用最广泛的信息资源，而且是用来表示和检索视频等多媒体信息资源的基本要素［１］。这种情况下，数字图书馆中图像信息资源的检索技术［２－３］由于其广泛的应用领域和较高的应用价值，已成为国内外学者关注的热点和难点问题。

基于内容的图像检索（CBIR，content-based image retrieval）技术自上世纪末提出以来，就受到国内外学者的广泛关注［４］。美国国家科学基金会于1994年正式发布了一项为期4年、耗资2 440万美元的“数字图书馆创始”（DLI，digital library initiative）计划，其目标是推动收集、存储和组织数字信息的技术快速进步，并使数字信息得以通过网络被查询、检索和处理［５］。此举掀起了全球性的数字图书馆研究热潮，基于内容的图像检索技术也在其推动下迅速成了相关研究的热点。在基于内容的图像检索技术中，系统将图像的视觉内容作为图像特征用于匹配和检索，以获得更为完整和精确的检索结果。常用的图像底层视觉特征有颜色、纹理和形状［６－８］，其中图像的形状特征能够有效地描述人类视觉系统对图像内容的感知，并能够在相似图像的区分识别中提供具有重要价值的视觉线索［９］。

向用户提供基于内容的图像检索服务，作为数字图书馆现代化服务的基本内容之一，具有重要的研究价值。由于基于内容的图像检索系统涉及了多个学科的综合交叉，具有较高的复杂性，因此对系统构建问题进行研究是当今数字图书馆领域的重要课题。在上述讨论基础上，本文对CBIR系统的结构模式进行了分析，探讨了基于形状特征的图像检索系统构建。重点研究了形状描述、特征向量索引以及特征相似度匹配及度量等相关技术。基于上述研究，本文应用轮廓点与兴趣点之间的空间分布关系构造形状描述函数，通过傅立叶变换提取图像特征，并构建了图像检索实验系统。仿真结果表明，该实验系统在动物形状测试集中具有较高的检索效率。

１CBIR系统构建

作为人们传递信息的主要媒介，图像数据直观的映射了客观世界，具有极强的表现力并包含丰富的信息量，因此也是最难以获取、传输、处理与描述的信息表示形式之一。CBIR作为一种应用于数字图像的检索技术，由于其较强的学科综合性，成了一项及重要性与复杂性于一身的多媒体信息处理技术。在典型的CBIR系统结构中，检索行为主要通过图像视觉特征的匹配来完成在典型的CBIR系统结构中，检索行为主要通过图像视觉特征的匹配来完成。用户选择符合检索行为预期的示例图像作为检索条件，系统通过对检索条件的特征进行分析和匹配，查找与示例图像相似度较高的图像及相关内容作为检索结果，并按照相似度从大到小的原则返回用户。而且，由于人机交互的检索模式以及可视化的检索界面在CBIR系统中的广泛应用，用户检索行为的发起变得更为便捷，并能用户能够实时地的对检索结果进行评估和改进。CBIR作为一种集成技术，其研究内容涉及了图像预处理，形状特征描述及提取，特征向量索引，形状相似度匹配及度量等相关技术环节。图１显示了基于形状特征的CBIR系统结构。

图１基于形状特征的CBIR系统结构图

１１基于兴趣点的形状描述

在图像内容描述的研究中，图像的局部视觉特征在近年来逐渐成了该领域的研究热点［１０－１１］。研究表明，在图像内容的描述过程中，图像的局部特征具有优良的紧凑性以及鲁棒性。图像局部特征的提取通常由两个步骤组成，首先在图像中提取若干兴趣区域或者兴趣点，然后基于兴趣区域或者兴趣点建立用于描述图像特征的特定机制。其中，图像的兴趣区域与兴趣点可定义为图像中具有代表性且对各种图像变换有较强不变性的特殊像素点或者像素点集合。在基于兴趣点特征的检索算法中，算法首先应用兴趣点检测规则获取符合检索目的的兴趣点，并在此基础上应用局部特征描述函数获取兴趣点对应的图像特征。这些兴趣点通常是形状边界上的特殊轮廓点，常见的有：角点、曲率极值点、满足仿射不变性的点等。

endprint

１２特征向量索引

传统的特征向量索引技术包括Hash索引、B-tree索引、B+-tree索引等。数据库中的不同特征具有独立的属性值，如果在某一特定时间只有少部分属性值被数据库调用，那么此时较适合使用hash索引。应用hash索引的寻址技术具有较高的检索实时性，在大数据量环境下，该类技术通常使用开放地址法和拉链法来避免数据冲突。Hash索引适合于检索某个位置确定的记录，当需要检索某个范围内的记录时，Hash索引则不能较好的发挥作用。此时，通常使用B-tree索引与B+-tree索引来满足检索需求。B-tree指多路平和检索树，作为一种常见的数据结构，B-tree能够明显加快定位记录时的中间过程，从而提高存取效率。该方法适用于磁盘等存储设备，能够有效组织动态查询表，而且已经广泛地应用于关系型数据库中。在B-tree中，除了根节点以外的所有节点都可以作为数据点，与此不同，B+-tree只将叶节点判定为数据点，因此B+-tree较适合与只关注一种属性的图像索引。R-tree及其改进方法R+-tree和R*-tree是一类能够检索具有多维属性图像的索引方法。R-tree方法中的重叠率对高维特征较为敏感，当R-tree检点中出现过多的空间重叠和死区时，该类方法的检索性能会显著下降。

传统的树形索引技术并未将非欧氏距离度量问题作为研究的重点，然而在CBIR中存在着许多非欧氏距离度量的相似度算法，因此传统的特征向量索引技术并不能完全适用于CBIR系统。这种情况下的在CBIR系统构建中，可以在模式识别领域中的神经网络以及聚类方法中寻求解决方案。在相关研究基础上，研究者提出了诸如M-tree、Slim-tree等度量空间的索引结构，从而解决了非欧氏距离度量的问题。为了将图像内容检索转化为高维空间点集的最近邻检索，研究者还提出了高维索引技术。当前CBIR系统多基于大规模的图像数据库，单一的线性检索方法难以满足实时检索的需求，因此在特征库中应用相似索引技术构建特征索引结构，可以实现基于相似性的高维特征向量检索。

常用的高维索引技术可以分为两种：（１）控制图像特征的维度［１２］；（２）控制访问数据集［１３］。控制图像特征维度可以通过降维和向量近似（VA，vector approximation）技术［１４］来实现。基于降维的索引方法首先通过对数据集的降维操作来减少数据维度，然后利用多维索引技术在降维数据基础上生成索引。向量近似技术使用紧致性较高的近似向量来表述初始特征，并对近似向量进行过滤处理，使得查询过程只需访问少量初始特征向量就能够完成，有效提高了检索效率。控制访问数据集可以通过限定语义范围或者聚类索引的方法来实现。限定语义范围法需要查询者对数据库的语义标注信息有一定了解。在聚类索引法中，某一聚类中的特征向量能够存储在连续的磁盘空间中，从而显著地提高检索效率。

１３形状相似性度量及匹配

CBIR系统的核心环节图像特征的相似性度量及匹配是决定了整个系统的检索效率。形状匹配是通过度量形状间的特征来实现的，是形状检索的重要环节之一。在形状相似性度量的过程中，应针对形状特征以及应用环境的不同，选择相适应的相似性度量方法。在匹配算法中，基于内容的图像检索系统通过相应的相似性度量方法对查询形状特征以及数据库中的形状特征进行运算，对于得到的结果进行排序，并将与结果对应的形状序列返回给查询用户。因此，形状的相似性度量问题从本质上说，是探讨如何用数值来表征形状相关程度的问题。在常见的图像检索系统中，形状的特征相似性度量方法主要分为距离度量和相似系数度量两大类。

距离是评估图像间差异度最直观的测度之一，形状间的距离度量方法应用距离函数来计算两个形状特征的距离相关性。如果设ｄｉｊ表示第ｉ个样本与第ｊ个样本间的距离，则对于任意ｉ，ｊ和ｋ，ｄｉｊ需满足如下条件：

Ⅰ．自相似性：ｄｉｉ＝ｄｊｊ＝０

Ⅱ．非负性：ｄｉｊ≥ｄｉｉ＝０，当且仅当ｉ＝ｊ时，ｄｊｊ＝０；

Ⅲ．对称性：ｄｉｊ＝ｄｊｉ；

Ⅳ．三角不等性：ｄｉｊ＜ｄｉｋ＋ｄｋｊ。

上述条件共同组成了距离公理的内容，应用于图像距离度量的公式，一般需满足距离公理的要求。

２系统实现中的算法分析

在系统设计中，查询接口是与用户直接互动的系统模块，基于内容的图像检索技术无须用户通过个体认知来描述检索目标的含义，而只需用户提供检索图像，由系统理解并提取图像特征，以此作为检索条件来取代关键字检索。由于机器提取特征具有较强的客观性强，且能够与数据库中的图像特征提取准则高度统一，因此更符合图像信息资源检索的需求。在形状特征的描述过程中，通过建立兴趣点和轮廓点之间的分布特征函数，来提取目标的特征。应用基于特征向量索引技术的特征相似性度量方法，计算示例图像与数据库中图像间的欧氏距离，并最终返回检索图像序列。本文的系统框架如图２所示。图２系统框架图

本文系统框架中所涉及的技术流程可描述如下：

Step 1：应用用户上传示例图像的方式构建用户查询模块。

Step 2：在图像描述模块中，应用图像的形状特征描述方法实现基于内容的图像检索，在目标轮廓提取的基础上扫描轮廓像素点｛Ｘｉｉ＝１，２，…ｎ｝，其中n为轮廓像素点总数。通过分析轮廓的曲率特性获取反应目标形状特征的兴趣点｛Ｐｉｉ＝１，２，…ｍ｝，其中m为轮廓兴趣点数，并建立轮廓点与兴趣点间的位置关系函数Ｆ（Ｘｉ，Ｐｉ）。

Step 3：应用Fourier描述方法提取图像的匹配特征。

Step 4：在匹配环节中，采用欧式距离进行图像特征的相似度测量，完成图像的形状特征信息匹配，最后按照特征相似度的降序排列返回数据库中的相关图像序列，作为最终的查询结果。

３系统实验分析

实验平台采用Intel Core2 Duo 226 GHz处理器、4GB内存的PC机，以及MATLAB 71开发环境下完成。实验系统搜集了30个不同类别的动物标本图像，对搜集到的标本图像进行50%～100%的尺度规格化，平移定长距离图，旋转0～360度的角度图。经上述仿射变换后，得到了600幅图像的数据集，其中每种标本包含20个类间图像。在此基础上，实验中还从MPEG-7标准数据集中选取了5个与标本图像相关的类，每类包含20个类间图像。图３显示了部分来自于实验数据集的图形样本。

图３系统数据集中的部分样本

系统参数设置中，为了提高算法实时性，实验图像被统一采样为128个像素点。通过特征向量的维度控制，减少傅里叶高频系数带来的噪声干扰，并实现目标整体形状细节的描述。在本文系统中，测试了3种图像描述方法，包括兴趣点空间关系，以及经典算法中的Zernike矩和Hu矩方法。图４显示了3种图像描述方法算法在检索实验中的P-R（Precision、Recall）曲线。

图４系统P-R曲线测试结果

图５显示了以horse类中的一幅图像作为检索图像时，实验系统检索得到的结果图像。可以看到，在前20幅返回结果图像中，与检索图像相似的为15幅，出现了5幅误检现象，并由深色检索框进行标记。进一步分析可知，在结果返回的前10幅结果图像中，只有第2幅为误检图像，且前3幅返回结果均为正确检索图像，体现了实验系统较高的检索效率。图５系统实例测试结果

４结束语

本文分析了基于内容的图像检索系统的结构模式，并进一步讨论了基于形状特征的图像检索系统构建。在形状检索系统涉及的相关技术中，重点研究了形状描述、特征向量索引以及特征相似度匹配及度量等。在技术研究的基础上，通过建立轮廓点与兴趣点之间的空间分布关系来进行图像内容描述，应用傅立叶变换提取图像特征，实现了图像检索实验系统的构建。在动物标本图像测试集中，本文方法较之两种经典检索方法效果更优，显示了较高的检索效率。

endprint

参考文献

［１］熊回香.Internet上的图像信息检索技术［Ｊ］.情报学报,2005,24（2）:222-227.

［２］朱学芳.数字图像信息资源开发及管理［Ｊ］.中国图书馆学报，2002，（6）:36-38.

［３］Premachandran V,Kakarala R.Perceptually motivated shape context which uses shape interiors［Ｊ］.Pattern Recognition，2013，46（8）:2092-2102.

［４］Aptoula E,Lefèvre S.Morphological description of color images for content-based image retrieval［Ｊ］.IEEE Transactions on Image Processing，2009，18（11）:2505－2517.

［５］朱强.数字图书馆：21世纪图书馆的原型——美国“美国图书馆传世计划”简介［Ｊ］.大学图书馆学报，1995,（4）:50-54.

［６］Datta R,Joshi D,Li J,Wang J-Z.Image retrieval:ideas,influences,and trends of the new age［Ｊ］.ACM Computing Surveys，2008，40（2）:1－60.

［７］Van De Sande K-E-A.,Gevers T,Snoek C-G-M.Evaluating color descriptors for object and scene recognition［Ｊ］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（9）:1582－1596.

［８］Manjunath B-S,Ma W-Y.Texture features for browsing and retrieval of image data［Ｊ］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，18（8）:837－842.

［９］Wang B.Shape retrieval using combined Fourier features［Ｊ］.Optics Communications，2011，284（14）:3504-3508.

［１０］Shu X,Wu X-J.A novel contour descriptor for 2D shape matching and its application to image retrieval［Ｊ］.Image and Vision Computing,2011,29:286-294.

［１１］王斌.一种用于形状描述的拱高半径复函数［Ｊ］.电子学报,2011,39（4）:831-836.

［１２］Weber R,Schel H,Blott S.A quantitative analysis and performance study for similarity-search methods in high-dimensional spaces［Ｃ］.Proceedings of the ACM Very Large Data Bases,New York,1998:194-205.

［１３］Ferhatosmanoglu H,Tuneel E,Agrawal D,et al.Vector Approximation based indexing for non-uniform high dimensional data sets［Ｃ］.proceedingsof the 9th ACM International Conferenee onI nformation and Knowledge Management,MeLean,Virginia,USA,2000:202-209.

［１４］Ye H-J,Xu G-Y.Fast Search in large-seale image database using vector quantization［Ｃ］.Proceedings of the International Conference on Image and Video Retrieval,Lecture Notes in Computer Science,Urbana,USA,2003:458-467.

endprint