基于内外边缘颜色特征的图像检索算法

郑秋梅， 王红霞， 闵利田

（中国石油大学计算机与通信工程学院，山东 东营 257061）

基于全局颜色直方图的图像检索算法考虑了图像的整体颜色，较为简便和直观，但忽略了图像目标和背景的主次关系。为了能够突出图像的主体部分，本文将边缘检测技术应用到基于颜色特征的图像检索中，提出了一种基于内外边缘颜色特征的图像检索算法（Edge Color-Based Image Retrieval，简称ECBIR）。ECBIR算法运用数学形态学方法提取图像的边缘信息，即在结构元素的选取时，内边缘采用多尺度多结构元素的方法，外边缘采用单一结构元素的方法。通过这种方法提取内外边缘信息，突出了图像边缘在图像检索中的重要作用，使代表图像主体的内边缘信息比代表背景部分的外边缘信息比重大，并且更加精确；然后根据边缘信息分别提取位于内外边缘处的颜色特征，合成新的特征向量，并以此作为图像相似性度量的依据，进行图像检索。ECBIR算法较全局颜色直方图算法，在查全率和查准率上有了很大的提高，同时减少了数据库中颜色特征的存储空间。

1 利用数学形态学提取图像内外边缘信息

边缘是图像最基本的特征，它包含了图像绝大部分有用信息，图像的边缘处理是图像分析中一项重要的预处理技术。数学形态学是一门新兴的、以形态为基础对图像进行分析的学科[1]，它以严格的数学理论和几何学为基础，算法简单、可并行处理、速度快、易于硬件实现的同时，能较好的保持图像的细节特征，较好的解决了边缘检测精度与抗噪性能的协调问题。因此，本文利用数学形态学提取图像内外边缘信息。

图像的内外边缘代表的意义不同，内边缘代表目标部分，外边缘代表背景部分，ECBIR算法对内外边缘信息区别对待，采用两种不同的方法来提取图像的内外边缘信息，为了突出图像主体部分，ECBIR算法加大了内边缘信息的权重，来加强图像主体对检索的贡献。这也是ECBIR算法的核心所在。在内边缘提取方面，采用了一种基于多尺度多结构元素的数学形态学图像边缘检测算法，该算法构造了5个不同的结构元素，应用数学形态学的腐蚀算法进行加权运算，得到了图像5个方向不同宽度的内边缘信息，然后通过加权平均将这5个边缘信息合成图像最终的内边缘，为基于颜色特征的图像检索做准备；在外边缘提取方面，采用基于3×3方形结构的数学形态学膨胀算法，这种方法实现简单，且运行速度较快。通过以上方法提取的图像内外边缘信息，内边缘信息比重较大，并且比较精确，突出了内边缘代表的目标部分。

1.1 内边缘特征的提取

ECBIR算法通过数学形态学的方法提取图像的边缘信息，考虑到图像内外边缘的重要程度不同，通过不同的方法提取内外边缘信息，赋予不同的权重。鉴于内边缘的重要性，采用了以下方法：① 采用多结构元素，提取不同方向的内边缘信息；② 采用多尺度方法，提取较粗的边缘；③ 增大了内边缘对应的目标部分的权重，突出图像的主体。

内边缘特征提取的步骤如下：

（1） 内边缘检测算法

通过下述算法[2]提取图像P的内边缘eI(P)：B为结构元素集合，首先令P被B腐蚀，然后求图像P与它的腐蚀的差

（2） 基于多结构元素的内边缘提取

兼顾到图像不同方向的边缘，结构元素B设计为4个3×3模板，分别是

B1= [0 1 0; 0 1 0; 0 1 0]

检测图像垂直方向边缘

B2= [0 0 0; 1 1 1; 0 0 0]

检测图像水平方向边缘

B3= [0 0 1; 0 1 0; 1 0 0]

检测图像与水平夹角 °45 边缘

B4= [1 0 0; 0 1 0; 0 0 1]

检测图像与水平夹角 °135 边缘

此外，考虑到检测图像不同方向的边缘，设计结构元素B5= [0 1 0; 1 1 1; 0 1 0]；

分别用上述5种结构元素对图像进行(1)中的形态学梯度运算，将5个检测结果进行加权平均，即可得到尺度n=1下图像的边缘Ef1。考虑到图像各个方向边缘出现的概率，将水平和垂直方向边缘的加权系数设为0.1， °45 边缘和 °135 边缘的加权系数设为0.2，无方向边缘的加权系数设为0.4。

（3） 基于多尺度的内边缘提取

采用的多尺度结构元素定义如下（Bi为(2)中定义的5种结构元素）

式中 n为尺度参数，是一正整数，即大尺度的结构元素由小尺度元素经过膨胀运算得到，一般膨胀2～5次即可，考虑到计算量和运行速度，本文将各个结构元素膨胀2次。

对(2)中所取5个结构元素按照多尺度结构元素的定义进行膨胀[3]。

当n=2时，

分别用上述5种结构元素对图像进行(1)中的形态学梯度运算，将5个检测结果进行加权平均，即可得到尺度n=2下图像的边缘Ef2。加权系数的选择同(2)中的加权系数。

当n=3时，

分别用上述5种结构元素对图像进行(1)中的形态学梯度运算，将5个检测结果进行加权平均，即可得到尺度n=3下图像的边缘Ef3。加权系数的选择同(2)中的加权系数。

（4） 多尺度边缘检测图像的合成

1.2 外边缘特征的提取

鉴于外边缘对应的背景部分对人们的视觉影响较小，外边缘的提取采用简单、速度快的单一结构元素。

结构元素B采用3×3全“1”集合，首先令P被B膨胀，然后求图像P的膨胀和图像P的差

1.3 简化边缘信息

为了使提取的内外边缘更好的为检索做准备，需对提取的边缘信息做简化。

首先调整内边缘图像的对比度，再对图像进行二值化，图像中像素值为“0”的点，位于图像的内边缘上；外边缘图像的处理与内边缘相同。

2 颜色特征的提取

2.1 颜色空间的选取与量化

由于传统的RGB 颜色模型的可分辨色差是非线性的，且没有直感，采用常用的面向视觉的适合肉眼分辨的HSV颜色模型。一幅图像包含的直方图矢量的维数会很多，所以对HSV空间进行适当的量化以减少计算量。由于人眼对色调、饱和度和亮度的感知不尽相同，对色调比对饱和度和亮度敏感，因此对这3个分量进行非等间隔量化：将色调H分成16份，饱和度S和亮度V分成4份，然后将3个颜色分量合成为一个一维矢量：L= 16 H+4S+V ，将HSV空间被量化为256种颜色。量化后再计算直方图，计算量会少得多。

2.2 基于边缘分布信息的颜色特征的提取

根据第1节，完成图像内外边缘信息提取后，就可以进行颜色特征的提取了，首先，扫描其内边缘的像素点，若该像素点的值为“0”，则提取该像素点的RGB值，并将从RBG颜色模型转换到HSV颜色模型，对HSV模型量化后计算颜色直方图；其次，依照扫描内边缘的步骤，对外边缘进行扫描，提取外边缘的颜色直方图。将依据内外边缘提取的颜色直方图，合成新的包含空间信息的特征向量。ECBIR算法生成的颜色直方图信息，由于内边缘比外边缘的比重大，因此颜色特征中内边缘的颜色特征也就比外边缘比重大，突出了图像的主体部分。

2.3 相似性匹配

依据人眼对内外区域的关注程度是呈线性递减分布的计算权值的理论公式[4]，设X为关键图像，Y是图像库中的一幅图像。设两幅图像的 颜色特征向量分别为X=( x1, x2, … , xn)与Y=( y1, y2, … , yn)，两幅图像的相似性度量采用 直方图相交[5]的方法计算

n=256，表示在HSV空间中量化后直方图的矢量维数。 ),( yxD ]1,0[∈ ，它的值越大，则两 幅图像越相似。

3 实验结果分析

ECBIR算法中基于数学形态学的边缘特征提取部分，是通过Matlab批量处理的，对图像进行预处理，提取的图像内外边缘信息，再使用VC++6.0实现了一个基于不同权重的内外边缘提取图像颜色特征的图像检索系统。实验使用的图像库是SIMPL Icity[6]系统使用的测试集，从Corel图像库中抽取的1000幅图像，这些图像分属10大类，每类100幅。内容包括非洲人、海滩、建筑物、公共汽车、恐龙、大象、花卉、马、山脉和食物等。

下面的实验是采用全局颜色直方图的方法和本文的基于权重提取图像内外边缘颜色特征的图像检索方法(ECBIR)两种检索方法的结果对比图，以关键图中的公交车为待检索图像，取两例图像按其相似程度排列的前14幅图像检索的结果，其中第一幅为关键图（待检索图像），文本框中的数据是各图像与关键图的相似度值（见图1，图2）。

图1是全局颜色直方图的对于公共汽车的检索结果，因为其没有考虑边缘分布信息，前14 幅的查准率为92%。图2是使用本文算法―基于内外边缘颜色特征的图像检索结果，前14幅图像的查准率为100%。因此，本文提出的ECBIR算法，返回了与关键图边缘和颜色分布上更接近的结果，为了进一步说明ECBIR算法的优越性，采用检索的准确率(Precision)和查全率(Recall)[7]作为评价标准，与全局颜色直方图的图像检索进行比较。

为了突出ECBIR算法对于目标鲜明图像检索的优越性，本文选取了图像库中五类目标比较突出图像，每类图像抽取10幅，记录每一幅查询图像的当查全率分别为5%，10%，15%，20%，25%，30%，35%，40%，45%，50%时相应的查准率，最后取平均值,得到准确率―查全率曲线，如图3～图7所示。

图1 全局颜色直方图的检索结果

图2 本文算法―基于内外边缘颜色特征的图像检索

从对公共汽车、恐龙、大象、花卉和马这五类主题比较鲜明的图像的结果可以看出，图像中目标物体占的比重越大，背景部分占的比重越小或者是背景部分越单调，本文的ECBIR算法检索的准确率都比较传统的基于直方图的检索方法准确率有很大的提高，恐龙图像就是很好的证明，当查全率是40%时，查准率仍然是100%。

为了进一步说明ECBIR算法的优越性，采用检索的准确率(Precision)和查全率(Recall)[7]作为评价标准，与全局颜色直方图(Global histogram，简称GH)的图像检索进行比较。

图3 ECBIR 和GH 在公共汽车类图像中的查准率比较

图4 ECBIR 和GH 在恐龙类图像中的查准率比较

图5 ECBIR 和GH 在大象类图像中的查准率比较

图6 ECBIR 和GH 在花卉类图像中的查准率比较

图7 ECBIR 和GH 在马类图像中的查准率比较

4 结 论

（1） 基于内外边缘颜色特征的图像检索算法(ECBIR)，解决了全局颜色直方图无法反映颜色空间分布信息的缺陷，在提取颜色特征时，加大了内边缘对应的目标部分的比重，更加符合人眼识别图像的要求。检索结果表明，ECBIR算法较全局颜色直方图方法，在查全率和查准率方面都有了很大的提高。

（2） ECBIR算法只提取边缘像素点的颜色特征，而不是整幅图像的颜色特征，这样一来就减少了特征向量的存储空间，图像库规模越大，ECIBR算法的优越性体现的越明显。

（3） 由于进行图像检索时，只提取和匹配边缘部分像素点的颜色特征，加快了图像检索系统的响应时间。

[1] 章毓晋. 图像处理和分析基础[M]. 北京： 清华大学出版社, 1999. 151-190.

[2] 阮秋琦. 数字图像处理学[M]. 北京： 电子工业出版社, 2003. 429-455.

[3] 陶晓勋, 安 如, 周绍光. 基于多尺度形态梯度的灰度图像边缘检测[J]. 遥感应用, 2007, (1)： 58-62.

[4] 杨关良, 李忠杰, 徐小杰. 基于颜色-空间的图像检索算法[J]. 工程图学学报, 2005, 26(3)： 51-53.

[5] Swan M J, Ballard D H. Color indexing [J].International Journal of Computer Vision, 1991, 7(1)： 11-32.

[6] Wang J Z, Li J, Wiederhold G. SIMLPL Icity：Semantics sensitive integrated matching for picture libraries [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(9)： 947-963.

[7] Smeulders AW M, Worringm, Santini S. Content-based image retrieval at the end of the early years [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2000, 22(12)： 1349-1380.