基于颜色特征和空间特征的图像检索

孙晓飞，潘文文，王 霞

(枣庄学院信息科学与工程学院，山东枣庄277160)

0 引言

随着社会和科技的发展，各种图像采集设备获取到图像数量巨大、种类繁多。图像检索是有效利用海量图像数据的前提，也是当今研究的热点。当前主要有基于文本的图像检索和基于内容的图像检索两大类。基于文本的检索方式反应迅速但效果不佳，这是由于该方式是检索图像对应的说明文字，而不是图像本身。基于内容的图像检索方式将图像本身的语义内容提取出来形成检索特征[1－8]，可以更真实代表图像本身，搜索结果也更精确，因而越来越受到重视。文献[9]提出一种基于视觉一致性的图像检索技术，通过颜色量化简化图像，通过连通性进行分区融合，从而达到图像分割的目的，通过分割后的的区域颜色特征、面积特征、连通性特征进行图像检索，对于颜色相似的图像检索效果较好。文献[10]提出一种将颜色和形状特征共同构建混合不变量的特征描述方法，并用于图像检索，这种方法对于颜色和形状两种特征的使用较为合理，不是简单将两种特征加权使用，从而可以获得较好效果。文献[11]提出一个改进的Itti视觉注意模型，综合纹理特征和视觉感知关系构造粗糙度图，通过该改进模型得到50个特征图，然后采用局部二值模式傅立叶直方图方法获取高维特征，最后用局部保持投影方法降维以获取低维特征用于检索，该算法实现复杂，但效果较好。文献[12]提出一种基于多特征点平均矩特征的图像检索方法，根据图像的参照圆与形状主方向将图像划分为多个同心圆，在同心圆内确定一些特征点，使用一种基于多特征点平均矩特征来描述图像，该算法对商标等简单图像效果较好。文献[13]提出一种基于加权特征空间信息视觉词典的图像检索模型，考虑聚类过程中特征分布统计信息，提出一种均值加权方案，提高视觉词典的描述能力，获得了较好效果。这些方法计算量大，算法复杂，效果仍有很大的改进空间。

文中方法受Google感知哈希算法的启发，感知哈希算法的思想是:首先缩小图片的尺寸，以减少计算量，然后将图片转为64级灰度，将每个像素的灰度值与平均值比较，大于平均值则记为1，否则记为0。将上一步的比较结果组合在一起，就构成一个64位的图片指纹。通过将不同图片的指纹比对，判断图片的相似度。这种方法优点是简单快速，缺点是图片的内容不能变更，对图片稍作修改则无法识别。这是由于感知哈希算法对图像信息的保留太少，只保留大致的结构特征。文中采用一种分块的思想，达到保留足够结构信息的目的，从而获得好的检索结果。提出的图像检索算法首先将图像划分成10×10个子块，计算子块平均颜色值和空间位置作为检索特征，在减少计算量的同时保留了图像的颜色信息和空间位置信息，具有很好的检索效果。

1 基于分块的图像检索

将原图像划分为10×10个子块，计算子块平均灰度值gi和空间位置pi作为检索特征fi，共100组特征值，即一幅图像的特征集合 F = f1∪ f2∪ f3… ∪ f100，其中 fi= {gi，pi}，i=1，2，3…100，其中 pi=，即每个分区的空间位置特征为该分区质心与图片中心的欧式距离。计算两幅图像的差异，用相应分区的平均灰度距离进行度量，并以空间位置作为权值。对应分区之间的差异为:

其中 Di(Im，In)为图片 Im，In第 i个分区的差异值，dg(g(m，i)，g(n，i))为图片 Im，In的第 i个分区平均灰度值g(m，i)，g(n，i)之间的差值。两张图片Im，In之间的总差异如公式(2)所示，其中N为分区个数100。

选择公开的corel图像库，抽取其中5类，每类100张，共500张图片。为使统计结果具有普遍性和准确性，对这5大类500张图片均进行了处理，共500次检索。通过对这500次检索结果逐一计算各个查全率下的查准率，来获取平均查准率。通过公式(2)计算图片之间的差异，将检索结果进行排序，越靠前则与待检索图片的相似度越高。图1为大象和马的检索结果，可见排在前50位的检索结果正确率较高，算法对于恐龙和花检索效果更佳。检索结果混杂了形状相近的其他分类的图像，这是由于该方法使用灰度图进行检索，虽然保留了图像的结构特征，但颜色特征不足。

图1 基于分块的搜索结果

文中使用的查准率分为两种情况:确定查全率的查准率和确定检出结果数量的查准率，第一种情况的查准率为

其中nr为查全率为r时检出的正确结果数量，Nr为此时检出的结果总数。文中使用式(4)计算查全率，其中n为此次检出的正确结果数量，C为每类图片的总数量100。分别计算了查全率为10%、20%、30%、40%、50%时5大类图片的查准率。

第二种情况使用式(5)计算检出相应数量结果时的查准率，其中n为此次检出的正确结果数，F为检出的结果数量。分别计算了检出图片数量为10、20、30、40、50时5大类图片的查准率。

通过大量实验，统计5大类图像在两种情况下的查准率，如图2所示。图2(a)中恐龙的查准率保持在100%，方法对于背景比较简单的图像，识别率非常高。花朵的查准率没有明显下降趋势，在图片前景形状较固定的情况下，该方法表现优秀。马的平均查准率较高，对于前景大小适中，即使颜色变化较大的图片，准确率也较高。公共汽车类前景占图片总面积的比例很大，前景颜色的改变对本方法影响很大，故表现不佳。通过对比发现，方法对于形状的辨认准确率优于颜色。

图2 2种情况下的查准率

2 算法改进

使用灰度计算两幅图像的差异，虽然能够有效保留图像的明暗和结构信息，但对颜色不够敏感，用相应分区的平均颜色距离进行度量，并以空间位置作为权值，以克服这种缺陷。对应分区之间差异的计算方法为:

其中 dc(c(m，i)，c(n，i))为图片 Im，In的第 i个分区平均颜色c(m，i)，c(n，i)之间的差值。通过实验发现，采用街区距离可以在精度不变的情况下简化运算，提高效率。pi为第i个分区质心与图片中心的街区距离:

改进后的算法加入了颜色特征，从而能带来更好的准确性。如图3所示，改进后绝大多数图片均有较好的查准率。

图4为改进后大象和马的检索实例，准确率比改进前有明显提高。图4(a)为大象类搜索结果，此类图像前景目标较大，且与背景差异不够明显，但在算法改进后检索效果也较理想。图4(b)中马颜色、相对位置、大小等有相似之处，算法改进后能捕捉这些相似特征，达到好的检索效果。

图3 corel图像库在查全率40%时的查准率

图4 改进后的检索结果

改进后5大类图片的查准率如图5所示，可见比之前都有很大提高。随着查全率的提高，马类查准率基本保持在80%以上。花朵类的查准率呈现一条平展的直线，表明算法对于前景形状、位置相近的图片表现优秀且稳定。大象类的背景与前景相近且背景复杂，公共汽车类图片前景所占图片比例太大，前景的改变对图片空间结构特征、颜色特征影响巨大，但查全率40%之前的查准率都比较好。从图5(b)可以看出绝大部分图片在检出50个结果时都有较好的查准率，因而实用性较高。

图5 改进后算法的查准率

3 算法复杂度对比

相对于其他研究成果，文中算法有更低的时间复杂度。文献[3]的算法复杂度主要在预处理和计算图像块的差异两个阶段，对于给定宽W高H的图像，分块大小为n×n，其时间复杂度为O(L3)，其中L=(H/n)·(W/n)。文献[4]需要进行较多复杂计算，通过离散傅立叶变换将信号映射到频域时的复杂度K为O(K)，使用全部复系数对目标轮廓进行傅立叶重构时的复杂度为O(K)，使用部分系数对目标轮廓进行傅立叶重构时的复杂度为O(K)，其中K为轮廓像素数，同时还可以看到傅立叶变换本身就很复杂。文献[9]在计算每种颜色的连通性系数时需要较大的计算量，其时间复杂度为O(n2)，其中n为颜色种数32;文献[12]使用了7个Hu不变矩，而Hu不变矩的计算很复杂，比如文中所用的p+q阶中心距时间复杂度为O(N2)，其中N为图像像素个数。文献[13]的算法复杂度主要在于计算所有簇中特征点到聚类中心的距离均值和均方差，两者复杂度均为O(N2)，其中N为视觉词典中视觉单词的数量。文献[14]使用了模糊C均值聚类算法，其目标函数的时间复杂度为O(N2)，其中N为矩阵的阶。文献[15]采用曲波变换的能量谱的香农熵对图像预分类，其计算香农熵的时间复杂度为O(L)+O(J)，其中L是把2π等间隔划分的角度数，J是尺度数，该算法在特征提取时也有类似复杂度的计算。文中算法复杂度最高的为公式(2)，时间复杂度为O(n)，其中n为分区个数100，故算法的时间复杂度更低，有更好的时间性能。

4 结束语

文中提出一种综合明暗特征、结构特征的图像检索方法，首先将图像分块，这可以按比例获取图像的结构信息，再按块计算平均灰度，结合空间位置信息作为该图片的检索信息。通过大量实验发现算法对结构相似图片检索效果好，对颜色不够敏感，于是提出一种改进方法，使用分块平均RGB颜色结合空间位置描述图像以提高查准率，使用街区距离代替欧式距离以简化运算，提高效率。通过对5大类共500张图片进行实验，分别按查全率和检出图片数量计算10种情况下的查准率，共5000次统计，从而较准确验证了算法的有效性，证明算法有较高的查准率和实用性。今后研究的重点是进一步提高复杂背景以及前景面积较大两种情况下的检索准确率，并将算法应用于其他领域。

致谢:感谢枣庄学院科研计划青年项目(2011QN43)对本文的资助

[1] 黄祥林，沈兰荪.基于内容的图像检索技术研究[J].电子学报，2002，30(7):1065－1071.

[2] 邓诚强，冯刚.基于内容的多特征综合图像检索[J].计算机应用，2003，23(7):100－102.

[3] 韦伟，张功萱.基于HVS的多尺度显著性检测算法[J].计算机应用研究，2013，30(2):623－626.

[4] 师文，朱学芳.基于轮廓重构和特征点弦长的图像检索[J].软件学报，2014，25(7):1557－1569.

[5] 庄凌，庄越挺，吴江琴，等.一种基于稀疏典型性相关分析的图像检索方法[J].软件学报，2012，23(5):1295－1304.

[6] Kunttu I，Lepisto L，Rauhamaa J，et al.Multiscale Fourier descriptors for defect image retrieval[J].Pattern Recognition Letters，2006，27(2):123－132.

[7] Abbasi S，Mokhtarian F，Kittler J.Enhancing CSS-based shape retrieval for objects with shallow concavities[J].Image and Vision Computing，2000，18(3):199－211.

[8] Zhang DS，Lu GJ.Study and evaluation of different Fourier methods for image retrieval[J].Image and Vision Computing，2005，23(1):33－49.

[9] 贺广南，杨育彬，阮佳彬，等.基于视觉一致性的图像检索[J].中国图象图形学报，2011，16(4):503－509.

[10] 公明，曹伟国，李华.形状和颜色混合不变量在图像检索用的应用[J].中国图象图形学报，2013，18(8):990－1003.

[11] 黄传波，金忠.应用视觉注意多分辨率分析的图像检索[J].中国图象图形学报，2011，16(9):1656－1663.

[12] 黄元元，刘宁钟.利用特征点平均矩特征的商标图像检索[J].中国图象图形学报，2010，15(4):637－644.

[13] 董健.基于加权特征空间信息视觉词典的图像检索模型[J].计算机应用，2014，34(4):1172－1176.

[14] 张静，许高峰.基于优化分块颜色直方图及模糊C聚类的彩色图像检索方法[J].计算机工程与科学，2011，33(8):106－111.

[15] 李健，牛振山.基于曲波的纹理图像检索系统的设计与实现[J].计算机工程与科学，2011，33(3):106－111，62－66.