基于全局显著性检测的手绘草图图像检索

潘文文，孙晓飞*，王 霞

(枣庄学院 信息科学与工程学院，山东 枣庄 277160)

越来越便捷的图像采集手段制造出海量的图像资料，如何有效地从海量图像中检索图像是有效利用图像资料的前提。目前，在智能设备上进行图像检索主要采用基于文本的检索，这种方式仅能通过名称、关键字、描述文字等对图片简单命名和主观描述，不能表达图像的完整信息［1］。利用手绘草图从智能设备中检索图像比文本方式更具想象力和创造力，能更准确地反映人类对图像的准确需求。文献［2］利用傅里叶形状描述方法来描述手绘草图，解决了基于笔划描述方式的计算效率低和输入顺序敏感的问题，可以获得较好的检索效果。文献［3］提出一种基于结构图的草图检索方法，在保持图像大致形状的基础上对图像的轮廓数据进行有效的降维处理，解决了轮廓的起点选择、旋转、平移以及缩放等不变性。

基于手绘草图检索的本质是内容方式的图像检索，目前主要有2种方法:1)用加权求和的方式来综合利用多种特征［4－6］;2)构造混合特征［7－10］。文献［11］通过改进的分水岭算法对彩色图像进行分割，运用区域化空间注意力模型计算各个子区域的显著性，该方法倾向于将显著物体划分为一个整体，会造成边缘细节的丢失。文献［12］认为图像中的颜色分布越广或者越分散，显著性目标包含这种颜色的可能性就越小，特定颜色的全局空间分布能够用来描述目标的空间显著性，先将图像中的颜色通过K-均值聚类算法进行初步分类，再用多元正态分布来建模图中像素颜色的概率分布。文献［13］提出一种基于遗传反馈的图像检索算法，以遗传算法和相关反馈为基础，利用多特征进行检索，具有较低反馈次数和较高的查询精度。文献［14］提出基于互信息启发的相似度组合图像检索算法，利用互信息度量相对熵的原理，计算连续变量相似度与离散变量相似性之间的相关性，对多种相似度进行选择，该算法相对复杂。

现有的基于内容的搜索方法克服了基于文本搜索的一些缺点，但仍存在计算量大、占用存储量大、效率低下等问题。本文提出一种首先获取显著区域，然后对显著区域提取相似特征的方法，图像的主要语义内容集中于显著区域，因此可以用显著区域代表整幅图像进行图像搜索。

1 基于图像分割的显著图提取

首先将原始图像分割成区域，然后采用文献［15］的方法来计算各个分区的颜色直方图，将原图像中各个分区的像素颜色的RGB分量量化为12个值，在此基础上统计各个分区的颜色直方图。将颜色直方图中各颜色按照出现频率排序，将低频颜色替换为相似的高频颜色，并去掉比重为0的颜色，从而得到稀疏直方图。这样可以保持与原图像视觉效果基本相同，却大大减少了颜色的数量。

然后将各个分区的颜色直方图转换至Lab空间，计算各个分区之间的颜色距离。2个分区rm，rn之间的颜色距离为:

其中:f(cm，i)为第m个分区rm的第i种颜色占整张图片的比例，而不是占本分区的比例，这有利于取得更好的显著图;D(cm，i，cn，i)为 rm的第 i种颜色与 rn分区的第j种颜色的欧式距离;N1，N2分别为rm，rn分区的颜色数量。

由式(2)可知，相互距离越远的分区对彼此显著性的影响越小，即分区显著度S(rk)与其他分区间的距离 Ds(rk，ri)成反比，故用1/δDs(rk，ri)作为距离权值，δ为常数，取180时效果最佳。其中:Ds(rk，ri)=|xk－xi|+|yk－yi|为2个分区质心之间的城市街区距离，即不同分区质心横坐标差的绝对值与纵坐标差的绝对值之和。使用城市街区距离而不是欧式距离可以取得更高效率。同等距离下分区ri的像素w(ri)个数越大，其对分区rk的影响越大，故S(rk)与w(ri)成正比。

采用本方法可以获取与文献［15］视觉效果相近的显著图，但由于没有采用颜色空间平滑，计算更为简单，如图1所示。

图1 采用本方法获取的显著图

2 基于显著性的手绘草图图像检索

对 S(rk)，k=1，2，…，N 进行排序，排除显著度最低的最外围分区，余下分区为物品所在的分区r1，r2，…，rm，将这些分区作为一个整体 R=r1∪r2∪…∪rm，以R最外围的4个顶点所在的横纵坐标为边界，等比例划分10×10个矩形分块 ui，i=1，2，…，100，即R=r1∪r2∪…∪r100。使用前述算法可以很好地提取显著区域，较完整地保留显著目标信息。划分10×10个矩形分块，可以按比例保留显著目标的信息，当2张图片显著目标相似但大小不同时仍可提取相近的检索特征。

然后遍历这些分区的像素点，看其属于哪个矩形分块ui，就将此像素点的灰度值累加至ui块的灰度值gi，最后将gi的值除以该分块像素个数ni，保存每个分块ui的平均灰度到矩阵m，以备图像检索使用。进行图像检索时，先将待检索图像经过上述处理，得到矩阵信息mk，将mk与保存的所有矩阵信息mi进行比较。

其中:Du(为分块uk与ui平均灰度距离。考虑到空间关系，我们加上了线性距离权值i/tu，其中:tu为分块的总数100，i为各个分块的序号(1，2，…，100)。将D(mk，mi)进行排序，值越小则图片相似度越高。

3 实验与分析

本文从各大购物网站中抽取90张图片，分3类(上衣、裤子、女鞋)，每类有30张图片。采用上述方法进行检索。检索结果如图2所示，上方为3类物品的手绘图，下方为检索结果。

图2 3类物品的检索实例

为更加客观地评价本方法的可行性，分别统计2种情况下的查准率:不同查全率下的查准率和不同检出结果下的查准率。查准率为检出正确结果的数量与检出结果总数量的比值，查全率为检出正确结果的数量与应有正确结果总数量的比值。

如图3(a)所示，随着查全率的提高，鞋类和裤子类的查准率保持在90%以上，上衣的查准率基本保持在40%以上。上衣查准率下降趋势较明显，原因是图库中上衣的样式复杂多样，分类不够明确，草图对形状描述准确从而排除了样式差异较大的上衣。从图3(b)可以看出，每类图片数目为30张的情况下，大多数图片在检出15个结果时的准确率较高。

图3 2种情况下的查准率

4 结语

提出一种基于显著性检测的手绘草图图像检索方法。首先利用基于图的方式进行图像分割，然后为各分区建立稀疏颜色直方图，进而计算各分区的显著性。提取显著性高的分区从而获得所要展示的物品。将物品所在区域等比例划分为100个分块，按块计算平均灰度，结合每个分块的空间位置作为该图像的检索特征。抽取各大购物网站的图片构建了图像库，通过实验表明本文方法可以获取高质量的显著图，从而可以准确检索预期的物品。对每一张图片统计了10种情况下的查准率，共900次统计，从而较准确地测试了本方法的检索性能，实验表明本方法可以通过手绘轮廓准确查询相似图像。

［1］黄祥林，沈兰荪.基于内容的图像检索技术研究.电子学报［J］.2002，30(7):1065 －1071.

［2］李曼舞，孙正兴，顾庆东.基于轮廓的手绘草图检索研究［J］.2005，25(2):344 －347.

［3］高竹红，汤进，罗斌.基于结构图的手绘草图检索［J］.计算机技术与发展，2008，18(3):32 －35.

［4］PIAAMSA-NGA P，ALEXANDRIDIS N A，SRAKAEW S，et al.Multifeature content based image retrieval［C］//Proceedings of InternationalConf-erenceon ComputerGraphics and Imaging.Halifax，Canada:IASTED，1998.

［5］孙君顶，崔江涛，毋小省，等.基于颜色和形状特征的彩色图像检索方法［J］.中国图像图形学报，2004，9(7):820 －827.

［6］邓诚强，冯刚.基于内容的多特征综合图像检索［J］.计算机应用，2003，23(7):100 －102.

［7］吴介，裘正定.底层内容特征的融合在图像检索中的研究进展［J］.中国图像图形学报，2008，13(2):189 －197.

［8］HU M.Visual pattern recognition by moment invariants［J］.IRE Transactions on Information Theory，1962(8):179 －187.

［9］王义平，黄新生，李晓雷，等.一种新的灰度变化不变矩［J］.大连海事大学学报，2009，34(4):23 －27.

［10］MINGDRU F，TUYTELAARS T，GOOL L V，et al.Moment invariants for recognition under changing viewpoint and illumination［J］.Computer Vision and Image Understanding，2004，94(1):3－27.

［11］LOWER D G.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60(2):91－110.

［12］孟琭.基于视觉注意机制的彩色图像显著性区域提取［J］.计算机应用研究，2013，30(10):3159 －3161.

［13］杨军，林土胜，肖应旺.基于全局颜色对比的显著性目标检测［J］.计算机应用研究，2014.31(1):292 －298.

［14］傅启明，刘全，王晓燕，等.遗传反馈的多特征图像检索［J］.中国图像图形学报，2011，16(10):1858 －1865.

［15］支力佳，张少敏，赵大哲，等.互信息启发的相似度组合图像检索算法［J］.中国图像图形学报，2011，16(10):1850 －1857.

［16］CHENG M M，ZHANG G X.Global contrast based salient region detection［C］//IEEE International Conference on Computer Vision and Pattern Recognition(IEEE CVPR)，2011:409 －416.