基于组合特征检索策略的图像检索技术研究

刘 晙， 刘 丹

（河南机电高等专科学校 计算机科学与技术系，河南 新乡 453003）

0 引 言

在各种信息爆炸式增长的今天，如何从海量信息中检索到所需要的、最有价值的信息是非常关键的。相比于文本、音频信息的检索，图像检索的数据量更加庞大，检索过程也更加复杂［1］。

图像检索方法有3个分支，即基于文本的图像检索、基于内容的图像检索和基于语义的图像检索［2－3］。基于文本的图像检索以图像名等文本信息为检索依据，易因为文本标注的错误而产生歧义；基于语义的图像检索是建立在图像特征进一步抽象上的检索，可以看作基于内容图像检索的升级；基于内容的图像检索是当前的主流方法，其常用的检索特征包括颜色特征、形状特征和纹理特征。

用于检索的颜色特征有颜色直方图、颜色矩等［4］，纹理特征有灰度共生矩阵、Gabor纹理等［5］，形状特征有轮廓、梯度、边缘等［6］。

对于一幅图像而言，往往同时包含颜色特征、纹理特征和形状特征信息，因此基于一类特征的图像检索效果往往不理想，多特征融合的策略才更有利于提高检索结果的准确性［7－9］。

本文将分别从颜色特征、纹理特征、形状特征中选取有代表性的特征，构建一种基于组合特征检索策略的图像检索方法，以期获得更好的检索效果。

1 3种特征的求取

为了增强图像检索技术的鲁棒性，将颜色特征、纹理特征、形状特征组合在一起，作为判别查询图像和数据库图像相似性的依据是本文方法的核心思路。选取空间颜色直方图为颜色特征，选取局部二值阵列为纹理特征，选取基于轮廓的Hu矩为形状特征，作为组合特征的3种不同输入。

1.1 空间颜色直方图特征

颜色直方图是基于统计规律表示图像颜色信息的重要特征，也是图像检索中最为常用的颜色特征。

在已有的图像检索方法中，有颜色直方图、全局直方图、模糊直方图、累计直方图等。但这些方法都只关注了颜色的统计信息，而没有考虑到颜色特征与像素空间位置的关系。空间颜色直方图是将颜色信息和空间信息有机地结合在一起，也是本文图像检索方法中采用的颜色特征。假设图像的表征变量为f，图像的尺寸为M×N，则定义一个新的中间描述变量为：

其中，hf（k）为颜色直方图信息，并且进行了归一化处理。

再定义2个中间描述变量如下：

其中

其中，d（p，bf（k））为欧几里德度量。

基于hf（k）、bf（k）、σf（k）这3个变量，可以将空间颜色直方图定义为：

1.2 局部二值阵列特征

图像纹理特征是图像检索技术中常用的特征，也形成了包括灰度共生矩阵、小波纹理、Gabor纹理在内的众多特征。

局部二值阵列也称LBP特征，是一种重要的图像纹理表达形式。

对于3×3像素大小的图像邻域而言，局部二值阵列的具体求解流程为：以这个邻域的中心位置处的像素作为阈值，记作f（xc，yc）；然后，逐一取邻域中其他像素与中心点像素进行对比；如果其灰度大于中心点像素灰度，更新其灰度为1，如果其灰度小于中心点像素灰度，更新其灰度为0；从而实现所有邻域像素的二值化处理。具体数学公式如下：

其中，gc为中心点像素的灰度；gi为邻域中其他位置像素的灰度。

当整个邻域的像素全部执行二值化处理后，8个邻域像素的s（gi，gc）值构成了8个字节的二进制数，再将这个二进制数执行十进制处理，并用此十进制数更新中心像素的灰度，即完成了一个像素的局部二值阵列计算，具体计算如下：

一个像素局部二值阵列计算过程如图1所示。

图1 一个像素的局部二值阵列计算过程

当局部二值阵列的计算遍历图像中全部像素以后，图像将变为LBP的形式。相比于原始图像信息，局部二值阵列图像的纹理特征更加明显，特别适用于纹理特征相似性的比较。局部二值阵列图像的纹理特征效果及其灰度直方图特征如图2所示。

图2 局部二值阵列图像纹理特征的视觉效果和灰度直方图

1.3 基于轮廓的Hu矩特征

图像的形状可以看作是图像视觉效果的高层表达，但是在图像基本信息（如尺寸）不一致的情况下，图像形状也会表现出变化，这样不利于在图像检索中使用。为此，各种基于形状不变形的特征描述算子被提炼出来，如惯性矩、内角、梯度、Harris角点、Hu矩等。本文对于图像形状特征的表达，采用Hu矩特征。

为了准确地提取Hu矩特征，对于图像执行去噪、特征区域连通等预处理工作是非常必要的。本文首先通过LOG滤波去除图像中的噪声像素，执行阈值判断形成二值化图像，对各个区域进行标记处理，最后执行形态学的闭合处理将闭合不完整的区域彻底闭合。

一般的Hu矩是基于区域计算出来的，其计算复杂度高且计算量大。为此，本文采用一种基于轮廓的Hu矩计算思路，以便用更短的时间完成Hu矩的计算。

具体的操作步骤如下：

（1）完成（7）式的线性积分。

其中，（x，y）为曲线C经过的所有像素点的坐标；…。

当p＝q＝0时，m00表示曲线的弧长。

（2）求解p＋q阶的中心矩θpq。

（3）求解Hu矩的7个分量。

当π1～π77个分量全部求解出来以后，基于轮廓的Hu矩可以用这7个分量构成的一维数组加以描述，即

2 组合特征检索策略

经过上述处理，分别获得了空间颜色直方图特征、局部二值阵列特征和基于轮廓的Hu矩特征，将它们作为本文图像检索方法的颜色特征、纹理特征和形状特征。如果仅采用其中的一类特征作为检索依据往往无法对千差万别的图像形成可靠表达，为此本文制定了将颜色特征、纹理特征、形状特征组合在一起的检索策略，其原理框图如图3所示。

图3 检索策略的原理框图

从图3可以看出，首先对查询图像分别求取颜色特征、纹理特征、形状特征，对数据库中要参与与查询图像进行相似性比较的图像分别进行对应图像特征的求取，再逐一比较查询图像和数据库图像的颜色特征相似性、纹理特征相似性、形状特征相似性，形成测度1、测度2、测度3，然后分别根据3个相似性测度的重要性乘以对应的权重系数，将配置了对应权重系数的相似性测度叠加在一起，形成最终用于图像检索的检索测度。通过比较查询图像和数据库图像的检索测度，形成检索结果相似性的顺序排名。

本文中，测度1需要比较查询图像和数据库图像的空间颜色直方图相似性，计算公式为（16）式，其中，Simcolor（q，t）为查询图像和数据库图像之间的颜色特征相似性；q为查询图像；t为数据库图像。

测度2需要比较查询图像和数据库图像的局部二值阵列的相似性，计算公式为：

其中，Simtexture（q，t）为查询图像和数据库图像之间的纹理特征相似性。

测度3需要比较查询图像和数据库图像的轮廓Hu矩特征相似性，计算公式为：

其中，Simshape（q，t）为查询图像和数据库图像之间的形状特征相似性。

最后，在组合特征检索策略框架下，形成的检索测度公式为：

其中，λ1、λ2、λ3分别代表3种特征相似性的权重系数。

3 实验与分析

为了验证基于组合特征检索策略图像检索方法的有效性，本文进行了如下实验和实验结果分析。

实验所用的计算机为Dell Inspiron灵越笔记本，CPU芯片为Intel酷睿i5 4200U，CPU主频为1.8GHz，内存型号为DDR3L，内存容量为4GB，硬盘容量为500GB。

实验所用的数据库为自行构建的小型图像库，图像库中包含建筑、人物、花鸟、山水、云天等10类图像，每类图像数量为100幅，数据库总大小为1 000幅图像。

基于组合特征检索策略的图像检索方法用C＋＋语言编写，颜色特征、纹理特征、形状特征分别封装在不同的类中，检索测度的最终生成也由独立函数实现。

以一幅建筑图像为查询图像，按照基于组合特征检索策略的检索方法获得检索结果，如图4所示。

图4 以一幅建筑图像为查询图像的检索结果

图4b～图4f所示为相似度排名前5位的图像，图像类别都符合查询图像的要求，检索结果在颜色特征、纹理特征、形状特征上也都与查询图像有明显的相似之处。

为了进一步证实本文方法在检索性能上的优势，将本文方法与分别使用单一检索特征的方法进行检索效果的对比，并从查准率和查全率2个指标考察检索性能上的差异，统计分析结果见表1所列。

表1中，前3种检索方法仅使用了单一特征，对于建筑、花鸟、山水3类图像的实验结果来看，3种方法的查准率均值最高为0.673，查全率均值最高为0.677，后3种方法都是基于组合特征策略的检索方法，空间颜色直方图特征、局部二值阵列特征、基于轮廓的Hu矩特征都被使用，但各自的权重系数不同。

由表1可以看出，同时使用3种特征的组合检索方法，无论在查准率和查全率方面都具有明显的优势。此外，3种特征配置权重不同也会影响到检索效果，但也为组合检索策略提供了灵活性，可以根据检索图像的性质进行调整。

表1 不同检索方法的检索性能比较

4 结束语

针对单一检索特征造成的图像检索方法鲁棒性不高的问题，本文提出了一种基于组合特征检索策略的图像检索方法。在此方法中，分别使用了空间颜色直方图作为颜色特征、局部二值阵列作为纹理特征、基于轮廓Hu矩作为形状特征，每种特征配置相应的权重因子，最终组合在一起形成检索特征。实验结果表明，基于组合特征检索策略的检索方法无论在查准率还是查全率方面都比单一特征检索方法有了明显的提高，并且具备较好的权重调节灵活性，更加适用于图像性质发生变化的情况。

［1］ Oosten J P V，Schomaker L.Separability versus prototypicality in handwritten word－image retrieval［J］.Pattern Recognition，2014，47（3）：1031－1038.

［2］ Ghosh S，Ghosh A.Content based retrieval of malaria pos－itive images from a clinical database VIA recognition in RGB colour space［J］.Advances in Intelligent Systems and Computing，2014，249：1－8.

［3］ 夏利民，朱 城，张海燕，等.基于分块权值的语义图像检索［J］.计算机科学，2013，40（9）：266－269.

［4］ 陈秀新，贾克斌.三维量化颜色直方图在彩色图像检索中的应用［J］.计算机应用与软件，2012，29（9）：31－33.

［5］ 孙君顶，毋小省.纹理谱描述符及其在图像检索中的应用［J］.计 算 机 辅 助 设 计 与 图 形 学 学 报，2010，22（3）：516－520.

［6］ 袁 杰，魏宝刚，王李冬.一种综合PHOG形状和小波金字塔能量分布特征的图像检索方法［J］.电子学报，2011，39（9）：2114－2119.

［7］ 党长青，宋凤娟，刘树明.基于多特征融合和相关反馈的图像检索［J］.计算机工程与应用，2008，44（3）：186－189.

［8］ 曾接贤，王军婷，符 祥.K均值聚类分割的多特征图像检索方法［J］.计算机工程与应用，2013，49（2）：226－230.

［9］ 程 刚.一种基于形状的图像相似性检索方法［J］.合肥工业大学学报：自然科学版，2007，30（2）：148－150.