分层多特征融合图像检索方法研究

潘红艳

（浙江工商职业技术学院，浙江 宁波 315012）

1 图像检索发展背景

在互联网飞速发展的今天，网上的各种资源以惊人的速度增长，从庞大的信息资源中检索中出用户需要的信息变得尤为重要。图像数据是其中重要的一类数据，它可以将内容以最直观的方式传递给人们。各类购物平台的出现，也使得图像数据量激增，用户希望在浩瀚的图像数据中快速找到自己需要的图像。

图像检索是根据用户的需求，在图像数据库中查找符合用户需求的图像。依据检索机制的不同，图像检索分为基于文本的图像检索、基于内容的图像检索和基于语义的图像检索。由于文本表达能力的局限性和文本标注的歧义性，使得基于文本的图像检索的准确性不高。基于语义的图像检索，检索过程中需要提取图像的高层语义，而图像的语义提取很困难，且准确性不高，这就限制了该检索方法的准确性。基于内容的图像检索是以图像的颜色、形状、纹理来表达图像特征，从而进行相似性判断和检索。基于内容的图像检索，由于计算简单、检索准确率高的特点，得到广泛应用。一幅图像的内容信息是非常丰富的，检索过程中可以依靠一种特征，也可以联合多个特征进行检索。本文选取图像的颜色特征和边缘特征，采用分层多特征融合策略，以提高检索结果的准确率和可靠性。

2 分层多特征融合的图像检索

在图像检索过程中，如果采用单一图像特征而舍弃其他图像特征，会导致对图像信息的表达不够全面，从而降低了检索结果的准确率和可靠性。针对这一问题，本文提出了如图1所示的融合颜色特征和纹理特征的分层图像检索框架。

从图1可以看出，在提取图像特征时，先将RGB图像映射到颜色空间（Hue，Saturation，Value，HSV），再分别提取待检索图像和数据库图像的颜色特征和纹理特征。在提取颜色特征时，采用颜色矩特征。在提取图像的纹理特征时，采用灰度共生矩阵的方法。在颜色特征层和纹理特征层，分层分别计算检索图像和数据库图像的相似度，对分层计算出的相似度进行融合，得到最终的相似度，依据相似度的大小，对检索结果进行排序和输出。

图1 分层多特征融合的图像检索框架

2.1 颜色特征的提取

颜色特征是图像内容特征中最丰富的一个视觉特征，具有大小不变性、方向不变性的特征。图像显示时，一般采用RGB模型。HSV模型是针对用户观感的一种颜色模型，H表示色调，用角度表示，范围为0°～360°；S表示饱和度，表示颜色的鲜艳程度，取值范围为0～1；V表示明度，取值范围为0～1。色调、饱和度、明度与人眼对颜色的主观认识相对比较符合，能更好地反映人类对颜色的感知。基于以上考虑，本文在提取图像的颜色特征时，利用公式（1）～（3）将RGB模型转换为HSV模型。

本文将H量化成16级，S量化成4级，V量化成4级，这样得到256个不同的颜色值。颜色矩是一种简单有效的颜色特征表示方法，向量的计算比较快，可以通过对像素颜色信息的统计计算得到。颜色信息集中在图像颜色的低阶矩中，在图像转化为HSV模型后，本文选择三阶颜色矩特征作为图像的颜色特征。

一阶颜色矩表示均值，反映图像的明暗程度，计算公式如式（4）所示。

二阶颜色矩表示标准差，反映图像颜色的分布范围，计算公式如式（5）所示。

三阶颜色矩表示方差，反映图像颜色分布的对称性，计算公式如式（6）所示。

Pi,j：颜色通道i中灰度为j的像素出现的概率。N：图像中像素的个数。

图像的颜色矩一共需要9个分量，即图像的颜色特征表示为：

2.2 纹理特征的提取

在图像检索中纹理特征也是被广泛使用的图像特征，纹理特征表现为图像内容规则或部分规则的排列，它描述了图像的表面和结构属性。灰度共生矩阵通过灰度的空间相关特性来描述纹理，反映不同像素相对位置的空间信息，本文选用灰度共生矩阵的方法来提取图像的纹理特征。

本文灰度级取16级，选取了角二阶矩（能量）、熵、惯性矩（对比度）、相关度4个纹理特征。在0°，45°，90°，135°方向上分别计算4个纹理特征，然后求取4个方向上的平均值，作为该纹理特征的值，由此得到4维纹理特征向量。如表1所示。

表1 鲜花图纹理特征向量

表2 建筑图纹理特征向量

2.3 分层相似度计算

经过2.1和2.2的颜色特征提取和纹理特征提取后，得到9维颜色矩特征向量和5维纹理特征向量，本文对得到的颜色特征向量和纹理特征向量不进行融合，而是在颜色特征层和纹理特征层，分层分别计算检索图像和数据库图像的相似度，采用一定的融合策略融合得到最终的相似度。

相似度的计算方法很多，本文采用Euclidean距离进行相似度的计算。假设待检索图像和数据库图像的颜色特征相似度为Ci，纹理特征之间的相似度为Ti，则待检索图像和数据库图像之间的相似度如式（8）所示。

3 实验结果与分析

为了验证本文提出的分层融合的图像检索技术的有效性，在自建小型图像数据库中进行实验验证。实验环境为Matlab2016b，Win7操作系统。图像数据库中有自然风光、昆虫、鱼、建筑、鲜花、汽车6类图像，每类图像200幅，共有图像1 200幅。

以一幅花图像为待检索对象，执行本文提出的分层多特征融合的检索方法，结果如图2所示。

图2 检索结果

与采用单一图像特征的方法相比，本文提出的图像检索方法在图像查准率和查全率如图3—4所示。

图3 图像检索查准率

图4 图像检索查全率

4 结语

针对单一图像特征检索方法存在的不足，本文提出了一种分层多特征融合的图像检索技术，先将图像映射到HSV空间，再分别提取图像的颜色特征和纹理特征，提取颜色特征时采用了颜色矩特征，提取纹理特征时采用了灰度共生矩阵的方法。图像特征提取后，对不同的特征分别分层进行相似度计算，最后对相似度进行融合。在自建小型数据库上的实验结果表明，该方法是有效的，能一定程度上提高图像的查准率和查全率。

[参考文献]

[1]李冰.颜色纹理形状特征分层融合图像检索方法研究[J].西南师范大学学报（自然科学版），2017（1）：54-59.

[2]沈新宁，王小龙，杜建洪.基于颜色自相关图和互信息的图像检索方法[J].计算机工程，2014（2）：259-262.

[3]王春静，许圣梅.基于内容的图像检索的相似度测量方法[J].数据采集与处理，2017（1）：104-110.

[4]公明，曹伟国，李华.形状和颜色特征混合不变量在图像检索中的应用[J].中国图象图形学报，2013（8）：990-1003.

[5]孙延维，雷建军，苏丹.综合颜色块的直方图图像检索方法[J].华中师范大学学报（自然科学版），2015（2）：201-205.

[6]谢莉，成运，曾接贤.基于颜色和梯度方向共生直方图的图像检索[J].计算机工程与应用，2016（10）：181-186.