基于兴趣点局部分布特征的图像检索研究

陈思聪

(江苏联合技术学院 苏州旅游与财经分院， 苏州 215104)

0 引言

随着图像采集设备不断发展，再加图像采集技术的不断成熟，人们可以很容易、轻松的采集相关的图像，图像存储空间越来越大，图像数量急剧上升，给图像管理带来了挑战[1]。为了更好对大规模图像进行有效、高速管理，建立了许多图像检索系统。在图像检索系统中，图像检索方法的选择和设计十分关键，直接影响人们搜索和找到图像的速度以及正确率，因此图像检索方法的设计成为当前图像处理领域的一个重要内容[2]。

由于图像检索具有十分重要的应用价值，国内和国外一些研究机构进行相应的研究，图像检索研究可以划分为两个阶段：小规模图像检索阶段和海量图像检索阶段[3]。小规模图像检索阶段主要针对数量较少的图像检索问题，采用文本分类技术，将图像检索问题看作是一种文本检索过程，通过提取检索特征，并引入了一些标注技术，检索速度快，但检索错误率高，检索结果不太稳定[4]；海量图像检索方法属于自动检索技术，主要根据图像内容进行图像检索，图像检索速度得到了加快，图像检索效率高，克服了基于文本分类技术的图像检索方法缺陷，主要包括：基于聚类分析的图像检索方法、基于深度卷积网络的图像检索方法、基于极限学习机的图像检索方法[5-7]，这些方法首先提取图像特征，然后根据特征采用聚类分析算法、深度卷积神经网络、极限学习机估计特征之间相似度，当前主要特征：形状特征、颜色特征等，这些特征属于全局特征，它们只能描述图像部分信息，图像检索效果有时好，有时坏，稳定性不够。近几年，出现了采用局部特征进行图像检索研究，主要有基于主成分分析的图像检索方法，基于Gabor特征的图像检索方法，基于尺度不变特征变换特征的图像检索方法，它们对图像各个细节特征进行描述，获得了不错的图像检索效率[8,9]，在实际应用中，这些特征也有一定的缺陷，如果：检索过程耗时长，图像检索的实时性差等[10]。

针对当前图像检索方法存在缺陷，为了提高图像检索正确率，设计了基于兴趣点局部分布特征的图像检索方法，并在Matlab平台上对图像检索方法的有效性和优越性进行了测试，测试结果表明，本文方法可以对图像所包含信息进行准确描述，提高了图像检索正确率，减少了图像检索时间，可以帮助用户快速、准确找到真正需要的图像。

1 基于兴趣点局部分布特征的图像检索方法

1.1 图像的预处理

由于采集原始图像尺寸不一样，清晰度不够，以及可能包含一定的噪声，使得图像比较模糊，影响后图像检索效果，因此首先对原始图像进行预处理。首先对全部图像的尺寸进行归一化处理，均缩放到相同尺寸，然后采用直方均衡图像算法对图像的灰度级别进行增强处理，提高图像的清晰度，最后采用傅里叶变换对图像进行去噪操作，从而得到预处理后的图像。

1.2 提取兴趣点局部分布特征

兴趣点局部分布特征是一种局特征，对尺度变换、旋转和仿射等具有较强的鲁棒性，同时对光照变化不敏感，兴趣点局部分布特征提取的步骤如下：

(1) 对图像空间中的描述子进行定位操作，搜索到图像检索的最好点，采用高斯差分金字塔对方向和尺度不变的兴趣点进行识别，得到有效地检测样本点。设图像的尺度空间为L，其高斯核G和检索图像I(x,y)的卷积得到，σ表示尺度的参数，通过多次卷积操作，得到了具有不同尺度的高斯金字塔，具体如式(1)。

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

式中，*表示卷积操作。

为了有效提取特征点的位置，用相邻尺度空间差的极大值作为候选点，从而到式(2)。

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)

(2)

式中，k表示尺度空间深度系数。

采用角点检测方法去除一些无用的候选点，得到较优候选点，将它们作为提取描述子的关键点。

(2) 每个关键点L(x,y)包含多个方向，而主方向是由关键点的梯度值m(x,y)和梯度幅值θ(x,y)决定，它们计算公式具体如式(3)、式(4)。

m(x,y)=

(3)

(4)

将梯度值和梯度幅值映射到单位直方图中，采用累积最大值作为关键点的主方向，具体如1所示。

(3) 将关键点的邻域划为16个4×4的子区域，每一个子区域大小为16×16，将子区域映射另一单位直方图内，得到8个单位直方图，共得到4×4×8=128个单位直方图，将它们作为一个兴趣点局部分布特征，该特征共包括了128维的向量，如图2所示。

图2 兴趣点局部分布特征的生成过程

1.3 基于卷积神经网络的相似性度量模型

卷积神经网络通过模拟人的大脑神经网络工作过程，对一个问题的求解过程不断逼近，其层次比传统神经网络的层次要多，其主要功能层为：卷积层、汇合层、连接层，由于篇限有限，对卷积神经网络的工作原理不详细阐述[11]。首先提取特征库中的兴趣点局部分布特征，并对图像进行人工标记，建立图像检索库，然后提取待检索图像的特征，并采用卷积神经网络建立图像特征相似性度量模型，最后采用相似性度量模型对图像检索库特征和待检索了图像的特征之间的相似性进行计算，并根据相似性值得到图像检索结果。

1.4 基于兴趣点局部分布特征的图像检索原理

基于兴趣点局部分布特征的图像检索原理为：首先建立图像检索库，采集待检索图像，并对图像进行预处理，然后提取待检索的兴趣点局部分布特征，最后卷积神经网络根据兴趣点局部分布特征建立图像检索相似度度量模型，并判断待检索图像的类别，具体如图3所示。

图3 基于兴趣点局部分布特征的图像检索原理

2 图像检索方法的仿真测试

2.1 测试环境

为了分析基于兴趣点局部分布特征的图像检索方法的性能，在Matlab 2018平台进行仿真实验，采用测试环境参数如表1所示。

2.2 图像来源及对比方法

图像取自 Caltech-256 图像库，共包含256 类图像、30607幅图像，每类图像最少包括80幅图像，部分类型的图像示例如图4所示。

为了使基于兴趣点局部分布特征的图像检索结果具有可比性，选择文献[9]的图像检索方法，文献[10]的图像检索方法进行对比测试。

表1 测试环境参数设置

图4 Caltech-256 图像库的部分示例

2.3 图像检索结果的主观分析

对于待检索图像“水鸟”，选择相似度最高10幅图像作为检索结果，3种图像检索结果如图5所示。从图5图像结果可以清楚知道，对比方法出现了与“水鸟”相关的图像检索结果，而本文方法没有出现与“水鸟”相关的图像检索结果，获得了更优的图像检索结果。

(a) 文献[9]方法

(b) 文献[1]方法

(c) 本文方法

2.4 图像检索结果的客观分析

为了更加全面的分析图像检索结果的优劣，采用图像检索正确率作为评价标准，选择10种类型的图像检索结果作为实验结果，3种方法的图像检索正确率如表2所示。

表2 图像检索正确率(%)对比

从表2可以看出，本文方法的图像检索正确率的均值为96.95，文献[8]的图像检索正确率的均值为93.59%，图像检索正确率的均值为94.26%，本文方法的图像检索正确最高，降低了图像检索的错误率，获得更理想的图像检索结果。

2.5 图像检索的效率分析

同样选择10种类型的图像检索结果作为实验结果描述，3种方法的图像检索时间(ms)如表3所示。

表3 图像检索时间(ms)对比

从表3可以看出，本文方法的图像检索时间的均值为3.23 ms，文献[8]的图像检索时间的均值为4.90 ms，图像检索时间的均值为4.63 ms，本文方法的图像检索时间明显缩短，提高了图像检索效率，可以适应当前图像检索向大规模方向发展的要求。

3 总结

图像检索一直图像处理研究领域的一个重要方向，为了解决当前图像检索效果差的难题，设计了基于兴趣点局部分布特征的图像检索方法。首先提取图像的兴趣点局部分布特征，然后采用深度学习神经网络构建图像检索相似度度量模型，最后进行了图像检索方法的性能验证性测试实验。本文方法的图像检索正确率超过95%，平均图像检索时间短，图像检索结果要优于对照方法，具有广泛的实际应用效果。