基于兴趣点方向梯度直方图的图像检索方法

田娟娟，冀小平

(太原理工大学 信息工程学院，山西 太原 030024)

基于兴趣点方向梯度直方图的图像检索方法

田娟娟，冀小平

(太原理工大学 信息工程学院，山西 太原 030024)

提出了一种基于图像兴趣点方向梯度直方图的检索方法。为了提高检索准确度，首先采用直方图均衡化增强图像对比度，然后利用SURF(Speeded Up Robust Features)检测子检测图像中的兴趣点，以兴趣点为中心，对兴趣点邻域内分块方向梯度直方图进行图像特征描述，最后进行相似性度量。该算法通过直方图均衡化，提取到图像中更丰富的细节信息，尤其对于颜色单一与颜色较深的图像，而且算法中充分利用了图像中包含信息量较多的图像兴趣点。实验证明，该算法提高了图像检索的准确度，相比其他算法取得了更好的检索结果。

直方图均衡化；SURF检测子；兴趣点；方向梯度直方图

随着互联网技术的快速发展以及终端设备的普及，图像成为目前广泛应用的信息载体，利用图像进行匹配、检索等相关的技术给人们的生活带来很多便利，关于这方面的技术研究也受到更多学者的关注。目前基于内容的图像检索主要基于图像的全局特征或者在图像均匀分块的基础上进行适当的权值调整来得到比较满意的检索结果或者基于图像的综合特征[1]。但是传统的图像分块只是比较简单的取图像中心，将图像分割为半径不同的圆或者大小不同的矩形[2]，或者将图像水平、垂直等分为若干块，中间部分取权值相比边缘区域较大，突出图像的中心区域[3-4]，这样的检索方法对于图像信息在中心的图像可以得到比较满意的结果，但是对于其他类型图像则具有一定的局限性而且需要处理的数据量比较大。兴趣点是图像中含有信息量多但计算量少的特征点。近年来，更多的学者提出了基于兴趣点的图像检索算法，其主要方法为利用兴趣点检测子检测兴趣点，然后利用兴趣点的局部特征进行特征描述，最后进行相似性度量。如宋真等人[5]利用SURF检测子[6]检测兴趣点并提出基于兴趣点环形区域的颜色特征和Gabor小波纹理特征，闫允一等人[7]用同样的方法检测兴趣点并提出基于兴趣点的环形邻域的伪泽尼克矩。

但是SURF算子在检测兴趣点时，需要将彩色图像转换为灰度图像，在这个过程中会忽略图像颜色比较单一或者图像颜色比较深的区域的特征信息，导致检测出的兴趣点数目减少。因此本文提出利用直方图均衡化增强图像对比度之后再进行兴趣点检测。实验证明[8]，SURF检测算法相比于Harris角检测器[9]、Hessian-Laplace算子[10]，提取兴趣点的速度快，而且具有旋转不变性以及对光照等因素具有很强的鲁棒性。因此本文采用SURF检测子提取图像兴趣点并且提出基于兴趣点邻域内加权分块方向梯度直方图的图像特征描述方法。实验结果证明该方法可以降低图像背景对图像内容的影响，有效提高兴趣点检测数目，而且该算法检索速度快，可以取得较好的检索性能。

1 兴趣点检测

1.1 直方图均衡化

在用SURF检测子检测图像兴趣点之前，需将彩色图像转化为灰度图像，但是大多数图像由于其灰度分布集中在较窄的区间，引起图像细节不够清晰，采用直方图修整后可以使图像灰度间距拉开或者使图像灰度分布比较均匀，从而可以增大灰度之间的差异，使图像细节比较清晰，达到增强的目的。因此文中采用直方图均衡化进行图像增强。

1.2 积分图像

SURF兴趣点检测利用积分图像来提高计算速度，因此本文首先介绍积分图像的概念。图像I中任意一点x=(x,y)处的积分值Iε(x)定义为图像I由点x与图像边缘构成矩形区域的所有像素的总和，即

(1)

式中：I(i,j)为图像I中任意一点的像素值。

1.3 兴趣点检测

基于Hessian矩阵在计算时间与准确度方面的优势，SURF算法中采用Hessian矩阵检测兴趣点。在图像I中，任意一点在尺度处的Hessian矩阵定义为

(2)

在实际应用中，高斯算子需要离散化并将其尾部裁减，但是即使这样也有可能会发生混叠，因此高斯滤波器并非在任何情况下都是理想滤波器。同Lowe[11]替代思想类似，SURF算子用box滤波器来代替高斯滤波器，通过分析可以得到，box滤波器与离散高斯滤波器具有相当的性能。如图1表示近似的高斯二阶差分滤波器：box滤波器及各块对应的权值。

图1 大小为9×9的box滤波器，分别对应于y方向、xy方向、x方向二阶高斯差分

尺度空间用图像金字塔来表示。金字塔的顶端由大小不一的box滤波器与图像卷积得到。大小为9×9的滤波器与图像卷积输出为原始层，尺度s=1.2(对应于σ=1.2的高斯差分)，其他层通过box模板增大的滤波器与图像卷积得到。SURF检测子将尺度空间化分为若干组，每组之间滤波器大小翻倍，同时兴趣点抽取的采样间隔也翻倍。图2为本文的尺度空间构造。

图2 尺度空间

为了确定某尺度下兴趣点的位置，在3×3×3邻域内采用非最大值抑制，Hessian矩阵的行列式的最大值就可以内插在尺度图像空间中。

2 基于兴趣点的特征提取

方向梯度直方图(Histogram of Oriented Gradient，HOG)曾被Lowe等人[11]用于SIFT算法中特征向量的描述，之后在2005年计算机视觉与模式识别(Computer Vision and Pattern Recognition，CVPR)会议上，法国国家计算机及自动控制研究所的Dalal等人[12]提出将方向梯度直方图作为一种解决人体目标检测的图像描述子，该方法使用方向梯度直方图特征来表达人体，提取人体的外形信息与运动信息，形成丰富的特征集。在这里将改进后的方向梯度直方图用于图像兴趣点特征描述。

2.1 利用一阶微分计算图像梯度

在图像处理中，常用一份微分模板求梯度近似值，实验表明模板[-1,0,1]效果最好。在图像I中，任意一点(x,y)利用此模板计算的水平和垂直方向的梯度分别为

Ih(x,y)=I(x+1,y)-I(x-1,y)∀x,y

(3)

Iv(x,y)=I(x,y+1)-I(x,y-1)∀x,y

(4)

该像素点的梯度值以及梯度方向分别为

(5)

(6)

2.2 改进后的方向梯度直方图

基于孟繁杰等人提出的兴趣点环形颜色直方图特征描述的思想，文中提出分块方向梯度直方图进行特征描述。在图像中，兴趣点是很重要的局部特征，包含着图像的诸多特征信息，观察标记着兴趣点的图像可以发现，兴趣点周围的像素点有大部分位于图像的边缘或者图像中灰度变化比较大的点附近，同样也包含着图像的重要信息。因此在本文的方法中以图像兴趣点为中心，取其邻域内的8个像素点与该兴趣点构成一个3×3的矩阵，由式(3)～式(5)分别求得这些像素点的梯度幅值以及梯度方向。为了充分考虑兴趣点的空间分布信息，取图像中心为中心点，将图像均匀划分为2×2即4个子块，统计兴趣点落在每个子块的数目并求得每个分块中兴趣点占总兴趣点总数量的比例Pi，作为各块的权值，其中i的取值为1，2，3，4，然后在4个分块中分别建立方向梯度直方图。梯度方向取0°～360°，将梯度方向均匀划分为12个区间，用j表示，j的取值为1，2，…，12。分别统计各子块中属于各个像素点的梯度方向区间，梯度幅值为同一子块中各个区间中各像素点梯度幅值的和Gij，并将各分块中梯度幅值乘以每个分块所对应的权值作为各子块最终的梯度幅值Dij，其中Dij=Gij×Pi。这样每个子块对应的方向梯度直方图横轴为各个方向区间，纵轴为Dij，其特征描述向量可以表示为，整幅图像其特征可以用2×2×12=48维特征向量表示，向量表示形式为[D11,D12,…,D112,…,D41,D42,…,D412]。为了使其具有光照不变性，将特征描述向量归一化，如下式：

(7)

其中:i=1,2,3,4;j=1,2,…,12。

3 相似度度量

(8)

4 实验结果

实验采用从Corel图像库中抽取的1 000幅图像，分别包括人类、动物、风景等。实验中每类库中分别取得10幅图片，统计返回图像总数分别为10、20、30时各类图像的平均检索率，见表1。

为验证本文算法的检索，在基于相同的软硬件平台下，将该算法与文献[7]的平均检索准确率进行比较，结果如表1所示。

表1 本文算法与文献[7]的检索性能比较 %

表1中P10、P20、P30分别指返回图像为10、20、30对应的图像检索准确率。由表1可以看出，本文算法优于文献[7]。

图3是对上述两种不同算法对马类图像的检索结果比较图。返回图像共20幅，左上角第一幅为待检索图像，其余19幅为检索结果，其中查准图像分别为17幅、19幅。因此本文算法准确度更高。

图3 不同算法对马类图像的检索结果(截图)

5 结语

本文提出一种基于兴趣点分块方向梯度直方图的图像检索算法，该算法就SURF算法检测兴趣点少的问题提出利用直方图均衡化增强灰度图像对比度，然后再进行兴趣点检测，取兴趣点邻域内像素点得到分块方向梯度直方图。该算法充分利用了图像中包含较多信息量的点，不包含图像颜色特征，图像检测出的兴趣点数目明显增多，花费时间较少，相比其他算法取得更优的检索结果。

[1] 王爽，潘静.一种基于颜色与纹理特征的图像模糊检索算法[J].电子测量技术，2014，38(2)：54-57.[2] 潘永胜，冀小平.一种新的多特征融合图像检索方法[J].科学技术与工程，2014，14(15)：225-229.

[3] 肖潇，王宪保，庄德文，等.基于均匀区域分割的图像检索研究[J].计算机科学，2012，39(6)：255-257.

[4] 李雪艳，冀小平.基于分块颜色特征和相关反馈的图像检索技术[J].电视技术，2013，37(7)：29-32.

[5] 宋真，颜永丰.基于兴趣点综合特征的图像检索[J].计算机应用，2012，32(10)：2840-2842.

[6] BAY H，TUYTELAARS T. SURF： Speeded up robust features[J].Computer Vision and Image Understanding， 2008，3(110)：346-359.

[7] 闫允一，姜帅，郭宝龙.结合稳定兴趣点和Gabor小波的图像检索[J].西安电子科技大学学报：自然科学版，2014，41(5)：134-140.

[8] MIKOLAJCZYK K， SCHMID C. A performance evaluation of local descriptors[J].IEEE Trans. Pattern Analysis And Machine Intelligence，2005，10(27)： 1615-1630.

[9] 高晶，吴育峰，吴昆，等.基于角点检测的图像匹配算法[J].仪器仪表学报，2013，8(34)：1717-1725.

[10] MIKOLAJCZYK K， SCHMID C. Scale & affine invariant interest point detectors[J]. International Journal of Computer Vision，2004，1(60)：63-86.

[11] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004， 60(2)：91-110.

[12] DALAL N， TRIGGS B. Histograms of oriented gradients for human detection[C]//Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego：IEEE Press，2005： 886-893.

冀小平(1959— )，副教授，主研图像处理。

责任编辑：闫雯雯

Image Retrieval Based on Histogram of Oriented Gradient of Interest Points

TIAN Juanjuan, JI Xiaoping

(InformationEngineeringCollege,TaiyuanUniversityofTechnology,Taiyuan030024,China)

A novel algorithm for image retrieval based on Histogram of Oriented Gradient(HOG) of interest points is presented. In order to improve the precision of the retrieval results, the contrast of image with histogram equalization is enhanced firstly and the interest points with SURF are detected. Then image features with HOG based on the blocks of the region centered at interest points are described. Finally, similar images are outputed. This algorithm extracts more detailed information through histogram equalization and better uses the interest points which contain the most information of an image. The experimental results show that this algorithm improves the precision of the retrieval results and get more satisfied retrieval results compared with other algorithms.

histogram equalization; Speeded Up Robust Features; interest points; histogram of oriented gradient

【本文献信息】田娟娟，冀小平.基于兴趣点方向梯度直方图的图像检索方法[J].电视技术,2015，39(13).

TP391.41

A

10.16280/j.videoe.2015.13.021

田娟娟(1989— )，女，硕士研究生，主研图像处理；

2015-03-10