利用视觉词袋模型和颜色直方图进行遥感影像检索

胡屹群，周绍光，岳 顺，王 莎

(河海大学地球科学与工程学院，江苏 南京 211100)

利用视觉词袋模型和颜色直方图进行遥感影像检索

胡屹群，周绍光，岳 顺，王 莎

(河海大学地球科学与工程学院，江苏 南京 211100)

基于内容的遥感影像检索已经成为遥感领域的研究热点，因此，本文提出了一种综合视觉词袋模型和颜色直方图的遥感影像检索方法，利用尺度不变特征算子提取影像的局部不变特征，通过视觉词袋模型组合局部特征，生成每幅影像的金字塔直方图，接着结合每幅影像的颜色直方图生成更有区分性的特征向量，利用新的特征向量集训练支持向量机分类器，通过分类器输出与查询属于一类的影像，完成遥感影像检索。试验结果表明，本文方法不仅提高了影像检索的查准率和查全率，并且验证了该方法能有效克服影像光照、噪声、方向等变化，鲁棒性较好。

局部不变特征；视觉词袋模型；颜色直方图；支持向量机分类器；影像检索

随着空间探测技术的发展，遥感影像因其特有的优势广泛应用于国土资源、城市规划、环境安全等多个领域[1]。因此深入研究基于内容的遥感影像检索技术，发展该技术在各个领域中的应用具有极其重要的意义[2]。基于内容的影像检索的关键技术是特征提取和相似性匹配算法。颜色特征是基于内容遥感影像检索提取的特征之一[3]，每个物体有其独特的颜色特征，一类物体的颜色特征往往相似，可以作为区分其他类别物体的特征，并且颜色特征对图像的尺度、形状、方向等的变化具有较好的鲁棒性。但是，如果图像的检索仅仅使用颜色特征进行低层特征描述，则检索结果的准确率和查全率不高，泛化性不太好。针对这一不足，相关研究者提出了局部不变特征[4]，局部不变特征是从影像细节纹理结构中提取出的特征。这种特征对图像的位移、旋转、尺度、光照等变化有非常好的鲁棒性，并且局部不变特征非常适用于复杂背景中特定目标的提取。为进一步克服低层特征和高层语义[5]的差异，有研究者提出了中层特征建模方法[6]，中层特征是对低层特征的重新组合。视觉词袋(bag of visual words model,BOVW)模型就是这样的中层特征，基于视觉词袋模型可以获取图像的金字塔直方图，即全局特征向量，可以通过计算两个特征向量的直方图距离确定两张影像的相似度。该模型已在遥感影像检索的应用中取得了巨大成功，成为一种新的、有效的影像内容特征表示方法。但是，基于视觉词袋模型的影像检索也存在问题，加入空间金字塔匹配(spatial pyramid matching kernel,SPM)[7]算法的视觉词袋模型虽然改变了传统视觉词袋模型的“无序”，提供了影像的空间结构信息，但也失去了视觉词袋模型本身的优势，抗旋转性不及传统视觉词袋模型。

在基于内容的遥感影像检索研究领域里，针对纹理特征、颜色特征和局部不变特征的研究较多[8]。但是由于遥感图像的纹理特征比较接近，存在图像检索准确性不高的缺点，而局部不变特征和颜色特征因具备直观、简单及较强的鲁棒性的优势获得遥感研究者的关注，并且颜色直方图具备抗旋转的优势，因此本文选择局部不变特征和颜色特征作为特征提取的内容，结合视觉词袋模型和颜色直方图生成一幅影像新的全局特征向量，利用特征向量集和支持向量机(support vector machine,SVM)[9]训练分类模型，分类模型训练完毕，向分类器输入大数量的未知影像，分类器就会输出与查询影像类似的影像，从而实现遥感影像检索。

1 遥感影像检索原理

综合利用视觉词袋模型与颜色直方图进行遥感数据检索，可以实现更多、更好的影像检索功能，帮助相关研究者便捷地获取遥感数据。该方法在目标检测、影像检索及影像分类的应用上具有很大的研究价值。

1.1 局部不变特征和视觉词袋模型

基于局部不变特征的图像表示通常需要两个步骤[10]：①检测步骤往往根据某些显著点来表示图像兴趣区域，这些显著点被称为兴趣点；②计算每个以兴趣点为中心创建的图斑[11]的描述子。本文选择文献[12]提出的尺度不变特征变换(scale invariant feature trans form,SIFT)算法检测特征点和描述每块图斑。SIFT的实质可以归纳为在不同尺度空间查找关键点的问题，而关键点的坐标位置和对应的尺度是图像在不同尺度空间进行高斯差分滤波和降采样得到的局部极值。高斯差分图像是由两个尺度不同的高斯模糊图像相减得到的

D(x,y,σ)=L(x,y,kσ)-L(x,y,σ)

(1)

其中，L(x,y,σ)是指由原始图像与带有标准差σ的高斯核函数卷积生成的图像序列表达式；k为尺度倍率因子。

视觉词袋模型是目前比较成熟和成功的图像检索模型，包含图像局部特征提取、视觉词汇表生成、局部特征编码生成加权直方图，以及生成图像直方图后进行图像检索等环节。视觉词袋模型将所有的图像集表示成维数相同的特征向量，解决了描述图像局部不变特征数量多和不同图像的特征向量维数不一致问题。但是传统的视觉词袋模型并没有较好地利用局部特征在特征空间的结构信息，并且计算复杂度高，耗时更多。2005年，Grauman等首次提出了金字塔匹配核(pyramid match kernel,PMK)的概念，金字塔匹配核[13]具有较好的匹配性能，但是并不适用高维特征。为了有效利用局部特征在图像的空间位置信息，Lazebnik等提出了空间金字塔匹配核函数[14]，在生成加权直方图的过程中，引入图像的空间位置信息。这种算法可以丰富局部特征描述模型的描述能力，减少了混淆背景对视觉物体识别的影响，增加了局部特征描述模型的鲁棒性。空间金字塔算法是一种常用的以多分辨率来表示图像的有效结构，它在图像的原始空间进行金字塔式划分，将图像分割成不断精细的子块，再把表示每个子块的直方图加权连接，生成整幅图像的金字塔直方图。空间金字塔匹配核的计算公式为

(2)

式中，Xm和Ym分别为两幅图像中第m个通道的二维描述子集合，分别为描述子的横坐标和纵坐标；M为通道数目，即视觉词汇大小；L为金字塔分层的层数。最后根据式(3)对每个空间直方图进行加权，得到特征向量的维数

(3)

1.2 颜色直方图

颜色直方图具备计算简单、运行效率高及旋转不变性等优点，并且对其归一化后还具备尺度不变性，因此在图像检索中应用相对广泛[15]。颜色直方图反映了一幅图像在颜色上的全局信息，统计像素颜色出现的概率为像素概率的估计，每幅图像都有与之对应的颜色直方图。

给定一幅遥感数字影像f，此影像的颜色直方图归一化计算公式为

(4)

式中，h[ck]为影像中第k种颜色在此数字影像中出现的频率数值

(5)

式中，N1和N2分别表示数字影像的行数和列数；fi,j表示数字影像中坐标为i,j处的像素值。

2 影像检索流程

本文提出的遥感影像检索原理是结合视觉词袋模型和颜色直方图生成新的全局影像直方图，检索的流程大致可以分为特征提取、特征建模和分类器训练3个步骤。

2.1 特征提取

数据库中遥感影像大小为M×N像素，以a×a像素的网格大小划分影像，一幅影像有(M/a)×(N/a)个网格。设置影像图斑(patch)大小为(2a)×(2a)像素，一个图斑计算一个描述子，即一个特征向量。计算时，每个图斑划分为(a/2)×(a/2)个方块(bin)，每个方块可以提取8维的局部不变特征，因此每个图斑获取的特征向量的维数为(a/2)×(a/2)×8=2a2。接着每个图斑向左移动一个网格就获得新的图斑。以此类推，移动到影像边缘，然后往下移动。最终一幅遥感影像由(M/a-1)×(N/a-1)个2a2维特征向量表示。

2.2 特征建模

将一幅影像描述为一个局部区域的无序集合，接着采用K-means聚类法将局部区域或图斑进行聚类，每个聚类中心看作视觉词典中一个视觉词汇(visual word)，视觉词汇由聚类中心对应特征形成的码字(code word)来表示，这就是特征量化过程。所有视觉词汇形成的视觉词典(visual vocabulary)就对应一本码书(code book)，词典大小由词汇的个数决定。本文选择M个词汇，每个单词表示2a2维特征向量。影像中每个特征都被影射到视觉词典中某个词汇上，这种映射通过计算特征的距离去实现。然后通过统计每个视觉单词在一幅影像特征里出现的次数，获取每幅影像的特征袋(bag of features,BOF)。利用视觉词袋模型获得影像集的全局金字塔直方图，接着分别求出每张影像的3个颜色分量归一化直方图，即颜色直方图，将全局金字塔直方图与颜色直方图组合，生成每幅影像的新的直方图，该直方图更具有区分性。

2.3 分类器训练

基于欧氏距离的图像检索是传统图像检索的基本手段，本文选择使用支持向量机分类器进行检索。首先由上述步骤获取了遥感影像集的每幅影像的特征向量，根据这些特征向量训练分类器，当分类精度较高时，完成分类器的训练。分类器训练结束，向其输入大量的未知图像，分类器会输出需要检索的目标影像类，完成最终的遥感影像检索过程。

3 试验结果分析

本文试验选择Merced Land Use Dataset数据库，包含21类场景遥感卫星影像分类(每个类别100张图片)，每张图像的大小均为256×256像素。为了更能突出本文提出的遥感影像检索方法的鲁棒性较强的性能，优先选取发生光照、平移、缩放或旋转变化的地物作为遥感影像检索的影像集。因此，试验选择具有代表性的建筑物、森林、道路和水体4类影像作为试验的查询影像，如图1所示。

图1 Merced Land Use Dataset数据集4类地物遥感影像

为了客观评价本文方法的检索效果，试验采用查准率、查全率曲线图对试验结果进行分析，其中查准率(precision)和查全率(recall)的计算公式为

(6)

式中，M为返回的影像数目；N为返回影像中与查询影像属于同一类别的影像数目；P为影像集中与查询影像属于同一类别的影像数目。

为了验证本文提出的遥感影像检索方法查准率和查全率相对较高、鲁棒性较强的优势，本文又进行了基于局部不变特征的影像检索方法和综合纹理特征及颜色特征的影像检索方法的两个试验对比，以查准率和查全率作为检索性能的评价指标。试验结果如图2、图3所示。

图2是3种方法影像检索方法的查准率对比图，图3则是查全率对比图。从图2可以看出本文提出的方法正确率更高，其余两种方法总体上都略低于本文方法，并且针对4种包含100张的影像类，说明本文提出的方法具有较好的鲁棒性和泛化性。从图3可以看出本文方法的查全率也比较高，而基于纹理和颜色的影像检索的查全率相对很低，这是由于遥感影像的纹理特征比较接近，导致图像检索准确性不高。综上所述，本文提出的影像检索方法的查全率和查准率都高于传统的基于局部不变特征的影像检索方法，也高于综合纹理特征和颜色特征的检索方法，从而验证了本文方法能有效克服图像光照、噪声、方向等变化，其鲁棒性较好。

图2 查准率对比

图3 查全率对比

4 结 论

本文提出了基于视觉词袋模型和颜色直方图的遥感影像检索方法，使用SIFT算法实现影像局部不变特征提取，通过视觉词袋模型组合局部特征生成全局金字塔直方图，综合金字塔直方图和颜色直方图生成一幅影像的全局特征向量。再将训练影像集的全局特征向量集输入分类器进行训练，向训练好的分类器输入大量的测试影像集，获取与查询影像属于同一类别的影像，完成影像检索过程。观察不同地物和不同影像检索方法的查准率和查全率结果图，可以看出本文提出的基于视觉词袋模型和颜色直方图的遥感影像检索方法，鲁棒性较强，总体性能较好，为遥感影像检索提供了一定的参考。

[1] 李德仁,张良培,夏桂松.遥感大数据自动分析与数据挖掘[J]. 测绘学报, 2014，43(12): 1211-1216.

[2] PEIJUN D, YUNHAO C, HONG T, et al. Study on Content-Based Remote Sensing Image Retrieval[C]∥ Geoscience and Remote Sensing Symposium. Seoul: IEEE International Geoscience and Remote Sensing Symposium， 2005.

[3] ZHIYONG A, FENG Z, PING D, et al. Image Retrieval Based on the Color-Spatial Distribution Feature of Generalized Images[C]∥Education Technology and Computer Science (ETCS). Chongqing: 2010 Second International Workshop on IEEE, 2010.

[4] YANG Y, NEWSAM S. Geographic Image Retrieval Using Local Invariant Features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013，51(2): 818-832.

[5] 陶超,谭毅华,彭碧发,等.一种基于概率潜在语义模型的高分辨率遥感影像分类方法[J]. 测绘学报, 2011, 40(2): 156-162.

[6] 周维勋,邵振峰,侯继虎.利用视觉注意模型和局部特征的遥感影像检索方法[J].武汉大学学报(信息科学版), 2015, 40(1): 46-52.

[7] LAZEBNIK S, SCHMID C, PONCE J. Spatia-l Pyramid Matching[J]. Object Categorization Computer and Human Vision Perspectives, 2009, 3(4):37-42.

[8] 赵银娣,蔡燕.纹理特征在高空间分辨率遥感影像分类中的应用探讨[C]∥测绘科学前沿技术论坛摘要集.武汉: [s.n.],2008.

[9] RAHMAN M M, DESAI B C, BHATTACHARYA P. Medical Image Retrieval with Probabilistic Multi-class Support Vector Machine Classifiers and Adaptive Similarity Fusion[J]. Computerized Medical Imaging and Graphics, 2008, 32(2): 95-108.

[10] 孙浩,王程,王润生.局部不变特征综述[J]. 中国图象图形学报, 2011, 16(2):141-151.

[11] 赖祖龙,申邵洪,程新文,等.基于图斑的高分辨率遥感影像变化检测[J]. 测绘通报,2009(8):17-20.

[12] LOWE D G. Distinctive Image Features from Scale Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[13] 厉心刚.基于SPM特征提取的面向对象遥感影像分类研究[D]. 武汉：武汉理工大学,2011.

[14] LAZEBNIK S, SCHMID C, PONCE J. Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories[C]∥ IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’06). [S.l.]: IEEE, 2006.

[15] GIRGIS M R, REDA M S.Content-based Image Retrieval Using Image Partitioning with Color Histogram and Wave-let-based Color Histogram of the Image[J]. International Journal of Computer Applications, 2014, 104(3): 17-24.

RemoteSensingImageRetrievalUsingBagofVisualWordsModelandColorHistogram

HU Yiqun,ZHOU Shaoguang,YUE Shun,WANG Sha

(College of Earth Science and Engineering, Hohai University, Nanjing 211100, China)

Content-based remote sensing image retrieval has become a research hotspot in remote sensing field. In view of this, a new method based on this bag of visual words model and color histogram is proposed for remote sensing image retrieval. The method extracts image local invariant features with scale invariant feature descriptor, combines local features by bag of visual words model, and generates pyramid histogram for each image. Then a more distinctive feature vector is achieved by combining the color histogram of each image, the support vector machine classifier is trained using the feature vector set generated last step, and the images classified into one category with the query image then to be output through the classifier. Finally remote sensing image retrieval procedures are completed. The experimental results show that the proposed method not only improves the precision and recall of image retrieval, but also verifies that the method can efficiently overcome the changes of illumination, noise and direction, and has better robustness.

local invariant features; bag of visual words model; color histogram; support vector machine classifier; image retrieval

P237

A

0494-0911(2017)01-0053-05

胡屹群，周绍光，岳顺,等.利用视觉词袋模型和颜色直方图进行遥感影像检索[J].测绘通报，2017(1)：53-57.

10.13474/j.cnki.11-2246.2017.0012.

2016-04-10；

2016-07-18

国家自然科学基金(41271420/D010702)

胡屹群(1990—)，女，硕士生，主要研究方向为摄影测量与遥感。E-mail：1174679344@qq.com

周绍光。E-mail: zhousg1966@126.com