基于特征的遥感图像匹配技术研究

张　岩，李建增，李德良，周子栋，杜玉龙

(军械工程学院，河北 石家庄 050003)



基于特征的遥感图像匹配技术研究

张岩，李建增，李德良，周子栋，杜玉龙

(军械工程学院，河北 石家庄 050003)

摘要针对目前图像匹配问题，分析对比了近些年来较为经典的基于点特征的图像匹配算法。归纳了2种较为实用的图像预处理方法：Wallis滤波与灰度均匀化。为提高搜索效率引入了近年来热门的k-dimensional(KD)树与Best Bin First(BBF)结合的匹配方法。总结了除外点的2种前沿方法：双向匹配与Progressive Sample Consensus(PROSAC)。为基于特征点的图像匹配提供了整体思路。

关键词图像匹配；特征点；KAZE；FAST

Research of Remote Sensing Image Matching Based on Key Points

ZHANG Yan,LI Jian-zeng,LI De-liang,ZHOU Zi-dong,DU Yu-long

(OrdnanceEngineeringCollege,ShijiazhuangHebei050003,China)

AbstractFor the issue of image matching,some recent classical image matching algorithms based on key points are analyzed and compared.Two practical image preprocessing methods,Wallis filter and gray uniformity,are concluded.A popular matching method combining k-dimensional(KD) tree and Best Bin First(BBF) is introduced to improve the search efficiency.Two leading algorithms,bilateral matching and Progressive Sample Consensus(PROSAC),are summarized.As a result,an integrated idea for image matching based on key points is provided.

Key wordsimage matching;key point;KAZE;FAST

0引言

对同一物体，用不同传感器或不同时刻或不同角度获取时，这些图像在空间分辨率、时间分辨率、几何特性和光谱特性等方面就会存在一些比较明显的差异性或局限性。所以仅用一种图像来描述物体是不能满足实际需要的，为此，就需要图像匹配来解决这种问题[1]。

图像匹配主要解决噪声影响、光照变化、运动模糊、尺度变换以及相对旋转等问题，总体分为基于图像灰度信息与基于图像特征信息2大类，而基于图像特征信息又可分为基于边缘特征、基于轮廓特征、基于区域特征及基于特征点[2]。而基于特征点的匹配方法相对于利用全部图像的像素点来说，减少运算点的个数，从而大大减少了匹配的计算量；同时其匹配亮度对位置变化比较敏感，从而提高了匹配精度；其提取过程减少了噪声、灰度、图像变形及遮挡的影响；并且匹配后的特征点坐标可以直接用来估计图像之间的空间变换关系。由于以上的优势，所以特征点匹配算法近些年来被广泛使用与研究[3]。

1基于特征点匹配算法

1988年，Harris等人提出了Moravec算子的改进方法HARRIS，实验表明该方法能够相对稳定地处理小幅度旋转与光照变化问题[4]，但对噪声、尺度变换与运动模糊极为敏感。1994年，Jinabo等人提出了HARRIS算法的改良算法Shi-Tomasi[5]，该算法增强了对运动模糊的鲁棒性。1997年，Smith和Brady对HARRIS算法进行了改进，提出SUSAN算法，其避免了大量的局部梯度运算，运算速度大幅提高[5]，但鲁棒性小幅下降。Lowe[6]于 1999年提出了经典的 SIFT 算法，并于2004年完善该算法，该算法在使用 DOG尺度空间中检测极值点，并通过拟合函数精确定位关键点所在位置及尺度，剔除了对比度低、不稳定的关键点。同时建立梯度方向分布直方图，生成 128 维描述符，该算法具有尺度和旋转不变性，同时对噪声、光照等影响鲁棒性强，但实时性不高。Bay[7]等人于2006年提出了SURF算法，该算法基于 SIFT 算法的思想进行了改进，在尺度空间中使用近似的 Hessian 矩阵检测关键点，通过使用盒子滤波器和积分图像提高了算法效率，利用关键点邻域的Harr小波响应分布生成 64 维描述符，使得匹配速度大幅提升，但大角度旋转与噪声等影响敏感，并且无法满足实时要求。Agrawal等人于2008年提出了SURF的改良算子CenSurE[8]，该算子利用简单的双层滤波器来近似高斯拉普拉斯，获得了很高的计算效率，计算速度比SURF提高了3倍以上，且性能也超过SURF，逼近SIFT算子，但尺度采样是线性的，滤波器响应信号很稀疏，检测的特征重复率不高。Rosten等人于2006年在SUSAN算法的基础上提出使用机器学习的方法快速检测角点的FAST算法[9]，与传统的角点检测算法相比，在速度上具有明显优势；Mair[10]于 2010 年提出改进的FAST算法，进一步提高了检测速度，但这2种FAST都没有解决尺度与旋转问题。Calonder等人[11]于2010年提出了BRIEF算法，该算法通过对关键点附近随机点对灰度值大小的比较生成二进制特征向量，使得对特征点的描述速度大幅提高，完全满足实时性需求，但对于各种问题的鲁棒性下降很多。Rublee等人[12]于 2011 年提出了Oriented FAST算法使得 FAST 具有了小幅度旋转的不变性，但没有解决尺度问题。Rublee等人于 2011 年提出 ORB 算法，基于FAST与BRIEF生成具有旋转不变性的特征向量，但还是没有解决尺度问题。Leutenegger[13]于2011年改良了ORB提出了 BRISK 算法，该算法在尺度空间中检测 AGAST 角点并将角点位置精确到亚像素，并在关键点周围采用固定的采样模式生成二进制描述符，该算法不仅具有尺度、旋转、光照及噪声等不变性，而且处理速度完全满足实时性要求，是视频处理的良好算子，但处理非同源大比例尺航摄影像相比SIFT、SURF精度不足。2011年，Alahi等人提出一种基于人眼视网膜的描述子FREAK[14]，本质也是二进制描述符，利用扫视匹配搜索，对于各种变换比BRISK描述符具有更好的鲁棒性，处理速度稍有下降，但完全满足实时处理需求，只是精度还是达不到非同源匹配要求。2012年，Pablo等人提出一种比SIFT更稳定的特征检测算法KAZE[15]，采用加性算子分裂算法来进行非线性扩散滤波，可以采用任意步长来构造稳定的非线性尺度空间。描述子与检测子是对SURF的改进，加入了尺度层数参数与子区域重叠带，使得对于各种变换KAZE比SIFT更加稳健，但速度大幅下降。2013年，Pablo等人又提出一种快速的AKAZA算法[16]，该算法利用Fast Explicit Diffusion(FED)数学框架，动态加速了非线性尺度空间的计算，同时提出一种新的描述符二进制描述符Modified-Local Difference Binary(M-LDB)，大大提高了算法的速度，与SIFT、SURF等网格描绘器相比二值特征描绘器的描绘力较弱[17]，且经本文测试，二进制描述符不适用于景物变化大的非同源匹配，匹配精度较低。

2图像预处理

匹配算子选定后，为准确匹配需要提高对比度，同时压制噪声，综合多种滤波器对比，要对图像进行预处理，本文选用Wallis滤波与灰度均匀化。

2.1Wallis滤波

Wallis滤波器是一种比较特殊的滤波器，它可以增强原始影像的反差，同时压制噪声，其目的是将局部影像的灰度均值和方差映射到给定的灰度均值和方差值。它实际上是一种局部影像变换，大大增强了影像中不同尺度的影像纹理模式，所以在提取影像中的特征点时可提高特征点的数量和精度，从而提高匹配结果的可靠性与精度[18]。

Wallis滤波器可以表示为：

(1)

式中，g(x,y)为原影像的灰度值；f(x,y)为结果影像的灰度值；mg为原影像的局部灰度均值；sg为原影像的局部灰度标准差；mf为结果影像局部灰度均值的目标值；sf为结果影像的局部灰度标准偏差的目标值；c为影像方差的扩展常熟；b为影像的亮度系数[19]。

本文所使用典型的Wallis滤波器中c=1，b=1，此时Wallis滤波公式变为：

(2)

此时r1=sf/sg，r0=mf-r1mg。

2.2灰度均匀化

图像匹配往往会受到场景光线强度和曝光时间等因素的影响不同，而这会使匹配的正确性降低，而灰度均匀化技术可以大大削减以上因素对正确性的影响。灰度均匀化的基本思想是将输入图像的灰度直方图映射到一个更宽，更均匀的灰度直方图，这样输出的图像将具有较大的动态范围和对比度[20]。

在离散图像中，灰度级k出现的概率为：

(3)

式中，m代表在图像中出现的像素总和；mk代表第k级灰度像素的个数；N代表图像中出现的灰度级个数。

(4)

式中，Vk代表原图像第k级值变换后对应的灰度值。灰度均匀化前后的效果图如图1所示。

图1　灰度均匀化效果

3基于KD树的BBF快速匹配

特征点匹配可以归结为一个通过距离函数在高维空间上的相似性检索问题，穷尽搜索虽能搜索到正确的匹配点，但耗时大;普通的KD树算法对于高维数据，搜索效率会下降，可能导致大部分节点被访问和比较而接近于穷尽搜索法。针对上述生成的特征描述向量，考虑到匹配时的时间代价，用基于KD树索引的Best-bin-first(BBF)最近邻搜索方法，进行特征匹配。

首先计算特征向量间的相似性距离，最常用的方法就是采用归一化欧氏距离准则，根据相似性距离建立KD树索引，然后采用BBF算法来进行匹配点对的查找，即利用优先级队列，针对某查询点，搜索整个KD树队列中记录的都是KD树根节点和树节点，它们的优先级取决于离查询点的距离，然后再从队列中提取优先级最高的节点，从根节点开始扫描到叶子节点，重复以上步骤直到队列为空或超出时间限制，BBF通过优先队列可以随时中断查询机制，总能返回最好结果作为近似的最近邻，从而将KD树扩展到高维空间上[21]。

4去除错误匹配点

4.1双向匹配算法的原理

基于KD树的BBF快速匹配方法容易产生误匹配，但其中的大部分是正确的，并且匹配方向和匹配阈值对匹配特征向量对的数量及正误起到了关键的作用，故提出利用特征向量匹配对的唯一性约束，进一步提高匹配正确率[22]。

双向匹配算法的基本思想是根据交集思想，由原方法中的第1次匹配的结果，得到第1个特征点集在第2个特征点集中的匹配点，反过来再次求第2个特征点集中已被匹配的关键点在第1个特征点集中的匹配点，即求已被匹配的关键点在第1个特征点集中的最邻近与次邻近的距离比率α，α小于某个阈值的匹配点才认为是正确匹配。从而增强算法的约束条件来获得更可靠的匹配点对。

则双向匹配算法可表示为：

若满足式(1)，则认为pi与qj是特征匹配点对。从上面定义的条件可以看出，双向匹配算法的约束条件都比原算法的约束条件更强。随着约束条件的增强，一方面，在初始匹配阶段，更多的外点在初始匹配阶段被检测出来，得到的初始错误匹配点对数减少，另一方面，在剔除外点阶段，这些错误匹配对RANSAC等算法的影响减弱，导致最后的总的匹配点对数和正确的匹配点对数增加，从而提高了特征点匹配的性能[23]。

4.2用PROSAC算法估算变换模型

采用的PROSAC算法流程图如图2所示。

图2　PROSAC算法流程

PROSAC算法是RANSAC算法的改进，而且鲁棒性和计算效率比RANSAC更高，RANSAC算法是随机采样，并没有考虑到样本之间的差异，但实际情况下样本之间存在好坏差异[24]。PROSAC不是像RANSAC算法从所有的数据中采样，而是优先选取匹配度较高的匹配点拟合模型，经过若干次的假设与验证后，得到最优解。这样有利于快速收敛拟合的过程，在误匹配率较高时同样适用[25]。

5结束语

本文提供了一种图像匹配的整体思路，总结了近些年来经典的基于特征点的图像匹配算法，具体工作如下：归纳总结了图像匹配的整体思路:图像预处理，特征检测，特征描述和特征匹配，去除错误点。并于每一步给出了较为前沿的方法，方便特征点匹配顺利进行；分析对比了近年来里程碑式的特征匹配算子，列出了算子对前人的发展与劣势，给出了算子的适用范围与条件，较为详尽的总结了基于特征点匹配算子的发展。

本文算法还存在不足：综述不够详尽，部分算子未列入文中，会在今后的研究中加以改善。后续会引入数据对比，增强说服力。

参考文献

[1]樊曼曼.多源卫星遥感影像配准技术研究[D].秦皇岛：燕山大学，2011.

[2]宋芳,李勇,陈勇.多源遥感图像中的图像配准方法[J].激光杂志,2008,29(3):26-27.

[3]廖斌.基于特征点的配准图像研究[D].长沙：国防科学技术大学研究生院，2008.

[4]HARRIS C,STEPHENS M.A Combined Corner and Edge Detector[C]∥Proceedings of the 4th Alvey Vision Conference,1988.

[5]SMITH S M,BRADY J M.SUSAN-A New Approach to Low Level Image Processing[J].International Journal of ComputerVision,1997,23(1):45-78.

[6]LOWE D G.Distinctive Image Features from Scale-invariant Key-points[J].International Journal of Computer Vision,2004,60(2):91-110.

[7]BAY H,TUYTELAARS T,VAN G L.SURF:Speeded up Robust Features[C]∥Computer Vision-ECCV 2006，Springer Berlin Heidelberg,2006,404-417.

[8]AGRAWAL M,KONOLIGE K.CenSurE:Center Surround Extremas for Realtime Feature Detection and Matching[C]∥Proceedings of 10th European Conference on Computer Vision.Berlin:Springer,2008:102-115.

[9]ROSTEN E,DRUMMOND T.Machine Learning for High-speed Corner Detection[C]∥Computer Vision-ECCV 2006,Springer Berlin Heidelberg,2006:430-443.

[10]MAIR E,HAGER G D,BURSCHKA D,et al.Adaptive and Generic Corner Detection based on the Accelerated Segment Test[C]∥Computer Vision-ECCV 2010,Springer Berlin Heidelberg,2010:183-196.

[11]CALONDER M,LEPETIT V,STRECHA C,et al.Brief:Binary Robust Independent Elementary Features[C]∥Computer Vision-ECCV 2010,Springer Berlin Heidelberg,2010:778-792.

[12]RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB:An Efficient Alternative to SIFT or SURF[C]∥Computer Vision (ICCV),2011 IEEE International Conference on IEEE,2011:2 564-2 571.

[13]LEUTENEGGER S,CHLI M,SIEGWART R Y.BRISK:Binary Robust Invariant Scalable Keypoints[C]∥Computer Vision(ICCV),2011 IEEE International Conference on.IEEE,2011:2 548-2 555.

[14]ALAHI A,ORTIZ R,VANDERGHEYNST P.FREAK:Fast Retina Keypoint[C]∥Computer Version and Pattern Recognition,2011:510-517.

[15]PABLO F,ADRIEN B,ANDREW J.KAZE Features[C]∥European Conference on Computer Vision (ECCV),2012:2 374-2 378.

[16]Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces[C]∥In British Machine Vision Conference (BMVC),2013:2 157-2 163.

[17]王飞宇,邸男,贾平.结合尺度空间FAST角点检测器和SURF描绘器的图像特征[J].液晶与显示,2014,29(4):598-604.

[18]张力,张祖勋,张剑清.Wallis滤波在影像匹配中的应用[J].武汉测绘科技大学学报,1999,24(1):24-27.

[19]朱巧云,答星.基于Wallis滤波器的异源遥感影像匀光方法[J].测绘与空间地理信息,2012,35(10):130-132.

[20]杨世沛,陈杰,周莉，等.一种基于SIFT的图像特征匹配方法[J].电子测量技术,2014,37(6):50-53.

[21]张开玉,梁凤梅.基于改进SURF的图像配准关键算法研究[J].科学技术与工程,2013,13(10):2 875-2 878.

[22]刘焕敏,王华,段慧芬.一种改进的SIFT双向匹配算法[J].兵工自动化,2009,28(6):89-91.

[23]张建花,白仲斐,惠广裕.基于SIFT算法的异源遥感影像自动配准研究[J].电子设计工程,2011,19(13):176-179.

[24]李小红,谢成明,贾易臻,等.基于ORB特征的快速目标检测算法[J].电子测量与仪器学报,2013,27(5):455-460.

[25]尚明姝.一种基于改进SURF的图像配准方法[J].微电子学与计算机,2014,31(2):125-128.

张岩男，(1991—)，硕士研究生。主要研究方向：无人机信息传输与处理技术。

李建增男，(1966—)，副教授，硕士生导师。主要研究方向：控制科学与工程、无人机信息传输与处理技术。

作者简介

中图分类号TN957.52

文献标识码A

文章编号1003-3106(2016)02-0061-04

基金项目：国家自然科学基金资助项目(51307183)。

收稿日期：2015-11-16

doi:10.3969/j.issn.1003-3106.2016.02.15

引用格式：张岩，李建增，李德良，等.基于特征的遥感图像匹配技术研究[J].无线电工程，2016，46(2)：61-64.