一种改进的SAR与可见光图像的快速配准算法

张皖南，杨学志，董张玉



一种改进的SAR与可见光图像的快速配准算法

张皖南1,2，杨学志1,2，董张玉1,2

(1. 合肥工业大学计算机与信息学院，安徽 合肥 230009；2. 工业安全与应急技术安徽省重点实验室，安徽 合肥 230009)

针对基于尺度不变特征变换(SIFT)的合成孔径雷达(SAR)与可见光图像配准存在耗时长、精度不高的问题，提出了SIFT与快速近似最近邻搜索(FLANN)相结合的配准算法。首先，针对SAR图像存在的相干斑噪声做双边滤波(BF)，在去噪的同时能够保护图像的边缘避免被高斯函数模糊。其次，在高斯差分尺度空间检测特征点并生成SIFT特征描述向量，利用FLANN算法实现高维向量空间中的快速匹配。最后，采用改进的抽样一致算法(PROSAC)剔除误匹配进一步提高匹配正确率。实验结果表明该算法在配准的精度和速度上都优于原始的SIFT算法。

合成孔径雷达图像；可见光图像；配准；尺度不变特征变换；快速近似最近邻搜索

图像配准是对不同传感器、时间或角度获取的两幅有重叠部分的影像匹配的过程[1-3]，其关键技术是找到待配准图像间最优的几何变换，从而使得变换后的图像相对于一种相似性度量函数具有最大相似性[4]。图像配准是实现模式识别、图像融合、变换检测和图像镶嵌等的前期处理[5]。在遥感图像中，合成孔径雷达(synthetic aperture radar，SAR)图像和可见光图像是最典型的两种类型。SAR具有全天候、穿透性强、纹理信息丰富等优势，但图像不含光谱信息，且目标的微波反射特性导致相同物体的SAR图像可能呈现不同的表现形式。可见光图像能直观地对目标进行成像，含有丰富的光谱信息，但受大气衰减、天气状况的影响较大[6]，因此研究这两种图像的配准有重大意义。

现有的图像配准方法大致分为两大类：基于区域配准和基于特征配准。基于区域配准主要包括互信息算法、交叉相关算法和最大似然估计算法等[7]。这些算法虽然有一定的鲁棒性，但是计算量很大，而且当SAR与可见光图像存在角度和尺度差异时配准效果不理想。在基于特征配准的算法中，尺度不变特征变换[8](scale-invariant feature transform，SIFT)是最为普遍的算法之一。其具有尺度变换、旋转和仿射不变性，对噪声及视角变换也有一定的鲁棒性，因此广泛应用于图像处理领域。尽管SIFT算法可以很好地配准可见光图像，但直接应用于SAR图像配准时会出现很多误匹配[9]，最主要的原因是SAR图像存在相干斑噪声，导致提取的特征点被破坏。另外，由于传统的SIFT算法提取的特征点及生成的特征向量数量过多，不但计算量大且处理时间长。

为了解决上述存在的问题，本文提出了一种基于SIFT与快速近似最近邻搜索(fast library for approximate nearest neighbors，FLANN)相结合的SAR与可见光图像配准算法。首先，为了有效去除SAR图像的相干斑噪声，采用双边滤波(bilateral filter，BF)对其预处理，同时也保护了图像的边缘防止高斯函数模糊。然后在高斯差分(difference of Gaussian，DOG)尺度空间检测出特征点并生成特征向量，通过FLANN算法快速搜索到匹配点对。最后利用改进的抽样一致算法(progressive sample consensus，PROSAC)剔除初始匹配结果中的误匹配，从而使匹配正确率进一步提高。实验结果表明本文算法在配准的精度和速度上都有较大的提升。

1 图像算法原理

1.1 SIFT原理

SIFT算法是在尺度空间中寻找稳定的对缩放、旋转甚至仿射变换保持不变的关键点，并进行描述[10]。SIFT算法的主要步骤如下：

步骤1.关键点检测。利用DOG算子，在图像上建立DOG尺度空间，并在该空间内寻找在尺度空间和图像空间均为极值的点；

步骤2.确定关键点主方向。在以关键点为中心的邻域窗口内用直方图统计邻域像素的梯度方向。直方图的峰值即为该关键点的主方向；

步骤3.生成关键点描述子。以关键点的主方向作为计算描述子的坐标向，确保旋转不变性。在关键点邻域划分成的小区域内计算梯度方向和模值，生成梯度方向直方图。由各个小区域梯度方向直方图建立关键点的特征向量，即为描述子。

1.2 基于SIFT与FLANN相结合的SAR与可见光图像配准

基于SIFT与FLANN相结合的SAR与可见光图像配准算法主要包含以下几个部分：SAR图像的BF、可见光图像与SAR图像的特征点检测描述、FLANN算法初匹配、PROSAC算法剔除误匹配，具体流程如图1所示。

图1 算法流程图

1.2.1 双边滤波

BF[11]是一种非线性滤波，其基于图像的空间邻近度和像素值相似度计算权重，同时考虑空域信息和灰度相似性。BF的定义如下

其中，和为像素位置；I与I为像素值；和的空间强度高斯核的标准差分别为σ和σ，其中的为空域高斯函数；为值域高斯函数；W为归一化因子；[]为像素的过滤值。总权重为空间权重与强度权重之和。

BF器是由几何空间距离和像素差值共同决定滤波器系数，所以可以实现保边去噪的效果，本文选择BF是基于考虑避免SAR图像在SIFT算法中被高斯函数模糊边缘。

1.2.2 SIFT特征检测和描述

文献[7]选取图像的三维DOG尺度空间中检测局部极值作为特征点，以使特征具备良好的独特性和稳定性。差分高斯尺度图像的极值检测如图2所示。

图2 尺度空间极值点检测示意图

利用特征点邻域内所有像素点的梯度方向分布特性为特征点指定方向，使特征点具有旋转不变性。式(2)、(3)分别相应点的梯度模值和梯度方向为

其中，为关键点所在的尺度空间值，用直方图统计邻域像素的梯度方向，直方图的峰值即为该关键点的主方向。

将坐标轴旋转为特征点的主方向，以确保旋转不变性。在关键点邻域划分成的小区域内计算梯度方向和模值，生成梯度方向直方图，由各个小区域梯度方向直方图建立关键点的特征向量，即为描述子。

1.2.3 FLANN匹配

由于SIFT特征向量是高维向量，以往算法采用基于最近邻距离的匹配算法，其匹配过程相当于在高维向量空间中搜索最近邻，带来繁重的计算量。本文采用FLANN[12]算法得到初始匹配点对，显著提高了搜索速率。

FLANN算法根据数据集的分布特点、映射精度和空间资源的消耗需求，推荐索引类型和检索参数。FLANN模型的特征空间通常是一个维的实向量空间命名为R，其核心是寻找基于欧氏距离的相邻点。特征点和的子向量分别用和表示，则(,)的欧氏距离式为

本文中R的数据点分为若干个部分基于KD树，目的是要在整个KD树中搜索到接近查询点的最小欧氏距离。因为R中的所有(,)都存储在KD树的结构中，这样就可以有效地搜索到参考点的最近点。

1.2.4 PROSAC剔除误匹配

为了进一步提高匹配正确率，本文采用PROSAC[13]剔除初始匹配点对中的误匹配。PROSAC算法是随机抽样一致算法(random sample consensus，RANSAC)的改进，其和RANSAC算法不同，不是从所有的集合中采样，而是将点初始集匹配的结果作为排序的依据，使得在采样时根据匹配结果由高到低的得分进行排序，这样最有可能得到最佳参数的采样会较早出现，从而提高了速度。

PROSAC算法首先从具有最高品质方程的数据子集中抽取采样产生假定，假定集合的大小逐渐增大，然后在所有的数据点上验证这些假定，当存在更好解的概率低于5%时算法终止。

2 实验结果与分析

本文通过两组SAR图像和可见光图像的配准实验对提出的算法进行精度和速度的评价，并与原始SIFT算法和加速稳健特征算法[14](speeded up robust features，SURF)作对比。SAR图像采用欧空局哨兵1号C波段VV极化的雷达卫星图像，分辨率为5 m。第1组实验的可见光图像采用国家高分1号全色图像，分辨率为2 m；第2组实验的可见光图像采用国家高分1号多光谱图像，分辨率为8 m。匹配结果如图3~4所示，评价结果见表1。

从表1可看出，本文算法获得更多的匹配点对，正确匹配率比原始的SIFT和SURF算法都有很大提高：第一组实验本文算法的正确匹配率达到了91%；第2组原始SIFT算法的正确率是64%，SURF算法的正确率72%，本文算法正确率为89%。正确率提高的主要原因是采用了BF有效地去除了SAR图像中的斑点噪声，同时很好地保持了图像的边缘特性，从而可以提取到图像中更多的特征点，保证了配准精度。

图3 第1组配准结果

图4 第2组配准结果

表1 几种算法的配准精度评价

另外，本文算法速度也有很大提升：第2组实验中，原始SIFT算法配准时间耗时0.79 s，本文算法只有0.21 s，速度提高了近4倍。这是因为使用的FLANN算法可以在高维向量空间中快速地搜索到匹配点对，PROSAC算法比常用的抽样一致算法可以更快地剔除误匹配，大大减少了整个算法的消耗时间。

3 结 论

本文针对传统的SIFT算法应用于SAR与可见光图像配准存在耗时长、精度不高的问题，提出了SIFT与FLANN相结合的配准算法。结果表明：①采用BF对SAR图像预处理，在除去相干斑噪声的同时能够保护图像的边缘避免被高斯函数模糊，保证了配准的精度；②利用FLANN算法实现了高维向量空间中的快速匹配，极大提高了匹配速度；③使用PROSAC剔除误匹配点，进一步提高了匹配正确率。综上所述本文算法在配准的精度和速度上都优于原始的SIFT算法。

本文虽然在SIFT算法应用于SAR与可见光图像配准的匹配步骤做了改进，但对于配准的特征检测及特征描述并未改善，因此下一步的研究重点是对SIFT算法的这两个步骤提出创新，从而进一步提高配准的精度和速度。

[1] 潘建平, 郝建明, 赵继萍. 基于SURF的图像配准改进算法[J]. 国土资源遥感, 2017, 29(1): 110-115.

[2] 李孚煜, 叶发茂. 基于SIFT的遥感图像配准技术综述[J]. 国土资源遥感, 2016, 28(2): 14-20.

[3] ZITOVA B, FLUSSER J. Image registration methods: a survey [J]. Image & Vision Computing, 2003, 21(11): 997-1000.

[4] 宋智礼. 基于特征点与边界信息的全自动多模态遥感图像配准方法[J]. 国土资源遥感, 2014, 26(3): 48-54.

[5] BENTOUTOU Y, TALEB N, KPALMA K, et al. An automatic image registration for applications in remote sensing [J]. IEEE Transactions Geoscience & Remote Sensing, 2005, 43(9): 2127-2137.

[6] 李雨谦, 皮亦鸣, 王金峰. 基于水平集的SAR图像与光学图像的配准[J]. 测绘学报, 2010, 39(3): 276-282.

[7] 罗宇, 陈勃, 李山山. 基于空间约束SIFT的光学与SAR图像配准[J]. 计算机工程, 2015, 41(2): 182-187.

[8] LOWE D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[9] ZHU H, MA W P, HOU B. SAR image registration based on multifeature dection and arborescence network matching [J]. IEEE Geoscience & Remote Sensing Letters, 2016, 13(5): 706-710.

[10] 岳春宇, 江万寿. 几何约束和改进SIFT的SAR影像和光学影像自动配准方法[J]. 测绘学报, 2012, 41(4) 570-576.

[11] WANG S H, YOU H J, FU K. BFSIFT: A novel method to find feature matches for SAR image registration [J]. IEEE Geoscience & Remote Sensing Letters, 2012, 9(4): 649-653.

[12] MUJA M, LOWE D G. Fast approximate nearest neighbors with automatic algorithm configuration [C]// International Conference on Computer Vision Theory and Application. New York: IEEE Press, 2009: 331-340.

[13] CHUM O, MATAS J. Matching with PROSAC progressive sample consensus [C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition. New York: IEEE Press, 2005: 220-226.

[14] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features (SURF) [J]. Computer Vision & Image Understanding, 2008, 110(3): 346-359.

Registration Between SAR and Optical Images Based on an Improved Rapid Algorithm

ZHANG Wannan1,2, YANG Xuezhi1,2, DONG Zhangyu1,2

(1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China; 2. Anhui Province Key Laboratory of Industry Safety and Emergency Technology, Hefei Anhui 230009, China)

Registration between SAR and optical images is time-consuming and has poor accuracy when based on the scale-invariant feature transform (SIFT) algorithm. In this letter we propose a novel method to solve this problem. First, we smooth SAR image by using bilateral filter (BF). BF is also good at preserving edges in the image as opposed to Gaussian smoothing, which is used in the original SIFT. Then, keypoints are detected in the Difference-of-Gaussian (DOG) scale space and SIFT descriptors are generated. Next, we adopt the fast library for approximate nearest neighbors (FLANN) algorithm which can search matching points fast in high-dimensional space. Last, progressive sample consensus (PROSAC) algorithm is utilized to exclude false matches. Experimental results show that our approach is significantly more accurate and much faster than the original SIFT.

synthetic aperture radar image; optical image; registration; scale-invariant feature transform; fast library for approximate nearest neighbors

TP 242.2

10.11996/JG.j.2095-302X.2018020209

A

2095-302X(2018)02-0209-05

2017-06-19；

2017-07-22

国家自然科学基金项目(61371154，41601452)；安徽省重点研究与开发计划项目(1704a0802124)；中国博士后科学基金项目(2016M602005)

张皖南(1993–)，女，江苏徐州人，硕士研究生。主要研究方向为遥感信息处理。E-mail：1508622762@qq.com

杨学志(1970–)，男，安徽合肥人，教授，博士，博士生导师。主要研究方向为数字图像处理。E-mail：xzyang@hfut.edu.cn