基于SIFT算法的异源遥感影像自动匹配研究

张建花，白仲斐，惠广裕

（中国飞行试验研究院 测试所，陕西 西安 710089）

光学卫星遥感成像的理论限制，难以突破云雨障碍。即使是未来研制的近地空间静止遥感成像平台、发射更多的遥感卫星，光学遥感也难以突破云雨气象条件限制。面对巨型灾害，如何提高航天航空遥感影像获取的应急保障能力是一个亟待解决的问题。在浏览众多云覆盖卫星影像时，在大多情况下可以发现每一景影像总是存在或多或少的无云覆盖区域，如果将不同传感器、不同分辨率、不同时相、不同波段的遥感影像中无云覆盖区域自动提取出来，然后对其进行配准并综合生成大范围的无云或少云覆盖遥感影像，这就在一定程度上解决云覆盖条件下卫星遥感影像获取的问题，这将是提高遥感影像应急保障能力的有效途径之一。

图像配准技术经过多年的研究，已经取得了很多研究成果。大致可以分为2类：基于区域的配准方法和基于特征的配准方法。基于区域的配准方法利用了区域内所有像素的灰度信息，对噪声和光照的鲁棒性较差；基于特征的图像配准方法首先提取图像的不变特征（点、线、面），然后对这些不变特征进行匹配进而完成图像之间的配准。然而，对于异源遥感影像来说，由于遥感影像数据量较大、影像配准的输入数据来源的多样性、成像条件和场景的复杂性，传统的图像配准技术仍然难以可靠地解决图像特征的对应问题，多源影像自动配准问题，在遥感领域才刚刚开始。近几年来，在计算机视觉领域，基于不变量特征描述子的方法在目标识别和图像匹配方面取得了显著的进展，Mikolajczyk[1]和Schmid针对不同的场景，对具有光照变化、图像几何变形、分辨率差异、旋转、模糊和图像压缩等6种情况，就多种最具代表性的描述子（如 SIFT、矩不变量、互相关等10种描述子）进行了实验和性能比较，结果表明SIFT描述子的性能最好。

目前，国内研究将SIFT方法用于遥感图像配准的研究很少。本文将SIFT方法引进到具有光谱特征、空间特征、纹理特征差异的异源遥感影像自动配准技术中，并对SIFT的匹配策略进行优化，提高其可匹配性。

1 SIFT特征及匹配具体算法

SIFT[2]（Scale Invariance Feature Transform）匹配算法是一种较优秀的匹配算法，正好满足对异源遥感影像进行配准的要求。主要步骤如下：

1.1 特征点检测

利用不同尺度（σ）的高斯核函数对原始图像做卷积运算，进行尺度变换。并以不同的采样间隔采样，建立尺度空间[3]的高斯金字塔图像，再将相邻尺度的高斯图像相减得到DOG金子塔多尺度空间图像。对DOG尺度空间内每个点与相邻尺度和相邻位置的点逐个进行比较，得到的局部极值（极大值和极小值）位置即为关键点所处的位置和对应的尺度。然后去掉低对比度的关键点和不稳定的边缘响应点得到的稳定的特征点。

1.2 SIFT特征特征向量生成

在特征点周围所在的一个区域内，依据样本点的梯度方向生成一个方向直方图，将方向直方图中的峰值作为该特征点的主方向。后续的特征点构造均以该方向为参照 ,这样所构造的描述符具有旋转不变性。

SIFT特征描述符的构造：对任意一个关键点 ,在其所在的尺度空间 (即高斯金字塔结构的某一层),取以关键点为中心的16×16像素大小的邻域,再将此邻域均匀地分为4×4个子块，在每个子块上计算 0，45，90，135，180，225，270，315 度这8个方向的梯度大小和梯度方向直方图。然后对每个子块的8个方向梯度直方图根据位置依次排序 ,这样就构成了一个4×4×8=128维的向量,该向量就是 SIFT特征描述符。其中，第1维对应于第一子块的第一个梯度方向，第2维对应于第一子块的第2个梯度方向，第9维对应于第二个子块的第一个梯度方向，依次类推。

1.3 SIFT特征特征向量匹配

采用特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离与次近的距离比值少于某个阈值α，则接受这一对匹配点。通过相似性度量得到潜在匹配对，其中不可避免会 产生一些错误匹配，因此需要根据几何限制和其他附加约消除错误匹配，提高鲁棒性。我们采用RANSAC算子消除错匹配特征点。RANSAC算法的基本思想是：在进行参数估计时，不是不加区分地对待所有可用的输入数据，而是迭代地在输入数据中采样所谓的最小点集，每次采样所得到的最小点集估计出所要确定的模型参数，同时根据一定的判断准则来判别输入数据中哪些是与该参数相一致的，即内点，哪些是不一致的，即外点。如此迭代一定次数后，将对应输入数据中内点比例最高的所估计参数值以及所筛选出来的内点作为RANSAC最后解。

2 异源遥感图像实验

1）相同传感器图像配准 图1所示，左图像为航空影像，右图是将其旋转60°。其中左影像检测到1 947个SIFT特征点，右影像检测到1 109个SIFT特征点。图中连线表示SIFT算法的匹配点对，一共236对匹配点。经过人工筛选匹配点对坐标文件，得到正确的匹配点为195对。得到其正确匹配率为83%。采用RANSAC估计算法得到226对匹配点，去除了10对外点。

图1 相同传感器遥感图像配准Fig.1 Registration of the same source remote sensing images

2）相同传感器，不用波段的遥感图像配准 如图2所示。左图像为TM传感器的第2波段，右图像为第6波段图像。由于不同波段的地物波谱反射特性不同，在图像上表现为相同地物在不同波段的图像上亮度值差异较大。采用SIFT方法，在左图中，检测到2 238个SIFT特征点，在右图中，检测到2 872个SIFT特征点。图中连线表示SIFT算法的匹配点对，一共145对匹配点。经过人工筛选匹配点对坐标文件，得到正确的匹配点为111对，得到其正确匹配率为77%。采用RANSAC估计算法得到141对匹配点，去除了4对外点。

图2 不同波段遥感图像配准Fig.2 Registration of the multi-band remote sensing images

3）不同传感器的图像配准 如图3所示，左图是SPOT卫星全色分辨率为10 m的影像，右图是TM 30 m分辨率的影像。两者分辨率、成像角度不同，照度也有所变化。在左影像中检测到了7 979个SIFT特征点，在右影像中检测到3 666个SIFT特征点。其中共有34对匹配点对，如图中连线所示。经过人工筛选匹配点对坐标文件，得到正确的匹配点为18对匹配点对，正确匹配率为53%。采用RANSAC估计算法得到25对匹配点，去除了9对外点。

图3 不同传感器遥感图像配准Fig.3 Registration of the multi-source remote sensing images

3 改进的SIFT图像配准算法

通过以上3组实验，表明SIFT算法对不同传感器，不同分辨率，不同波段，不同时相的遥感图像配准时均检测出了大量的可匹配的特征点对。所以采用SIFT算法对异源遥感图像配准是可行的。同时采用RANSAC估计方法剔除错误匹配。但是，计算SIFT特征向量时，同一个点可能有多个方向，因此属于不同的特征点，他们中间的全部或者部分可能产生正确的匹配点对，但是实际上是同一点。因此，RANSAC算法并没有去除这些重复匹配点对。为了更好地应用于实际，对原SIFT向量的匹配方法进行分析并改进，提出双向匹配算法[8]。

3.1 原SIFT特征点匹配约束条件分析

设P和Q分别为两幅图像的特征点集，则对任一pi∈P，qj∈Q，对于相似性测度[9]S来说，如果满足：

则表明qj是Q中与pi最相似的特征点。然而，如果：

则pi不是P中与qj最相似的特征点，此时不应把 pi与qj作为对应的匹配点对。所以，对于鲁棒的特征点匹配算法应该满足如下的条件：

若式（3）成立，则 pi与 qj作为对应的匹配点对。反之亦然。

在D.G.Lowe的SIFT特征点初始匹配算法中，对于P中的任一特征点pi，在Q中与pi的特征向量的欧式距离最小的两个特征点为 qj和 qj′,则对应的欧氏距离分别为 dij和 dij′，且dij≤dij′。 如果 dij＜dij′·α，则认为 pi与 qj为对应的匹配点对，其中α是一个预先设定的阈值。利用这样的规则，可以得到两个特征点集之间的初始匹配。

如果按照D.G.Lowe的特征点原匹配算法，就会把一些错误的匹配点对当作正确的匹配点对。这样导致在初始匹配阶段存在较多的错误匹配，而在剔除外点时，由于这些错误匹配对RANSAC等算法的影响，不能把所有的错误的匹配剔除掉。所以，最终的匹配点对中仍存在较多的错误匹配。因此，我们对D.G.Lowe的特征点初始匹配算法进行改进，采用双向匹配算法。

3.2 双相匹配算法的原理

双向匹配算法的基本思想是根据交集思想，由原SIFT方法中的第一次匹配的结果，得到第1个特征点集在第2个特征点集中的匹配点，反过来再次求第2个特征点集中已被匹配的关键点在第1个特征点集中的匹配点，即求已被匹配的关键点在第1个特征点集中的最邻近与次邻近的距离比率α，α小于某个阈值的匹配点才认为是正确匹配。从而增强算法的约束条件来获得更可靠的匹配点对。

则双向匹配算法可表示为：

若满足条件式（4），则认为 pi与 qj是特征匹配点对。从上面定义的条件可以看出，双向匹配算法的约束条件都比原SIFT算法的约束条件更强。随着约束条件的增强，一方面，在初始匹配阶段，更多的外点在初始匹配阶段被检测出来，得到的初始错误匹配点对数减少；另一方面，在剔除外点阶段，这些错误匹配对 RANSAC等算法的影响减弱，导致最后的总的匹配点对数和正确的匹配点对数增加，从而提高了特征点匹配的性能。实验结果如表1所示。

表1 双向匹配算法的实验结果Tab.1 The result of idirectional matching algorithm

实验图像与上节相同。采用RANSAC估计算法算法作为参照，实验结果表明用双向配算法在特征点匹配时删除了更多的重复点对与错误匹配点对。验证了我们所采用的双向匹配方法的优越性。

4 图像拼接结果

在Microsoft VC＋＋6.0平台下，采用C＋＋语言编写程序，对SIFT特征点检测及特征向量匹配算法进行了详细的实验比较，并将配准后的图像进行拼接操作，结果如图4、5、6所示。

图4 相同传感器遥感图像拼接结果Fig.4 Result of the same source remote sensing images

图5 不同波段遥感图像拼接结果Fig.5 Result of the multi-band remote sensing images

图6 不同传感器遥感图像拼接结果Fig.6 Result of the multi-source remote sensing images

通过对不同传感器、不同分辨率、不同波段、不同时相的异源遥感影像进行实验。表明，SIFT算法简单易行，效率较高，在图像中可提取出大量的特征点，这些特征点对图像的旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；由于原SIFT方法不能去除大量重复点对和错匹配点对，在特征向量匹配环节引入的双向匹配算法和RANSAC估计方法可消除大量冗余的重复点对，使SIFT具有较好的鲁棒性和实用性，配准结果更加准确。基于SIFT算法扩展性好，易于和其他类型特征向量联合的特点，如果将纹理特征引入SIFT描述子的方法，应该会取得更好的匹配效果，这是下一步的研究重点。

[1]Mikolajczyk K，Schmid C.A performance evaluation of local descriptors[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2005，27（10）：1615-1621.

[2]Lindeberg T.Scale-space theory：a basic tool for analysising structure s at different scales[J].Journal Applied Statistics，1994，21（2）：223-261.

[3]Lowe D G.Object recognition from local scale-invariant features[J].International Conference on Computer Vision，1990，57（4）：134-154.

[4]Lowe D.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[5]Manjunath H L.A contour-based approach to multisensory image registration[J].IEEE Transactions on Image Processing，1995，4（3）：320-334.

[6]赵向阳，杜利民.一种全自动稳健的图像拼接融合算法[J].中国图象图形学报，2004，9（4）：417-422.

ZHAO Xiang-yang，DU Li-min.An automatic and robust image mosaic algorithm[J].Journal of Image and Graphics，2004，9（4）：417-422.

[7]刘小军，杨杰，孙坚伟，等.基于SIFT的图像配准方法[J].红外与激光工程，2008，2（1）：25-29.

LIU Xiao-Jun，YANG Jie，SUN Jian-wei，et al.Image registration approach based on SIFT[J].Infrared and Laser Engineering,2008，2（1）：25-29.