基于相位特征的可见光和SAR 遥感图像自动配准

孙明超，马天翔，宋悦铭*，彭佳琦

（1. 中国科学院长春光学精密机械与物理研究所，吉林长春130033；2. 驻长春地区第一军事代表室，吉林 长春 130022）

1 引 言

传感器技术的快速发展为对地观测提供了多种手段。可见光图像与人眼的视觉接近，易于解读，应用最为广泛，但容易受天气的影响。合成孔径雷达（Synthetic Aperture Radar，SAR）是一种主动式对地观测微波成像系统，能够穿透云和雾等，可以有效弥补光学影像受天气影响的缺点，但是，SAR 图像的斑点噪声较强，图像可读性较差［1］。因此，将两者数据配合使用，实现信息互补成为一个重要的应用趋势，如图像融合［2-4］和特征检测［5］等。这些应用的前提是可见光和SAR图像间的高精度配准技术。尽管过去几十年里图像配准技术已取得了显著进步，但由于可见光和SAR 成像机制差异，使得图像间存在显著的几何差异和非线性辐射差异，加之SAR 图像固有的斑点噪声，这些都增加了匹配的难度，因此，研究有效的可见光和SAR 图像配准方法具有重要意义。

图像配准是在两幅或多幅图像上识别同名点的过程［6］。图像配准方法主要分成两类：基于区域的方法和基于特征的方法［7-8］。基于区域的方法主要思想是定义某种相似性度量准则，通过计算待配准图像中各个位置当前窗口与模板之间的相似程度，对转换模型的参数进行估计［9］。常用的相似性度量准则主要有互信息［10］和归一化互相关法［11］等。基于区域的方法对遥感影像间几何差异和辐射差异的处理能力较弱，且算法普遍存在耗时长的问题，限制了其在可见光和SAR 配准方面的广泛应用［12］。

基于特征的方法对几何差异有很强的鲁棒性，速度也快，它利用图像的显著特征而不是直接利用图像的强度信息来处理图像。常见的特征主要有：点［13］、线［14］和面［15］。其中，点特征广泛存在于图像之中，因此，基于特征点的图像配准方法得到了广泛的应用，最具有代表性的是尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）［16］。但是，由于可见光和 SAR 图像之间存在显著的灰度差异且容易受到SAR 斑点噪声的影响，SIFT 算法直接用于可见光和SAR配准会失效。因此，许多学者在SIFT 算法的基础上进行了改进，使之适用于可见光和SAR 图像配准。李芳芳等［17］将线特征与SIFT 点特征进行结合来配准多源遥感影像。Xiang 等人［18］和Ma 等人［19］采用指数加权均值算和取代灰度梯度计算可见光和SAR 图像梯度，在一定程度上减弱了SAR 图像斑点噪声对配准结果的影响。这些方法本质上仍是基于图像梯度信息，由于可见光和SAR 图像存在显著的辐射差异，使得根据梯度信息所计算的描述符相似性不足，因此，在配准存在较大辐射差异的可见光和SAR 图像时，基于梯度方法的性能有限。

近年来，基于相位一致性（Phase Congruency，PC）的图像配准算法在多源遥感图像配准中得到了广泛的应用，该方法不受图像光照和对比度变化的影响［20］，通过计算图像的PC 值来检测图像中的角点、边缘和纹理等信息［21］。叶沅鑫等［22-23］基于相位一致性方向构建相位一致性方向直方图，建立了局部特征描述符，用于多模遥感图像配准。Fan 等［24］通过提取不同尺度的相位一致性结构特征构建描述符实现可见光和SAR 图像配准。李欣等［25］提出利用方向相位特征进行多源遥感图像匹配，包括可见光和SAR 图像。Li等［26］提出了一种辐射不变特征变换算法来配准多源遥感图像。该方法不仅极大地提高了特征检测的稳定性，而且克服了梯度信息用于特征描述的局限性。这些研究验证了相位一致性能够抵抗可见光和SAR 影像间的非线性辐射差异，在多源遥感影像配准领域有着良好的应用前景。但这些方法未能充分的发挥相位一致性在特征提取和特征描述方面的潜力，算法稳定性有待提升。

针对上述问题，本文提出一种基于改进相位一致性的可见光和SAR 图像配准算法，算法利用相位一致性在特征检测方面的优势。在特征提取方面，将相位一致性最大矩和最小矩进行叠加，在叠加图上选取Harris 角点作为特征点；在特征描述方面，扩展了相位一致性模型，利用Log-Gabor 奇对称滤波器计算相位一致性特征方向，并提取不同尺度下的最大幅值索引信息，形成基于多尺度加权的最大幅值索引图，借鉴梯度方向直方图（Histogram of Oriented Gradients，HOG），建立一种基于相位特征的描述符，完成特征匹配。

2 相位一致性理论

1987 年 ，Morrone 和 Owens 首 次 提 出 了 相 位一致性理论，该理论指出，人眼感知图像特征主要依靠图像的相位信息而非幅度，与空域中基于梯度的特征检测方法不同，它是一种频域特征检测方法。

在相位一致性算法中，采用Log-Gabor 滤波器(LGF)对原始图像进行卷积计算可以获得局部的相位信息。在空域上，2D-Log-Gabor 滤波器可以表示为：

给定一幅输入图像I，图像上任意一个像素点记为I(x，y)，应用式（1）可以得到偶部和奇部卷积分量分别为es，o(x，y)和os，o(x，y)：

进一步地，像素点I(x，y)的幅值As，o(x，y)和相角φs，o(x，y)分别记为：

根 据 Kovesi 的 理 论［20］，相 位 一 致 性 的 定义为：

其中：PC2(x，y)表示像素点I(x，y)处相位一致性的特征值，它是一个0 到1 的无量纲数字。Wo(x，y)为权重因子。符号表示当其值为正时，所包含的量与自身相等，否则为零。T为估计的噪声阈值，ε为防止除法分母为零的小常数。Δφs，o(x，y)表示相位差，定义如下：

3 基于改进相位一致性的可见光和SAR 遥感影像配准方法

本文提出一种适用于光学和和SAR 的自动配准算法，该算法对可见光和SAR 图像之间的显著辐射差异具有较好的鲁棒性。首先，利用相位一致性最小矩和最大矩特征叠加图和Harris 算子，提取大量稳定、可靠的角点和边缘点作为特征点，然后，基于相位一致性的方向和多尺度加权的最大幅值索引图，利用HOG 模板，建立一种新颖的基于局部相位特征的描述符，增加了描述符的鲁棒性，能够有效抑制可见光和SAR 图像的非线性辐射差异，算法流程如图1所示。

图1 本文算法流程图Fig. 1 Flow chart of the proposed method

3.1 基于相位一致性矩信息的特征点提取

为了获取随着方向o变化的相位一致性信息，可以使用公式（5）独立计算每个方向上的相位一致性。因此，根据方向角θo的不同，可以获得o个相位一致性图PC(θo)［21］。进一步地，采用如下中间变量计算相位一致性的最大和最小矩：

相位一致性的最大矩和最小矩分别记为maxψ和 minψ，则有：

相位一致性最大矩maxψ反映图像的边缘特征，最小矩minψ反映图像的角点特征。尽管可见光和SAR 图像灰度差异较大，但边缘轮廓特征具有较高的相似度，在边缘上提取特征点可以保证一定的重复率，同时边缘上的特征点数量较多；另一方面，角点的重复率较高，因此，本文算法结合边缘点和角点作为待匹配特征点，在最大矩和最小矩叠加图上进行Harris 特征点检测，选取响应较大的特征点作为待配准特征点，保证了特征点的数量和稳定性，特征提取的流程如图2所示。

图2 特征提取流程图Fig. 2 Flow chart of feature extraction

首先，分别计算图像的最大和最小矩信息；其次，将最大矩和最小矩图像叠加，采用高斯模板进行适当滤波去除噪声的影响；最后，在新图像中采用Harris 算子提取响应较强的角点作为待匹配的特征点。特征点是基于相位一致性的边缘特征和角点特征提取的，这不仅保证了数量充足，并且保证了特征点的可靠性和稳定性。

3.2 基于相位一致性方向和多尺度加权最大索引图的描述符构建

在获得了特征点后，需要为每个特征点设计特征描述符来实现配准。本节提出一种基于相位特征的描述符，该描述符对可见光和SAR 图像的非线性辐射差异有较好的鲁棒性。

3.2.1 基于多尺度加权的最大幅值索引图构建

相位一致性很难直接应用于可见光和SAR图像的特征描述符构建中，主要有两方面原因：第一，相位一致性的值在0 到1 之间，大多数像素都缺乏足够的信息，直接用相位一致性构建描述符鲁棒性较差；第二，相位一致性主要体现特征的边缘信息，而在SAR 图像中边缘会受到斑点噪声的影响，使得描述符的准确性较差。Li 等人［26］提出最大幅值索引图的概念，它能够较好的克服多传感器图像间的辐射差异，更适合于多传感器图像配准。

此外，在遥感图像中，其显著的结构特征通常呈现在不同尺度的图像中［12］，受此启发，为了提高描述符显著性，本文在多个尺度上计算最大幅值索引，通过提取不同尺度下的信息以便获得最佳描述符。但是，随着尺度的增加，图像信息变得模糊，信息量减少，因此，本文通过加权方式对不同尺度下图像信息进行保留，以便获得最佳描述符。基于多尺度加权的最大幅值索引图构建流程如图3 所示。

图3 最大幅值索引图构建流程图Fig. 3 Construction of maximum amplitude index

给定一幅输入图像I，首先，根据公式（3）可以获得s×o张相位一致性的幅值图；其次，在同一尺度的o个幅值图中，针对每个像素I(x，y)寻找 它 的 最 大 幅 值和 对 应 的 方向o；然后，在最大幅值索引图中，该像素的位置用o填充，因此，最大幅值索引图中每个元素都是一个1 到o之间的数字；接着，在每个尺度上都可以计算出一个最大幅值索引图；最后，将它们通过加权求和的方式求出最终的最大幅值索引图。

通常，尺度空间的生成都是依靠尺度因子等比例变化实现的，这也符合人眼对于尺度变化的视觉规律，因此，本文对每个尺度层的图像都设置了一个比例系数，令第一个尺度上的初始权重为α，随着尺度增加，加权因子构成等比序列｛α，αk，αk2，…｝，初始加权α与等比序列的比值k有如下关系：

3.2.2 相位一致性的方向

类似于SIFT 中的梯度和梯度方向，在构建描述符时，除了最大幅值索引图之外，还需要找到特征的方向信息。相位一致性方向反映了特征变化的方向，对非线性辐射畸变具有较强的鲁棒性。

在相位一致性理论中，奇对称滤波器是一个平滑的导数滤波器。它可以计算某个方向上的图像导数。奇对称滤波器与原始图像的卷积结果根据方向的不同可以得到o个卷积结果，将他们分别投影到x和y轴上，通过反正切函数可以计算出相位一致性的方向［22］，其定义如下：

其中：θo表示方向o的角度，os，o(θo)表示在方向θo上的奇对称滤波器卷积结果，Ox和Oy分别是卷积结果在x方向和y方向上的投影之和，Opc表示相位一致性方向。相位一致性方向的构建流程图如图4 所示。

图4 相位一致性的方向图构建流程图Fig. 4 Construction of phase congruency orientation

由于可见光和SAR 图像之间的灰度差异会导致Opc发生变化，甚至可能出现梯度反转现象。考虑到这一问题，本文对Opc进行改造，把相位一致性方向限制在0°到180°之间：

式中，Opc"为修改后的相位一致性方向。

3.2.3 局部特征描述符构建

本文的局部特征描述符是由特征点邻域中的一系列子区域按顺序排列获得的，具体构建流程如图5 所示。

根据图5 所示，以邻域分成4×4 个子区域的情况为例，本文描述符构建的主要步骤如下：

（1）采用LGF 对特征点的邻域做卷积计算，在尺度s和方向o上分别获得奇部和偶部的卷积结果；

图5 局部特征描述符构建流程图Fig. 5 Construction of proposed local feature descriptor

（2）根据图3 所示流程计算基于多尺度加权的最大幅值索引图；

（3）根据图4 所示流程计算相位一致性方向图；

（4）选取特征点的邻域大小为m×m，分成np×np个子区域（以np=4 为例）；

（5）在每个子区域中进行直方图计算，首先，将180°分成no个分区。根据相位一致性的方向的分区，进行直方图投票，投票的内容是最大幅值索引图对应的元素。为了直方图的峰值获得更好的精度，每个峰值采用最邻近的三个直方图进行抛物线拟合获得。每个子区域的特征向量由上述直方图组成；

（6）每个特征点的描述符由步骤（5）中16 个子区域的特征向量按照一定顺序构成。子区域P1对应的特征向量为H1，这样，对于图像上任意一个特征点的特征向量为V=[H1，H2，···，H16]。

3.3 特征点匹配

本文使用最近邻比率（Nearest Neighbor Distance Ratio，NNDR）［18］的匹配方法来度量两幅图像特征之间的相似性。NNDR 由NN 和DR 两部分组成，在NN 步骤中，选择描述符之间最近的欧氏距离，然后，计算最近距离与次近距离的比值，当比值超过所设定的阈值时，则认为是一对潜在的正确匹配点。考虑到可见光和SAR 图像存在灰度差异，使得对同名点构建的特征描述符存在一定差异，误匹配的情况广泛存在，为了提升匹配正确率，选取快速采样一致（Fast sample consensus，FSC）［19］剔除误匹配，它能在较少的迭代次数下获得较多的正确匹配。

4 实验与分析

4.1 实验数据

为了验证本文算法的可行性，实验选取四组可见光和SAR 遥感影像作为实验数据，如图6所示。

图6 四组可见光和SAR 遥感影像Fig. 6 Four pairs of optical and SAR remote sensing images

四组影像均存在明显的非线性辐射差异，考虑到，本文的实验数据已经进行过地理信息粗配准，因此，实验图像间存在一定的平移差异、并存在微小的旋转和尺度差异。第一组图像主要包含农田和厂房的特征，没有明显的尺度和旋转差异。第二组图像主要包含郊区和公路的特征，存在微小的尺度差异。第三组主要是机场场景，存在微小旋转差异。第四组是复杂的郊区场景，主要包括河流、高速公路、村落和农田等，图像间没有明显的尺度和旋转差异。此外，成像传感器、拍摄时间、分辨率和尺寸也存在差异，图像先验信息如表1所示。

表1 可见光和SAR 遥感图像的先验信息Tab. 1 Prior information of optical and SAR images

4.2 评价准则

为了评价配准方法的匹配性能，本文采用主观和客观两种评价方式。主观评价方式采用配准结果的棋盘镶嵌图像和局部区域放大图像。主观评价方式可以直观显示图像配准的效果和细节。在客观评价配准效果时，本文采用均方根误差（Root Mean Square Error，RMSE）和匹配正确率（Correct Matching Rate，CMR）作为评价可见光和SAR 图像配准的客观指标。

（1）CMR 的定义为：

其中：Nc表示经过误匹配点剔除后的正确匹配点数，No和Ns分别表示可见光和SAR 图像上所有匹配点数量。如果Nc＜4，则认为匹配失败。CMR值越大，表示存在较多的正确匹配点对，因此会得到更加准确的变换矩阵。

（2）RMSE 是用来评价图像配准算法精度的指标，其计算公式如式（18）所示：

4.3 参数设置

在本文实验中，相位一致性尺度因子s，方向因子o分别设置为4 和6，最小尺度滤波器的波长设置为3～5 个像素，相邻滤波器之间的比例因子设置为1.6，其余相位一致性参数采用默认值。

除此之外，本文算法主要包含5 个参数：初始权重α，权重比例因子k，直方图分区数no，邻域子区域数np和邻域像素数，经过前期实验测试，本文取k=0.5，根据α和k的关系式（13），可知α=8/15。参数no和np与描述符的维度有关，因此不宜选择过大。参数m是特征点进行局部描述符构建的邻域大小，如果邻域过小，描述符缺少有效信息；如果邻域过大，不仅增加了计算量，而且还会受到地物几何特征差异的影响，通过实验测试，选择如下参数no=6，np=4，m=96。因此，本文算法的描述符维度是96。为了公平起见，特征提取的阈值参数适当选择，使得不同算法在可见光和SAR 图像上分别获得约1 000 个特征点。

4.4 实验结果与分析

为了验证本文算法在可见光和SAR 图像配准中的性能，对比算法选择一种主流的基于梯度的 算 法 OS-SIFT［18］。 OS-SIFT 分 别 采 用 Sobel算子和ROEWA 算子来计算可见光和SAR 图像的一致性梯度信息，在一致性梯度信息的基础上计算Harris 响应函数提取特征点，通过对多个图像块进行聚合，在一致性梯度幅值和相位的基础上，构造一个梯度位置方向直方图型描述子。两种算法的配准结果如图7～图9 所示。

图7～图10 显示了4 组试验的配准结果，在提取相同数量的特征点的条件下，本文算法能够获得较多的正确匹配点对，因此，本文算法在抑制可见光和SAR 图像辐射差异方面具有更好的效果。为了定量比较本文算法的优越性，对比两种算法在四组图像中的RMSE 和CMR，结果如表 2 所示。

图7 第一组图像配准结果Fig.7 Registration results of the first group of image

图8 第二组图像配准结果Fig. 8 Registration results of the second group of image

图9 第三组图像配准结果Fig. 9 Registration results of the third group of images

图10 第四组图像配准结果Fig. 10 Registration results of the fourth group of images

针对第一组实验，如图 7（a）中的A 子图所示，由于可见光和SAR 图像的辐射差异，对于同一厂房成像时，光学图像呈现出与人眼近似的特征，但是在SAR 图像中，只在厂房的人字形屋脊处出现一条明显的白线。如图7（a）中的B 图所示，农田的线特征会出现灰度反转现象。针对第二组实验，房屋的弧形结构屋顶导致辐射差异更加明显，同时两幅图像中包含一些尺度差异，匹配难度更大。第三组图像包含了多种机场中的典型特征，SAR 图像中的亮度明显低于光学图像。第四组图像尺寸较大，场景中包含很多信息，河流存在在梯度反转现象，农田边缘在SAR 图像能看凸起效果，而光学不明显，此外，在SAR 图像上村庄散射较强，会对特征提取造成干扰。以上问题，都会给可见光和SAR 图像配准带来困难，但是本文方法很好地克服了辐射差异的影响，针对多种特征都能够获得更多的正确匹配点数和更高的配准精度，相比于基于梯度的方法具有更好的鲁棒性，主要原因如下：

（1）通过在相位一致性的最大矩和最小矩合成图像中提取Harris 角点的方法，不仅保证了特征点的高重复性，而且保证了有效特征的数量，这为后续特征匹配奠定了基础。

（2）基于相位特征建立的局部描述符使用LGF来获得相位一致性的多尺度最大幅值索引和方向特征信息，这对可见光和SAR 图像的非线性辐射差异具有较好鲁棒性。

实验结果表明，本文算法对光学图像和SAR图像之间的辐射畸变具有较好的鲁棒性。然而，本文算法设计过程未考虑尺度和旋转不变性。遥感图像之间的大角度旋转可以利用传感器地理信息进行校正。进一步利用遥感影像的地面分辨率信息，通过重采样将遥感影像分配到同一尺度。然后，利用本文方法进行精细匹配，可以处理光学图像和SAR 图像之间轻微的旋转和尺度差异。

表2 四组图像RMSE 和CMR 对比结果Tab. 2 Comparison of RMSE and CMR for different methods on three pairs of test images

5 结 论

本文针对可见光和SAR 影像间灰度差异大，同名特征提取困难的问题，结合了相位一致性方法在特征检测上的优势，提出了一种基于相位特征的可见光和SAR 图像配准方法。首先，计算图像的相位一致性最大矩和最小矩，对二者进行叠加，在叠加图上提取Harris 角点，从而获得大量稳定的角点和边缘点作为特征点；其次，基于相位一致性方向和多尺度加权的最大幅值索引图建立直方图，构建基于相位信息的局部特征，完成同名点匹配；最后，在四组实测可见光和SAR 图像上对算法进行验证，相比于基于梯度的OS-SIFT 算法具有更多的正确匹配点对和更高的匹配精度。但本文算法对于较大尺度差异和旋转差异的遥感图像，匹配效果不够理想，下一步工作将针对此问题进行更加深入地研究。