基于孪生神经网络的异源图像匹配方法

陶 凯，武龙龙，韩培林，王泽鹏

(1.北京宇航系统工程研究所，北京 100076；2.北京理工大学，北京 100081)

0 引言

合成孔径雷达(synthetic aperture radar, SAR)是一种主动成像技术，具有全天候、全天时、可透视、高分辨率和远距离成像等优点。SAR景象匹配制导是目前精确制导技术重要的发展方向之一，在弹道中段进行弹上SAR景象匹配制导时，安装在导弹上的SAR设备获取实时的SAR图像，处理器将实时图像与预存的可见光参考图像模板进行景象匹配，从而计算出导弹位置，供制导系统修正导弹的飞行轨迹和惯导误差[1]。

现有的图像匹配方法大致可分为两类：基于特征的匹配方法和基于区域(模板)的匹配方法[2]。基于特征的匹配方法首先对图像进行特征提取，之后利用特征之间的相似性进行匹配。常用的特征包括点特征[3-4]、线特征[5]、面特征[6]和局部不变性特征[7-8]等。然而，由于异源图像间存在较大的非线性强度差异，并且SAR图像被一种名为散斑噪声的强乘性噪声破坏，异源图像间使用传统特征检测法检测到的特征往往重复率较低，使得匹配效率低下，不能较好地应用于异源图像间的匹配[9]。

基于区域(模板)的图像匹配方法首先在待匹配的图像上选择一个适当尺寸的模板窗口，然后在参考图像的搜索域中利用某种相似性度量方法进行匹配，选取相似度最大的点为匹配点。常用的相似性度量有互信息(MI)[10]、归一化互相关(NCC)[11]等。这些相似性度量方法直接使用图像的灰度信息进行计算，受辐射差异影响比较大，在异源图像的匹配中表现不佳。

为解决现有图像匹配方法的不足，本文提出基于孪生神经网络的异源图像匹配方法。孪生神经网络(siamese neural network)可以通过深层网络的学习来提取异源图像间的共有特征，能有效地抵抗图像间的非线性强度差异与噪声影响[12]。此外，本文采取模板匹配的方法以避免特征检测重复率的影响，最终实现异源图像间的高精度匹配。

1 孪生神经网络

孪生神经网络是一种通过提取训练样本对的深层特征来进行图像相似性检测的深度学习网络模型。

孪生神经网络的结构如图1所示，它包含两个分支的特征提取网络和一个度量网络，其中特征提取网络是共享权重的。特征提取网络可以包含卷积层、池化层和全连接层等，用于提取训练图像对的深层特征。度量网络除了是上述这些神经网络层，也可以使用某种相似性度量算法，目的是评估图像之间的相似性。

图1 孪生神经网络结构Fig.1 Structure of Siamese neural network

传统的孪生神经网络中包含池化层，其通过降低输入特征图的空间分辨率来减少特征和参数，简化了网络计算复杂度，提高了计算速度；同时，池化层可以保持一定的平移不变性，可以较好地应用于基于特征的匹配方法。

2 异源图像匹配方法

在基于区域(模板)的匹配方法中，由于池化层的平移不变性，会使得孪生神经网络对小范围内偏移的不敏感，降低检测精度。有研究表明，使用步长为2的卷积层+ReLU来替代池化层，可以同时提高网络的性能和对平移的敏感度[13]。因此，本文设计的特征提取网络使用步长为2的卷积层来进行下采样。

特征提取网络的网络结构如图2所示。网络的输入为64×64大小的灰度图。其中，“5×5 conv,32”表示卷积核大小为5×5，卷积核个数为32的卷积层，不加“/2”的层默认卷积步长为1，否则为2。每个卷积层之后的激活函数均为Leaky ReLU。

图2 特征提取网络Fig.2 Feature extraction network

2.1 显著性检测

由于图像平滑的部分难以匹配，使用这些部分不仅会影响最终的匹配精度，还会降低匹配的速度，本文使用基于谱残差的显著性检测方法[14]对待匹配的SAR图像进行显著性检测，选取其中显著性高的图像块参与匹配。

图像信息H(Image)可以分成两部分：

H(Image)=H(Innovation)+H(Prior Knowledge)

(1)

式(1)中，H(Innovation)为新颖性部分，也就是显著性部分；H(Prior Knowledge)是先验知识部分，也就是冗余信息。

基于谱残差的显著性检测法认为，不同图像的对数幅度谱具有相似的趋势。在平均对数幅度谱中存在局部线性。通过减去这个平均对数幅度谱，得到的谱残差就可以用于求取显著性图。

显著性图的具体计算过程如下：

1)对于图像I(x)，先对其进行傅里叶变换，求出它的幅值谱A(f)和相位谱P(f)，幅度谱转换到对数域，得到对数幅度谱L(f):

2)计算谱残差R(f)：

R(f)=L(f)-h(f)L(f)

(2)

式(2)中，h(f)为频域低通滤波器(均值滤波器)。

3)最后计算显著性图S(x)，在频率区域对取指数后的残差进行傅里叶反变换：

S(x)=F-1{exp[R(f)+P(f)]}2

求取显著性图后，将SAR图像划分为64×64大小的图像块，计算每个图像块的显著性值并排序，挑选显著性值前25%的图像块参与匹配，SAR图像显著性图及根据显著性值挑选的图像块如图3所示。

图3 SAR图像显著性图及根据显著性值挑选的图像块Fig.3 Saliency map of SAR image and image block selected according to saliency value

2.2 相似性度量

传统孪生神经网络的度量网络一般使用三层全连接层，全连接层相当于一个特征空间变换，可以把提取到的特征信息进行整合，降低特征维数，最终输出图像相似性。由于全连接层参数过多，在训练集有限的情况下容易产生过拟合，另外也增大了很多计算量，本文使用4个卷积层来替代一个全连接层。

度量网络的网络结构如图4所示。SAR图像和可见光图像经过特征提取网络被提取的特征图先进行拼合，再输入度量网络。FC(512)表示输出为512个节点的全连接层。除最后一层外其余各层之后的激活函数均为Leaky ReLU，最后一层后面的激活函数为softmax。softmax将输出的两个值映射到(0,1)上，并且相加之和等于1，分别代表相似的概率和不相似的概率。

图4 度量网络Fig.4 Measurement network

其公式如下：

用于孪生神经网络模型训练的训练图像对分为正样本对和负样本对，训练的目的是使正样本之间的相似度尽可能高，负样本间的相似度尽可能低。正负样本对均有标签进行区分，正样本对的标签为(0,1)，负样本对的标签为(1,0)。训练过程中正负样本对经过网络模型输出结果并根据标签计算损失，通过优化损失来优化网络模型。损失函数使用交叉熵损失，对于二分类，其公式如下：

L(xi,yi)=-yilog(xi)-(1-yi)log(1-xi)

(3)

式(3)中，yi为标签值，xi为预测值。

2.3 快速搜索策略

模板匹配的方法需要在搜索域上搜索相似度最高的像素点。逐点搜索虽然不会出错，但是计算量巨大，计算时间过长，难以满足制导的要求。可见光模板图像与SAR实时图像如图5所示。

图5 光学模板图与SAR图像Fig.5 Template image and real-time image

为了提高搜索速度，本文设计了一种快速搜索策略。首先进行粗略搜索，从搜索域的左上方开始搜索，设置一个相似度阈值τ，当使用的多个待配准图像块与参考图像块间的的平均相似度小于τ时，使用一个较大的搜索步长L1；当平均相似度大于阈值τ的时候，使用较小的搜索步长L2，L1和L2满足1

以精细搜索中心为圆心，R为半径的圆域上进行逐点的精细搜索，得到的平均相似度最高的像素点坐标(x1,y1)为匹配坐标。若平均相似度最高的点不止一个，则取其几何中心坐标并取整，作为匹配坐标。

2.4 集成学习优化搜索结果

特征提取网络使用了卷积下采样来扩大感受野、减少计算量，引入了一定的误差，本文使用集成学习的思想，通过多个模型共同判断，以优化最终的搜索结果。

集成学习的思想是通过训练多个能力相对较弱的模型，将其进行组合，形成一个更强的模型来完成任务。这些模型可以是相同的也可以是不同的。其中单个模型，叫做“基模型”或“弱模型”，最终得到的整个模型叫做“强模型”。

本文算法一共使用n个性能相近的基模型，其中基模型1参与2.2节中的搜索过程，在得到匹配坐标(x1,y1)后，使用另外n-1个基模型各自在以(x1,y1)为圆心，r为半径(r

本文提出的异源图像匹配方法，匹配流程如图6所示。

图6 异源图像匹配方法流程图Fig.6 Flow chart of heterogeneous image matching algorithm

1)对于获取到的SAR图像，首先进行显著性检测，将图像划分为64×64的图像块，统计每个图像块里的显著性值并排序，选取显著性排名前25%的图像块用于匹配；

2)在作为参考的可见光图像上，从左上角开始进行搜索，通过孪生神经网络计算对应图像块的平均相似度，按照先粗略后精细的策略，找到平均相似度最高的像素坐标点；

3)使用集成学习策略，通过多模型联合决策，提高最终的预测精度。

3 模型训练与测试

基于以上的算法进行模型训练，测试匹配的精准度和成功率，并与传统的模板匹配方法(NCC、MI)进行比较。试验硬件平台的CPU为2*Intel Xeon Silver 4210，GPU为4*Nvidia GeForce RTX 2080 Ti,采用的深度学习框架为Pytorch。 评价指标为匹配精度和匹配成功率，匹配精度采用均方根误差衡量，公式如下：

(4)

式(4)中，Δx和Δy分别表示x方向和y方向上的坐标误差。

本文将单次匹配RMSE≤5的匹配结果视为匹配成功，匹配成功率的计算公式如下：

(5)

式(5)中，N是匹配成功的对数，M是总匹配数对。

3.1 数据集准备

已有2 550对已配对的可见光和SAR图像作为原始数据集，均为灰度图像。其中SAR图像来自于高分三号遥感卫星图像，可见光图像来自于资源三号遥感卫星图像。其中可见光图像的尺寸为800×800，作为参考图像，SAR图像的尺寸为512×512，作为待配准图像，已知标签为SAR图像左上角在其对应可见光图像上的坐标。从中随机选取2 000对图像作为训练集，250对图像作为验证集，300对图像作为测试集。训练集和验证集的可见光图像均按对应标签坐标裁剪成512×512大小(即与SAR图像完全匹配)，并对图像作翻转、旋转以扩充数据。

使用训练集和验证集处理后的数据构建正负样本对，正负样本对比例均为1∶1。其中正样本是一对编号相同的SAR图像和可见光图像，负样本是一对编号不同的SAR图像和可见光图像，如图7所示。

3.2 模型训练

训练时在训练集的正负样本对上对应位置随机裁取64×64的图像块作为输入，每批次有8组正负样本，总共迭代200轮。在每个全连接层前加入0.5的dropout以防止过拟合。在验证集的正负样本对上固定位置裁取64×64的图像块作为输入，取验证集所有样本对损失之和最小的5个模型作为基模型1—基模型5(按损失从小到大排列)。梯度优化算法使用Adam，学习率为0.000 2，权重衰减为0.002。

图7 正负样本对示例Fig.7 Examples of positive and negative sample pairs

3.3 测试结果

对于测试集，通过第1章中的算法输出SAR图像左上角在可见光图像中对应的坐标。NCC和MI方法选择的图像块与本文方法选取的相同。测试结果如表1所示。

表1 测试结果对比Tab.1 Comparison of test results

从结果可以看出，本文提出的算法的匹配成功率和匹配准确度大大高于传统模板匹配方法NCC和MI，另外，使用集成学习联合预测后匹配成功率和匹配准确度都显著上升，证明了其有效性。

4 结论

本文提出基于孪生神经网络的SAR-可见光异源图像匹配方法。该方法通过显著性检测选取图像块，使用孪生神经网络对SAR图像块和可见光图像块进行相似度度量，并且使用快速搜索策略以加快匹配速度，使用集成学习优化最终的匹配精度。实验结果表明，该方法的匹配成功率和匹配精度显著高于传统模板匹配方法。

由于本方法基于模板匹配，所以只能针对存在平移变化的图像，对于存在旋转和尺度变化的图像匹配，还有待进一步的研究。