机载SAR异源图像匹配与定位方法

李東轩，王 涛，梁尚军，康宏生，王俊峰

（1. 中国航空工业集团公司西安飞行自动控制研究所，西安 710076；2. 空军装备部驻沈阳地区第一军代表室，沈阳 110850；3. 沈阳飞机工业（集团）有限公司，沈阳 110850）

景象匹配导航[1]系统作为一种重要的辅助导航方式，具有自主性强、抗干扰能力强、导航精度高、误差不随时间积累等特点，相比于传统的可见光景象匹配，SAR匹配适用性更强，不受光照与天气的影响，可全天时全天候工作，同时可以与地形匹配导航、GPS系统以及惯性导航系统有效地结合。在航空航天领域。巡航导弹精确制导、长航时综合导航系统等方面均有着广阔的应用前景与使用价值。SAR景象匹配导航技术可以在一定程度上代替飞行员的目视导航过程和人工校正过程，部分具备飞行员眼睛的观察能力以及大脑的决策能力，减轻飞行员的工作负担，提高人工校正精度，提高飞机的安全性与可靠性，是自主导航、智能导航的重要发展方向。

SAR景象匹配导航[2]的基本工作原理是：飞行载体通过合成孔径雷达（Synthetic Aperture Radar, SAR）对载体下方地物景象进行图像采集得到实时图像，将其和预先存储在载体计算机内的基准图像进行匹配计算，得到地物景象的地理位置，再经过反演定位，确定当前飞行载体的准确位置，完成导航定位功能。

图像匹配[3]是匹配导航的核心模块，技术途径可以是同源匹配或异源匹配，同源匹配即实时图与基准图来自同一类型传感器，优点是技术难度低、易实现，缺点是对基准图要求高、工作范围受限。而异源匹配不要求机载图与实时图来自于同一类型传感器，对基准图要求低，可以实现SAR、可见光、红外之间的相互匹配，理论上可以实现单一匹配导航系统的全天时、全天候、全球范围使用。但目前在机载导航领域，异源匹配导航系统实际应用案例较少，主要难点在于异源传感器成像机理不同，实时图与基准图差异非常大，尤其对于SAR雷达图像而言，噪点多且入射角影响成像，正确匹配的难度很大。早期图像匹配方法以特征点检测与匹配为主，例如Harris角点、FAST算子、SIFT（引用最多）等，近年来不少学者用深度学习的方法提取局部特征点用于图像匹配，例如FAST-ER算法[4]、TILDE[5]算法、Deep-Desc[6]以及LIFT网络[7]等，点特征类算法对图像质量要求较高，通常情况下不适用于SAR图像匹配。与点特征相比，线特征包含更多场景和对象的结构信息，MSLD方法[8]通过统计像素支持区域内每个子区域4个方向的梯度向量构建描述子矩阵，提高描述符的鲁棒性，但线段组匹配方法对线段端点有高度依赖性，航空影像中常见的直线遮挡、变形及断裂等情况，使得基于形态的全局描述符不再适用。区域特征具有较高的不变性与稳定性，这是图像匹配的另一个思路，典型的方法有MSER[9]、FAST-Match[10]等，另外，基于深度学习的图像区域匹配成为新的研究热点，MatchNet[11]通过卷积神经网络（Convolutional Neural Network, CNN）进行图像区域特征提取和相似性度量，DeepCompare方法[12]通过CNN比较灰度图像块对的相似性。

载体定位是SAR景象匹配导航系统的末端处理环节，传统方法一般通过多普勒信息进行定位。反演定位可分为单点定位与多点定位，单点定位利用距离多普勒信息和惯性导航系统的测量系统的测量值推算载体的经纬度，对雷达参数以及惯导测量值的准确性有较高要求，实际误差较大。

本文提出一种基于深度学习和附加旋转尺度因子的相关性模板滑窗异源图像匹配算法，其核心思想是：利用深度网络提取遥感图像中道路、河流、机场等显著性特征，然后对特征图在尺度和旋转度两个维度上分别添加变化因子，最后基于相关性模板匹配的方法实现光学图与SAR图像的匹配。另外，本文参考卫星定位原理并结合SAR成像模型，构建出单帧多点定位的几何模型，基于图像匹配的结果选取多个匹配点，最后通过求解非线性方程推理出载机的经纬度信息。

1 基于深度学习与附加尺度旋转因子的模板标准化相关匹配

如图1所示，SAR雷达图像为机载实时图，基准图采用光学图（经过灰度化处理），异源图像分别进入深度网络进行特征提取，然后再设计附加尺度与旋转因子的模板标准化相关匹配方法，将两张特征图作为输入进行计算，得到得分矩阵（热力图），其中最大值的位置即为匹配结果。

图1 方法原理图Fig.1 Method schematic

1.1 基于深度网络的显著性特征提取

1.1.1 网络模型

语义分割是计算机视觉的常见任务之一，所谓语义分割，是指将图像中的元素按像素分割为多个部分。对于遥感图像而言，常见地面的显著性特征往往是道路、河流、海岸线等，这类特征一般是不规则且连续延伸，因此通过语义分割的方法提取遥感图像特征非常合适。

D-LinkNet[13]于2018年被提出，使用带有预编码器的LinkNet[14]作为其骨干网络，并在中心部分具有附加的扩展卷积层（Dilated Convolution）。LinkNet是一种有效的语义分割神经网络，它具有跳跃连接，残差块和编码器-解码器体系结构的优势，高分辨率并且运行很快。

如图2所示，D-LinkNet可分为三个大模块，其中A模块是网络编码器，本质上是ImageNet[15]数据集上与训练好的ResNet[16]，一般情况下采用经典的预训练模型会更加可靠，而且可以缩短训练时间；B模块为串联与并联相结合的空洞卷积（Atrous Pooling）[17]网络层，该结构的特点是感受野、深度分级，接收域更大且融合多尺度信息，具有更强语义特征提取能力；C模块为解码器，其结构与LinkNet一致，特点是卷积核大小为1*1，网络表征能力强。

图2 D-LinkNet34结构图[13]Fig.2 D-LinkNet34 structure diagram[13]

1.1.2 损失函数

优化网络参数时须设计合理的损失函数（目标函数），这里将二值交叉熵（Binary Cross Entropy, BCE）与骰子损失（Dice Loss）相加，如式(1)所示：

其中，P为网络推理的概率，GT为真实标签（Ground Truth），N为每次参与训练的样本数量。

1.1.3 训练数据构建

对2000张光学图像以及2000张SAR图像进行语义特征标注，特征选择道路、河流、河岸线、海岸线，标注结果为二值图像，其中特征区域为灰度值255，其他为0，样例如图3所示。

图3 标注样例Fig.3 Labeling example

标注准确率大于95%（准确率的定义为：正确标注特征数量与所有特征数量的比值）。同时，为了进一步扩充数据集，对图像进行形态变换，主要手段有：

①随机翻折：包含水平、竖直、对角线三种翻折方式，每张图片扩增为原来的8倍；

②随机缩放：将图像随机缩放至多10%；

③随机偏移：将图像随机上下左右偏移至多10%；

④随机拉升：将图像随机沿竖直方向或水平方向拉升至多10%。

2.2 附加尺度与旋转因子的模板标准化相关匹配

模板匹配是在一幅图像中寻找与另一幅模板图像最匹配的位置。为了实现上述目标，通过滑动模板图像和原图进行对比，从而找到最佳匹配位置。相关性模板匹配的相似度衡量采用数理统计学科的相关系数计算方法。首先模板图像与原图减去了各自的平均值，再除以各自的方差，如下所示：

其中，T(x,y)表示模板图像在(x,y)像素位置的灰度值，w和h分别代表模板图像的宽和高，I(x,y)为被匹配图像在(x,y)像素位置的灰度值。经过减去平均值和除以方差两步操作之后，待匹配图像和模板都被标准化，这样可以保证图像和模板分别改变图像整体亮度不影响计算结果，相似性（相关系数）的计算公式如下：

相关系数被限制在了-1~1之间，1表示完全相同，-1表示两幅图像的亮度正好相反，0表示两幅图像之间没有线性关系。

机载SAR实际运行中，存在速度、高度以及航向的测量误差，因此成像与基准图在尺度与方向上也可能存在微小差异。如图4所示，在实际匹配中再添加两级±5 °旋转变化因子以及±5%的尺度变化因子，可以提高匹配的可靠性，因子大小与载机的实际测量精度及测量稳定性相关。

图4 尺度与旋转因子Fi g.4 Scale and rotation factor

2 多点高精度反演定位

2.1 SAR成像几何模型

机载SAR成像几何关系如图5所示，通常机载平台以正侧视模式成像，为不失一般性，以其工作于斜视模式为例进行说明。

图5 SAR成像几何模型Fig.5 SAR imaging geometric model

飞机沿水平面Y方向以速度v做匀速直线运动，h为SAR成像中心时刻的飞机离地高度，rc表示飞机到成像区域的最近距离，即最近点斜距，θ表示飞机位于成像中心时刻时对应于Q′点的斜视角，RS表示平台位于成像中心时刻时到O′点和Q′点的瞬时斜距。

2.2 多点定位

飞机采集到一帧实时图像，与数据库中的基准图进行图像匹配，得到一一对应的像素关系，由于基准图带有地理编码信息，因此可以在图像匹配结果中选取多个匹配成功的像素点（含有经纬度信息，至少需要3个匹配点）作为多点定位的输入，除此之外，根据SAR成像原理，可以算出飞机在成像中心时刻到SAR图像上各像素点的斜距。以上两类信息，为多点定位算法的主要输入。

如图6所示，利用基准图和数字高程地图（Digital Elevation Map, DEM）可知像素点对应地标点的经纬高信息，为方便解算采用高斯投影将其转换至高斯系下进行定位解算，其中匹配点i在高斯系下坐标为(xi,yi,zi)。载机位于成像中心时刻在高斯系下真实坐标为（x,y,z），匹配点到此时平台的斜距信息为观测量，由此构建非线性方程组：

图6 多点定位示意图Fig.6 Multi-point positioning diagram

惯性测量元件的输出量作为迭代定位解算的初值。Newton迭代中Jacob矩阵为：

求解获得的载机位置逆转换至地理坐标系，即可得到载机的经度、纬度、高度位置信息。

3 实验验证

3.1 异源图像匹配实验验证

基于500组未参与训练的光学图像（分辨率800*800）与SAR图像（分辨率500*500）对算法进行测试验证，测试图片场景包含港口、城市、河流、机场、岛屿、平原、戈壁、山地8种地物类别，采用的计算硬件为RTX2080TI（特征提取）、i7-4700EQ 2.4GHz（相关性模板匹配），并与SURF特征点匹配方法对比。结果如图7-9所示。

图7 对比结果图Fig.7 Comparison result graph

图8 异源匹配误差分布图（500组）Fig.8 Heterosource matching error distribution map(500 groups)

图9 异源匹配像素误差分布饼状图Fig.9 Pie chart of pixel error of heterosource matching

表1 异源匹配性能指标Tab.1 Heterosource matching performance

从上述图表可以得出：异源匹配由于传感器成像机理不同，传统基于特征点的匹配方法在很多场景下不可用，检测成功率低于5%。而本文提出的方法可以有效实现绝大数场景下的异源匹配，匹配精度优于1.41像素（1σ），匹配成功率优于86.6%（匹配误差小于5像素）。

3.2 多点定位仿真验证

对于本文介绍的多点定位方法，SAR雷达斜距测量误差和图像匹配误差是影响定位精度的两个关键因素。其中斜距误差主要来源于以下各项：

（1）SAR系统时钟的测量误差引起的伪距误差；

（2）雷达波传播速度误差引起的距离/距离率尺度效应误差；

（3）目标在图像上的位置表示与真实位置之间的误差；

（4）有限的计算机存储字节长度表示距离的分辨率引起的量化误差；

（5）SAR系统处理回波数据过程引起的回波时间间隔误差；

（6）包含多路径效应、高机动引起的误差及目标定位图像边缘等的其他误差。

而图像匹配误差主要来源于以下各项：

（1）由基准图地理编码带来的地理坐标误差；

（2）由匹配算法带来的匹配像素误差。

为验证多点定位的精度水平，针对3匹配点和5匹配点各构造1000组仿真数据，结合SAR实际飞行数据、图像匹配测试结果、地图编码精度、飞行高度等要素，确定仿真噪声值，仿真条件和仿真结果如表2、表3所示。

表2 三匹配点仿真输入与仿真结果Tab.2 Three-matching-point simulation input and simulation result

表3 五匹配点仿真输入与仿真结果Tab.3 Five-matching-point simulation input and simulation result

综上，仿真添加了较实际情况更大的噪声，3匹配点定位的结果收敛且精度优于90 m，5匹配点定位的结果收敛且精度可达15 m。

4 结 论

异源图像匹配是景象匹配导航系统研究领域长期面临的难点问题，本文提出一种基于深度学习与附加尺度旋转因子的模板标准化相关匹配的异源匹配算法，同时针对SAR匹配末端定位环节提出一种多点的高精度反演定位方法。在特征提取方面，通过语义分割的方法解决了道路、河流、海岸线等显著性地物的提取问题；在模板匹配方面，引入尺度与旋转因子，有效解决由传感器参数不准造成的图像细微变化模板匹配易失败问题；在反演定位方面，借鉴卫星定位原理，通过求解非线性方程组的方式解决SAR反向定位问题。后续将重点针对SAR匹配导航在山区、戈壁、沙漠等场景中的应用进行算法结构优化与详细误差模型构建。