一种基于图像块描述子学习的异源遥感图像匹配方法*

阴俊恺，张正强，吴 震，曾 兵，李 斌

（成都三零凯天通信实业有限公司 研发中心，四川 成都 610041）

0 引言

近年来，随着航天、传感器等技术的发展，卫星遥感技术取得了长足进步，高分辨率、多模式、广覆盖的新式卫星层出不穷。常见的遥感卫星传感器主要有基于微波波段的合成孔径雷达（Synthetic Aperture Radar，SAR)、近红外（Near Infrared，NIR）传感器、可见光传感器等。这些传感器成像机理大不相同，所生成图像各有优势与缺陷：SAR图像具有全天时、全天候的对地观测能力；可见光图像拥有丰富的颜色及纹理信息，但受光照、天气等因素影响较大；近红外图像在光线暗淡的情况下也可以根据环境温差提取较高质量的纹理信息。为了有效利用这些信息、体现优势互补、准确掌握测绘对象的全貌及细节，必须先进行异源遥感图像匹配。异源遥感图像匹配是指在同一遥感场景下不同传感器所获取的两幅及两幅以上遥感图像转换到同一坐标系的过程，其面临的最大问题是由于传感器成像原理的不同而造成的像素级显著差异。

异源遥感图像匹配算法主要蜕变于同源遥感图像匹配算法。传统手工设计的同源遥感图像块算法（如SIFT等）凭借良好的性能曾经一度占据统治地位，但极端视角、光照改变的环境下此类模型会束手无策。随着深度学习理论技术和硬件水平的发展，大量学者转而研究深度卷积网络在同源遥感匹配领域的应用，同时遥感数据的不断积累更是给其发展提供了条件。基于深度学习的遥感匹配方法主要分为两类：一类是通过全连接层（Fully Connected Layers，FC）构成的度量网络直接计算图像块相似性，这种方法被称作度量学习。另一类方法是使用神经网络描述图像块的特征，进而计算图像块之间的特征距离，以此表示其相似性，这种方法被称作描述子学习。

相比于度量学习方法，近期描述子学习匹配方法涌现出了一大批算法及相关改进。Balntas等人[1]基于Triplet损失提出了SoftPN损失，并在浅层卷积神经网络（Convolutional Neural Network，CNN）中取得了优异的成绩。DeepDesc[2]首次采用了困难样本挖掘策略，但由于损失函数的缺陷，此设计依然难以有效地学习到困难样本。后来L2-Net沿用了此思想设计出了Siamense结构[3]，从而提出了Log-likelihood损失函数，配合CPR正则项在Brown数据集，Oxford数据集和Hpatches数据集均取得目前最先进（State-Of-The-Art，SOTA）模型的结果。L2-Net[3]还通过实验说明最近邻搜索（Nearest Neighbor Search，NNS）对概率无影响，因此描述子学习方法的鲁棒性要优于度量学习。

与此同时，由于同源检测与异源检测存在一定相似性，部分学者将同源遥感匹配模型成功迁移到了异源遥感匹配模型上。方帅[4]改进了L2-Net模型，并通过实验发现使用统一的二值标签惩罚不同重叠程度的训练图像会使得模型对这类困难样本不敏感，并提出了SoftRegNet模型。本文基于先进理论及算法，结合光学-SAR异源图像的特点，构建了一种鲁棒性较好的光学-SAR异源遥感图像匹配模型（以下简称异源遥感匹配），重点改进了描述子模块，此外还对模型的性能进行了对比测试。

1 异源遥感匹配模型构成

异源遥感匹配模型主要由6个子模块组成：图像预处理、关键点检测、提取局部邻域图像块（以下简称图像块）、图像块描述、图像块匹配和图像变换参数估计，如图1所示。

图1 异源遥感匹配方法总体流程

1.1 图像预处理

原始异源遥感图像质量较差，经常出现过曝图像或过暗图像，图像直方图均衡化方法可以将图像进行像素非线性重映射，使其均衡分布、实现对比度的增强，从而提高关键点检测效果和图像块描述能力。直方图均衡化存在多种方法，本文采用的是全局直方图均衡化方法[5]。针对SAR图像，在直方图均衡化后使用傅立叶（Fast Fourier Transform，FFT）低通滤波器过滤掉高频图像噪点，避免关键点检测时出现误识别。

图2 图像预处理效果

1.2 关键点检测与局部邻域图像块提取

对于光学图像和SAR图像来说，物体边缘一般会导致图像灰度值发生突变。Harris算法[6]可以很好地检测这类关键点，但Harris算法要求画面各个方向的灰度值均存在明显变化，会导致特征点检测数量过少，甚至导致在光学-SAR图像对上检测不到同名特征点，因此本文同时使用尺度不变特征变换算法[7]（Scale-Invariant Feature Transform，SIFT）作为补充。

选取到图像关键点后，根据给定的区块半径b（本文取b=32），以关键点为中心分别在光学和SAR图像上提取局部邻域图像块（以下简称图像块），图像块尺寸为64×64。

1.3 图像块描述

本文采用深度神经网络提取图像块的特征（128维描述特征向量）。图像块描述需要满足两个基本原则：一是异源同名图像块所生成的描述特征向量距离应尽可能接近，反之尽可能远；二是异源同名图像块在经过某些变换（光照、角度等）后应当保持不变。深度学习描述模型的性能将直接影响异源图像匹配结果，是异源遥感图像匹配中最关键的部分，详细实现将在第三节说明。

1.4 异源图像块匹配

根据深度学习描述模型的设计要点可知，图像块匹配本质上是NNS问题，在本文中使用L2距离衡量特征向量相似性。由于原始图像干扰过大，常使用lowe’s算法[6]对特征向量进行初次筛选，如式（1）所示。

1.5 图形变换参数估计

RANSAC全称“Random Sample Consensus（随机抽样一致）”[8]。它可以从一组包含局外点的数据集中通过迭代方式估计数学模型的计算参数。这个算法存在一定的随机性，提高迭代次数可以得到一个更可信的结果。传统的RANSAC算法使用全局错误率来衡量模型优劣，不适用于本文外点数目大于50%的情况，因此本文改用内点数量p来衡量模型优劣，即取内点数量最多的模型为最优模型。

在平移变换模型中，存在齐次坐标：

使用最小二乘法求解此线性方程组即可得到平移变换计算参数tx和ty。

2 图像块描述子学习模型

在整个光学-SAR异源遥感匹配模型中，图像块描述模块的性能直接影响到匹配的精度，设计一个准确、高效的图像块匹配算法是工作的核心。

2.1 改进的L2-Net模型

本文以L2-Net为基础，结合异源图像匹配面临的特异性问题进行算法改进。L2-Net[3]最初发表于CVPR 2017，是当前性能最好的同源图像块匹配算法之一，此设计可以直接依据模型输出的特征向量计算出欧氏距离，从而判断图像的相似性。但经实验测试，在异源遥感匹配环境中过小的图像输入尺寸（32×32）与网络深度无法很好地学习训练图像的全部信息，从而影响检测精度，本文针对这两方面提出部分改进，具体结构如图3所示，经测试匹配效果有较大改善。

图3 改进的L2-Net模型

2.2 训练采样策略

指定区块半径b（本文取b=32），使用Harris算法和SIFT算法提取1.1节预处理SAR图像中的关键点，并以此中心分别采集预处理SAR图像块和预处理光学同名特征点所对应的图像块。将此图像对作为训练数据，如图4所示，SAR遥感图像中点为Harris算法提取的特征点，光学遥感图像中点为SAR特征点的同名特征点，两图中的框则为同名局部邻域图像块对。

图4 采样演示

2.3 精细标签损失函数

方帅在其设计的SoftRegNet实验中表明[4]，匹配过程中的困难样本除了光照、几何变化引起的干扰，还存在着重叠内容的干扰，并提出了解决方法。本文沿用了此思想，在采样时除了获取图像块，还记录了特征点坐标，训练时针对此类问题适当提高损失。

图5 部分损失计算流程

xij越小，代表重叠区域越多，它们越相似。当xij大于区块半径b时，则代表无重叠区域。同理，当训练样本不属于同一对异源图像对时，它们不存在重叠区域，据此得到空间距离矩阵L=[lij]n×n，如式（4）所示。

式中，θ为放大倍数，本文设置θ=1，θ越大则关键点距离变化越敏感。根据图像同名信息还可以得到标签矩阵Y=[yij]n×n：

则结合了特征距离和空间距离的精细标签损失函数为：

式中前半部分用于计算正样本间的损失，后半部分用于计算负样本间的损失，通过标签矩阵yij加以控制。1+lij作为权重适当放大相同图像对且关键点距离较近的负样本损失。

2.4 困难样本挖掘

对于图像块匹配算法来说，除了同名图像块对，任意两个异源图像块对都可以组成负样本，如图6所示。

对于一个批次成百上千的同名图像对来说，遍历整个样本空间所有负样本将会使得计算量大大增加，而且有很多损失较小的正负样本实际上并不会产生有效的梯度更新。为此，DeepDesc提出了均衡困难样本挖掘策略[2]，本文在进行反向传播时按照递进采样策略的方式，一个批次挖掘2n/3个最困难数据样本，其中n表示训练时一个批次中的同名图像块对数量（Batch Size），且正负样本比例为1:1。这样训练出的模型可以保证从含有大量负样本的光学遥感图像中准确匹配到与SAR参考图像块最匹配的目标图像块，且不会因为负样本过多导致模型无法收敛。

图6 正负样本训练数据构成

3 实验结果

本文通过构建光学-SAR图像数据集（光学图像尺寸800×800，SAR图像尺寸512×512，光学-SAR图像一一对应，共计850对），选取770对数据作为训练数据，其余80对作为测试数据，按照前文中提到的改进方法在同等条件下分别测试无预处理模型、原始L2-Net模型和改进的L2-Net模型。由于异源数据集数据量较小，因此本文采用迁移学习策略微调模型，模型预训练工作均在Brown数据集[9]中进行，如图7、表1所示。

图7 各模型在自建数据集上的均方根误差

表1 各模型在自建数据集上的纵向对比

为了直观展示模型匹配结果，本文从SEN1-2数据集[10]中随机选取4对图像，图像编号分别为ROIs1158_spring_s1_35、ROIs2017_winter_s1_37、ROIs1970_fall_s1_56、ROIs1868_summer_s1_113。将被选取的图像重建后按照前文的格式裁剪图像生成测试数据集。图8为测试数据集在改进L2-Net模型下的匹配结果，表2为这4张图片分别在无预处理、原始L2-Net和改进L2-Net模型下的横向对比结果。

图8 改进的L2-Net在异源图像上的匹配结果

表2 使用SEN1-2构建的测试数据集在无预处理、原始L2-Net和改进L2-Net模型下的横向对比

4 结语

本文在同源遥感匹配的研究基础上使用迁移学习的方法使其适应异源遥感匹配问题，并针对传统异源遥感图像匹配存在的问题提出改进。

（1）遥感图像在获取过程中常常会出现过暗、过亮、噪点等环境干扰问题，本文基于传统的图像处理方法增强原始图像的全局对比度，消除了SAR图像中的部分干扰，证明图像预处理操作对模型识别精度、识别率存在较大改善。

（2）针对L2-Net网络过浅、输入尺寸过小的问题，本文改进其网络结构，使其能学习到更多特征，并通过实验证明了这点。

（3）由于训练过程中存在部分图像块重叠的问题，本文基于SoftRegNet提出了精细标签损失函数，该方法通过计算图像的空间距离损失来精细化负样本的特征距离损失。除此之外，引入了困难样本挖掘策略、平衡正负样本数量，通过这种方法避免损失较小的样本造成无效的梯度更新。

本文算法在使用SEN1-2数据集测试过程中发现，测试效果与自建数据集相比还有一定差距，考虑到二者图像总体存在些许差别及自建数据集数据量较小的缘故，下一步工作中心将放在增大训练数据量、提高模型泛化能力上。