基于深度学习特征提取的遥感影像配准

许东丽 胡忠正

基于深度学习特征提取的遥感影像配准

许东丽1胡忠正2

（1 中国地质大学（北京），北京 100083）（2 中国资源卫星应用中心，北京 100094）

传统的影像配准算法，如尺度不变特征变换（SIFT）、加速稳健特征（SURF）等，对遥感卫星影像配准存在提取特征点少、错误匹配多等缺点。文章使用数据驱动的随机特征选择卷积神经网络（RanSelCNN）方法，对Landsat-8卫星不同时相或同一时相具有重叠度的遥感影像进行配准，卷积层使用随机特征选择，增加特征提取的鲁棒性；训练时使用联合损失函数，同时对特征探测器和特征描述符进行优化，减少特征的错误匹配。结果表明：基于随机选择的深度神经网络的遥感影像配准能提取更多的特征点，有效降低错误匹配率。与传统的人工设计特征相比，该算法能明显提高卫星影像配准的精度。

数据驱动 深度神经网络 随机选择 特征提取 影像配准 卫星遥感

0 引言

图像配准技术近年来发展迅速，在军事、遥感、医学、计算机视觉等领域得到了广泛应用。配准主要包括预处理、特征提取、特征匹配、变换参数求解4个步骤，其中最重要的两步为特征提取和特征匹配。

遥感影像配准是遥感图像处理的重要研究内容，也是图像融合、目标变化检测和识别、拼接等过程必不可少的步骤，准确的配准能为后续的影像处理提供良好的基础。现有的配准方法主要是传统的基于人工设计特征的方法，如尺度不变特征变换（Scale-invariant Feature Transform，SIFT）[1]、加速稳健特征（Speeded Up Robust Features，SURF）[2]等，在处理简单的小区域普通图像时，配准结果较好。然而，遥感影像获取范围较大，地物复杂多变且图像内容难理解、目标特征不明显，传统的配准方法在遥感图像中适用范围较窄，无法预知不可控的遥感图像变化，不能提取到具有判别性的特征。

近年来，深度学习技术不断进步，数据处理能力不断提升，其代表算法之一卷积神经网络（Convolutional Neural Network，CNN）具有较强的特征提取能力，能准确、高效地提取高层语义特征，被广泛应用于计算机视觉、医学影像处理和遥感影像处理领域。因此本文将利用深度学习的方法对遥感影像进行配准，将卷积神经网络用于影像配准过程中的特征提取和匹配，使用随机选择增加网络特征提取的鲁棒性；同时训练探测器和特征描述符，增加配准精度。

1 基于人工特征的匹配算法

传统的基于人工特征的图像配准方法是目前各领域最为常用的方法，它不使用整张图像的信息，而是提取特征，大大降低了计算量；另外，该方法具有旋转、平移和尺度不变的特征，具有较好的鲁棒性。基于特征的配准方法主要有SIFT，SURF，其中最常用的方法是SIFT算法。SIFT算法使用高斯差分空间（Difference-of-Gaussian，DOG）探测关键点，形成128维的特征描述符，通过计算这些特征描述符的欧式距离得到匹配的特征，最后利用随机抽样一致性（Random Sample Consensus，RANSAC）剔除错误匹配点。

SIFT算法的主要步骤为：

1）检测尺度空间极值点，初步确定关键点的位置和所在尺度，尺度空间由一个变化尺度的高斯函数与原图像卷积得到，

2）精确确定关键点的位置。将步骤1）初步确定的离散空间极值点进行插值，获得关键点的精确位置；同时剔除低对比度的关键点和不稳定的边缘响应点。

3）分配关键点方向。

4）生成关键点描述子，即128维特征描述向量。

5）采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定准则，找到SIFT匹配点。

基于特征的配准算法在计算量和鲁棒性方面表现较好，但同样存在一些问题：1）依赖人工设计的特征，费时费力，且需要强大的专业知识；2）SIFT特征是一些细小的、低水平的特征，不具有丰富的语义信息；3）特征提取和特征匹配之间没有信息的反馈，使得特征提取算子不能根据待配准的图像进行自适应的调节。

针对以上三个问题，本文提出了基于深度学习的影像配准方法，与传统的SIFT方法类似，同样分为特征提取和特征匹配两步，不同的是本文的特征提取和特征匹配均利用深度神经网络完成。

2 基于深度学习的影像配准

2.1 卷积神经网络

深度学习网络中，卷积神经网络CNN在特征提取方面表现优异，与全连接网络相比，卷积神经网络实现了权值共享，加上不断增大的感受野使其更适于图像处理。卷积神经网络特征提取过程主要包括卷积、非线性激活、池化、全连接。具体结构如图1所示。

图1 卷积网络结构示意

卷积层利用多个固定大小的权重窗口（即卷积核），对影像像素进行内积运算，其输出是提取的特征之一，卷积运算表示为

(l)=*(l)+(l)（2）

图2 三种典型的激活函数

非线性激活层利用激活函数将卷积运算得到的数据进行非线性激活，激活函数主要有sigmoid，tanh，ReLU等（见图2）。本文使用ReLU，其作用是使网络在层数加深的同时，增加其特征提取能力。激活过程可表示为

池化层通过下采样方式，对非线性激活后的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征。下采样过程利用特征层与下采样窗口做Kronecker乘积实现，即

全连接层主要对网络提取的特征进行整合，并输入分类器进行分类，实现过程为

2.2 基于随机选择的卷积神经网络特征提取

2.2.1 卷积神经网络特征提取

卷积神经网络具有特征提取能力，该过程主要靠对图像进行卷积运算（见式（2））和非线性激活（见式（3））实现，经过浅层的卷积运算和函数激活，可突出影像的特征（见图3），如角点、边界、纹理、颜色等，这些特征和人工提取的特征类似，是一些基本的具有可视化的低维特征；随着网络层数的加深，网络的感受野不断增大，许多低维的局部特征组合成高维的全局特征。与低维特征相比，高维特征代表了影像更细节、更具有差异性的特征。

图3 卷积计算与激活示意

通过卷积、激活、池化过程的不断叠加，使得卷积神经网络能提取出卫星影像的特征，作为特征匹配的候选点。本文使用ZHUOQIAN YANG[3]等人提出的简化VGG16网络，网络结构如图4所示。

图4 简化的特征提取网络结构

在浅层（如1，2层）时，网络提取的是相对均匀的低维特征，随着网络层数增加特征更加抽象，这些抽象特征就是由许多低维特征组成的高维特征。

在影像配准中，仅提取低维特征可使特征点数量增多，而且在影像相似的情况下，会增加特征匹配的难度，因为，这样可能将许多特征相似的不同点匹配为同一点，导致错误匹配。这时需要增加网络层数，提取更具代表性的高维特征，但是仅仅增加网络层数会导致最终提取的特征点数量骤减，降低配准精度。因此，本文提出使用随机选择隐藏特征的神经网络RanSelCNN，实现网络在提取低维和高维特征上的平衡，有效解决特征点量和质之间的平衡。

2.2.2 基于随机选择的特征提取

随机选择卷积神经网络最早用于弱监督语义分割[4]，本文第一次将它运用于卫星影像配准。其基本操作是：在卷积特征层随机选择隐藏单元传入下一层网络，结合式（3），该过程可表示为

式中 表示随机选择隐藏单元；为经过随机选择的特征非线性激活值。

随机特征选择与深度学习中的空洞卷积[5]和Dropout[6]方法相似，但不相同。空洞卷积通过不同的扩张率形成不同感受野的卷积核，对影像进行卷积操作，但每次扩张率是固定的，并且不同的扩张率需要单独训练，而本文提出的随机选择不需要单独训练。Dropout方法在特征层传入下一层之前，以一定的概率将特征层的元素置零，被置零的元素将无法参与后续的卷积以及后向传播计算，而本文的随机选择不会将元素置零，只在特定层选择将要传入下一层的元素，没被选择的特征元素在下一层仍有被选择的机会。

运用特征随机选择，可以将影像具有识别性和非识别性的特征进行整合，得到低维和高维特征的结合，在影像配准中表现为：保证特征点数量的同时，提高特征点的准确度，降低后续的匹配难度。

2.3 基于卷积神经网络的特征匹配

2.3.1 匹配网络结构

较早的基于深度学习的影像配准网络如MatchNet[7]等，在特征提取后建立单独的度量网络来衡量特征的相似度，使得网络能够学习到具有高稳定性的特征表达，但这降低了网络的多样性，同时增加了网络复杂度。因此，本文使用与L2-Net[8]相似的网络结构（如图6所示）学习特征表达，与MatchNet网络相比，减少了度量网络结构，使网络可以在不使用单独度量网络的情况下，学习高性能特征。

图6 特征匹配网络结构

本文特征匹配网络通过输入32像素×32像素大小的特征影像，最终得到128维的特征向量，与MatchNet相比，没有在特征提取网络与特征匹配网络中间使用相似性度量网络，降低了网络的复杂度。

2.3.2 损失函数

在影像配准中，特征提取的结果直接影响特征匹配的精度，这种影响是正向不可逆的。并且许多深度学习影像配准网络将特征提取和特征匹配分为两部分进行训练，使用不同的损失函数分开优化，使得两者之间没有信息的反馈，影响匹配结果。本文使用联合损失函数将特征提取和特征匹配网络结合起来，使特征匹配的结果反馈到特征提取网络，参与优化，增加特征提取的鲁棒性，这部分损失称为特征提取损失。对于匹配网络，为了提高匹配速度，运用RF-Net[9]提出的基于邻域掩模的匹配损失。

（1）特征提取损失函数

（2）特征匹配损失函数

（10）

式中表示图片对中心点的欧式距离；为欧氏距离阈值。式（11）-（13）表示：当寻找非正确匹配图片对时，将特征向量差异性度量值和特征点之间的欧式距离均不大于阈值的图片对进行掩模。

2.4 基于RanSelCNN的影像配准

图7 本文基于深度学习的影像配准网络整体结构

3 试验验证

本文试验分为两部分：配准网络训练、配准结果预测。网络训练主要分两步进行：1）使用UBC数据集进行提取网络预训练；2）使用Landsat-8卫星数据集进行网络微调，最终得到训练好的配准网络。结果预测使用训练好的配准网络对影像进行特征提取和特征匹配，统计提取特征点数量以及匹配准确度，同时将结果分别与传统的特征匹配算法BRISK、SURF、FAST以及基于深度学习的非随机选择CNN做对比，得出试验结论。

图8 UBC数据集示意

3.1 试验数据集

预训练数据集：本文使用UBC数据集对特征提取网络进行预训练。UBC数据集是MatchNet[7]网络的训练集，由Winder等人制作，用于训练特征提取器。如图8所示，该数据具有150万个带有标签的补丁（patch）数据[10]，使用DOG算子和Harris算子提取得到。UBC数据集有三个子数据集：Liberty、Notredame、Yosemite，分别有450×103，468×103，634×103组带有标签的patch数据。

网络微调：本文的研究目的是对卫星影像进行配准，而UBC数据集是普通近景影像，因此通过制作卫星影像数据集对网络进行微调训练。卫星影像使用地面分辨率为30m的Landsat-8多光谱影像。卫星影像数据集通过传统SIFT算法提取特征点，并以特征点为中心，截取32像素× 32像素的小图片作为训练集。与UBC数据集相同，分别制作正确匹配对和错误匹配对，作为网络微调数据集。匹配对中包含了遥感影像配准任务需要解决的光线明暗变化、角度变化等问题。样本图像如图9所示。

图9 Landsat-8样本

3.2 试验结果

（1）基于RanSelCNN的特征提取结果

本文使用基于随机选择的RanSelCNN网络对影像特征进行提取，将提取结果与传统特征提取算法BRISK[11]、SURF[12]、FAST[13]以及非随机选择的提取网络进行对比，试验结果如图10及表1所示。

图10 五种方法特征提取结果

表1 五种方法提取特征点数量对比表

Tab.1 Comparison of the number of feature points extracted by five methods

结果表明，在特征点数量方面，基于卷积神经网络的两种方法优于传统BRISK，SURF，FAST特征探测方法；随机选择的特征提取方法整合了低维和高维特征，特征点总体数量比非随机选择的方法少。

（2）特征匹配结果

使用本文提出的匹配方法与上述提取特征点较多的BRISK方法以及非随机选择的方法做对比，分别设计两组试验：①对同一时期具有重叠度的影像进行配准；②对同一地区不同时期（2018年5月23日和2019年1月18日）的Landsat-8影像进行配准。试验结果如图11~12及表2~3所示。

图12 三种方法对同一地区不同时期的卫星影像配准

表2 三种方法配准精度统计（对同一时期具有重叠度的影像）

Tab.2 The registration accuracy of the three methods（images with overlapping areas at the same time）

表3 三种方法配准精度统计（对同一地区不同时期的影像）

Tab.3 The registration accuracy of the three methods（images of the same region at the different time）

由图11和表2可得，传统的BRISK方法匹配的特征点对最少，非随机选择的方法匹配的特征点对最多，但存在较多的错误匹配，降低了配准精度。而本文提出的基于随机选择的RanSelCNN方法表现较好，匹配的特征点对较多，且错误匹配少。

对图2及表3分析可得，由于不同时期的影像在像元灰度值方面差异较大，导致传统的BRISK方法无法对影像进行配准，基于深度学习的方法有效克服了时相不同造成的差异。但非随机选择的方法存在大量的错误匹配，效果不如本文的RanSelCNN方法。

从试验结果可以看出，RanSelCNN方法对卫星影像进行配准时，能克服卫星影像存在的各类常见的差异和变化，提取较多的特征点，同时保证了特征点的位置准确度，提高了影像配准精度。

4 结束语

本文提出了基于数据驱动的深度学习方法对卫星影像进行配准，与现存的匹配算法相比，本文的算法在特征选择、网络结构和损失函数三个方面进行改进，主要表现为：1）使用随机隐藏单元选择的RanSelCNN对卫星影像进行特征提取，增加了特征提取的鲁棒性；2）在网络结构方面，去掉了深度学习配准方法常用的相似性度量网络，降低网络复杂度；3）在网络训练方面，使用联合损失函数使特征匹配对特征提取进行信息反馈。

使用本文的方法对Landsat-8影像进行配准时，得到了较高的配准精度，表明基于深度学习的方法用于卫星影像处理是可行的。未来的影像配准研究，会由同源向多源发展，不同传感器数据[14]以及不同分辨率数据的配准将是研究的难点和重点，届时，基于深度学习的研究方法如生成对抗网络（Generative Adversarial Networks，GAN）[15]等将发挥更大的作用。同时，在匹配时间方面，基于深度学习的方法可使用GPU并行计算，大大提高了配准效率。

[1] LOWE D G. Object Recognition from Local Scale-Invariant Features[C]//Proceedings of 7th IEEE International Conferences on Computer Vision. [S.l.]: IEEE, 1999: 1150-1157.

[2] 年华, 孙立, 于艳波. Harris-Laplace结合SURF的遥感图像匹配拼接方法[J]. 航天返回与遥感, 2016, 37(6): 95-101. NIAN Hua, SUN Li, YU Yanbo. Remote Sensing Image Matching and Mosaic Based on Harris-Laplace Combined with Scale-Invariant Algorithm[J]. Spacecraft Recovery & Remote Sensing, 2016, 37(6): 95-101. (in Chinese)

[3] YANG Zhuoqian, DAN Tingting, YANG Yang. Multi-temporal Remote Sensing Image Registration Using Deep Convolutional Features[J]. IEEE Access, 2018, 2853100: 1-1.

[4] LEE J, KIM E, LEE S, et al. FickleNet: Weakly and Semi-supervised Semantic Image Segmentation Using Stochastic Inference[C]//2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-20, 2019, Long Beach, CA.

[5] WEI Yunchan, XIAO Huaxin, SHI Hinghui, et al. Revisiting Dilated Convolution: A Simple Approach for Weakly- and Semi- Supervised Semantic Segmentation[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-22, 2018, Salt Lake City.

[6] NITISH S, GEOFFREY H, ALEX K, et al. Dropout: A Simple Way to Prevent Neural Networks from Overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[7] HAN X F, LEUNG T, JIA Y Q, et al. MatchNet: Unifying Feature and Metric Learning for Patch-based Matching[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA, USA: IEEE, 2015.

[8] TIAN Yurun, FAN Bin, WU Fuchao. L2-Net: Deep Learning of Discriminative Patch Descriptor in Euclidean Space[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Hawaii.

[9] SHEN X L, WANG C, LI X, et al. RF-Net: An End-to-End Image Matching Network based on Receptive Field[C]// 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-20, 2019, Long Beach, CA.

[10] BALNTAS V, LENC K, VEDALDI A, et al. Hpatches: A benchmark and Evaluation of Handcrafted and Learned Local Descriptors[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Hawaii.

[11] LEUTENEGGER S, CHLI M, SIEGWART R Y. BRISK: Binary Robust Invariant Scalable Keypoints[C]// Proceedings of IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011.

[12] BAY H, ESS A, TUYTELAARS T, et al. Speeded-Up Robust Features (SURF)[J]. Computer Vision & Image Understanding, 2008, 110(3): 346-359.

[13] LIU W Y, LI H, ZHU G X. A Fast Algorithm for Corner Detection Using the Morphologic Skeleton[J]. Pattern Recognition Letters, 2001, 22(8): 891-900.

[14] 王忠武, 刘顺喜, 戴建旺, 等. “高分二号”卫星多光谱与全色影像配准策略[J]. 航天返回与遥感, 2015, 36(4): 48-53. WANG Zhongwu, LIU Shunxi, DAI Jianwang , et al. Registration Strategy for GF-2 Satellite Multispectral and Panchromatic Images[J]. Spacecraft Recovery & Remote Sensing, 2015, 36(4): 48-53. (in Chinese)

[15] GOODFELLOW I. NIPS 2016 Tutorial: Generative Adversarial Networks[EB/OL]. [2019-09-07]. https://arxiv.org/pdf/1701. 00160v4. pdf.

[16] WANG S, QUAN D, LIANG X F, et al. A Deep Learning Framework for Remote Sensing Image Registration[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2018, 145: 148-164.

[17] MA W P, WEN Z, WU Y, et al. Remote Sensing Image Registration with Modified SIFT and Enhanced Feature Matching[J]. IEEE Geoscience and Remote Sensing Letters, 2016(99): 1-5.

[18] MERKLE N, AUER S, MULLER R, et al. Exploring the Potential of Conditional Adversarial Networks for Optical and SAR Image Matching[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(6): 1-10.

[19] 冯筠, 延瑜瑜, 赵妍, 等. 基于学习不变特征变换的兵马俑图像分区匹配[J]. 光学精密工程, 2018, 26(7): 1774-1783. FENG Jun, YAN Yuyu, ZHAO Yan, et al. A Terracotta Image Partition Matching Method Based on Learned Invariant Feature Transform[J]. Optics and Precision Engineering, 2018, 26(7): 1774-1783. (in Chinese)

[20] 田上成, 张乔, 刘保成, 等. 基于传感器几何特性和图像特征的影像配准方法[J]. 航天返回与遥感, 2013, 34(5): 85-89. TIAN Shangcheng, ZHANG Qiao, LIU Baocheng, et al. A Improved Matching Method for Image Based on Sensor Geometric Features and Image Features[J]. Spacecraft Recovery & Remote Sensing, 2013, 34(5): 85-89. (in Chinese)

Remote Sensing Image Registration Based on Deep Learning Feature Extraction

XU Dongli1HU Zhongzheng2

（1 China University of Geosciences, Beijing 100083, China）（2 China Centre for Resources Satellite Data and Application, Beijing 100094, China）

Traditional image registration algorithms such as SIFT and SURF are prone to shortcomings such as extracting fewer feature points and more mismatches when registering remote sensing satellite images. In this study, the data-driven random feature selection deep convolutional neural network (RanSelCNN) method is used to register images of Landsat-8 satellites that have overlapping regions in same or different phases. For the convolutional layer, random feature selection is adopted to increase the robustness of feature extraction. Using the joint objective function during training, the feature detector and feature descriptor are optimized at the same time to reduce the mis-matchings of features. The result shows that the registration based on deep neural network can extract more feature points and reduce false matching points. Compared with the traditional artificial design features, feature extraction in this study can significantly improve the accuracy of image registration.

data-driven; deep neural network; random selection; feature extraction; image registration; satellite remote sensing

TP751

A

1009-8518(2019)06-0107-12

10.3969/j.issn.1009-8518.2019.06.013

许东丽，女，1994年生，2017年获中国地质大学（北京）测绘工程专业学士学位，现在中国地质大学（北京）攻读测绘科学与技术专业硕士学位，研究方向为遥感信息处理与应用。E-mail：xudongli1217@163.com。

2019-09-07

许东丽, 胡忠正. 基于深度学习特征提取的遥感影像配准[J]. 航天返回与遥感, 2019, 40(6): 107-118.

XU Dongli HU Zhongzheng. Remote Sensing Image Registration Based on Deep Learning Feature Extraction[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(6): 107-118. (in Chinese)

（编辑：夏淑密）