基于深度特征的质量感知旋转舰船模板匹配算法

王泽瑞，陈 实

（1.中国科学院 国家空间科学中心 复杂航天系统电子信息技术重点实验室，北京 100190；2.中国科学院大学 计算机科学与技术学院，北京 100049）

0 概述

低轨遥感卫星在农田监测、城市规划、灾害预警等领域发挥着巨大作用［1］。随着航天技术的进步和遥感卫星的发展，针对高分辨率卫星遥感静态图片进行定时侦察已经难以满足实际应用的需求，需要实时动态跟踪遥感图像［2］。我国现在已经开展多个高分辨率地球侦察卫星重大专项，但其无法获取长时间高价值的关于目标的动态数据，极大制约着遥感卫星在应急情况下的监视跟踪能力［3］。

本文面向未来大规模低轨遥感星座，期望实现卫星针对同一高价值目标的跨星接力跟踪，实现效果是以卫星的重访时间为间隔来不断更新目标的状态和轨迹，而这个过程的关键是接力卫星根据目标模板匹配出高价值目标，统一两段遥感视频中跟踪目标的编号［4］。本文使用模板匹配方法克服在卫星接力过程中目标图像产生的非刚性形变，实现对同一目标的接力跟踪。针对舰船尺寸差异大而产生的影响，本文引入双级特征融合模块，提高不同尺寸目标特征的适应性；针对环境变化对模板匹配产生的影响，引入质量感知模板匹配模块，克服前后两颗拍摄卫星的环境变化以及当前环境对匹配过程的干扰；针对算法生成的目标框中目标占比较小的问题，引入细粒度舰船角度定位模块，通过生成旋转目标框来提高目标在模板中的占比。

1 模板匹配方法

在计算机视觉算法中，识别目标图像是否包含特定的目标或图像特征是一个基本问题［5］。在此场景中，卫星需要从一幅模板中提取目标特征，然后在不同视角、不同拍摄时间下的另一幅目标图像中定位出相似特征的位置，因此，使用模板匹配方法是一种有效的手段［6］。模板匹配分为基于传统特征的模板匹配方法和基于深度特征的模板匹配方法［7］。

1.1 传统特征模板匹配

传统模板匹配是使用像素级特征来完成的，获得图像特征的方法通常是人工定义的数学公式，例如通过计算强度不连续点的高斯函数来分析图像结构［8］。为了避免匹配结果受到光照变化的影响，文献［9］提出使用归一化互相关（NCC）或更复杂的广义拉普拉斯距离。但是，这些方法依赖于将模板图像中的强度值与目标图像滑块中相应位置的强度值进行比较，因此，视角变化、部分遮挡等非刚性形变导致的目标图像以及模板的外观不同均会对相似度评价结果产生严重影响［10］。因此，基于传统特征的目标匹配不适用于跨星目标接力跟踪。

1.2 深度特征模板匹配

基于深度特征的模板匹配方法主要分为两类：一类方法［11-13］是通过神经网络建立模板与目标图像之间的特定转换关系，这种方法大多需要大量的参数，并且难以处理遮挡等非刚性形变，不适合资源受限的星上环境；另一类方法［14-17］是增强模板匹配算法的鲁棒性，通过设计新的相似性度量方法来减少复杂场景的干扰。由于深度特征可以提高模板匹配算法对视角变化的容忍度［18］，因此此类模板匹配方法更适合解决跨星模板匹配问题。

但是，基于深度特征的模板匹配算法在处理遥感舰船目标时存在以下不足：1）舰船目标尺寸差异较大，匹配算法受尺寸差异影响，使得定位效果不稳定［19］；2）匹配算法所生成的目标框并不是旋转框，并不适合直接作为下一个接力卫星的模板［20］。

2 设计思路

针对卫星星座高价值目标连续跟踪问题，本文提出卫星星座接力跟踪处理流程，如图1 所示。首先，第一颗卫星根据拍摄到的遥感图像进行目标检测，提取出需要接力跟踪的高价值目标，并将目标模板和位置信息发送给接力卫星；然后，接力卫星在指定区域内利用模板定位出唯一的高价值目标；最后，更新目标模板并发送给下一个接力卫星。

为解决接力卫星定位到唯一高价值目标的问题，本文提出一种模板匹配方法，称为Rotated QATM，如图2 所示，该方法包括辅助结构和主干网络2 个部分。主干网络并不限于VGG19，大部分可以提取出深层和浅层特征的网络都可以应用，这增加了算法的适应性。辅助结构包括3 个部分，分别为双级特征融合模块、质量感知模板匹配模块和细粒度舰船角度定位模块。算法首先通过一个特征提取网络从定量旋转的目标图像和模板中提取出不同层次的特征图，再将特征图进行归一化并拼接生成与图像等大的源自模板和目标图像的双层特征图｛P1，P2｝，不同旋转角度会投影到不同的特征空间，独立进行相似度评估；然后在双层特征图上使用基于QATM［14］的匹配方法生成相似度热力；接着在定位船只时根据区域内相似度分布生成目标位置，根据模板旋转角度的置信度序列得到目标框的旋转角度。目标框坐标由目标位置和旋转角度共同计算得出，这也是后续卫星跟踪的起始目标框。

图2 Rotated QATM 方法流程Fig.2 Procedure of the Rotated QATM method

为降低舰船目标尺寸差异较大对模板匹配带来的影响，本文选择深层与浅层搭配使用的特征进行匹配。低层的CNN 更加关注细节，学习到的特征基本上是颜色、边缘、轮廓等低层特征［21］。高层CNN视野逐渐扩大，进而关注目标的整体［22］。本文通过引入不同层次的特征信息，在新的特征空间使模板特征更具辨别性，同时提高对外观变化的容忍度。不同层次特征关注的视野不同，更加适合对尺寸差异较大的舰船目标进行模板匹配。

在模板匹配过程中，模板的质量对匹配效果的影响十分显著［23］。如果模板本身就含有冗余的环境信息，这不仅会影响定位的精度还会增加匹配过程的计算量。为解决舰船在生成目标框像素中占比较低的问题，同时使得模板匹配算法的输出可以直接作为接力模板，本文引入细粒度舰船角度定位模块，通过模板在不同角度与目标图像进行匹配，生成角度维度和位置维度的概率序列。本文使用不同角度的模板进行相互竞争以完成角度的粗匹配，再根据贝叶斯公式，利用角度的置信度序列对置信度最高的角度进行修正，最后计算出舰船角度的细粒度信息，生成旋转的目标框［24］。

3 质量感知旋转舰船模板匹配算法

3.1 双级特征融合模块

双级特征融合模块数据处理流程如图3 所示，对于给定的任意大小的输入图像，主干网络输出一个离散的特征集合，即2 个层次特征｛P1，P2｝。本文以VGG19［25］为例，VGG19 网 络第1 层的通 道数为64，后面每层都进行了翻倍，最多为512 个通道。算法使用的是第1 层和第4 层的输出，通道数分别是64 层和512 层。在输出层数不变的情况下，该模块根据输入图像的大小将不同层次输出的目标特征调整为同一个卷积层输出的大小。如果图像较大，则每一层的输出将抽样到较高层次的大小，以减少计算量；如果图像较小，则使用双线性插值的方法调整到较低层次的大小，以增加信息量，提高匹配的准确率。为了公平起见以及不失一般性，本文使用经过ImageNet 训练的CNN 作为特征提取网络，这样既完成了舰船的特征提取，又可以与现在普遍使用的匹配算法进行公平对比。双级特征融合模块通过神经网络将图像投影到另一个维度的空间，并做好了数据对齐等前期工作，目的是使得每一个像素都有512+64 个该位置的特征表示，为相似度度量以及质量感知模板匹配提供每一个位置的特征表示。

图3 双级特征融合模块结构Fig.3 Dual-level feature fusion module structure

3.2 质量感知模板匹配模块

在计算模板和滑动窗口之间的相似度时，如表1所示，其中，t是模板，s是搜索图像S特征图上的滑块。对于每一对s和t来说，针对组成它们的特征点之间的相似度，质量感知模板匹配方法考虑了4 种不同的模板匹配场景，具体为：“1-1”匹配表示精确匹配，即2 个匹配特征是双方独有的，在评价指标中对相似度贡献最高；“1-N”和“M-1”表示这几对特征是同一个类型的，从而导致了多对相似度较高的匹配，这表示会有混淆；“M-N”表示s和t中有多对特征点的匹配相似度较高，这种匹配对于评价指标的贡献是没有意义的。在上述4 种匹配情况中，只有“1-1”匹配被认为是高质量的匹配。

表1 模板匹配情况和对应的理想分数Table 1 Template matching and corresponding ideal scores

“1-1”匹配代表模板与滑动窗口之间特异性的相似度。本文将匹配的点的数量取倒数，用来修正每个点相似度计算的输出。经过对每个特征点进行匹配后，在S中找到最优匹配区域作为整体匹配质量最大化的位置。对匹配进行定量表达，如式（1）所示：

为了使得评分指标可以适用于模板匹配的相似度计算，质量感知模板匹配方法定义L（t|s）来评估s对t的相似度得分。s和t分别是匹配图像和模板上的滑块，设fs和ft是经过卷积后的滑块特征表示，ρ（·）是2 个特征之间的余弦相似度度量。给定一个目标图像上的滑块s，L（t|s）计算如式（2）所示：

上述似然函数可以解释为当前模板t的特征与模板图像上的每个滑块s的特征在匹配质量方面的排序，这个过程就是寻找目标图像中每个特征与几个模板中的特征相匹配，进而得到1/N的值。同理，还可以得到L（s|t），即每个模板的特征与几个目标图像的特征相似，进而得到1/M的值。本文将QATM 评价指标定义为s在T中匹配和t在S中匹配的相似度乘积，如式（3）所示：

S和T之间的QATM 匹配评价得分就是目标出现的置信度，得分表最大值所在的位置就是目标出现的中心位置，如式（4）所示：

3.3 细粒度舰船角度定位模块

在定位过程中，本文设计一种新的基于概率总和的目标定位方法，如图4 所示。考虑到周围像素的相似度也会影响目标匹配定位的效果，因此，该方法在热力图上使用与模板相同大小的1 矩阵进行一次卷积运算，然后寻找置信度和最大值的点，即预测目标出现的中心点。

为了定位舰船的旋转角度，引入一种面向角度的计算方案，称为旋转角度定位方法。经过位置定位过程，现在不同角度的热力图都会得到一个位置坐标以及相对应的置信度，即得到了一组与角度相关的置信度数组，接下来就可以利用贝叶斯公式，通过置信度数组确定舰船的细粒度角度。为了充分使用质量感知模块的计算结果，本文定义的修正函数如下：

其中：p1、p2分别为最高的置信度和次高的置信度；Aangle_max1、Aangle_max2分别代表置信度最高的旋转角度和次高的旋转角度。Aang就是修正后的目标旋转的细粒度角度，在图5 中代表旋转角度∠α。

图5 旋转角度定位方法Fig.5 Rotation angle positioning method

在中心位置上根据模板的大小生成起始框，然后再以中心位置为原点，经过旋转角度∠α的修正得到坐标的位置，如图5 所示。本文使用具有5 个参数的O=（x，y，w，h，∠α）表示预测目标框的边界，通过这5 个参数可以得到每个候选区域的4 个顶点坐标集合v=（v1，v2，v3，v4）。∆α 是v1相对于水平框顶部中点（x，y-h/2）的偏移量，根据对称性，∆β表示v2相对于右中点（x+w/2，y）的偏移量。因此，4 个顶点坐标可以表示为：

利用上述表示方式，通过确定外接矩形的参数（x，y，w，h）和推断其中的旋转角度∠α，可以实现精确的角度推测和定位。

4 实验验证

4.1 实验数据集与评价指标

收集同一艘舰船在不同时刻、不同光照和不同观测条件下的照片较难。本文制作HRSC2016_matching 数据集，数据来源为官方遥感目标检测数据集HRSC2016。HRSC2016 数据集由西北工业大学于2016 年发布，数据取自于Google Earth，其中，共 有1 061 张图像，图像大小为300×300～1 500×900 像素，共有2 976 个目标对。具体来说，本文根据标注将目标切片裁剪下来，作为用于匹配的目标模板，形成模板与目标图像的匹配对。数据集中存在关于同一艘舰船目标的多组照片，本文将同一个目标的匹配对的模板进行相互交换和匹配。对于每一对匹配对，目标图像和模板都带有一个OBB 标注格式的标注文件以及与之相对应的模板图片。

为了充分展示Rotated QATM 算法的优势，实验采用预测框与标注目标框的重叠度（IoU）作为精度度量。IoU 计算公式如下：

其中：|•|用来计算区域内的像素个数；Rtruth和Rest分别为将模板T定位在目标图像S中产生的地面真值和估计的目标框。

AP50 和AP75 分别代表匹配对的IoU 大于50 或75 的数量占整体的百分比。ROC 曲线下的面积（Area-Under-Curve，AUC）的物理意义则是平均准确率。本文将IoU 大于75 的匹配对视为准确匹配，以此可以计算数据集的召回率，计算公式如下：

其中：TP表示正确确定目标位置而且IoU 大于75 的数量；FN表示低于阈值且没有生成目标框的数量。

4.2 实验设置

为验证本文Rotated QATM 算法的有效性以及合理性，共进行2 组实验。实验1 通过比较Rotated QATM 与不同匹配算法在舰船模板匹配上的表现，验证本文算法的有效性；实验2 通过比较选用不同卷积层的算法的性能，以此说明浅层信息与深层信息搭配使用比单层信息匹配更有优势以及网络深度不能过深的合理性。实验环境为CPU Intel Core i7，主频为2.93 GHz，内存为4 GB，操作系统为Windows 10，神经网络框架为TensorFlow。

4.3 定量分析

4.3.1 Rotated QATM 性能分析

为了对Rotated QATM 的性能进行分析，本文在HRSC2016_matching 数据集上对其进行广泛的定量和定性评估，将Rotated QATM 与DDIS、SIFT 进行比较。本文使用的基础方法来自于2019 年CVPR 收录的文献中的QATM 方法，该方法通过排序来评估所有匹配对的质量，针对局部相似的特征干扰进行了优化；DDIS 是2017 年CVPR 收录的文献中提到的方法，该方法提出一种相似性度量方法，针对形变多样性相似性进行优化，对复杂形变、显著的背景杂波和遮挡具有鲁棒性，是经典的特征层匹配方法；SIFT 特征点具有很好的尺度不变性和旋转不变性，是传统特征中应用最广泛的代表之一。

由于QATM 和DDIS 匹配算法的目标框不具备角度信息，为了公平起见，给这2 个算法都加入细粒度舰船角度定位模块。图6 所示为2 976 对模板图像对上4 种算法的ROC 曲线。

图6 4 种算法的准确率曲线Fig.6 Accuracy curves of four algorithms

从图6 可以看到，使用特征图进行模板匹配的QATM 和DDIS 的ROC 曲线都是缓慢下降的。由于HRSC2016_matching 是一个全场景数据集并包含各种干扰，因此ROC 曲线下降缓慢说明算法针对所有的环境具有相似的匹配能力，算法具有很强的普适性。与此产生对比的是，SIFT 算法准确率会快速下降，这表明SIFT 算法只对一部分匹配对有效果，算法鲁棒性不强。QATM 算法通过对每一对特征点的相互相似度进行排名，减少重复出现某一类特征的干扰，更加专注特异性的目标匹配，最终取得了优于DDIS 的效果。Rotated QATM、DDIS、SIFT 和QATM（baseline）在全数据集上平均单个匹配任务的计算时间分别是178 ms、229 ms、53 ms 和126 ms，虽然Rotated QATM 的时间复杂度略高于QATM（baseline）和SIFT，但是满足在卫星过顶时间内完成高价值目标模板匹配任务的需求，能够统一两段遥感视频中跟踪目标的编号。

4 种算法在舰船模板匹配数据集上得到的PR 曲线如图7 所示。从图7 可以看出，Rotated QATM 的平均召回率为78.4%，相比QATM（baseline）、DDIS、SIFT 的平均召回率分别提高了3.1%、30.6%、16.2%。

图7 4 种算法的PR 曲线对比Fig.7 Comparison of PR curves of four algorithms

从表2 中的AUC、AP50、AP75 可以看出，Rotated QATM 相比对比算法更准确。在使用深度融合特征时，Rotated QATM 的AUC 比QATM（baseline）、DDIS、SIFT 分别提高了约9.5、16.0、17.5 个百分点，AP75 分别提升了21.1、30.5、6.9 个百分点。这说明单层特征难以应对舰船尺寸的复杂情况，未提供足够的立体的多种维度信息，将浅层纹理信息与深层语义信息搭配使用的网络性能更优。

表2 模板匹配算法性能比较结果Table 2 Performance comparison results of template matching algorithms

4.3.2 不同特征层融合性能分析

模板匹配方法处理的对象大多是单层特征，或者是像素级的处理过程，这些特征信息不够丰富，难以应对复杂的环境变化以及舰船尺寸的多样化特性。为此，本文引入多层特征信息进行融合匹配，并优化特征层的选择。为了定量分析双级特征融合模块带来的精度变化和深层与浅层特征搭配使用的优势，实验对比单层的特征匹配算法与深层和浅层信息相结合的匹配算法的准确率，比较结果通过ROC 曲线进行展示，如图8 所示。Rotated QATM（superficial）和 Rotated QATM（deep）分别代表经过神经网络第1 层卷积模块和第4 层卷积模块后输出的特征值；Rotated QATM（middle）使用的是第2 层和第3 层融合特征；Rotated QATM（block 1+block 4）和Rotated QATM（block 1+block 3）使用的是第1 层与第3 层以及第1 层与第4 层的融合特征。

表3 所示为本文方法通过不同特征层融合后的关键评价指标具体数值。从中可以看出，双级特征融合匹配的AP75 比单层特征分别提高了10.5、22.5 个百分点，Rotated QATM（block 1+block 4）比Rotated QATM（block 2+block 3）和Rotated QATM（block 1+block 3）分别提高了21.1、8.9 个百分点。对于深层特征做单层匹配，由于特征过于抽象，几何特征信息量太少，因此匹配结果最差。对于本数据集而言，第1 层和第4 层的搭配效果最好，既能够克服视角变化时对同一目标确认相同身份的问题，又做到目标之间身份不混淆，同时适应舰船尺寸的多样性，因此，其对环境变化的适应性最强。

4.4 定性分析

针对目标环境变化、观察视角变化的匹配场景以及综合场景，从网络中下载一些具有挑战性的匹配图像对，分别使用SIFT、DDIS、QATM（baseline）以及本文的Rotated QATM 算法进行对比实验，结果如图9 所示（彩色效果见《计算机工程》官网HTML版）。每组图片第1 列是模板，第2 列是目标图像以及划定的绿色目标框，第3 列是计算出的特征图或热力图，第4 列是匹配结果，蓝色或红色是预测框。图9（a）是针对环境变化选择的匹配对，模板是出港后有云层遮挡的图片，时间是傍晚，目标图像则是在港口，时间是下午。图9（b）是针对观察视角变化的匹配对，2 张图片分别选择舰船目标的前侧和后侧。整体来看，DDIS 针对环境干扰进行了优化，QATM针对视角变化进行了优化，SIFT 特征具有良好的尺度不变性和旋转不变性，3 种对比算法相互比较虽然各有优势，但是准确率与Rotated QATM 算法依然存在明显差距。图9（c）模板是航拍我国国产003 航母建造时的场景，船只尾部有起重架遮挡，目标图像是卫星拍摄的航母试水场景，前后分别基于航拍和卫星图像且岸边环境有很大的变化，产生了较强的干扰，包括遮挡、显著形变、背景杂波和尺度变化。从检测结果图中可以明显看出Rotated QATM 更准确，热力图噪声最小。传统的SIFT 算法可以很快提取出模板图像和目标图像的特征点，但是由于光照和视角的变化使得SIFT 特征点难以进行匹配。QATM算法通过提取出热力图并在图上进行相似度推算来确定目标的位置。从热力图上可以看出，DDIS 算法提取出的热力图噪声很大，而Rotated QATM 提取出的热力图最干净，目标匹配位置更为准确。上述结果验证了本文关于匹配信息来源的特征层选择的猜想，即浅层特征更多的是差异性的纹理信息，深层特征则包含更多的共同性的语义信息，同时验证了质量感知模板匹配模块可以同时应对环境变化、视角变化的叠加影响，提高了定位的准确度。在图9 中，Rotated QATM 最后的匹配结果IoU 达到0.886。

图9 3 组存在典型干扰的匹配对的实验结果Fig.9 Experimental results of three paired pairs with typical interference

5 结束语

本文针对跨星高价值目标模板匹配问题，提出一种基于深度特征的质量感知旋转舰船模板匹配算法Rotated QATM。该算法采用双级特征融合模块，同时提取浅层的纹理信息和深层的语义信息，解决了在跨星跟踪时因舰船尺寸多样和环境变化所导致的模板匹配定位不准确的问题。设计质量感知模板匹配模块，减少相似的环境因素以及目标产生非刚性形变时对匹配过程产生的干扰。设计细粒度舰船角度定位模块，提高匹配的准确率，同时得到准确的舰船方向信息，为星间接力跟踪创造条件。实验结果表明，Rotated QATM 在数据集HRSC2016_matching上的AUC 是0.81，AP75 是0.78，能够有效提高舰船目标匹配的准确率。目前卫星星座的任务规划需要通过设计调度算法来优化卫星的资源配置，因此，下一步考虑将模板匹配算法和卫星调度算法相结合，同时进行轻量化网络设计，以实现低能耗和高精度的卫星星座跨星接力跟踪。