遥感视频卫星多目标检测、跟踪和定位算法*

李建国，杨保河，石胜斌

（1.郑州师范学院物理与电子工程学院，郑州 450044；2.郑州科技学院电气工程学院，郑州 450064）

0 引言

目前，随着航天技术的迅速发展和遥感应用的逐步深入，国内外对高分辨率卫星的遥感应用需求已逐步由静态侦察向实时的动态监测转变［1-10］。随着高分辨率对地观测重大专项的实施，我国以静态为主的中高分辨率光学遥感数据，已经能够满足部分遥感监测需求，但其无法获取感兴趣目标区域极富价值的动态数据的特点，仍极大制约着遥感卫星在应急情况下的侦察能力［11-13］。

2015 年10 月7 日，长光卫星技术有限公司自主研发的“吉林一号”系列卫星在我国酒泉卫星发射中心发射工程［14-16］。这种在超高空、大尺度、复杂星际成像环境下的动态视频拍摄，堪称我国航天遥感领域的一项革命性创新技术。该系列的视频卫星通过凝视成像模式可获取亚米级分辨率彩色动态视频，获取感兴趣区域连续的视频图像数据，特别适合于区域的动态变化监测，如态势变化、动态目标侦察监视、打击效果评估等军事应用需求。同时，还可以满足反恐、防灾救灾、智能交通管制等多方面民用需求［17-18］。

在此背景下，本文围绕视频卫星这一新兴航天遥感技术［18］，对视频卫星在“凝视”成像模式下获取的动态遥感视频进行全自动、高精度、高速度的信息提取，开展遥感视频卫星多目标检测、跟踪和定位算法研究，如图1 所示。针对运动目标检测与跟踪需求，提出一种联合道路掩模的混合高斯背景模型的背景差分法，该方法可显著降低由于光照变化、阴影带来的目标像元漏检。针对目标几何定位需求，提出一种基于RPC 参数的遥感影像正射校正技术，实现了影像行列号坐标与WGS84 经纬度坐标之间的转换关系［19-20］。遥感视频卫星多目标检测、跟踪和定位算法提高遥感视频数据的智能化处理水平，大幅缩减信息提取过程中人工参与程度，为我国航天信息产业发展和社会经济进步带来重要的促进意义。

1 遥感卫星视频预处理

遥感视频数据的预处理可以实现对高分辨率遥感视频影像的自动增强处理，包括高分辨率卫星视频特性的颜色增强、边缘增强、噪声去除等视频处理功能，如图2 所示，提高遥感视频的视觉效果和可解译性，改善视频质量、丰富信息量，加强视频判别和识别效果，为后续遥感情报提取提供数据支撑。

图1 遥感卫星视频处理流程

图2 遥感视频预处理

图3 遥感影像正射校正

同时预处理操作还包括遥感影像正射校正（如图3）。当遥感图像在正射校正后，其中一件重要的工作就是将遥感图像与地理坐标进行精确匹配，使遥感图像坐标与地理信息相联系，以利于提取有用信息。针对遥感影像由于成像系统以及地形等因素所引起的几何畸变，实现一种基于RPC 参数的遥感影像正射校正技术。通过解析影像元数据中的RPC信息，导入数字高程模型（DEM），得到影像行列号坐标与WGS84 经纬度坐标之间的转换关系，按照转换关系使用图像重投影的方式进行投影变换，实现遥感影像的正射校正处理。遥感影像经过正射校正处理，可同时具有地形图特性和影像特性，在地形起伏较大的地区精度高，信息丰富。

2 多目标检测跟踪定位

遥感视频动态目标检测、跟踪和定位模块，可实现对遥感视频中动态目标的自动检测、跟踪、研判和态势分析，也可实现对遥感视频中特定移动目标的移动速度、移动方向和移动轨迹等信息的精确提取，可为边境线连续监视、边境小规模冲突处理、突发性群体事件处置、中小型军事行动连续保障等军事行动提供保障，为相关部门提供高时效，高精度的情报保障。

2.1 特定目标检测技术

针对高分辨率光学卫星影像的感兴趣目标检测与识别应用需求［21-23］，为突破传统目标检测算法定位精度、识别准确率和检测速度较低的技术瓶颈，将最前沿的深度学习目标算法引入遥感应用领域。在遥感影像目标识别检测方面，研发了基于深度学习的典型目标识别检测算法。通过构建典型遥感目标库，实现了飞机、船舶、机场、港口等目标的自动识别与检测。对同一类型目标，针对不同应用场景，通过算法调优分别构建了快速模型和高精度模型。对高分辨率光学卫星影像纹理信息丰富的特点，构建深度卷积神经网络结构和目标检测算法框架，对高分辨率光学卫星影像进行多层特征提取和多特征融合以提升目标识别准确度，结合上下文特征以提升定位精度。用改进Faster R-CNN［24-25］与Resnet 算法［27-28］对训练数据集进行模型训练，实现对高分辨率遥感影像的目标智能检测，实现针对高分辨率光学卫星影像的高精度智能目标检测技术。地物目标检测完毕后，可以输出目标的数量，以及经纬度信息。快速实现大尺度范围地物目标检测，及时为相关安全部门提供可靠情报信息。

图4 特定目标检测识别算法

图4 展示了遥感影像智能目标检测识别算法研究的主要技术流程，其具体细节如下：

1）使用ImageNet 模型初始化，独立训练一个区域生成网络（RPN）；Fast R-CNN 有两个平行的输层；

2）使用步骤1）中RPN 网络生成的proposal 作为输入对ImageNet 模型初始化，训练一个Fast R-CNN 网络，两个网络的每一层参数完全不共享；

3）使用步骤2）中的Fast R-CNN 网络初始化一个新RPN 网络，将RPN、Fast R-CNN 共享卷积层的Learning Rate 设为0，仅更新RPN 特有的网络层，重新训练完毕后，两个网络实现共享所有公共卷积层；

4）固定共享网络层，加入Fast R-CNN 特有网络层，形成unified network，继续训练，完成Fast R-CNN 特有网络层的fine-tune；

5）基于训练好的目标检测识别模型参数，对地物目标（如：飞机、油罐、建筑）等感兴趣目标进行全自动目标检测，如图5 所示。

图5 特定目标检测识别算法（以客机检测为例）

2.2 动态目标检测跟踪定位

针对视频卫星可对某一区域进行凝视观测获得的连续视频影像的特点，实现高分辨率卫星视频动态车辆检测与跟踪。算法首先使用基于道路掩模处理和混合高斯背景模型的背景差分法，对运动车辆进行初步提取，同时使用车辆的几何特征对初步提取结果进行筛选；使用基于最小二乘法的二次曲线拟合方式对运动车辆进行跟踪。下面介绍道路动态目标的检测跟踪流程，如下页图6 所示。

首先，依次提取稳像后的视频帧，对视频帧图像进行预处理，加强影像判别与识别效果。对卫星视频使用基于像素样本统计信息的混合高斯背景建模方法进行背景估计，利用像素在较长时间内大量样本值的概率密度等统计信息表示背景，然后使用统计差分进行目标像素判断，可以对复杂动态背景进行建模。在混合高斯背景模型中，认为像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。对于视频图像中的每一个像素点，其值在序列图像中的变化，可看作是不断产生像素值的随机过程，即用高斯分布来描述每个像素点的颜色呈现规律单模态和多模态。对于多峰高斯分布模型，图像的每一个像素点按不同权值的多个高斯分布的叠加来建模，每种高斯分布对应一个可能产生像素点所呈现颜色的状态，各个高斯分布的权值和分布参数随时间更新。

图6 动态目标检测与跟踪算法整体流程图

然后，对卫星视频中运动目标进行检测。利用背景差分法，对所得到的连通域进行数学形态和统计分析，并计算全局阈值对图像进行二值化处理。背景减法首先建立背景模型表示场景，再把接下来的各帧与该模型相比较并进行减法运算，所得结果即为运动区域。采用背景减法进行运动目标检测时，背景图像的模型与真实场景的差异大小会影响目标检测性能，因此，通过对运动目标连通区域面积大小的判断以滤除噪声，增加目标检测准确度。

最后，对提取的运动目标进行跟踪。通过统计前景中的每一个运动目标的质心位置、像素面积、平均灰度信息，考虑到不同帧中的同一目标由于在光照、遮挡等存在形变和灰度值的变化建立目标跟踪决策。如图6 为运动目标跟踪算法流程图。在进行目标跟踪时，根据该目标的已得数据使用基于最小二乘法的二次曲线拟合方式，对下一帧车辆位置进行预测，得到预测质心位置，并在预测质心位置的邻域内进行搜索和匹配，可大幅提高搜索速度，减少计算复杂度和计算时间。经过对运动目标逐帧跟踪，根据前后帧相对位置，即可实现对运动目标包括运动方向、运动速度等运动参数的求解。

2.3 技术难点

2.3.1 道路掩模

一般来讲，动态目标位于遥感图像中的道路上。因此，为了进一步减少虚警检测和计算量，本文采用的道路网提取算法结合深度学习与高分辨率卫星影像数据［29-30］，自动、精准的提取传统测绘方法无法获取区域的路网信息。基于深度学习技术快速、准确地实现遥感影像像素级分类，通过深层卷积神经网络学习到高层次抽象特征，提高分类精度。针对分类结果，设计分类后处理功能，包括：分类合并、分类信息统计。

道路网提取如图7 所示，针对特定地区，实现了对高速公路以及大部分林间道路、乡村道路等小路的提取。

图7 遥感图像道路网提取

2.3.2 视频配准

利用Sift（尺度不变特征变换）特征及GPU 加速技术实现亚像素级配准。Sift 特征是一种基于尺度空间、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子，该特征同时具有独特性、多量性、可扩展性等特点，在图像配准领域应用广泛。传统Sift 特征匹配算法速度较慢，对超高分辨率遥感图像适用性较差，利用GPU 加速技术实现超大分辨率遥感图像特征点快速提取匹配，GPU 下单景标准影像配准时间2.6 s，较CPU 下同样方法120 s提升了40 倍以上。该技术是遥感图像融合、镶嵌等处理的关键部分。

2.3.3 背景差分

利用K 个高斯模型表征视频卫星单帧影像中各像素特征，在新一帧影像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点。使用方形结构（3×3）进行闭运算（前膨胀后腐蚀）。统计前景中的连通域（8 邻域）的面积，将面积小于或大于某一阈值范围的连通域进行剔除。

2.3.4 多帧多目标判决及跟踪算法

创建二维索引表，记录单帧车辆对应的位置，在预测质心的邻域内进行搜索。其中预测质心是通过前若干帧得到的待确认或确认车辆信息的质心位置信息，进行二次函数拟合，从而得到的当前帧的预测位置。跟踪评价指标缺失数（丢失目标的个数）：即在当前帧中没有该目标的假设位置，也就是未找到该目标在当前帧中的预测区域。误判数（假设位置未匹配个数）：即给出的位置假设没有跟踪目标与之对应。误匹配数（失配误差数）：该问题多发生在多目标位置过近导致的遮挡或粘连的情况下。

3 实验

在本文中，我们在一段遥感视频上进行目标检测、跟踪和定位功能验证，视频由长光卫星技术有限公司提供。实验运行在Matlab 编译平台上，硬件要求为Core i7-3770 CPU（内存3.4 GB）。

3.1 动态目标检测

图8（a）展示了一段城市道路场景的视频卫星拍摄视频。可以看到，道路上存在密集的动态车辆目标。车辆目标的尺寸有限，通常在图像上体现为扩展点目标。由于车辆目标尺寸较小从而难以使用基于深度学习的检测网络得到检测结果，本文首先采用道路掩模方法去除道路两旁的建筑区域，从而避免道路区域外的虚警检测结果。然后采用基于高斯混合模型的帧间差分得到动态目标的检测结果，如图8（b）所示。

图8 遥感视频动目标检测

3.2 目标跟踪

本文采用基于最邻近搜索的数据关联算法对相邻两帧的动态目标检测结果进行关联，从而得到动态目标连续的跟踪轨迹。如图9 所示，图9（a）和9（b）是遥感视频中相邻的前后帧。与图9（a）相比，图9（b）中的车辆目标发生了微小的位移，这个位移远小于不同运动目标之间的几何距离。因此，通过在图9（a）中每个动态目标检测结果周围以半径r 进行最邻近搜索，可以得到该目标在图9（b）中对应的检测结果。通过将两个对应的检测结果关联，可以得到该动态目标在相邻两帧之间的跟踪结果。

图9 遥感视频相邻帧

为了定量评估算法的效果，利用IoU（Intersection Over Union）指标计算检测和跟踪算法的性能。给定每个目标检测和跟踪的外接矩形框rt和人工标注的真值矩形框rg，IoU 值定义如下：

表1 给出了不同搜索半径r 对应的IoU 值，可以看到当搜索半径为4 个像素时，本文提出的检测跟踪算法可以达到92.5%，几乎所有目标都可以正确检测和跟踪。

表1 不同搜索半径对应的IoU 值

3.3 目标几何定位

根据卫星成像模式及特征，结合卫星测量的姿轨、行时等参数，构建高精度几何定位模型，实现影像与地面坐标的精确转换。分析轨道误差、姿态误差、行扫描时间误差，以及相机内方位元素误差对几何定位精度的影响特性，获得高精度定位信息，并解算RPC 模型。本文对图8 中的目标进行定位分析，获得最终的平均精度达到3.4 m，验证本文方法思路的有效性。

在得到精确RPC 模型后，可以对遥感图像进行几何校正。几何校正后的遥感影像被称为标准影像，标准影像4 个角点的图像像素坐标和经纬度坐标都是已知的。因此，遥感视频中每个目标的地理坐标可以利用像素坐标插值得到。

4 结论

随着遥感技术的发展，未来的视频卫星的空间分辨率、时间分辨率以及光谱分辨率会越来越高，所获得的卫星视频也将越来越清晰，通过视频所能获得信息也越来越多。本文研究的视频卫星遥感视频数据的动态目标检测、跟踪、识别、定位方法，可以提高我军遥感卫星对动态机动小目标的侦察能力。由实验结果可知，该算法成功地从卫星视频中提取了道路掩模信息，并利用高斯混合模型和背景差分提取动目标的检测结果，利用数据关联得到每个目标在不同帧之间连续的运动轨迹，为进一步城市交通监控和决策提供信息支持。