基于运动历史图像的远程塔台飞行器跟踪算法

杨 璐，赵 昂

（1.西安航空职业技术学院，西安 710089；2.海丰通航科技有限公司，北京 100070）

引言

远程塔台的概念最早出现在欧美学者提出的新一代空中交通管理系统中。它提供类似于远程直播的方式，综合现有IT 技术实现对整个机场的运行情况以及机场周边环境的监视[1]。远程塔台的出现一方面解决了中小机场虽然占用时间少但仍需要配备一定数量的空管人员及设备的高成本问题，另一方面使得大型繁忙机场的塔台管制视觉盲区问题有了较完善的解决方案。

在远程塔台的应用场景中，机场场面运动目标自动检测跟踪可有效降低管制员的工作负荷，并且结合机场的场面监视系统可提供飞行器精确位置，以达到实时预警冲突的作用，有效保障机场安全运行。目前运动目标检测主要使用视频图像处理的方式，运动目标跟踪是远程塔台系统的关键技术，运动分割是运动目标跟踪的首要步骤。目前，能够应用于远程塔台运动目标检测的方法主要有光流法[2,3]、帧差法[4]和背景差分法[5]等。其中，陈昭炯[6]提出了基于背景抑制颜色分布新 模型的合成式目标跟踪算法，解决了背景干扰问题，提高了准确性。李子彦[7]使用HOG 特征的方法，采用目标识别的方式用于运动车辆的检测，可以更好地满足特种类别的目标的跟踪。徐国标[8]基于YOLO 改进算法，在远程塔台运动目标检测领域达到了提高检测准确性和速度的目标。虽然，基于以上运动检测方法提出了各种改进算法，但仍存在一些明显的不足，比如光流法存在计算量大且抗噪声能力差的问题；背景差分法比较适合固定背景的场景，并不适用于机场的环境；帧差法算法简单但可靠性不高，无法有效判定运动方向。为了提高运动分割的稳定性和实时性，本文采用运动历史图像来做运动分割，进而用于机场场面运动目标的自动跟踪。

1 运动历史图像飞行器运动分割算法

Bobick 和Davis[4]提出了运动能量图（Motion Energy Image，MEI）的概念，用来记录物体运动时目标像素点空间的位置变化。MEI 图像是二值图像，仅能显示运动的轮廓和能量的空间分布。因此，在基于此研究的基础上，Bobick 和Davis又进一步提出了运动历史图（Motion History Image，MHI），此概念基于视觉灰度图像将前景与背景分离，从而实现运动分割的目的。根据连续图像序列在时间上进行叠加，对运动过程提供完整的描述，保留了较多的运动信息，可以很好地记录前景的运动历史，可以揭示随着时间行进物体位移的变化情况，而物体的位移进一步表明了运动矢量方向，为下一步进行运动的预测提供了基础。此外，MHI 算法对光照的适应性较强。

MHI 首先通过帧间差分法得到t时刻与t-1时刻图像帧I（x,y,t）与I（x,y,t-1）在位置（x,y）处的二值差分图[9]：

其中C为阈值，表明了二值差分图D（x,y,t）生成时图像对场景变化的敏感程度。C的选择直接影响了二值图的质量，包括影响噪声的多少和前景图的显示质量。

对于远程塔台的应用场景来说，飞行器地面滑行并不快，按照目前的规定速度低于50km/h，而且远程塔台摄像机一般居于机场的高点位置。另外，为了覆盖机场飞行区，远程塔台摄像机一般会和地面、滑行道及跑道保持相当的距离。所以，阈值C不宜取太低。

MHI 可以通过以下公式计算：

式中，（x,y）为像素点坐标，t为时间，在远程塔台的视频数据中即为视频的帧数。σ为给定的像素值，它控制着 MHI 包含的运动信息衰减到0这一持续时间的长短：σ太小，会随着衰减参数δ的减少更快地减少到0，从而淹没在背景中，丢失运动的部分信息；σ太大，则像素值强度变化不明显，难以判断确切的运动方向。δ为衰退参数，值越大则衰退得越快，对于视频图像序列中的一个像素点而言，若其形态没有变化或者由运动转为静止，则该点的像素值减去δ，在MHI的计算过程中δ的取值一般为1，但在不同的应用场景中δ的值会影响MHI 携带的关键信息量[10]。因此σ和δ的参数设定均需要通过实验来验证取值，以适应远程塔台的应用场景。

经过以上处理后，将 MHI 图像进行重新生成，使其归一化为取值范围是 0 至 255 的灰度图。最终的结果是得到运动物体亮度从黑到白的灰度图，其从暗到明的方向即表示运动的矢量方向。变化越确切，携带的历史运动信息则越多[11]。

2 实验与结果分析

选取在某机场部署的远程塔台作为实验环境，在塔台顶部部署摄像机组来进行跑道视频的录取以及拼接工作，实验对象为在跑道上滑行的飞机。

民航机场的运行环境多样化，包括晴天、雨雪天气、雾霾天气等，在不同的气象条件下，机场的运行标准是不同的，故远程塔台的应用标准也需要适应当地的气象条件。本研究暂不考虑不同气象条件下的图像预处理问题，设定实验所处气象条件为晴天，且机场能见度为CAVOK 条件。实验场景如图1所示。

图1 实验环境

实验环境中跑道上的一架飞机为即将起飞的飞机，左侧的两架飞机为等待起飞的飞机，等待起飞的飞机静止不动，待跑道上清空后才会进行起飞动作。跑道上的飞机沿跑道进行加速起飞动作，在视频的第一秒到第十秒，飞机从起飞位置开始运动，直到滑出画面。

根据MHI 算法原理，首先调整参数σ=50、δ=30、C=40。图像处理结果如图2所示。

图2 σ=50、δ =30、C=40 的处理结果

由实验结果可见，由于σ取值较小，所得图像只保留了最近的一个飞机运动轮廓。这是由于当前帧中飞机的像素点运动状态发生改变，而MHI 中该区域像素点灰度值设为σ，前序的MHI图像被淹没到了背景中。该结果丢失了部分运动信息，无法判断飞机的运动方向。另外，衰退参数δ的取值为30，根据实验结果判断，δ也间接造成了衰退的程度过快，历史图像被更快地淹没于背景中，也进一步造成了运动信息的丢失。C是将图像二值化的阈值，针对机场的环境影响，C过小可能会噪声较多，C太大又可能造成前景信息的丢失，经实验，C选取40 是一个相对合理的值，噪声相对较少，同时前景可保留并进行进一步处理。

进一步调整参数σ=100、δ=20、C=40，实验结果见图3。

实验结果表明，σ参数的增大有效提高了前景图像的轮廓可见度，同时由于δ参数的降低，运动历史图的衰减速度有一定程度的降低，图像给出了较多的运动信息。但显示出的三个飞机的历史运动图还不足以支撑确定飞机的运动方向，而在远程塔台的应用中，飞机的运动方向是较为重要的数据支撑，运动方向直接影响场面监控的冲突告警和驶入禁区提前预警。

图3 σ=100、δ=20、C=40 的处理结果

为了能够给出更多的运动信息，进行参数的进一步调优，当σ=255、δ=15、C=40 时，我们发现飞行器的运动信息可以得到较多的保留，同时衰减速度也达到了一个较为合理的情况。此时可以保留至少四个历史图像，而σ=255 也可以将当前的飞行器前景信息更明显地区分出来，为下一步进行运动跟踪提供了良好的基础。参数为σ=255、δ=15、C=40 时的实验结果如图4所示。

图4 σ=255、δ=15、C=40 的处理结果

经过多轮对比实验，结果表明，在CAVOK气象条件下，因为光照充足，运动目标和背景图像对比明显。为了能够充分地表达运动信息，需要为MHI 提供一个相对较大的σ值和相对较小的δ值，而值的选取需要针对不同的时刻以及天气波动情况动态调整。另外，为了兼顾去除噪声和保留前景信息，需要一个适中的C值。当然针对不同的机场以及气象条件，参数是需要做出相应调整的，在积累大量经验数据的前提下，远程塔台系统可以通过数据统计的方式来自动选取参数。所以，在实际应用中还需要针对不同机场的远程塔台进行参数调优，以期达成完好的飞机跟踪效果。

实验最后，根据MHI 图像的处理结果，对原图进行外接矩形绘制，并绘制出运动矢量方向，如图5所示。

图5 飞行器跟踪结果

对跑道头、跑道中、跑道尾三个摄像机的拼接图像分别进行处理。根据不同的机型，将跑道进行等分，按照实际跟踪距离换算，跟踪距离达到总距离90%的认为是有效跟踪，根据总的飞机数量和有效跟踪的飞机数量来计算飞机跟踪成功率。实验统计结果见表1。

表1 不同机型和地点实验统计表

所有实验在机场从日出到日落的不连续运行时段中完成。根据机场指挥调度系统中的航班运行时刻表，选择不同的机型分别进行实验。由实验统计结果可见，虽然跑道头和跑道中的飞机在地面滑行相对速度较快，但不论机型是A380 这样的大型机还是A320 这类小型机，本研究提出的算法均可以有效地对其进行跟踪。对于跑道尾的飞行器，由于大型飞行器滑跑距离较长，起飞距离长，所以相对摄像机的速度也较快，即使飞机起飞后还可以进行有效跟踪。对于类似B737 这样的小型飞机，起飞距离短，很快就起飞，而且起飞后根据飞行程序进行转弯等动作，因此该类机型与摄像机的相对速度比较慢，本算法跟踪成功率较低。

3 结论

基于运动历史图（MHI）的算法可以有效地进行运动物体的检测和跟踪，在远程塔台管制的应用场景中，需要针对不同机场的环境和远程塔台管制位置调整MHI 算法参数，通过在机场不同跑道区域以及不同机型的对比实验，证明了该算法的有效性，实验结果为远程塔台中的飞行器自动跟踪和冲突预警提供了数据支撑，为远程塔台的应用奠定了技术基础。由于不同机场环境、气象环境及远程塔台部署位置的差异性，下一步还将对算法普适性进行研究，并探索其他算法在机场运行环境下的适应性。