低空目标的雷达/可见光协同监视跟踪方法研究

张雅雯，胡士强

上海交通大学航空航天学院，上海200240

低空目标的雷达/可见光协同监视跟踪方法研究

张雅雯，胡士强

上海交通大学航空航天学院，上海200240

CNKI网络出版：2017-03-22,http://kns.cnki.net/kcms/detail/11.2127.TP.20170322.1923.018.html

1 引言

近年来，随着无人机的续航能力的迅速提升和飞行范围的不断扩大，特别是旋翼无人机的快速发展，其在各个领域的普及性和应用范围越来越多，同时对空中交通管理机制和空域安全问题也提出了更迫切的要求[1]。考虑到未来通用航空空域开放和无人机低空飞行侦查等任务需求，本文重点研究低空空域的有效监视和低空目标的持续跟踪。

由于低空空域中存在背景环境杂波干扰，导致单雷达低空监视存在一定的难度，回波信息中混杂大量干扰信息[2]，无法获取跟踪目标的准确信息，无人机飞行状态和飞行路径及其安全性无法判断。而多传感器融合跟踪的深入研究随着可见光传感器技术的发展，目前的可见光传感器在低空可以获得目标的高分辨率清晰图像信息，相比较传统的红外成像具有更多的研究价值。雷达目标跟踪是基于点目标的量测信息进行滤波跟踪，而可见光传感器进行的图像跟踪，是基于图像匹配度的区域跟踪。因此，本文基于跟踪-学习-检测算法框架[3]，利用雷达作为主跟踪器，可见光传感器作为检测器，引入PN学习过程和交互多模型算法，在离目标距离较远时，根据雷达系统的量测信息作为主跟踪信息来引导可见光传感器对目标进行识别与学习，且目标落在可见光传感器检测的视角内；当目标距离较近时，发挥可见光传感器对近距离目标跟踪监测精确度高的优势，将可见光传感器获得的信息作为状态量测反馈给雷达系统，使其在复杂环境下仍能实现抗干扰的目标跟踪，提高了整个目标跟踪监视算法的可靠性和鲁棒性。

2 低空空域监视

在军民用领域，空域监视与目标跟踪一直是最重要的研究部分。雷达是目标跟踪识别领域的重要传感器，其电磁辐射具有较强的可靠性，但由于低空空域中电磁环境复杂，杂波信噪比较强时会严重影响雷达的对运动目标的检测能力[2]。广播式自动相关监视系统（ADS-B）虽然在低空空域监视上能达到较好的精度要求，提高了空中交通监控管理的水平[4]。但由于系统基站选址要求多，国产设备研发缓慢而进口设备价格昂贵和良好运行需要依赖配套电子设备等问题，大规模的装备ADS-B系统目前具有很大的局限性。所以国际上飞机位置实时可信监视系统的研究还是以融合雷达跟踪技术的协同式空域监视为主[5]。

多传感器融合跟踪算法一直是目标跟踪的研究重点，相比较红外成像系统，可见光传感器的去噪能力和成像能力都较强，可以提供目标更加清晰的图像信息且不易受电磁波干扰。文献[6]提出的红外与激光、脉冲雷达的融合跟踪算法，相比较单雷达系统能得到更精确的目标跟踪信息。文献[7]的红外/雷达跟踪算法易造成融合置信度达到跟踪门限值的情况，造成系统误差较大。而可见光传感器能提供高精度二维图像信息，可以通过与雷达数据的时空配准，将精度更高的量测信息反馈给雷达跟踪器，提高跟踪的准确性。所以本文融合图像检测跟踪，对进入视频监控区域的待跟踪目标进行特征提取，根据空域监管要求，搜寻重要跟踪目标的详细信息，提高复杂环境下的目标跟踪的可靠性。

针对低空空域的多目标场景，对于远程距离目标，图像中的像素面积过小，近似为点目标，则以雷达跟踪为主，引导可见光传感器使目标在视频检测范围内，并给雷达提供较为精确的量测数据。而对于中近程距离目标，则设置跟踪阈值，启动图像检测跟踪对目标进行特征提取，并对多个目标进行筛选。选择重点跟踪目标后，将其雷达跟踪器与图像检测器提供的状态信息同时输入学习分类器进行样本训练，提高跟踪精度，保障低空空域的安全性。系统工作逻辑流程图如图1所示。

图1 空域目标监视跟踪算法流程图

3 目标跟踪算法

目标跟踪算法种类繁多，且在不断地更新优化，但基本可分为以下两大类：第一类是针对点目标的，以卡尔曼滤波和粒子滤波为代表的基于滤波和数据关联的跟踪方法，通过目标当前时刻的量测数据，通过滤波对下一时刻的状态进行预测并更新当前状态，实现跟踪[8]；第二类是针对图像目标，以背景建模法、光流法和Meanshift算法为代表的，根据目标特性建立模型，通过定位当前一帧图像中与目标参考模型相似度最高的区域，将其作为下一帧预测目标的搜索中心，在一定范围内检测，实现目标的跟踪[9]。本文提出的协同监视跟踪方法是同时利用这两大分类，发挥各自的优势实现更加鲁棒、准确的跟踪系统。

3.1 雷达跟踪器

雷达目标跟踪的滤波算法中卡尔曼滤波和粒子滤波是最具有代表性的，都是基于点目标的量测信息进行滤波，同时预测下一时刻目标的位置来实现跟踪。卡尔曼滤波是一种解决状态最优估计的递归算法，仅考虑前一时刻的状态信息即可通过滤波更新当前状态并预测下一时刻的状态，该跟踪算法的特点是计算量小，具有较好的实时性。不敏卡尔曼滤波（UKF）是对非线性系统进行状态估计，通过选取附带权值Wi的采样点χi，利用权重值进行非线性变换来替代卡尔曼滤波中的状态向量的估计值[9-11]。通常采用比例采样方法获得的2n+1个sigma点及权重的表达式为：

其中，κ是一个自由调整的尺度函数，表达式：

该值通常为一个小于1的常数，用于决定sigma样点与均值间ˉ的距离；μ是辅助尺度因子；为矩阵方根的第i列；分别是计算均值和协方差矩阵时的权值，假设xi服从高斯分布。而一种自适应的UKF滤波算法对过程噪声未知的系统表现出更好的滤波跟踪效果，如文献[10]在滤波预测更新时加入了对滤波发散的判断过程，判别表达式为：

和Qk可由Sage-Husa估计器进行优化统计特性，表达式为：

若判断式不成立，即滤波出现发散时，则引入自适应加权系数λk，根据文献[10]提供的衰减因子计算公式修正Pk|k。自适应UKF已被验证对突变状态系统有较强的跟踪能力，能通过修正估计噪声来抑制滤波发散，提高了滤波模型的准确性和可靠性。针对本文的低空空域场景，空域中杂波较多且复杂，目标的系统噪声未知，改进的滤波算法更能体现出其优势，能一定程度上减少噪声突变产生的特性统计估计误差，从而提高系统跟踪能力。

自适应UKF算法过程：

（1）计算采样点：

（2）sigma点的进一步预测：

（3）状态预测：

（4）sigma点的量测预测：

（5）状态预测：

（6）发散判断，若发散则修正，否则进入下一步

（7）更新过程：

（8）估计系统噪声统计特性，同公式（5）、（6）。

考虑空域目标的多种运动状态，本文结合交互式多模型（IMM）对系统进行建模[11]，假设目标状态向量为，分别是量测数据坐标的位置速度和加速度信息。选取常速度（CV）、常加速度（CA）和常转弯率（CT）三种运动模型，三维状态方程可表示为：

其中，Fi为第i运动模型的状态矩阵，ω是转弯角速率。

3.2 可见光传感器检测

多传感器目标跟踪中，红外因其测角精度高等优势，一直被认为是与雷达融合跟踪的理想选择。但可见光传感器能提供更精确的图像信息，具有更可靠的目标检测能力。文献[12]使用CCD摄像头和雷达模块组装的目标识别跟踪器，经过坐标对应性匹配得到混合量测后进行卡尔曼滤波跟踪，针对近距离，机动性不强的目标表现出较好的跟踪结果。文献[13]中通过从图像中提取目标的姿态作为额外属性信息进行数据关联融合跟踪，得到较好的跟踪效果，研究重点是数据融合，对目标图像信息未能有效利用。由于对低空空域监视管理的迫切要求，跟踪系统要能对空域目标的安全性进行判断，特别是无反馈机动飞行器的“敌我性”，那么有效地提取“危险”目标图像特征信息是很有必要的。

本文提出的低空空域监视算法同样属于多传感器协同融合跟踪，该算法根据目标距离远近，采用不同的跟踪模式，间接减小了融合跟踪的复杂度。对于远距离目标，可见光传感器提供与雷达量测相同的，但精度更高的目标的二维状态信息，并反馈给雷达滤波跟踪。而对于中近程目标，可见光传感器提供目标的二维图像，将其图像特征作为目标特征属性，输入分类器进行目标筛选。为保障空域安全性，可以通过目标的图像特征匹配确定“敌我性”，一旦发现可疑目标出现在近地区域，即启动视频跟踪器进行重点跟踪。Kalal提出的TLD算法是近年来跟踪效果较好的算法之一，其跟踪器部分是基于光流法实现的，即利用运动图像序列中，强度数据在前后帧的时域变化的相关性来确定的[3]。由于背景天空和目标无人机的灰度梯度相差较大，故图像检测跟踪也采用TLD的跟踪算法。

3.3 PN学习算法

PN学习是通过结构化的未标记样本属性的在线学习来提升系统分类性能的算法，通过PN约束鉴别分类器判断的样本是否与约束假设相一致。其中P约束是减少错误被标记为负的正样本，N约束是减少错误被标记为正的负样本[14]。本文提出低空空域协同监视跟踪系统，也是基于PN学习算法，对两个传感器的量测数据进行正负样本训练。

本文中的PN约束首先要根据k时刻的跟踪器的目标状态信息中的距离特征进行判断，设定一个跟踪阈值α。当目标距离值大于该阈值时，判断为远距离点目标，雷达跟踪目标的量测结果输入学习器作为“正”样本。同时，将该目标位置为中心，半径为r的区域定为目标候选区，获取可见光传感器对该区域的检测结果根据P约束将目标精确的位置信息标记为“正”样本更新样本集，根据N约束将区域外的虚检目标信息作为“负”样本。当k时刻目标距离值小于跟踪阈值时，将图像检测器提取的目标图像灰度值，作为目标特征属性进行特相似度阈值匹配。定义跟踪目标的haar-like特征值为，相似度阈值为β，根据P约束将相似度大于该阈值的目标的可见光传感器的量测结果输入学习器作为“正”样本，根据N约束将小于该阈值的目标雷达跟踪器结果标记为“负”样本，输入到学习器更新样本集。最后，输入“正”样本的三维量测结果作为k时刻的状态信息进行滤波跟踪。本文在采用Adaboost分类器，将传感器得到的当前时刻的目标信息，包括目标距离和haar-like灰度特征相似度，作为目标量测的特征属性进行分类，实现更精确的跟踪系统。PN算法伪代码流程图如下：

Input：

k时刻目标估计状态Xk,样本训练集Ak

4 量测数据处理

4.1 量测数据分类

由于图像传感器是针对一定成像面积大小的目标对象进行的识别和跟踪，而当目标距离较远时，像素面积很小，相当于点目标。由经验阈值相关资料发现若雷达测得目标距离为16 km，可见光传感器无法识别目标对象，导致目标跟踪漂移或是量测数据不够准确[15]。而当目标距离较近时，雷达跟踪出现目标信噪比低，强杂波干扰影响等问题，而可见光传感器可发挥其目标检测实时性好，精确度高的优势。

4.2 时空配准

由于雷达系统的作用距离远大于图像识别系统的作用距离，而可见光传感器的回波频率要高于雷达回波信息的频率，传输数据率高，在连续两组雷达量测数据间，会提供多幅图像数据[13]。为使雷达跟踪部分和可见光目标检测部分的数据输入给学习部分时，同一时刻提供的某目标的量测值统一，需要对两个传感器在时间序列上进行配准。对于空间配准的处理，采用将雷达和可见光传感器放置在同一平台上，获取两种传感器探测范围的重叠区的数据，如图2所示。

图2 雷达与可见光传感器的空间配准

5 仿真实验

5.1 仿真实验条件

为简便实验，假设雷达/可见光协同监视系统的两个传感器都布置于坐标原点，设机动目标在三维空间的初始位置为（10 000，2 000，6 000）（单位：m），由远距离机动靠近传感器，且始终处于监视区域。设空域中目标正在执行巡视搜查任务，使仿真实验具有较高真实性：首先目标先以30 m/s的速度匀速飞行进入监视区域；然后由于任务需要，做匀速圆周运动，转速率为0.01 rad/s；接着在空中周旋监视，以蛇形运动30 s后再转弯回头，转速率为0.06 rad/s；紧接着以20 m/s2的加速度俯冲拉升至近地面约2 400 m高度，继续以30 m/s速度匀速向传感器靠近飞行。目标真实运动轨迹如图3所示。

图3 目标的运动轨迹

图4 不同滤波算法的目标xyz轴的RMSE结果

图5 不同滤波算法的目标方位角、俯仰角和距离误差结果

图6 不同融合算法的目标xyz轴的RMSE结果

图7 不同融合算法的目标方位角、俯仰角和距离误差结果

5.2 仿真实验结果

根据图4～7两组实验结果图，并结合表1的目标的xyz位置的误差精度结果可以发现，本文提出的雷达跟踪与图像检测结合的目标监视跟踪系统，并采用改进的自适应UKF滤波算法表现出较好的跟踪效果，能实现低空空域目标的有效监视。从图4、5和表1的数据可以看出，相较于传统的无迹卡尔曼滤波，本文中改进的算法具有更高的精确度，特别是z轴的位置误差，精度提高了一倍以上。传统的UKF随着实验时间的增加，目标位置误差和方位角、俯仰角和距离误差都呈现明显的发散趋势，整体波形较为不稳定，而本文算法的目标位置误差发散趋势不明显，角度距离误差小且保持收敛趋势。因为系统噪声发生变化时，本文算法中的自适应无迹卡尔曼滤波对量测的修正与噪声的优化估计过程，使监视跟踪算法表现出较好的系统鲁棒性。从图6，7和表1的数据可以看出，与传统的红外/雷达融合跟踪算法相比，机动目标的跟踪结果都呈现一定的收敛趋势，但本文提出的方法系统误差更小，精度更高，收敛速度较快。由于本次仿真中运动目标在z轴上加速俯冲拉伸，出现了强机动性，所以同样滤波算法下不同跟踪方法的xy轴位置精度优化效果更明显，而同样的跟踪方法不同的滤波算法的z轴位置精度优化效果更突出。通过仿真实验，本文提出的协同监视跟踪算法明显提高了跟踪精度和增强了系统稳定性，实现了低空空域目标的有效跟踪。

图8 目标真实运动轨迹与滤波预测轨迹

表1不同跟踪算法的目标位置误差的平均精度m

6 结束语

本文基于TLD的架构，提出的结合雷达作为主跟踪器，可见光图像检测器和学习器三部分的协同监视跟踪算法，经过数据仿真实验验证了其可靠性和准确性。该算法是通过在线学习部分，实现雷达数据与可见光传感器数据的相互反馈与信息更新，提高了空域中目标跟踪的精确度。算法结合了点目标跟踪与图像跟踪各自的优势，其中雷达的目标识别跟踪解决了单纯图像目标在远距离时成像模糊等问题，可见光传感器的图像检测解决了近距离目标受低空空域杂波干扰大，造成目标跟踪结果误差较大的问题。本文提出的多传感器融合协同跟踪算法是间接降低了异类数据融合的复杂度，相比较红外/雷达融合的跟踪算法，明显提高了目标跟踪结果的准确性，并利用改进的自适应无迹卡尔曼滤波算法对噪声优化估计的特点，提高了跟踪系统的鲁棒性，实现了低空空域目标的有效监视跟踪。

[1] 高萍，王古常，郑幸，等.无人机空域飞行的现状及发展趋势[C]//第五届中国无人机大会论文集：飞行控制及空域管理，2014，5：627-630.

[2] 李彬彬，冯新喜，王朝英，等.杂波环境下多被动传感器单目标跟踪算法[J].电光与控制，2012，19（8）：11-14.

[3] Kalal Z，Mikolajczyk K，Matas J.Tracking-Learning-Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（7）：1409-1422.

[4] 杨荣盛.低空空域监视对策研究[D].四川广汉：中国民用航空飞行学院，2011.

[5] 张军.空域监视技术的新进展及应用[J].航空学报，2011，32（1）：1-14.

[6] 朱安福，景占荣.多传感器信息融合的目标跟踪研究[J].计算机工程与应用，2009，45（25）：7-9.

[7] 倪龙强，高社生，孟祥欣，等.一种红外与雷达信息融合跟踪算法及其性能分析[J].火炮发射与控制学报，2014，35（4）：44-48.

[8] 孙福明.机动目标跟踪状态估计与数据关联技术的研究[D].合肥：中国科学技术大学，2007.

[9] 许晓航.复杂背景下空面目标视频跟踪方法及实验系统研究[D].上海：上海交通大学，2013.

[10] 石勇，韩崇昭.自适应UKF算法在目标跟踪中的应用[J].自动化学报，2011，37（6）：755-759.

[11] 王晓东，贾继鹏.一种基于IMMPDA-UKF的机动目标跟踪算法[J].电子测量技术，2014，37（10）：5-8.

[12] Du Y K，Jeo M.Data fusion of radar and image measurements for multi-object tracking via Kalman filtering[J].Information Sciences，2014，278：641-652.

[13] Alouani A T，Shetty S.A multi-sensor tracking system with an image-based maneuver detector[C]//American Control Conference，1996：167-181.

[14] Kalal Z，Matas J，Mikolajczyk K.P-N learning：bootstrapping binary classifiers by structural constraints[C]//IEEE Conference on Computer Vision and Pattern Recognition，2010：49-56.

[15] 侯志强，李鸿艳，韩崇昭，等.基于雷达与图像信息融合的目标跟踪仿真研究[J].系统仿真学报，2004，16（8）：1831-1834.

ZHANG Yawen,HU Shiqiang.Research on radar/visible light surveillance and tracking methods of target in lowaltitude airspace.Computer Engineering andApplications,2018,54（6）：234-240.

ZHANG Yawen,HU Shiqiang

School ofAeronautics andAstronautics,Shanghai Jiao Tong University,Shanghai 200240,China

With the great development of general aviation and rotor unmanned aerial vehicle,the urgent need is to guarantee the safety of airspace monitoring and management.Since radar has a wide tracking-blind area in low-airspace,radar echo will be disturbed easily by cluster waves which result in exception of the target information gathering.Large-scale arrangement of ADS-B system also has a limitation,thus research on low-airspace surveillance and management has been a hot topic nowadays.Here,a radar/visible light monitoring and tracking method is proposed,which targeting the rotorcraft in low-altitude airspace.Based on the framework of Tracking-Learning-Detecting（TLD）,the radar is set as main tracker and visible light sensor as detector.Measurement model switching and data online update can be completed through interactive multi-model method and PN-learning process,while making the target state information and monitoring/tracking system more accurate.The availability has been verified by results of numerical simulation.

airspace surveillance;radar;visible light sensor;Tracking-Learning-Detecting（TLD）;target tracking

近年来，随着通用航空和旋翼无人机的飞速发展，对相关空域的安全性监视与管理提出了迫切要求。由于雷达在低空空域存在探测盲区，极易受到杂波干扰，无法准确获取目标信息，而ADS-B系统大规模布设存在局限性，低空空域的有效监视与管理成为研究的热点。研究了一种低空目标的雷达/可见光协同监视跟踪方法，该方法基于跟踪-学习-检测（TLD）架构，将雷达作为主跟踪器，可见光传感器作为检测器，通过交互多模型算法和学习器实现量测模型切换和数据在线更新，从而获取更准确的目标状态信息，实现低空空域更精确的监视和目标跟踪，数据仿真说明了该方法的有效性。

空域监视；雷达；可见光传感器；跟踪-学习-检测；协同跟踪

2016-10-13

2017-01-04

1002-8331（2018）06-0234-07

A

TN953

10.3778/j.issn.1002-8331.1610-0149

航空科学基金（No.20142057006）。

张雅雯（1991—），女，硕士研究生，主要研究方向：目标跟踪与信息融合，E-mail：zhimeyw@aliyun.com；胡士强（1969—），男，教授，博士生导师，主要研究方向：信息融合技术，图像理解与分析研究。