基于LSTM 子网络聚合的雷达TWS 跟踪*

唐知行 刘华军

（南京理工大学计算机科学与工程学院 南京 210094）

1 引言

多目标跟踪在雷达目标探测和追踪领域是至关重要的问题。随着近年来电子通信和计算机技术的飞速发展，使得雷达多目标跟踪的应用［1］更加广泛。在民用领域，航空管制雷达可以标识机场、航线上的飞机的高度、速度等运动属性；交通管制雷达能对路面车流量进行监控，来实现智能交通管理。在军事领域，火控雷达可以通过探测目标在空中的位置来对目标进行精确打击；指导雷达可以在探测的同时控制导弹对多个目标进行攻击。

传统的雷达多目标跟踪一般采用边扫描边跟踪（Track-While-Scan，TWS）模型，核心技术是跟踪滤波和数据关联［2］。它通过扫描得到当前帧含噪声的量测，然后估计多个目标的数量以及运动特征（如位置、速度、加速度等），来完成跟踪任务［3］。在跟踪滤波方面，20 世纪60 年代提出的卡尔曼滤波算法［4］能够很好地适应线性状态空间系统。之后扩展卡尔曼滤波算法（Extended Kalman Filtering，EKF）［5］的应用在非线性系统上获得突破。Juiler 等使用无迹卡尔曼滤波（Unscented Kalman Filering，UKF）［6］来解决滤波发散的问题。随后粒子滤波等改进算法［7］也被相继提出。在数据关联方面，最近邻（Nearest Neighbor Data Association，NNDA）算法［8］通常适用于滤波对象较为稀散、杂波干扰少的环境。Bar-Shalom 等提出联合概率数据关联算法（Joint Probability Data Association，JPDA）［9］，适用于中高密度杂波的多目标场景，但只适用计算量小的场景。多假设跟踪算法（Multiple Hypothesis Tracking，MHT）［10］使用多个测量周期的数据进行持续跟踪，但其过于依赖先验的知识，不适合实时性要求较高的跟踪场景。在航迹管理方面，传统方法使用顺序航迹起始和批处理航迹起始方法。

在实际的应用场景中，基于传统方法的雷达多目标跟踪面临诸多挑战。为躲避敌方追踪系统，目标会广泛采用基于电子波和红外的隐身设计，其出现、消失引起的目标数目变化都会使得多目标跟踪系统难以检测或持续。同时由于敌方释放假目标进行干扰，真实目标往往淹没在大量虚假量测中，使其难以被准确跟踪。在这种目标机动性强、检测概率和观测精度较低，且杂波密度高的环境下，目标较精确的数学或物理模型难以建立，传统的雷达多目标跟踪算法的滤波和数据关联的性能往往大幅下降［11］。

随着深度学习的发展，以神经网络为基础的视觉跟踪方法被广泛研究，并且被广泛地应用于视频监控、自动驾驶等领域。LTSM（Long Short-Term Memory）是在RNN（Recurrent Neural Network）的基础上演变而来，具有由重复模块组成的链式结构，一般适用于时间序列回归或分类等问题。文献［12］提出的基于LSTM 方法，可以预测交通系统中目标的行为和运动轨迹。Milan等提出的基于RNN的在线端到端的多目标跟踪框架［13］，能够执行包括目标跟踪、数据关联和跟踪管理等多目标跟踪任务。Xu 等提出基于Bi-RNN 的DHN 网络［14］，改进传统的匈牙利算法来得到目标分配矩阵，从而解决数据关联问题。但上述方法针对基于视觉的多目标跟踪，在雷达多目标跟踪中基于神经网络的方法的研究较少。

本文的主要贡献在于提出了一种免模型、纯数据驱动、端到端学习的雷达多目标跟踪框架和基于LSTM 子网络聚合的雷达TWS 跟踪方法，并构造数据集分别对三个子网络进行离线训练，然后加载预训练的checkpoint 后聚合成一个雷达TWS 跟踪网络。该网络能够实时有效地完成高杂波背景下的雷达多目标跟踪任务。同时目前深度学习在非视觉的多目标跟踪场景下研究还比较少，本文所提出方法在实验中结果良好，具有广阔的研究前景。

2 基于LSTM 子网络聚合的雷达TWS跟踪方法

本文提出的基于LSTM 子网络聚合的雷达TWS跟踪方法分为数据关联、轨迹预测和航迹管理三个网络模块。每个模块都可以单独训练和调试，易于替换和修改。数据关联网络能够将含噪声的量测，在多目标、杂波和漏检情况下正确输出与已跟踪目标的关联概率矩阵。轨迹预测模块网络能够在不需要目标先验运动学模型和杂波分布的情况下，预测和更新机动目标的运动轨迹。航迹管理网络对目标的存在概率进行实时计算，并通过航迹管理决策能够在目标数目不确定，且目标随着时间消失或出现的场景下，对跟踪过程中的目标进行航迹起始、维持和终结管理。该方法能够在线地对时变目标进行跟踪。其跟踪框架示意图如图1 所示，输入带杂波的量测，输出目标的跟踪轨迹。

图1 雷达多目标跟踪框架示意图

设定在时刻t 的观测状态为Zmt，mt代表观测结果的个数；该时刻观测目标的实际状态为Xnt，nt为观测目标的数量；βt+1为在该时刻目标与观测结果的关联概率矩阵。基于本方法的数据关联的计算表示为LSTM_DA(·)，基于本方法的轨迹预测的计算表示LSTM_Pre (·) ，航迹管理模块中基于LSTM 的目标存在概率的计算表示为LSTM_EX(·)。本方法的跟踪实现步骤如下。

初始状态：在开始跟踪的第一帧，即t=1 的时刻，将量测Zmt都当做可能的目标，即nt=mt。为每个观测目标建立对应的数据关联模型、轨迹预测模型和航迹管理模型，将这nt个目标的存在概率εt初始化为0.5。

步骤1：数据关联，使用数据关联模块对t时刻的目标Xnt与t+1 时刻的量测Zmt+1的关联概率βt+1进行计算。

步骤2：由βt+1与mt个观测结果代入公式运算得到，并输入到下一帧的目标轨迹预测模型。

步骤3：通过预测公式的计算估计所有潜在目标对象在下一时刻的运动状态。

步骤4：从βt+1中得到每个目标的关联概率和t时刻的存在概率εt，计算t+1 时刻各目标的存在概率。

步骤5：由t+1 时刻的目标存在概率εt+1和航迹管理模块中的航迹决策变量，来判断目标是航迹起始、维持还是终结。

步骤6：根据t+1 时刻的航迹决策来更新当前跟踪对象的数量。

步骤7：重复上述步骤，直到观测中不再出现新的观测结果。

3 基于LSTM的子网络模块

本文的雷达TWS 跟踪方法的子网络以LSTM为基本网络结构。LSTM网络是由循环神经网络演化而来，被广泛运用于序列数据建模。它采用以记忆单元来更新和丢弃神经元的信息，解决了RNN网络中存在的梯度爆炸问题，能够有效地保存和传递序列数据中的历史信息。LSTM的结构图［15］如图2所示。

图2 LSTM结构示意图

其中xt为t 时刻的输入向量，ft为遗忘门，it为输入门，ot为输出门，Ct为细胞状态，ℎt为t 时刻的输出状态。具体计算过程如下：

其中σ代表Sigmoid 激活函数，W和b代表各门限对应连接层中的参数和偏置值。

3.1 基于LSTM的数据关联网络

在雷达的TWS 目标追踪过程中，数据关联需要将带杂波的量测和目标进行对应，属于组合分配优化的问题。当前目标的分配会受到序列中其他目标分配结果的影响。因此，LSTM 网络的信息记忆能力［16］能够很好地解决这个问题。该网络能够根据前一时刻的已存在的目标状态序列和当前时刻的量测信息来输出当前时刻各个目标与量测的关联概率矩阵β∈[0,1]N×(M+1)，其中N和M分别为目标和量测的个数。如βi·j表示观测结果和实际目标关联的概率。βi·(M+1)这一列是第i 个目标此时没有观测到结果的概率。同时根据关联概率矩阵能够得出来源自杂波或者虚警的量测。

图3 是N=3，M=4 的场景下的数据关联概率矩阵示意图，miss 代表漏检。βa=[0.1,0.1,0.8,0,0,0]表示第3 个量测来源于目标a，βb=[0.5,0.4,0,0.1,0,0]表示目标b可能由于检测分辨问题而对应第1 和2 个量测。βc=[0,0.1,0.1,0,0,0.8]表示由于信噪比或者遮挡的原因，在此时刻c目标没有对应量测（即漏检）。βd=[0,0,0.7,0.1,0.2,0]和βa表示由于分辨率问题，第3个量测可能同时来源于a和d两个目标。图中第5 个量测没有对应的目标，表示该量测来源于杂波，视为虚警。相比于传统方法解决组合分配优化问题需要满足量测与目标一一对应的约束，本节提出的关联概率矩阵能够适用于目标和量测对应关系更为复杂的场景。

图3 数据关联概率矩阵示意图

本网络以LSTM 为基本网络结构。在每次扫描间隔把量测和目标状态生成一个成对距离矩阵，经过预处理之后作为LSTM 单元的输入，定义为Si，其计算公式如下：

本网络模型将均方差（Mean Square Error，MSE）函数作为损失函数来进行参数更新，具体定义如下：

其中βi表示第i 个目标与所有量测的真实的关联概率。

3.2 基于LSTM的轨迹预测网络

轨迹预测是指对观测到的量测进行滤波来获得目标的运动状态。当前时刻目标的运动状态参数会受到历史时刻的目标状态的影响。因此LSTM 可以很好地利用其信息记忆的特性解决滤波问题。本节提出了一种无需先验运动模型的自适应雷达轨迹预测网络，目的是输入一段目标的观测轨迹信息，输出对应的真实轨迹。

本网络的LSTM 单元结构如图2所示：把t时刻的目标状态xt和t+1 时刻的量测状态zt+1通过全连接层进行拼接作为单元的输入xi。其计算过程如下所示：

其中W和b代表全连接层中的参数和偏置值。LSTM 单元输出ℎt+1在通过全连接层计算出t+1 时刻目标的状态预测值xt+1。

本网络模型采用均方差函数作为损失函数来进行参数更新，具体定义如下：

其中，xt表示t 时刻目标的真实状态，D代表目标状态的维度数。

3.3 基于LSTM的航迹管理网络

航迹起始的主要任务是对目标是否新生的判断和相关航迹的建立；航迹维持是对已有目标的持续关联与跟踪；而当这些目标长时间没有新的观测结果时，就意味着航迹被终结。本节定义了变量ε∈(0,1)n，表示在某一时刻对已有的n个目标的存在概率进行模拟。同时基于3.1节中数据关联概率矩阵考虑了漏检的概率这一特点，本节提出了基于LSTM 和目标与量测的关联概率的航迹管理网络，目的是输入一个时间窗口的目标存在概率和关联概率信息来预测当前时刻的目标存在概率。

本网络的LSTM 单元结构如图2所示，把t时刻的目标存在概率εt和t+1 时刻的关联概率βt+1进行拼接作为单元的输入Ei。其计算公式如下所示：

其中W和b代表全连接层中的参数和偏置。LSTM 单元输出ℎt+1再通过全连接层计算出εt+1作为t+1时刻目标的存在概率预测结果。

该网络的参数通过均方差算法作为损失函数进行更新：

其中存在概率的初始值ε0设定为0.5。当某时刻的存在概率ε大于阈值上限εup时，判断该目标为航迹起始。当ε小于阈值下限εlo时，判断目标为航迹终结。其余情况下目标的航迹状态与之前时刻保持不变。

4 仿真与实验结果分析

为了验证本文所提出的雷达TWS 跟踪方法的可行性和性能，使用仿真数据来对密集杂波环境下的时变多目标场景进行模拟。实验环境如下：CPU：E2-2630；GPU：NVIDIA Tian Xp。利用Python语言和Keras 开源框架进行编程实现。使用OSPA（Optimal Sub-pattern Assignment，最优子模式分配）［17］来作用算法评价的指标，通常用于分析目标的预测航迹与实际航迹之间的差异程度。构造500 条时间步长度为500 到2000 且运动模型各异的目标轨迹，采样生成训练数据，分别作为聚合网络中子网络的训练样本。训练模型的学习率均为0.001，LSTM 层数为2 层，每层隐藏节点为64 个，训练迭代总数为50000 次，总的训练时间约为5 h。

测试场景设定为在一个大小为14km×10km的二维平面内，有5 个目标分别做匀加速或匀速、直线或转弯等多种运动，速度范围为50m/s～300m/s ，加速度范围为5m/s2～10m/s2。每个目标的出现、消失时间都不相同。

本方法和传统的多目标跟踪方法进行对比。其中传统方法的数据关联算法选择最近邻算法和JPDA 算法，目标状态预测使用卡尔曼滤波算法，即KF-NNDA 和KF-JPDA，航迹决策是用逻辑法。在表1 中，统计了OSPA 距离、标记误差（OSPA Card）和位置误差（OSPA Loc）三个指标。图4 中统计了三种方法的OSPA 距离对比。由表1 和图4 可以看出本文的方法在各项指标上均优于传统算法。

表1 OSPA相关指标统计

图4 三种方法的OSPA距离对比图

图5 是不同的跟踪方法在每个时间步上得到的目标数量与真实目标数量的对比，由于在初始时间段会将量测当做目标，所以目标数目会多于真实值。在其他的时间段本方法相比传统方法，与真实值误差较小。同时由于在线跟踪的特点，航迹起始和终结相比真实航迹在时间上会有一定的延迟。

图5 三种方法预测的目标数目对比图

图6 是仿真场景下本方法的跟踪效果图。图中平滑曲线为真实轨迹，黑点代表杂波，其他颜色的点代表网络输出的跟踪轨迹。结果展示了该方法可以在目标运动模型不同、轨迹互有交叉的高密度杂波环境中，对多个目标进行身份识别和持续追踪。

图6 多目标跟踪效果图

5 结语

本文利用LSTM 网络强大的非线性转化能力，提出了一种免模型、纯数据驱动、端到端学习的雷达多目标跟踪框架和基于LSTM 子网络聚合的雷达TWS 跟踪方法。能够在高密度杂波、无目标先验运动学模型的背景下，完成多目标跟踪的数据关联、轨迹预测和航迹管理任务。

仿真实验结果表明，本文算法的跟踪精度和关联准确率优于传统的多目标跟踪方法，在不需要复杂的先验运动模型的同时，具有更好的跟踪性能，展示了神经网络在基于非视觉场景下的多目标跟踪上良好的应用前景。