生成式中断航迹接续关联方法

徐平亮, 崔亚奇, 熊 伟, 熊振宇, 顾祥岐

(海军航空大学信息融合研究所, 山东 烟台 264001)

0 引 言

在雷达数据处理领域,目标跟踪、态势感知、信息融合等任务特别依赖于航迹段关联,如果航迹发生中断,将会对这类任务产生十分恶劣的影响,造成巨大的损失。引发航迹中断的原因有很多,例如目标的高速机动、故意停止;传感器的检测概率低、采样间隔长;杂波以及电磁干扰等[1]。为了对中断航迹进行拼接,为下游任务奠定良好的基础,各类中断航迹接续关联算法被提出。这些算法可以分为两类:预测法和相似性度量法。

一条中断的航迹可以看成两部分:断前航迹和断后航迹。预测法将断前航迹向前预测,断后航迹向后预测(平滑),从而修复中断区间并完成关联[1-3]。各种预测法之间的区别在于使用了不同的航迹预测方法。例如Yeom等[1]采用基于卡尔曼滤波的离散优化方法预测并连接新老航迹。然而卡尔曼滤波不能对目标运动的概率密度函数进行准确建模,只有当目标运动的非线性特征和非高斯噪声保持在合理范围之内时,卡尔曼滤波才能有较好的跟踪效果,而当目标运动的非线性特征和非高斯噪声变得剧烈后,该方法的跟踪性能便会急剧下降,不能对目标进行有效跟踪。Sun等[2]采用期望最大化算法[4]估计机动目标的运动状态来进行航迹的预测,该预测过程考虑到了模型的隐式依赖关系,即位置、速度、加速度、角速度等运动属性之间的相互依赖关系,从而对非线性运动具有较好的适应性。然而,以上跟踪算法在面对移动-停止-移动目标时,由于目标的移动速度低于雷达的最小检测速度(minimum detectable velocity,MDV),传感器无法准确识别目标的停止状态,导致关联效果恶化。为了解决该问题,Zhang等[3]使用基于状态相关转移概率的交互式多模型估计器(interacting multiple model-estimator with state-dependent mode transition probabilities, IMM-SDP)预测新老航迹的运动状态进行航迹段的关联。在该方法中,对快速目标采用零跳跃概率的模式转换矩阵,对慢速目标采用非零跳跃概率的模式转换矩阵。简而言之,该方法在交互式多模型(interacting multiple model, IMM)中加入了“停止模型”,对停等目标具有较好的适应性,但对于正常运动目标的跟踪精度会下降。预测法需要对航迹数据进行复杂计算,关联耗时较大,且在密集复杂环境条件下算法的关联效果会严重恶化。相似性度量法利用航迹段之间的相似性判断两条航迹段是否属于同一目标,这类算法的关键是寻找一种合适的航迹相似性度量方法以使判断更加准确[5-7]。Zhu等[5]提出使用局部航迹的结构化特征来衡量航迹段之间的相似性。杜渐等[6]基于模糊数学理论,提出航迹模糊相似度的概念。刘颢等[7]定义了两种局部航迹不确定度,改进了相似度计算方法,增加反馈回路,使得新算法能在一定条件下减弱系统误差的影响,可以自适应不同场景的航迹特征,自适应达到关联目的。相似性度量方法都是根据需要关联的目标所处的环境,基于预先定义的度量公式进行关联,缺乏能够对环境自适应的相似性度量方法。

不管是预测法还是航迹相似性度量法,都是基于假设的目标运动模型,采用统计估计理论进行中断航迹接续关联。两种方法都存在假设不合理、模型不适用、门限无法确定等问题。虽然Qi等[8]提出利用目标属性、目标运动特征、目标运动场景等先验信息以减少对于目标运动模型的依赖,但无法从根本上解决该类算法的缺陷,仍需要投入大量的人力物力进行先验信息的获取和参数调试,同时由于复杂的计算导致关联过程需要大量的推断时间,大大削减了算法的实用价值。

中断航迹接续关联问题可以看作一种转化问题:将中断的航迹转化为连续的航迹。鉴于大量图与图之间的转化任务[9-16],使用生成对抗网络(generative adversarial network, GAN)[17]并取得了较好的效果。针对传统方法存在的问题,本文提出基于注意力机制的生成式中断航迹接续关联方法完成中断航迹接续关联任务。首先设计航迹态势图生成模块,利用原始航迹数据构建航迹态势图作为生成对抗网络的输入。针对航迹噪声影响大和航迹中断特征难以提取的问题,设计航迹关联网络,滤除航迹噪声并生成完整航迹。与自然图像相比,航迹态势图中的特征信息明显减少,而航迹的关联更需要关注航迹中断位置的细节信息,所以本文在航迹关联网络中添加了注意力机制[18],提高网络生成细节的能力。最后通过仿真实验证明该网络对于各类场景下的航迹中断均有较好的关联效果,且关联精度和速度均超过现有算法。

文章结构安排如下:第1节介绍本文提出的方法,主要包括航迹态势图生成模块、航迹关联网络和注意力模块的构成以及损失函数的理论分析;第2节介绍仿真数据集即航迹关联数据集的构建方法;第3节进行网络训练和网络结构参数选择;第4节进行网络测试和对比分析,包括与其他中断航迹接续关联(track segment consecutive association, TSCA)算法对比、模型适应性测试和抗噪声测试,以验证生成式中断航迹接续关联方法的有效性。

1 模型和方法

生成式TSCA方法包含3个模块:航迹态势图生成模块、航迹关联网络模块以及注意力模块。该方法利用GAN提取中断航迹态势图(interruptive track situation map, ITSM)中的航迹位置信息和中断信息,并生成连续航迹态势图(continuous track situation map, CTSM),完成中断航迹接续关联。航迹态势图生成模块将原始航迹数据转化为航迹态势图,便于之后的航迹关联网络进行处理。航迹关联网络滤除航迹噪声,提取航迹位置特征和中断特征并进行中断航迹关联(track segment association, TSA),生成CTSM。为了加强航迹关联网络对于中断位置的敏感性,在该网络中加入了注意力模块。最后分析航迹关联网络的损失函数,证明该网络的理论可行性。本文所述方法的原理如图1所示。

1.1 航迹态势图的构建

由于GAN的输出为连续实数分布而无法产生离散空间的分布,难以直接处理离散的原始航迹向量[19],所以在使用GAN生成连续航迹之前,通过构建航迹态势图生成模块,将离散的原始航迹向量变成连续的航迹态势图,便于之后的GAN进行处理。由于不同场景下的航迹坐标大小不统一,无法直接映射到同一张图中,所以需要对原始航迹向量进行归一化,将航迹位置坐标限制在[0,1]之间,以统一航迹态势图的大小并减少航迹位置分布差异带来的影响。假设第i个航迹向量为

Hi=[(x1,y1),(x2,y2),…,(xn,yn)]T,i∈[1,N]

(1)

首先,遍历所有航迹向量中的所有航迹点,分别找到X轴的最大值:

(2)

和Y轴的最大值:

(3)

构成最大值点[xmax,ymax]。分别找到X轴的最小值：

(4)

和Y轴的最小值：

(5)

构成最小值点[xmin,ymin]。之后将所有航迹向量中的每一个点都减去最小值点并除以最大值点与最小值点的差,得到规范、无量纲的归一化航迹向量，如下所示：

(6)

接着,根据需要设置空白图的大小为M×M,M为图的像素大小,可以看作航迹态势图的转化精度,M越大,航迹态势图的像素越大,对航迹的描绘越精细,但处理时间也相应增加,用单位长度除以M进行网格量化即1/M表示量化网格中每一像素代表的归一化航迹长度。以网格左下角为原点,每一个量化网格代表一个航迹位置点,将归一化航迹坐标与量化网格坐标一一对应,得到航迹态势图,如图2所示。

1.2 注意力模块

为了让航迹关联网络能够更好地提取航迹中断位置的细节特征,有效判断目标的运动模式,本文在该网络中的特征提取层的最后一层加入了注意力模块。注意力模块的结构如图3所示,其中C,H,W分别代表航迹态势图的通道数、高度和宽度。该注意力模块包含两部分:通道注意力和空间注意力。通道注意力的作用是计算网络提取的航迹特征中不同通道的权重,之后对输入航迹特征中各个通道进行加权,从而选择观测目标航迹的最佳观测尺度;空间注意力的作用是计算网络提取的航迹特征中不同位置的权重,之后对输入航迹特征中不同位置进行加权,提高网络对目标运动状态变化规律的关注程度,从而选择最有利于进行中断航迹接续关联的目标运动状态。最后将经过通道注意力和空间注意力加权后的航迹特征进行相加融合,得到注意力融合航迹特征。

1.2.1 通道注意力

通道注意力用来从不同的尺度观测目标航迹,假设网络的特征提取层的最后一层输出张量的大小为(C,H,W),通道注意力模块(C,1,1)将给不同的通道以不同的权重并更加关注对于目标任务重要的通道。对于网络最后一层输出的特征图而言,不同的通道代表着不同的特征。对于航迹图而言,单层通道包含航迹的空间信息,多个通道之间包含航迹的观测尺度信息。为了选择重要的观测尺度,本文通过使用通道注意力模块学习通道注意力矩阵Mc来完成这一目标。通道注意力模块结构图如图4所示。

通道注意力的计算包括3个步骤:压缩、激活和加权。首先由全局平均池化层(Avgpool)把每个通道内各个元素相加再平均,对原始输入取全局平均值。假设输入的特征为T,平均池化层对特征T中的一个通道的计算如下所示：

(7)

之后通过两个卷积层增加网络的特征提取能力。接着使用Sigmoid非线性激活函数使网络具有非线性性质。最后由学习到的通道注意力矩阵Mc与原输入对应通道进行加权相乘,从而增加对应通道权重:

(8)

1.2.2 空间注意力

空间注意力用来聚焦目标航迹的运动变化趋势,尤其是中断区域附近的变化趋势。与通道注意力不同的是,空间注意力只需要关注每个通道中航迹运动的变化情况,所以空间注意力模块的张量大小为(1,H,W)。空间注意力模块通过学习空间注意力矩阵Ms实现空间特征选择。空间注意力模块结构图如图5所示。

空间注意力的计算同样包含3个步骤:压缩、激活和加权。其中激活和加权步骤的操作与通道注意力相同,与通道注意力不同的是,空间注意力的压缩步骤采用1×1卷积层直接将通道数压缩为1,其本质是一个空间变换,即通过1×1卷积层的权重矩阵W1×1将特征T的通道数由C变为1。

Conv1×1(T)=T×W1×1

(9)

之后采用3×3卷积进一步增加网络的特征提取能力。

1.3 航迹关联网络

航迹关联网络的目标是将中断的航迹态势图转化为连续的航迹态势图,主要的功能是进行航迹噪声滤波和航迹态势图中航迹段的关联。航迹关联网络包含一个生成器和一个判别器。生成器以ITSM为条件生成CTSM,判别器用来判断生成的CTSM是真还是假,同时为生成器的生成方向提供指导。

1.3.1 生成器

航迹关联网络中的生成器用来提取ITSM中的点迹特征和中断特征,根据这些特征进行TSA,得到CTSM。由于航迹的中断特征在航迹态势图中较为稀疏,在特征提取的过程中容易丢失,所以采用添加注意力机制的自动编码-解码器[20]模型作为该网络的生成器。该生成器包含下采样层、主干层和上采样层。下采样层包含卷积层(Conv2d),归一化层(instance norm)[21]和非线性激活层(ReLU)[22],用来粗略地提取特征：

ReLU(x)=max(0,x)

(10)

考虑到航迹态势图的稀疏性,在下采样层中没有使用池化层而是使用步长为2的卷积层进行下采样,避免丢弃过多的航迹信息。主干层可以是输出张量大小不变(即去除池化层)的残差网络[23]或深度卷积网络[24],用来精细提取特征,网络层数均为6层,两者之间的差异在于是否添加残差连接。注意力模块添加在主干层最后一层之后,从高维进行特征权重分配。上采样网络由反卷积网络(TransposeConv2d)[25]、归一化层和非线性激活层组成,反卷积为卷积的逆运算,利用反卷积将提取到的航迹特征维度提升至原ITSM特征维度,将提取的航迹特征映射到航迹态势图中,生成可视化的CTSM。航迹关联网络中的生成器结构如图6所示。

1.3.2 判别器

航迹滤波网络中的判别器用来提取ITSM和CTSM的特征,利用ITSM作为监督信息,判断CTSM是真还是假(生成的),并为生成器的参数更新提供指导。判别器的输入是ITSM和CTSM在图像通道维的联结,即联结后航迹态势图的大小为(2C,H,W),由ITSM提供监督信息,提高网络的判别能力。由于判别任务是一个简单的二分类问题,如果判别器的性能过强,会导致误差梯度为0,造成生成器训练困难[26],所以论文中采用简单的下采样网络作为判别器。判别器由卷积层、归一化层和非线性激活层(Sigmoid)组成,为减少特征损失,同样不使用池化层而用步长为2的卷积层代替:

(11)

Sigmoid非线性激活层将判别结果限制在0到1之间,表示判别连续航迹的真假程度。航迹关联网络中的判别器结构如图7所示。

1.4 损失函数

航迹关联网络的损失函数可以分为两部分:判别损失和生成损失。两种损失函数交替反向传递直至判别器和生成器达到纳什均衡[27],完成对抗训练的目的。所谓纳什均衡,指的是对于生成器和判别器而言,任何一方单独改变判决策略都不会得到好处,这种保持稳定平衡的状态,称为纳什均衡。航迹关联网络的总体训练损失函数如下所示:

(12)

式中:Ti和Tc分别表示ITSM和CTSM;G表示航迹关联网络中的生成器;D表示航迹关联网络中的判别器;E表示求期望。

判别器和生成器的训练是交替进行的,即判别损失和生成损失的梯度回传也是交替进行的,先训练判别器,再训练生成器。体现在总体损失中即训练判别器使得最大概率对ITSM与CTSM进行判别(最大化ETi[logD(Ti,Tc)]和ETi[log(1-D(Ti,G(Ti)))]),之后训练生成器与判别器进行对抗,让其无法判别航迹态势图的中断与连续(最小化ETi[log2(1-D(Ti,G(Ti)))]),最终使得生成器生成的样本更加真实。

1.4.1 判别损失

判别损失用来量化判别器的判别结果和CTSM真实标签之间的差异。由于判别器的输出是介于[0,1]的连续值,因此不使用交叉熵损失而使用均方误差(mean square error,MSE)损失作为判别损失。当训练判别器时,首先使ITSM和数据集中的CTSM联结,标签为1;之后和生成的CTSM联结,标签为0。在训练生成器时,ITSM和生成的CTSM联结,标签为1,以达到欺骗判别器的目的。判别损失如下所示：

(13)

式中：lD和lR分别表示判别器的判别结果和标签。

1.4.2 生成损失

生成损失包括L1损失和判别损失。L1损失被用来衡量真实连续航迹图和生成连续航迹图之间的差别,并在误差反向传递的过程中通过调节网络参数使生成的连续航迹图尽可能与真实的连续航迹图相似。由于L1损失更加注重度量图像细节和边缘的差异[28],十分适合航迹态势图之间的比较,所以本文中选择L1损失而不使用L2损失。判别损失被用来为生成器的训练提供全局梯度指导,使得生成器和判别器之间的对抗产生效果。λL1和λD分别是L1损失和判别损失的权重。L1损失如下所示：

LossL1=|TG-TR|

(14)

式中：TG是生成的CTSM;TR是真实的CTSM。生成损失如下所示:

LossG=λL1·LossL1+λD·LossD

(15)

2 数据集的构建

2.1 目标运动状态模型

本文在二维笛卡尔坐标系下构建目标航迹数据集,二维坐标下目标的运动状态可以由以下运动学标准曲线运动公式[29]来描述：

(16)

(17)

(18)

(19)

式中：(x,y),v,φ分别为目标在二维笛卡尔坐标系下的坐标、地速(空速加风速)、角速度;at和an分别为切向加速度和法向加速度。目标的运动参数设置如下:① 设置目标初始位置、速度、加速度和航向,分别服从U(-10 000 m,10 000 m),U(-100 m/s,100 m/s),U(-5 m/s2,5 m/s2)和U(-90°,90°)的均匀分布;② 设置目标的运动采样点数N=50,每隔1 s采样一次;③ 设置平稳运动时间Ts=10 s,目标在这段时间保持匀速直线运动,之后随机进行航向服从U(-90°,90°),加速度服从U(-5 m/s2,5 m/s2)的运动状态变化,状态转移时间服从U(20 s,40 s)。基于二维坐标下目标的运动公式以及目标的运动参数,构建航迹关联数据集。

2.2 航迹关联数据集

航迹关联数据集包括含噪声的中断航迹点迹A和无噪声的连续航迹B,具体的构建过程如下:① 根据第2.1节中的参数设置,在达到采样点数N=50后保存目标的运动坐标,得到无噪声的目标运动航迹B;② 对无噪声的目标运动航迹的各个坐标添加噪声,噪声的均值为0,方差分别为2 km、4 km、6 km,得到有噪声的目标运动航迹;③ 对有噪声的目标运动航迹进行随机截断,保存截断后的航迹为含噪声的中断航迹点迹A。同一编号的航迹关联数据集A和B分别为航迹关联网络的输入和输出,用来进行航迹关联网络的训练。由航迹关联数据集中的一对航迹数据构成的航迹态势图如图8所示。

3 网络训练与网络的结构和参数选择

为了选择最佳的网络结构和参数,进行如下仿真实验:① 航迹关联网络生成器和判别器的下采样输出通道维数选择;② 网络中生成器的主干层网络结构选择。实验中用到的评价指标为平均关联准确率(AP)、K目标关联准确率(P@K,K为当前场景下的目标个数)和结构相似性(structural similarity, SSIM)[30]。其值都分布在0到1之间,值越高表示关联效果越好。假设共有N个仿真场景,则P@K定义如下所示:

(20)

(21)

所有的训练和仿真实验都是在pytorch深度学习框架[31]下的一个64位工作站中进行,该工作站中与实验相关的主要配置为Ubuntu 16.04、32GB RAM、Intel Core i7-8 700 CPU @ 3.20 GHz、NVIDIA GTX 1 080Ti。

3.1 下采样输出通道数选择

输入到生成器和判别器中的数据都是三通道红绿蓝(red green blue, RGB)图像数据,但是经过第一个下采样层之后输出的数据通道数是不确定的,选择不同的输出通道数会对网络产生不同的影响,为了探究不同的下采样输出通道数对网络性能的影响并选择最佳的输出通道数,本实验选择不同的下采样输出通道数(8,16,32,64,128,256)进行模型训练并验证关联效果。不同的下采样输出通道数的关联结果如表1所示,最好结果加粗标出。

表1 不同下采样输出通道数关联结果

根据表1中的数据可以看出,当输出维度为64时网络达到最佳关联性能。维度过小或过大,都会对网络的关联效果造成不良影响。输出维度过小,网络无法充分提取航迹特征,不充分、不全面的特征造成网络对航迹中断处的关联出现错误;输出维度过大,网络提取的航迹特征过于冗余,网络易陷入过拟合,使网络局限于拟合训练集中的已知航迹,无法适用于未知航迹,造成性能急剧下降。

3.2 生成器主干层网络结构选择

考虑到航迹关联网络中生成器的主干层选择不同的网络结构对网络性能会造成不同的影响,现在残差网络和深度卷积网络结构中进行消融实验以选择最佳网络结构,并且下采样的输出维度选择第3.1节中得到的最佳维度64,不同主干层的关联结果如表2所示,最好结果加粗标出。

表2 不同主干层的关联结果

从表2可以看出,当航迹关联网络的生成器主干层选择残差网络时,网络达到最佳关联效果,这与残差连接的影响是分不开的。由于航迹特征图中的航迹采样点较为稀疏,随着网络结构的加深,稀疏的采样点容易引发梯度消失问题,即误差梯度无法有效回传,使得网络参数无法更新,造成航迹关联网络无法有效滤除航迹噪声,提取中断航迹特征并进行TSA。当添加残差连接后,航迹态势图中的特征可以越过卷积层传播,缓解了梯度消失问题,有效提升关联效果。

4 网络测试和对比分析

为了充分验证本文所提的生成式中断航迹接续关联方法的有效性,进行如下仿真实验:① 与其他TSA关联效果对比;② 运动模型适应性测试;③ 不同噪声水平关联效果对比。以下试验均采用第3节得到的最佳模型,即下采样输出维度为64,主干网络为残差网络的网络模型进行测试。

4.1 与传统TSA关联效果对比

本节将本文所提方法与传统TSA[32],多假设TSA[8]和multi-frame S-D TSA[33]进行对比,构建了包含标准差为4 km噪声的仿真场景,主要考虑关联耗时和平均关联准确率两项指标。

该场景包含5个目标,在中断前后,目标均保持匀速直线运动模式,但在中断过程中,目标的运动模式可能发生改变。该场景中雷达测量周期为T=5 s,每次中断间隔设为4个采样周期即Tinterrupt=20 s,仿真场景中所有目标的航迹信息如图9所示。

对于传统TSA、多假设TSA和multi-frame S-D TSA采用50次蒙特卡罗仿真并计算出每次仿真的关联指标AP和所需时间,最后取平均值得到最终的关联结果。对于本文提出的方法,重复进行50次仿真,将每次得到的关联指标AP和所需时间取平均值得到最终的关联结果。对比仿真实验的关联结果如表3所示,本方法仿真的可视化结果如图10所示,传统TSA的可视化结果如图11所示,其中上三角符号表示对于中断航迹的位置估计。

表3 对比实验关联结果

根据图11中的关联结果,可以发现对于目标1～目标5的第二次中断,传统TSA在对新航迹进行滤波平滑的过程中由于目标位置密集、相互遮挡等原因,会导致关联错误。通过表3与其他TSA算法对比可以看出,本文提出的生成式TSCA方法不仅可以在观测准确率上达到最优,而且速度也远远快于已有算法,同时兼顾了质量和效率。并且对于航迹中密集的目标交叉区域,本文方法可以有效可靠地进行航迹关联,大大提升了关联效果。

4.2 网络适应性测试

为了验证本文方法在实际场景中的关联效果,本节选取了4个运动场景对模型的适应性进行测试,4个运动场景的设置如下:① 场景1包含两个相向而行的目标,在同一时刻发生航迹中断;② 场景2包含两个交叉运动目标,在交叉位置附近发生航迹中断;③ 场景3包含两个发生两次交叉运动的目标,在两次交叉之间发生航迹中断;④ 场景4包含两个相切运动目标,在相切处发生航迹中断。4个场景中的ITSM如图12所示,CTSM如图13所示。

由图12和图13对比可以看出,经过航迹关联网络的处理可以对航迹的中断位置进行关联,并且可以有效处理航迹交叉带来的不良影响,针对多次中断也能可靠有效地完成关联任务。

4.3 网络抗噪声测试

以上仿真实验都是基于不含噪声的理想仿真航迹数据,但在真实环境下,获取这种无噪声的理想数据是十分困难的。为了探究本文方法的抗噪声性能,本节针对不同噪声场景进行关联效果对比。分别在无噪声数据中添加均值为0,标准差为2 km、4 km、6 km的高斯噪声来模拟不同的噪声等级,测试网络的抗噪声性能。其中,仿真噪声的标准差表示噪声对于航迹采样点位置的影响。不同噪声场景下的关联效果如表4所示,选取了包含5个目标场景下各个噪声等级的关联结果如图14所示。

表4 不同噪声场景下的关联效果

根据表4可以看出,在均值为0,标准差为6 km的噪声条件下,本文方法对于非密集目标还能保持可靠的关联,但对于密集目标(P@20),由于噪声影响导致航迹采样点之间相互遮挡,航迹中断点的位置以及航迹的运动模式特征提取困难,关联精度稍有下降。对于标准差小于6 km噪声条件下的关联,本文方法都能达到较好的关联结果,证明了所提网络在噪声条件下同样具备较好的性能,完成中断航迹接续关联任务。

5 结 论

为了解决传统基于模型的中断航迹接续关联方法需要大量的先验信息、假设的目标运动模型以及需要对航迹数据进行复杂计算等缺点和问题,本文提出基于注意力机制的航迹关联网络完成中断航迹接续关联任务。该方法利用GAN自动提取航迹的运动特征和中断特征,并对航迹中断缺失部分自动关联,无须预先获得大量先验信息和目标运动模型,并且很大程度上克服了噪声的影响。通过仿真航迹数据确定了最佳网络结构和网络参数,并验证了本文方法具有较好的目标运动适应性能和抗噪声性能。通过对比实验证明所提方法在关联质量和关联速度两方面都大大优于现有算法。