基于多阶差分损失全卷积网络的航迹融合算法

云 涛,潘 泉,杨继龙,郝宇航,白向龙

(1. 西北工业大学 自动化学院, 陕西 西安 710114; 2. 宇航动力学国家重点实验室, 陕西 西安 710043) (3. 信息融合技术教育部重点实验室, 陕西 西安 710114; 4. 成都飞机设计研究所, 四川 成都 610091)

0 引 言

多源航迹融合通过对同一目标多源航迹的一系列综合,以期获得比任一单传感器更加准确可靠的全局性估计结果,可以对目标实现更高精度的跟踪和测量,为目标识别、态势评估和行动决策等提供技术基础[1]。

目前航迹融合算法普遍精度较低,或需要准确的先验信息,解决融合算法对先验信息的依赖是航迹融合领域亟待解决的问题。

现有航迹融合算法主要包括三类：加权融合、卡尔曼滤波融合和数据驱动的融合算法。

基于加权的航迹融合算法,对不同局部航迹设置不同权重,利用加权求和生成融合航迹,权重的计算方式有很多种,方差加权融合算法使用传感器的量测误差方差生成局部航迹的权重[2]。当方差估计准确时,方差加权融合精度达到加权融合类算法的上限,但仍难以满足高精度场景的应用需求。简单凸组合[3-4]融合算法和Bar-Shalom-Campo[4]融合算法都是利用局部航迹估计过程中产生的状态协方差矩阵来计算权重。但是,局部处理器为了保证跟踪的稳定性和实时性,协方差矩阵的估计精度难以保证。

基于卡尔曼滤波(KF)的融合算法[5],利用KF强大的状态估计能力,将融合航迹作为状态变量进行估计,从而实现航迹融合。KF融合算法主要包括两种：(1)通过合并多传感器数据,增加KF的观测矩阵维数,从而实现多传感器航迹的融合[6];(2)首先基于最小均方误差准则融合多源量测数据,然后使用这个融合的量测来估计状态向量,观测矩阵的维数保持不变[7]。文献[8]证实当需要融合的传感器具有独立的噪声特性,且具有相同的观测矩阵时,以上两种融合方法在功能上是等效的。但是,通过KF实现航迹融合时,需要对目标运动模型、系统噪声协方差和量测噪声协方差有较为准确的估计,否则会极大地影响算法的性能。

数据驱动的航迹融合主要利用深度学习方法来实现。近年来深度学习在图像处理[9-10]、语音识别[11]、文本处理[12]和滤波器优化设计[13]等领域得到了深入研究和应用,在部分应用场景甚至超越了传统算法。深度学习在信息融合领域的应用多集中在航迹关联[14]、航迹预测[15-16]等方面,在航迹融合方面的研究和应用较少。文献[17]设计了一个卷积神经网络(CNN)对仿真二维局部航迹进行融合。该算法在网络的最后使用全连接层来生成融合航迹,较大的模型参数量增加了模型收敛的难度,融合航迹精度优于单传感器,但没有取得超过传统算法的效果。数据驱动的航迹融合是一个多维变量的估计问题,简单地利用标记数据使用成熟网络进行学习,不一定能取得较好的效果。为了获得更好的效果,必须针对航迹融合问题,设计专用的融合网络。

本文提出了一种基于多阶差分损失全卷积网络(FCNMDL)的航迹融合算法,利用全卷积网络对局部航迹进行融合,构建了一种不使用全连接层,全部由卷积层组成的神经网络,极大地减少了模型参数,降低了训练时间;提出了一种多阶差分加权损失,对输出航迹及其一、二阶差分分别计算损失,然后用加权得到的总损失进行后向传递,计算网络参数的更新量。

1 航迹融合

面向跟踪的数据融合结构主要有三种：集中式、分布式和混合式。对于分布式跟踪融合结构,每个传感器测得量测数据后,送入相应局部处理器。局部处理器利用量测进行状态估计,形成局部航迹。融合中心首先对局部航迹进行航迹关联,然后利用融合算法对局部航迹进行处理,生成融合航迹,一般结构如图1所示。本文重点研究解决分布式融合结构中航迹融合对先验信息的依赖问题。

图1 分布式融合结构

运动目标的状态转移过程可以表示为

Xk=f(Xk-1)+Wk

(1)

式中：Xk为k时刻(k=1,2,…,K)的n维目标状态向量;Wk为k时刻的系统噪声;f(·)为状态转移函数。

有N个传感器对运动目标进行跟踪,第i个传感器的量测可以表示为

Zi,k=h(Xk)+Vi,k

(2)

式中：Zi,k为第i个传感器(i=1,2,…,N)k时刻的m维量测向量;Vi,k为量测噪声;h(·)为测量函数。

(3)

(4)

航迹融合问题可以表示为

(5)

式中：fusion(·)表示融合算法;pip(ip=1,2,…,mp)为融合算法参数。

方差加权融合算法通过对局部航迹的线性组合得到航迹估计值

(6)

式中：σi为第i个传感器的方差矩阵,一般通过对该传感器的历史数据进行统计分析得到。方差加权融合算法只是对航迹进行了空间维的融合,没有利用航迹的运动特性,导致融合精度较低。

基于KF的航迹融合算法把融合航迹作为状态变量进行估计,从而实现航迹融合。状态转移方程如式(1)所示,量测方程可表示为

Zk=HXk+Vk

(7)

(8)

式中：f(·)为目标运动的状态转移函数;P为系统噪声协方差矩阵;Ri(i=1,2,…,N)为第i个传感器的量测噪声协方差矩阵。KF融合算法的融合精度依赖于对系统噪声和量测噪声的估计精度。

以上两类算法性能严重依赖于先验信息,因此航迹融合算法对先验信息的依赖是亟待解决的问题。本文研究的重点是通过构建一种深度神经网络,实现不依赖先验信息的航迹融合算法

(9)

2 基于FCNMDL的航迹融合算法

为了实现更高精度且不依赖先验信息的航迹融合,本文设计了一种智能航迹融合算法。与传统的航迹融合算法不同,本文算法不需要估计目标的运动模型和噪声特性,基于离线训练的FCNMDL网络实现航迹融合。算法包含离线训练和在线融合两个阶段,算法流程如图2所示。

图2 FCNMDL航迹融合算法框架

离线训练阶段,首先将待融合航迹按滑窗和步长大小分割为数据段,对提取的子航迹进行正规化,作为神经网络的输入;然后神经网络对输入进行前向传播,生成融合航迹及其各阶差分;最后网络计算融合航迹与真实航迹及其各阶差分的加权损失,利用反向传播算法进行损失的反向传播和参数更新。

在线融合阶段,对待融合航迹进行滑窗提取和正规化处理,输入训练好的神经网络,得到相对位置的融合结果,经过数据还原即可得到融合航迹。

2.1 预处理

预处理的主要任务是数据正规化,即把输入数据转换为神经网络容易处理的形式。综合考虑融合算法的实时性和精度要求,结合传感器的数据率,确定子航迹的窗长为Nw,由传感器S1和S2的局部航迹的第kw个待融合航迹片段组成的矩阵为

(10)

航迹融合的目的是减小原有量测数据的误差,以期得到误差更小的航迹。在网络中进行正向传播时,正规化的数据更有利于网络的训练。因此,通过归一化将绝对位置信息转变为相对位置信息

XN,w,kw=(Xw,kw-akw)/(bkw-akw)

(11)

式中：bkw=max(Xw,kw);akw=min(Xw,kw);XN,w,kw是第kw个待融合航迹片段正规化以后的数据,可以作为网络输入。

在本文算法中,将待融合航迹组成一个一维双通道数据,而不是二维数据。具体来说就是预处理后的航迹XN,w,kw∈RNw×C,其中Nw为窗长,C为通道数量,等于局部航迹数量。这是由于CNN对输入数据进行卷积操作时,为了保持卷积前后数据长度不变,需要对数据进行补零操作。如果将数据作为二维单通道数据输入网络,在局部航迹数量维的补零操作会极大地降低航迹融合的精度。

2.2 卷积层

卷积层在深度学习中主要完成特征提取任务[18-19],是CNN中最重要的组成部分之一。卷积层其实就是将不同的卷积核应用到一个张量的所有点上,通过卷积核在输入矩阵上的滑动,产生经过处理的新张量。此时,卷积核可以理解为一种滤波器。每层卷积中都有不止一个卷积核,以便利用不同的卷积核提取输入矩阵中不同的特征。

2.3 激活函数

激活函数是将特定的转换函数施加到输入信号上,主要作用是将非线性特性引入网络中,这可以让网络学习和逼近任意函数。

Leaky ReLU 激活函数[20]定义如下

(12)

其导数为

(13)

Leaky ReLU输入小于0的部分值为负,且有微小的梯度,这使得在反向传播时,对于输入小于0的部分,也可以计算得到梯度,能够避免ReLU激活函数可能的梯度消失。

2.4 网络模型

本文设计的用于航迹融合的多阶差分损失全卷积网络模型结构如图3所示,主要包含特征提取、融合和差分三个模块。

图3 多阶差分约束全卷积网络模型结构图

(1)特征提取模块

对于待融合航迹片段XN, w, kw∈RNw×C(Nw为窗长,C为通道数量,即局部航迹数量),使用8层3×1的小尺度卷积层提取航迹特征Xc,w,kw∈RNw×Cc

Xc,w,kw=CONVCE(XN,w,kw)

(14)

式中：Cc是特征提取模块输出数据的通道数,由最后一层卷积的卷积核数量决定,在本文中为256。

(2)融合模块

一般的CNN模型先利用多层的卷积进行特征提取,之后连接多层的全连接层实现分类或者数据的生成。全连接层第一层的每个神经单元都需要和最后一层卷积的每个神经单元连接,全连接层各层之间也要互相连接,使得网络模型参数急剧增多。本文的FCNMDL网络在数据生成即融合模块,没有使用全连接层,而是利用单通道卷积对多通道特征进行融合,生成融合航迹Xo,w,kw∈RNw×1

Xo,w,kw=CONVfusion(Xc,w,kw)

(15)

(3)差分模块

差分模块包含两个差分层,计算融合模块输出的融合结果的一、二阶差分。最后,网络将融合结果及一阶、二阶差分一起作为网络输出。

2.5 损失函数

在目标跟踪领域,均方误差(MSE)是被广泛使用的一种衡量算法性能的指标。为了引导融合网络生成更高精度的融合航迹,选用MSE损失函数,计算融合航迹和真实航迹之间的欧式距离。MSE越小表示融合航迹越接近真实航迹。利用输入和输出的多阶差分计算损失的公式如式(16)所示。反向传播算法利用计算得到的总损失,逐层进行损失的反向传播,修正网络参数,经过多次循环迭代,直到网络收敛或达到结束条件。

(16)

2.6 数据还原

经过正规化后的数据只保留了航迹的相对位置信息,神经网络学习航迹的误差特征,输出为相对位置信息,需要经过数据还原得到绝对位置的融合结果

Xf,w,kw=Xo,w,kw(bkw-akw)+akw

(17)

式中：Xf,w,kw为融合航迹;akw、bkw分别为该条航迹对应输入航迹的正规化系数。

3 实验仿真与分析

本节设计了仿真实验,以评估FCNMDL航迹融合算法的性能。首先,构建了一个仿真数据集,作为网络训练和测试的基础;然后,设计了一个消融实验,通过对FCNMDL模型的不同部分进行替换,以验证全卷积结构和多阶差分损失的作用;最后,对同一组测试数据,分别使用FCNMDL、方差加权和基于KF的融合算法进行处理,对比了不同算法融合结果的均方根误差(RMSE)。

本文算法重点聚焦分布式融合结构中的航迹融合部分。因此,算法输入的局部航迹需要经过航迹关联和时间配准。航迹关联采用本项目组提出的基于消息传递的算法[21],时间配准采用内插外推法[1]。

3.1 数据集构建

为了训练和测试FCNMDL网络,建立了一个目标航迹仿真数据集,采样周期为1 s,仿真航迹总点数均为100,运动模式包括两种：匀速直线运动和匀加速运动,使用线性状态方程和量测方程生成真实航迹和局部航迹。

Xk=FXk-1+Wk
Zi,k=HXk+Vi,k

(18)

一般观测方程根据雷达或光学设备跟踪模式进行建模,多为非线性观测方程。量测值包括斜距、方位角和俯仰角,相应的观测噪声也主要体现在距离和角度两个方面。但由于非线性观测的缘故,带有角度的量测值在转换到三维直角坐标系后,三个位置维的噪声与角度相关,每段航迹的位置噪声会随着角度变化产生波动,这不利于训练和评估。因此本文在数据集构建时,量测方程使用线性观测模型,且量测值为三维直角坐标,不包含角度,确保每个航迹每段的噪声基本不变。

3.2 消融实验

消融实验中的几种网络模型结构如表1所示。作为对比的两种CNN模型中的卷积特征提取模块均采用与FCNMDL网络特征提取模块相同的结构。为了验证全卷积的效果,在NN_A中将FCNMDL中的融合模块替换为全连接层,其他部分保持不变。为了验证多阶差分损失的效果,设计了NN_B网络,把FCNMDL网络中的多阶差分损失替换为单一损失。

表1 对比模型结构表

根据通用近似定理[22],使用非线性激活函数sigmoid的两层神经网络可以拟合任何的复杂函数。在分类识别任务的经典网络中,AlexNet[23]和VGG[24]都包含两个隐藏层,GoogLeNet[25]只有一个隐藏层。NN_A网络中的全连接层设为两层,即一个隐藏层和一个输出层,隐藏层包含1 024个神经单元,输出层包含的神经单元数量与融合窗长保持一致,均使用sigmoid激活函数。

消融实验主要从模型复杂度、时间复杂度和融合性能三个方面定量评估不同网络模型。模型复杂度是衡量模型复杂程度的指标,使用模型训练参数数量衡量,单位为MB。时间复杂度是衡量算法运行效率的关键,使用模型对10 000个样本融合时间的平均值衡量,单位为ms。融合性能是衡量融合航迹与真实航迹误差的指标,使用同一组样本融合航迹的均方根误差衡量。

三种模型运行于完全相同的软硬件平台,处理器为Intel i7-10870H,内存大小为8 GB,加速卡为NVIDIA GeForce RTX 2060,深度学习框架为PyTorch 1.10.1,并行计算架构为CUDA 11.3。

三种模型的参数量如图4所示。差分计算过程中的参数并不参与训练,所以FCNMDL与NN_B模型训练参数量相同。NN_A使用全连接层作为融合模块,使得NN_A模型的训练参数量达到FCNMDL的约7.7倍。

图4 三种模型训练参数量

图5所示为三种模型平均融合时间。NN_B比FCNMDL少两次差分运算,时间减少了5.0%,NN_A比FCNMDL多两个全连接层,时间增加了25.0%。

图5 三种模型平均融合时间

使用同样的训练集、优化器和超参数,对三个模型进行相同次数的训练,并使用相同的测试集进行测试。测试集中待融合的两个传感器量测数据的RMSE分别为1 km和1.5 km,三种模型的融合结果如图6所示。

图6 三种模型融合航迹均方根误差

NN_A使用全连接层作为融合模块,导致参数量急剧升高,算法收敛难度增大,使得NN_A收敛到某局部极小点。且该局部极小点对应模型参数生成的融合航迹RMSE相比单个传感器增大,没有达到应有的效果。FCNMDL相对于NN_B增加了多阶差分约束,融合性能提升约13.1%。

3.3 融合结果

为验证本文算法性能,选取数据集中某条航迹,分别采用本文算法、方差加权和第一类KF融合算法,即扩维KF融合算法进行融合,结果如图7所示。在方差加权融合算法中,利用所有测试数据来估计传感器方差。在扩维KF融合时,运动模型采用准确模型,即不考虑建模误差,系统噪声协方差Q=q·diag([1,1,1]),q=1e-8。

图7 局部航迹及融合结果

图8～图10是局部航迹和融合航迹分别在X、Y、Z三个方向的位置误差。从中可以看出,FCNMDL算法融合航迹在X、Y、Z三个方向的位置误差均明显小于两个传感器的局部航迹和方差加权融合算法,接近扩维KF融合算法。

图8 X轴位置误差

图9 Y轴位置误差

图10 Z轴位置误差

3.4 噪声自适应性能分析

为准确评估融合算法的性能,使用五对不同噪声均值的局部航迹进行融合,每对400组数据。在航迹融合时,目标在直角坐标系下X、Y、Z三个方向的位置信息相互之间是独立的,没有相关性,所以在对融合算法性能进行评估时,取某个方向单独融合,并计算RMSE,处理结果如表2所示。

表2 不同算法融合结果RMSE

通过对表2的分析,可以发现：

(1)FCNMDL融合精度整体上优于方差加权融合。当q=1e-8时,在五种组合的融合结果中,FCNMDL融合有两次优于扩维KF融合算法精度。扩维KF融合精度随着q的变大而下降,当q=1e-4,FCNMDL全部优于扩维KF算法。

(2)当局部航迹噪声均值越大,并且两个局部航迹的噪声均值越接近,本文算法精度越高。提高差距较大、噪声均值较小的航迹的融合精度,是本文以后研究的重点。

4 结束语

本文提出了一种多阶差分损失全卷积网络的航迹融合算法。该算法使用全卷积网络结构,避免了全连接层的使用造成的参数量巨大、较难训练等问题,同时结合输出的多阶差分损失设计,实现了高精度的航迹融合结果。仿真实验表明,本文提出的算法不依赖先验信息,训练参数量少,融合精度高。当目标系统和量测误差参数不能精确估计时,本文算法融合精度优于方差加权融合算法和扩维KF融合算法。

在非合作目标的探测跟踪中,非合作目标和传感器是对抗博弈关系,跟踪方往往无法获取目标的真实航迹,系统噪声方差矩阵的值往往较为宽松,以保证融合算法的稳健性,但却会降低融合航迹的精度。本文提出的航迹融合算法利用离线训练好的网络,实现高精度的航迹融合,且不需要先验信息,这在非合作目标航迹融合中具有极大的应用前景,也可以用于其他较为平稳数据的融合处理。