基于多头卷积长短期记忆网络的锥套轨迹预测

吴慈航, 闫建国, 程龙, 王嘉伟, 郭一鸣, 邢小军

(1.西北工业大学 自动化学院, 陕西 西安 710072; 2.中央军委装备发展部, 北京 100000;3.中国航空工业集团公司 洛阳电光设备研究所, 河南 洛阳 471000)

空中加油是加油机在飞行过程中向受油机补给燃油的技术，可在无需降落的情况下让受油机扩大航程、延长航时和提高载重能力，有效提升了受油机性能，具有重要的军事战略意义[1-2]。

为了完成受油机与加油锥套的对接，国内外研究者从加油机和受油机两端都提出了解决方案。从加油机端考虑，可通过调整软管收放或在锥套前端增加翼面的方法抑制锥套摆动，从而稳定锥套以促进对接。文献[3]提出了基于软管-锥套偏微分方程模型的反步法控制策略，结果表明所提出的方法在不同绳长、不同飞行速度和考虑输入饱和的情况下均可使系统状态收敛到原点附近的小邻域内，可有效抑制摆动。不过，该方法是基于虚拟控制信号设计的，没有指明实际的控制机构。文献[4]提出使用永磁同步伺服电机驱动加油吊舱绞盘的收放，将软管的摆动抑制问题转化为PMSM的角度控制问题。但是，这种方法需要在现有吊舱中引入新设备，具有一定实现难度。与控制绞盘的策略不同，给锥套增加翼面可主动产生气动力和气动力矩，直接抵消复杂干扰对软管锥套组合体的动力学影响[5]。可是，为了在空中实现这一策略，需考虑翼面驱动的能量供应、翼面的收放装置和在暴露环境下的可靠性等问题，工程实现性有待讨论。

从受油机端考虑，研究人员的侧重点在于设计先进的受油机控制律。受油机通过量测得到锥套的当前位置并反馈受油管和锥套间的相对位置差，利用控制律消除位置偏差，将受油管精准插入锥套中。在这一思路下，研究人员提出了自抗扰对接控制器[6]、l1自适应控制器[7]、动态逆控制器[8]等控制方法，并通过仿真验证了这些方法的控制效果。尽管如此，这些控制律设计的前提是受油机在对接过程中有足够的能力追得上飘摆的锥套，进而才能迅速消除位置偏差完成对接。然而，直接跟踪式控制策略在实际中难以取得好的效果。首先，对质量和惯性较大的飞机而言(如轰运型飞机)，其响应速度和机动性与质量轻惯性小的锥套相比仍有较大差距，直接跟踪可能会有明显的相位滞后。其次，北大西洋公约组织公布的ATP-56(B)标准中指出，直接控制受油机追逐锥套容易导致过操纵，造成安全隐患。在受油机不断追踪、靠近锥套的过程中，头波效应会进一步对锥套运动产生干扰，造成“飞机越追锥套越跑”的情形。文献[9]提出用迭代学习策略解决锥套与受油机之间快慢动态不匹配的问题，然而迭代学习策方法要求系统拥有重复的初始条件，且系统的动态结构在每次运行中保持不变。考虑到软管锥套组合体的复杂动力学响应和多流场的复杂干扰，保持恒定的实验工况具有一定困难。受到人类飞行员经验的启发，在对接过程中若首先观察并分析锥套的运动轨迹，随后基于历史轨迹对锥套的后期位置做预测，最终实现拦截式插入对提升对接成功率有积极作用[10]。在这种预瞄式对接策略中，准确又高效的锥套轨迹预测是核心问题。

近些年来，机器学习在许多领域都得到了广泛应用，并取得了良好效果[11]。由于软管锥套组合体是刚性柔性的混合体，同时外部流场复杂，难以从物理层面精准建模进而预测轨迹，在视觉跟踪迅速发展的背景下，建立数据驱动的预测模型有潜力成为一种有效方案。针对时间序列类型的锥套轨迹数据，本文提出了一种基于多头卷积长短期记忆网络的预测模型。首先，通过多头卷积残差网络提取扩维后锥套轨迹数据的特征信息，并对不同自网络提取的特征进行融合得到高层信息。其次，建立长短期记忆网络(long short-term memory network，LSTM)对提取的前序特征进行学习，进一步挖掘特征间时序关联，描述数据中的内在动力学特性。最后，通过计算机仿真和地面半物理实验平台对方法进行了验证，表明了数据驱动方法在空中加油对接任务中潜在可行性。

1 多头卷积神经网络

1.1 锥套数据相空间重构

锥套运动的轨迹数据是一种在绝对空间中随时间、飞行条件和加/受油机影响，相对空间内具有有限互动、复杂耦合关联，在总体确定性中包含局部不确定性位置特征的一系列数据，是内部动力学和外部扰动综合影响下的表观体现。然而，对于三维锥套轨迹中的任一维而言，采集到的锥套数据样本为一维时间序列。若只通过一维目标值进行预测，序列的许多细节信息可能被忽略，导致预测精度不足。为了解决这一问题，本文利用相空间重构技术，将反映软管锥套非线性系统局部特性的时间序列在高维空间展开，进而在重构的高维空间中进行序列分析和预测，提升预测准确性。具体而言，将序列中的某一分量及它的若干时间序列中的延迟点组合作为新的多维相空间上的一点，在不同的时间点上重复操作即可得到完整的多维相空间。根据塔肯斯定理，当选择了合适的嵌入维度m及时间延迟τ后，可重构得到与原系统具有相同拓扑性质的动力学系统。对于标量时间序列{x1,x2,…,xn-1,xn}，其重构后的相空间可表示为

(1)

式中,N=n-(m-1)τ为重构后的序列长度。

嵌入维度m和时间延迟τ是相空间重构的关键参数。本文采用平均相互信息法求解延迟τ，用虚假邻点法求解相空间维度[12]。以锥套的侧向轨迹为例，图1～3展示了原始时序曲线、平均相互信息曲线和虚假邻点百分比曲线。从曲线可知，适应于锥套时间序列重构的时间延迟为τ=7,m=3 。基于该参数，通过(1)式可得重构后的锥套运动数据。

图1 锥套侧向轨迹曲线 图2 平均相互信息曲线图3 虚假邻点百分比曲线

1.2 数据预处理

在神经网络训练过程中，如果不同维度输入数据的分布存在较大差异，梯度值将不能有效被反向传播，不利于模型收敛。为了提高模型的特征提取能力，保证输入数据的各个维度拥有近似的分布，降低网络的训练难度，此处对输入数据实施最大最小归一化。对于时序数据{y1,y2,…,yn-1,yn}，有

(2)

(3)

1.3 锥套运动特征提取

卷积神经网络以其局部感知和权值共享的特点，在数据的特征提取方面具有较大优势。在卷积的映射下，网络利用结构上的深度从输入中提取深层的语义信息，作为准确预测的基础。针对经相空间重构和归一化处理后锥套时序数据，本文设计了多头神经网络对3个维度上的数据进行独立处理，随后对提取后的特征进行拼接，得到融合特征。然而，为了提高卷积神经网络的特征提取性能，常规做法是进行卷积层堆叠实现深度提升。但这种做法可能出现梯度消失/爆炸或网络退化现象，导致深度网络无法训练。深度残差结构通过跳过一个或多个连接的方式，有效解决了深层网络训练中的梯度消失/爆炸问题，加速了深度模型的训练，有效提高了模型性能。残差网络的输入为x，经过恒等映射后直接叠加至求和端口，而神经网络需要拟合的映射从传统的复杂函数关系变为了残差增量。残差模块的数学描述为

H(x)=F(x)+x

(4)

式中:F(x)是残差;H(x)是残差结构输出。相较于直接映射H(x)，残差特征F(x)更易学习。

含残差结构的多头神经网络结构如图4所示。经相空间重构和归一化的三维输入数据分别传入多头卷积残差网络的对应分支，经过2层卷积后与残差模块相连。残差模块的输出经过最大池化层(移动步长为2)后通过拉平层实现特征一维化，最终对3个分支的特征进行拼接，形成融合特征，作为后续时间序列预测的基础。

图4 多头卷积残差网络结构

2 锥套轨迹预测模型

2.1 LSTM模型

LSTM模型是一类特殊的循环神经网络模型，通过引入门单元结构有效地解决了传统循环神经网络训练时的梯度消失问题，能够更好地捕捉时间序列间的长期依赖。

在t时刻，网络当前输入xt、上一时刻的隐藏层输出ht-1和上一时刻的细胞层输出Ct-1共同输入LSTM单元，随后更新得到当前时刻的ht和Ct。在LSTM单元中，起到重要作用的是输入门(it)、输出门(ot)和遗忘门(ft)，其中输入门决定有多少信息被添加至当前的细胞状态中，遗忘门决定了上一时刻的细胞状态有多少被遗忘，输出门定义了当前时刻的细胞状态在最终输出中的比例[13]。

LSTM单元不断朝着梯度下降的方法更新单元中的权值和门单元数值，有效提取序列数据中的时序关联以提高预测精度。为了适应LSTM单元中的时序结构，训练时采用随机时间反向传播(BPTT)算法，沿着时间和网络层2个方向反向传播误差。

2.2 锥套预测模型

考虑到锥套运动在y-z平面内较为显著，因此此处轨迹预测指y-z平面内的预测，需要建立2个具有相同结构的预测模型分别处理y方向和z方向数据。锥套在空中的运动是多重影响因素下的共同结果，锥套的轨迹预测可视为多变量多步的时间序列预测问题。时间序列的多步预测包括迭代预测和直接预测2种方式。在迭代预测中，当前步的输出将作为下一步的输入，循环往复直到达到既定的预测步长。然而，这种预测方法将在迭代中逐渐积累误差，造成精度下降。直接预测是在给定输入序列后直接一次给出确定步长的预测值，直接构建历史输入和预测输出间的直接映射关系。此时，预测步长将作为预测网络中的超参数，对模型的预测效果产生影响。本文采用直接预测法。

考虑到锥套轨迹数据同时具有时间和空间特征，卷积神经网络以其结构的稀疏性连接、卷积核参数共享、具有缩放/平移/倾斜不变性等特性，适应于提取轨迹数据中的空间特征。通过引入残差模块，可进一步提升模型深度和训练效率，提高模型性能。基于上一节的描述，本文采用多头卷积残差网络作为空间特征编码器，对高维输入数据进行处理，通过子模型分别提取每个维度的特征，拼接后得到融合特征。LSTM网络作为解码器，从多头卷积残差网络的编码结果中充分挖掘时序特征，学习预测位置和序列数据间的隐含关联。

结合以上2种模型的优势，本文建立了多头残差循环神经网络预测模型。该模型首先采用3个带有残差结构的卷积神经网络处理高维输入，提取空间特征。通过特征一维化操作拼接3个子模型的特征，将其构建为序列数据后作为循环神经网络的输入。此处采用堆叠LSTM模块的策略提升时序特征提取深度，使用3层具有不同维度的LSTM单元依次处理上层信息，实现对历史轨迹数据的特征提取和运动模式的学习。最终，通过全连接层解释提取出的深层语义特征，输出预测值。多头残差循环神经网络的结构如图5所示。

图5 锥套轨迹预测模型

3 实验结果及分析

3.1 实验环境及性能评估指标

为了验证本文提出的锥套轨迹预测模型的效果及其可信性，在台式计算机和地面实验平台上分别进行了实验。仿真实验的计算机采用64位Windows操作系统，处理器为Intel Core(TM) i5-4590 CPU @ 3.30 GHz，显卡8 GB，显卡型号为AMD Radeon HD 8350。锥套轨迹预测模型通过Keras框架实现。地面试验平台的结构如图6所示，缩比锥套受十字滑轨的驱动在背板范围内运动，表征锥套在y-O-Z平面的轨迹。考虑到固定翼飞机体型较大、占用空间较多，实验中用机械臂模拟受油机的运动，并在机械臂的前端固连缩比受油杆。为增加前进方向的运动自由度，将机械臂安装至第七轴上，对接冲刺时由伺服电机驱动滑轨运动，进而带动机械臂前进。锥套轨迹预测所需的历史数据由传感子系统获取(双目相机)。

图6 地面试验平台

为了评估模型的预测精度，本文选择均方根误差σRMSE作为评价指标

(11)

3.2 仿真分析

目前尚无公开的锥套轨迹标准数据集可供使用，这为本文提出的锥套轨迹预测模型的训练带来困难。为了保证实验的顺利进行，首先将上位机中存储的锥套轨迹文件导入十字滑轨控制台，由十字滑轨模拟锥套的运动。随后，将机械臂固定在离锥套运动平台水平方向2.5 m处的位置，保持受油杆与锥套运动平面中心对齐，观察锥套运动。经标定后的双目视觉相机搭配CamShift算法，每隔0.1 s采集y-z平面内的一个数据点。经过3 min的观测，共采集到1 800个数据点用于训练。

对多头卷积长短期记忆网络模型，不同的网络超参数对模型的预测效果会产生较大影响。本文采用网格搜索法寻找最优超参数组合。由图5可得，模型的核心超参数包括卷积神经网络的卷积核数量、LSTM单元的维度、全连接层的节点数、批处理量大小(batchsize)和训练轮次(epochs)。为了缩小搜寻空间同时又不失一般性，此处假设多头卷积神经网络中2个卷积层的卷积核的数量相等(计为Nc)且Nc∈{16,32,64}、3个LSTM单元的维度相同(计为D)且D∈{32,64,96,128}、2个全连接层的节点数分别为NF1和NF2且NF1∈{150,200}及NF2∈{50,100}、批处理数b∈{8,32,64}、训练轮次为30。此外，在生成序列数据时，还包括滑窗尺寸T和预测时间步L，它们分别表示以当前时间步为基准输入前T步的序列数据，预测后L步的结果。此处选择T∈{50,100,200},L∈{30,60,90}，则共有3×4×2×2×3×3=1 296种训练模型待选择。值得说明的是，滑窗尺寸T和预测时间步L与对接任务密切相关。由于此处的采样时间为0.1 s，若T=100,L=60，即代表网络的最终目的是根据前10 s的轨迹，预测6 s后的位置。同时，为了避免过拟合现象，在网络训练中引入Dropout技术(比例为0.1)。训练过程中，训练集、验证集和测试集的比例分别为70%,20%和10%。

表1展示了在测试集和训练集上取得前10名性能的超参数组合(使用y方向数据训练)。由结果可知，在效果较好的模型中滑窗尺寸均为T=200，即在待选择的空间T∈{50,100,200}中，更大的滑窗尺寸意味着更长时间的历史轨迹将用作预测(由于采样时间为0.1 s， 表示前20 s的历史数据将用于预测)，更多关于锥套运动规律信息被捕捉，实现预测精度的提升。在预测步长上，后3 s预测(L=30)和后6 s预测(L=60)在本文的数据集上都可取得不错效果。考虑到在实际任务中，更长的预测步长可以给受油机更多的准备和姿态/位置调整时间，更有利于任务完成。在卷积核的数量选择上，更多的卷积核数量虽然有潜力提取更多的空间信息，但同样会造成计算量增大及过拟合问题。针对本文的运动数据，Nc=16是一个合适的参数。LSTM单元的维度实质上代表隐含层状态维度，根据表1结果排名前10的网络中隐含层维度至少为64，其中96维占据绝大多数。相较于较低维度隐含层(32维)，更大的隐含层容量有助于改善训练精度。后续的2个全连接层目的是做深度回归，此处选择网络节点数为NF1=200和NF2=100。批处理数量对模型中每个轮次的训练时间及梯度反向传播有较大影响，在本文所提的预测模型中b=64是最优选择。在锥套运动的z方向上，不独立进行网络设计，直接采用y方向网络的结构。

表1 神经网络训练结果

基于最优化的超参数，本文将所设计的多头卷积循环神经网络与时间序列预测中常用的方法相比，包括差分自回归移动平均模型(autoregressive integrated moving average model,ARIMA)、循环神经网络(recurrent neural network,RNN)、常规LSTM网络相比较，对比结果如图7所示。

图7 不同方法预测性能对比(y轴)

ARIMA模型通常假设时间序列数据是线性系统运动规律的映射，若系统存在强烈非线性因素，预测效果将难以保证。考虑到软管-锥套连接体是刚性-柔性的组合体，其动力学本质就是非线性的。同时，在外部风场的作用下，软管-锥套组合体的运动更加复杂，这也是ARIMA模型预测效果相对较差的原因。RNN模型通过循环单元，可捕捉数据间隐含的动力学特性，取得稍好的预测效果。但制约RNN网络性能的重要因素是其在训练时难以有效反向传播梯度，尤其是处理长序列的训练时容易出现梯度消失的问题。因此，相较于ARIMA模型，RNN网络预测效果虽有提升，但不太明显。在引入3个门单元后，LSTM网络可以有效解决RNN网络难以训练的弊端，有效地使用梯度更新网络权值，因此在性能上较ARIMA和RNN网络有明显提升。但传统LSTM网络仅使用原始的时间序列训练，没有充分挖掘原始数据中的时空特征。本文构建了多头卷积残差网络对时间序列数据进行预处理，利用深度卷积网络提取序列数据中的空间信息，引入残差模块降低训练难度，辅助提升卷积网络的效果，最终得到了高精度的预测结果。

此外，相空间重构技术的引用提高了原始数据维度，更有利于网络捕捉细节性信息。图8展示了有无使用相空间重构技术的预测性能对比，当预测开始后，红色虚线(使用相空间重构技术)能够更好地捕捉原始轨迹中的局部特征和长期趋势，而蓝色虚线(未使用相空间重构技术)虽然同样能习得周期性规律，但在局部波动的刻画能力上稍逊一筹。相空间重构技术的引入使得网络的预测效果更好，预测轨迹和实际轨迹更贴近，证明了方法的有效性。

图8 轨迹预测效果对比

3.1 地面半物理验证

为了进一步验证预瞄式对接策略的有效性，开展了地面半物理验证。首先需要明确的是，考虑到未来机载化的需求，小型化的机载计算机仅进行离线预测和数据收集，消耗算力和时间的在线训练过程将放在地面计算机上。在这样的架构下，所建立的多头卷积长短期记忆网络及其优化后的网络参数被装载至上位计算机中(A计算机，模拟机载计算机)。另一台上位计算机(B计算机)将锥套的测试集轨迹数据通过UDP协议发送至十字滑轨驱动程序，使锥套以测试集中的运动规律循环运行。利用双目视觉量测的锥套轨迹数据，A计算机将存储并进行锥套轨迹的离线预测。当达到了给定的预测窗口后，A计算机通过UDP协议将预测的6 s后位置作为控制指令发送至机械臂控制系统，机械臂模拟受油机在期望的对接点截获锥套，实现预瞄式对接。

图9 地面对接实验过程

图9展示了机械臂和缩比锥套的对接过程，在到达锥套的运动平面时机械臂上的受油头在锥套的直径范围内，对接成功。实验结果表明，本文提出的多头卷积长短期记忆网络可在地面环境下完成预瞄式对接，有潜力用于空中加油对接任务。

4 结 论

本文针对软式空中加油对接问题，提出了一种基于多头卷积长短期记忆网络的锥套轨迹预测模型。相空间重构技术的引入可提升原始序列数据的维度，刻画出更丰富的运动信息。多头卷积残差网络可有效提取高维数据的空间特征，形成高层语义信息作为序列预测的基础。LSTM模型可最终捕获融合特征的时序性和非线性关系。仿真实验和地面半物理实验结果表明，本文设计的锥套轨迹预测模型较常规的时间序列预测模型有更高的精度，在空中加油任务的工程应用上具有一定的参考价值。

在未来，为了适应军工行业对软硬件平台“自主、可控”的需求，以及加快机械化信息化智能化融合发展的战略思想，我们将尝试把基于开源框架的预测模型移植成可在国产操作系统和国产处理器上运行的版本，以更好地贴近工程实用要求，在军事智能化发展议题上做出潜在尝试。