基于RL-LSTM 的空中目标意图识别方法*

张鹏程，张 勇，李建国，张鹏飞，魏 鑫

（北方自动控制技术研究所，太原 030006）

0 引言

敌方空中目标作战意图识别是目前态势估计领域研究的热点［1］，准确的识别结果是夺取制空胜利的重要支撑，同时可以为我方指挥员防空作战指挥提供有力支撑［2-3］。现代战场复杂多变，目标状态会呈现出动态、时序变化特征；同时，敌我双方为了隐蔽作战企图，通常会释放一些欺骗和虚假信息，存在着隐蔽性、欺骗性等很多不确定因素［4-5］，因此，仅凭指挥员经验来推测目标作战意图显然不够科学。这就迫切需要一种科学、高效、准确的智能化方法来辅助指挥员进行决策，以缩短决策时间，提升决策质量。

目前围绕目标作战意图识别问题的研究方法主要有模板匹配、证据理论、贝叶斯网络、神经网络等。文献［6-7］依据领域专家的军事知识构建模板库，从敌方目标作战行动中提取特征，通过推理特征与模板库的匹配程度确定目标作战意图，但没有考虑意图的隐蔽性和欺骗性。孙越林等建立高维空间相似度模型［8］，结合D-S 证据理论（dempster-shafer evidence theory）进行目标作战意图识别，但使用证据理论可能会导致庞大的计算量。文献［9-10］依据领域专家知识构建贝叶斯网络，但需要大量领域专家先验知识对意图识别特征权重、先验概率等进行量化，而现代战场的复杂性使专家较难在短时间掌握目标的全面信息。

针对以上问题，部分专家探索利用神经网络自适应和自学习的能力来进行目标意图识别。贾苏元等从训练特征数据中提取识别规则，并将识别规则记忆在网络权值中以便后期意图识别预测［11］，但由于隐藏层数较浅，难以表达复杂度高的问题。钱钊等利用长短时记忆神经网络对生成样本集进行学习来形成敌方空中目标作战意图识别模型［12］，但没有用优化器进行优化，导致收敛速度较慢。刘钻东等采用自适应矩估计（Adam）优化算法对长短时记忆（LSTM）网络优化后进行训练［13］，但模型训练初期Adam 自适应学习率的方差会比较大，导致识别准确率较低。

鉴于此，本文采用RAdam 来减少Lookahead 的训练方差，实现准确识别；同时利用改进后的Lookahead 算法来加速3 层LSTM 模型收敛，实现快速识别。将空中目标属性特征、意图模式与对应的标签输入到RL-LSTM 模型中进行训练并调整节点权值，模型在训练过程中反复运行迭代后，可应用于空中目标作战意图识别。

1 空中目标作战意图识别问题

空中目标作战意图识别是指在动态环境下，将战场信息分析、军事知识以及作战基础相结合，来识别敌方作战意图。目标作战意图是敌方作战人员思维模式的体现，无法进行直接观测，为了实现这些作战意图，敌方目标在高度、速度等数据特征上符合某种特定规律，因此，可以训练模型识别这些规律，就可以将敌方目标运动状态数据输入模型对意图进行识别。

空中目标作战意图识别流程如图1 所示。本文用仿真系统生成数据并打标签，构成样本数据集，进行预处理后划分训练集和测试集，用训练集训练RL-LSTM 模型，并用测试集验证其性能，经过反复试验得到训练好的网络模型，即可应用于实际战场环境用来识别敌方作战意图。

图1 空中目标作战意图识别流程Fig.1 Air target operation intention recognition process

1.1 作战意图空间描述

对于敌方目标作战意图的识别，需针对不同的作战场景、作战样式以及敌方可能担负的作战任务，来定义目标的作战意图集。文献［14］根据海上防空的特点，将敌方空中目标的可选意图空间确定为{撤退、掩护、攻击、侦察}；文献［15］以敌方空中目标近岸空袭军事建筑为研究背景，建立的敌方空中目标意图空间为{攻击、突防、侦察、佯攻、电子干扰、监视、撤退}；本文以防空作战中敌方空中目标作为研究对象，依据领域专家经验将目标可能的作战意图定义为{攻击、佯攻、预警、突防、电子干扰、撤退、侦察}7 类。

1.2 意图识别特征描述

作战意图通常会在目标执行特定作战任务时，通过某些特征信息表现出来。例如低空突防时目标对应高度为50～100m、高空突防时为6 500～8000 m；低空侦察时对应高度为100～1 000 m、超高空侦察时为15 000 m 以上；敌机在执行预警任务时会开启雷达，而撤退时则通常会关闭雷达。

因此，本文依据领域专家知识，建立了与空中目标作战意图关系紧密的特征空间{速度、加速度、高度、敌我距离、航向角、方位角、雷达散射截面、机动类型、电子干扰状态、雷达状态}，如下页表1 所示。

表1 空中目标作战意图特征空间Table1 Air target operation intentions feature space

2 样本数据处理

由于原始数据无法被神经网络模型直接接收和处理，需要分别将数值型数据、非数值型数据与意图模式进行处理。

2.1 归一化处理

为了消除量纲影响及加快模型收敛速度，需对数值型数据进行归一化处理。本文采用最大-最小标准化对速度、加速度、高度等7 种属性数据进行归一化处理。对于数值型数据，第k 种数据定义为Ak，第k 种第i 个原始属性值为aki，则Ak=［ak1，ak2，…aki，…akl］（k=1，2，…，7）；l 为数据总数。将aki映射到区间［0，1］的结果为áki，其过程为

式中：minAx 为第x 种属性Ax 的最小值；maxAx 为属性Ax 的最大值。

2.2 数值化处理

对于目标机动类型、电子干扰状态、雷达状态共3 种非数值型数据进行编码记录，例如电子干扰状态编码为1 或0，1 表示开启，0 表示关闭，需要将其进行数值化处理并转变到［0，1］区间内。对于非数值型数据，第r 种数据定义为Br，第r 种第h 个非数值型数值为brh，则Br=［br1，br2，…brh，…brw］（r=1，2，3）；w 为数据空间的大小。将brh映射到区间为［0，1］的范围内，过程为

2.3 意图编码

目标作战意图为分类数据，需要将意图空间中的7 种模式分别与{0，1，2，3，4，5，6}标签值相对应来进行编码，而后输入到模型中训练。在实际战场中，通过输出的标签值与意图的对应关系，就可以得到识别出的目标意图。作战意图与模型输出对应关系如图2 所示。

图2 作战意图标签化处理Fig.2 Labeling of operation intentions

图3 长短时记忆神经网络模型Fig.3 Neural network model of long short-term memory

3 作战意图识别模型构建

3.1 LSTM-长短期记忆网络模型

长短时记忆网络（LSTM）［16］是一种时间循环神经网络，通过引入记忆细胞解决长期依赖问题，能够有效地学习到防空作战时序变化数据特征中的时变规律，且符合指挥员对空中目标作战意图识别的思维模式；同时，通过LSTM 可以将意图识别问题有效地转换为基于时序变化运动特征的多分类问题。因此对于实时变化的空中目标作战意图识别问题，LSTM是良好的解决方案，本文选用3 层LSTM 模型。

3.2 RL 优化算法

鉴于实际防空作战中战机稍纵即逝，需要快速准确地识别敌方空中目标作战意图，本文提出用RL算法优化LSTM 模型，算法流程如下所示：

Step 1 备份现有参数θt；

Step 2 从θt开始采用RAdam 更新k 步，得到新的权重；

Step 3 更新模型权重θt←θt+α（-θt）；

Step 4 判断参数θt是否收敛。如果没有收敛，令t=t+1，然后重复步骤1 至步骤4，直至误差收敛到指定阈值，停止训练。

梯度下降系列算法大多通过融入动量法或者优化学习率的方法来改进探索训练过程，但模型收敛过程会出现不稳定现象。Lookahead 算法［17］采用了一种全新的设计：维持两套权重：Fast Weights 和Slow Weights，前者较后者稍快。Lookahead 算法允许Fast Weights 不断向前探索，同时Slow Weights 留在后面带来更好的长期稳定性。部分公式如下：

RAdam 能根据方差分散度，动态地打开或关闭自适应学习率，减少Lookahead 算法自适应学习率的方差，提升识别准确率；RL 算法通过使LSTM 模型收敛过程更加稳定来加速模型的收敛，实现目标意图快速识别。二者结合特别适用于空中目标作战意图识别［18］。

3.3 空中目标意图识别模型总体设计

本文基于RL-LSTM 设计了空中目标意图识别模型，图4 为模型的基本结构，共分为3 部分：输入层、隐含层和输出层。其中，隐含层由RL-LSTM 层和全连接层组成。模型的基本流程为：1）将样本编码成特征向量，作为后续神经网络模型的输入；2）将特征向量输入到RL-LSTM 模型中，并训练网络；3）将RL-LSTM 模型的输出进行逻辑回归，经过模式分析得出目标意图识别结果。

图4 空中目标意图识别模型基本结构Fig.4 Basic structure of air target intention recognition model

4 仿真实验分析

实验将RMSProp、Adam、RAdam、Lookahead、RL算法与LSTM 模型相互结合，以不同实验指标比较了上述算法对LSTM 模型的优化效果。

4.1 实验数据准备及环境

实验采用从某作战仿真平台获得的多意图空中目标运动样本数据集作为仿真数据集。每个样本中包含连续12 帧的状态信息（每帧信息包括速度、加速度、高度、敌我距离、航向角、方位角、雷达散射截面、机动类型、电子干扰状态和雷达状态共10 维特征数据）。由于样本集数据量比较大，先由计算机按照领域专家依据经验知识编写的目标作战意图识别相关规则对样本集进行分类，其中在一定数量的样本中，识别结果与经验知识存在误差，再由领域专家对其进行修订。由于目标状态的连续性，可把样本中最后时刻目标状态作为运动信息输入到模型。共分为7 种作战意图，数据占比情况为攻击23.8%、佯攻11.1%、预警10.2%、突防12.7%、电子干扰9.6%、撤退20.4%、侦察12.2%，样本规模为12 000。分别随机抽取80%数据构成训练数据库，剩余20%构成测试数据库。

本实验采用Python 语言，学习框架为Pytorch，运用Pycharm2021 软件进行仿真，环境为Win10 系统、RTX3080 显卡、16 GB 内存。实验中根据模型的识别准确度作为参考指标，经过多次运行迭代调整超参数，最终设置参数如下页表2 所示。

表2 模型主要参数表Table2 Main parameters table of the model

4.2 模型准确性验证实验

如表3 和下页图5 所示，实验对比了5 种模型在本数据集上的识别准确率，结果表明，随着迭代次数的增加，各模型的识别准确率逐步递增。其中RAdam 算法相比于Adam，能够根据自适应率的方差动态地开关自适应学习率来调整梯度，因此得到了比Adam 算法更好的准确率。Lookahead 算法和RL 算法维持两套权重可以使模型更快地收敛，但RL-LSTM 模型的准确率有了明显的提升，达到了0.9915，说明Fast Weights 部分采用RAdam 更新的Lookahead 算法优化效果更好。实验表明RL-LSTM模型的识别准确率要高于其他4 种模型。

表3 优化模型的精度对比Table3 The precision comparison of the optimized models

图5 各模型在数据集上准确率变化情况Fig.5 The change of accuracy of each model on the dataset

4.3 模型泛化性验证实验

为了更加精准地观测预测值与真实值的差距，比较各模型在数据集上的损失值，又因为意图识别网络主要实现的是分类识别任务，所以选取分类交叉熵损失函数categorical_crossentropy 评估差异，计算公式为：

式中，LCE为模型得到的概率分布与真实分布的差异；yi为真实意图类别标签；y^i为网络识别的意图类别标签；Noutput为网络模型输出的维度。

图6 中各模型在训练集和测试集上分别进行损失值对比，通过对比发现，RAdam 算法能够动态地调整梯度，因而RAdam-LSTM 在数据集上损失值小于RMSProp 以及Adam 优化后的模型。可以看到Lookahead-LSTM、RL-LSTM 模型各自在不同数据集上损失值差异均较小，说明采用两套权值可以带来更好的稳定性。实验表明，RL-LSTM 模型取得比其他模型更好的效果，在训练集和测试集上损失率均稳定在0.1 附近，说明了该模型的泛化能力较强，能够在不同数据集上较为准确地识别大多数样本，即RL-LSTM 模型对战场新鲜实时样本的适应能力较强，适用于实际战场来识别空中目标作战意图。

图6 各模型在不同数据集上的损失率变化情况Fig.6 Thechangeofthelossrateofeachmodelondifferentdatasets

4.4 模型适用性验证实验

在空中目标作战意图识别问题中，要尽可能避免对敌方目标作战意图误检漏检。指标AUC 为正样本的得分比负样本大的概率，值越大且越接近1，模型分类效果越好，误检的可能性越小。Macro-F1兼顾了精确率和召回率的关系，值越高的模型精确率高且漏检概率低。相关公式如下：

其中，TP、FP、TN、FN 分别代表真阳率、假阳率、真阴率和假阴率。

ROC 曲线是准确性的综合体现，AUC 为ROC曲线下的面积；召回率为正样本的准确率，精确率是识别结果为该样本的集合中识别正确的比率，综合模型准确性验证实验结果，得到RL-LSTM 模型的AUC 值、精确率及召回率均高与其他模型。如图7 所示，本文提出的目标意图识别方法得到的Macro-F1和AUC 值分别达到了0.994 和0.984，相比于RMSProp-LSTM 模型分别提高了4.3%和3.7%，且明显高于其他模型，说明RL-LSTM 模型在意图识别问题上能较准确地划分边界区域，验证了模型在该问题上的有效性和适用性。

图7 模型的评估指标对比Fig.7 Comparison of evaluation indicators of the model

5 结论

针对防空作战目标意图识别问题，提出了一种基于RL-LSTM 的空中目标意图识别方法。通过理论分析和仿真实验可以得出以下结论：

1）来袭目标的运动信息具有时序变化特性，LSTM 模型能够有效地学习到时序变化数据特征中的时变规律，有着良好的识别效果，是解决实时变化的意图识别问题的良好方案。因此，本文提出用LSTM 作为基础模型来实现敌方空中目标意图识别。

2）通过分析防空作战意图识别问题特点以及现有优化算法的不足，将RAdam 与Lookahead 相结合来优化3 层LSTM 模型，识别准确率最终可达99.15%，Macro-F1为0.994，AUC 值为0.984。通过分析各项实验指标，证明RL-LSTM 模型较适用于解决目标作战意图识别问题。

空中来袭目标的意图识别是战场态势认知的重要组成部分之一，提升意图识别模型各方面指标具有重要意义，可以进一步为后续的态势认知以及指挥员指挥决策提供指导。