一种基于战场数据的体系化作战效能评估方法

李辰 李建勋

摘 要：不同于基于经验公式、孤立静态的装备效能评估方法，体系化作战效能评估可以从体系化作战任务解析与智能评估方法两个方面分别研究。 本文引入标准化的体系作战建模框架和卷积神经网络逐步解构体系化作战活动，进而提出了一套完整的体系化作战效能评估方法，包含作战任务策划、任务建模解析、构建评估指标体系、指标融合降维、效能等级评定等五个步骤，按照作战目标实现程度对复杂多样的体系化作战任务实施效能评估。

关键词：卷积神经网络;体系化作战;效能评估; 装备效能; 战场数据; 人工智能

中图分类号：   TJ760; TP183  文献标识码：   A  文章编号：1673-5048（2022）01-0067-07[SQ0]

0 引  言

进入21世纪，伊拉克战争、俄格战争、纳卡战争等一系列局部冲突清晰地表明，现代战争已进入体系化作战模式，是一个作战体系与另一个体系之间的竞争。 体系化作战的内核，是发挥信息技术优势，运用系统工程方法，将产生战斗力的各独立武器装备整合成一个周密协作的作战体系，依靠体系内部各单元之间紧密配合、取长补短，使整个体系面对外部挑战时具备动态综合抗衡力[1]。

过去的效能评估方法，大多是根据理想环境下的经验公式，采集特定指标数据继而运算得出，侧重于验证装备静态性能是否达到设计标准。 这种效能评估思路越来越难以适应复杂多样的体系化作战实际，亟需一种以作战需求为导向、以实战数据为支撑、客观构建评估指标体系、智能实时评判任务完成情况的体系化作战效能评估方法。 姜进晶等[2]分析了无人机协同火箭炮的典型作战流程，使用Delphi法对体系效能进行了评估。 田云飞等[3]从作用域角度描述了网络化反潜体系效能，并给出了相应评估模型。 蔺美青[4]基于反导预警体系作战过程，给出了可实时动态评估的指标体系和解算方法。 汪浩[5]根据舰艇协同防空反导体系作战流程，提出了基于OODA的综合评估模型。 这些方法将效能评估与体系作战思维进行了联系，但关注重点仍只注重单一装备发挥的效能，没有从任务完成情况角度去评估整个体系的作战效能。

本文在深入分析军事效能评估理论和人工智能技术的基础上，将体系化作战效能评估分为体系化作战任务解析与智能评估两个部分，通过效能评估指标体系将两部分组合在一起，构成了一套围绕战役目标、依托装备数据、利用神经网络构建评估指标体系并实施效能等级评定的完整评估流程，如图1所示。

1 体系化作战效能评估的组成

现代战争中装备效能的定义为，在特定战场条件下装备能够实现预期目标效果的程度[6]。 根据这一定义，可以将体系化作战任务效能定位为作战体系对任务目标的实现程度，等同于作战体系在该任务场景下的综合战力，进而明确了体系化作战效能评估过程，即由体系中各作战单元性能指标出发，寻求性能数据与最终任务结果间的映射关系。 本文采用军事领域标准化的体系化任务解析模型和基于卷积神经网络的智能评估方法，提出了一套连续完整的体系化作战效能评估方法，包括作战任务策划、任务建模解析、构建评估指标体系、指标融合降维、效能等级评定等五个步骤，如图2所示。

其中，作战任务策划是评估的前提输入，任务建模解析即基于“美国国防部体系架构框架（DoDAF）”的解析过程，构建评估指标体系、指标融合降维、效能等级评定，则构成了基于卷积神经网络的智能评估方法。

1.1 作战任务策划

体系化作战的战场态势瞬息万变、部队组合灵活多样，不同的作战任务对应不同的效能评估指标和结论。 美军是最早开始体系化作战探索的军事力量，其普遍做法是寻求从任务需求出发、以实战可见结果为准、无缝嵌入联合作战的动态测评方法[7]。 可见，由军事参谋部门根据具体战役目标和参战单位制定的作战任务策划，既是体系化作战的命令输入，也是效能评估任务的溯及源头，是进一步挖掘评估方向和指标的基础。

1.2 任务建模解析

根据既定的作战任务策划，合理推导出与作战效能相关的指标，是任务建模解析的主要内容。 2004年，美军在C4ISR系统基础上发布了新一代体系化建设标准“美国国防部体系架构框架（DoDAF）”，共包含8类视图52项模型，是指导美国国防各领域开展体系化建设的纲领性规范[8]，具体内容如图3所示。

DoDAF覆盖了美国国防各领域的建设需求，在任务解析领域，利用DoDAF中作战视图（OV）可以将作战任务策划推导至体系化各装备分系统的能力需求，这一过程称为任务架构建模[9]，如图4所示。

之后，利用DoDAF中系统视图（SV），将任务架构建模得到的各装备能力需求，进一步转化为装备相应的功能描述。 该过程称为功能架构建模，如图5所示。 通过DoDAF任务架构建模和功能架构建模，可以将定性化的作战任务策划逐步解析为体系内各装备的功能

需求，结合实际装备就可以推导出与任务目标相关的初始效能评估指标。

1.3 构建评估指标体系

体系化作战效能反映的是作战目标完成情况。 按照任务完成度、自身伤亡率等现实结果，可将效能划分为杰出、良好、合格、失败等不同等级，据此，效能评估就转化成一个评定效能等级的过程。 人工智能领域模式识别的概念，就是通过识别一个事物的若干特征来正确判断其所属类别。 因此，体系化作战效能评估可以等同于模式识别问题来处理。

近年来，随着神经网络在模式识别问题中的发展应用，深度神经网络（DNN）逐渐被引入效能评估领域。 原智杰等[10]使用神经网络对导弹气动参数开展了预测研究。 刘国强等[11]构建三层基本网络判定效能等级。 陈侠等[12]改进了初始值和结构来求取全局最优。 周兴旺等[13]结合神经网络重构了初始指标。 张乐等[14]使用自编码器压缩原始指标。 卷积神经网络（CNN）改进了DNN存在的参数爆炸和过拟合问题，并且从效能评估角度来看，CNN中卷積核提取数据特征的过程，与传统效能评估方法中专家挑选指标的环节较为相似。 专家挑选指标是基于个人认知经验或既定公式，从初始指标中挑选出与效能结果有关的指标;卷积核提取特征是基于数据分布规律，提取出最有利于结果分类的数据特征加以放大。 因此，本文利用CNN模型，从装备数据出发构建效能评估指标体系。 CNN结构如图6所示[15]。

模型分为两个部分：上半部分负责特征提取，是由多分支的一维卷积神经网络（1D-CNN）并列组成，从多种卷积视角下提取原始指标数据特征[16]，相当于不同专家从不同视角独立开展指标选择;下半部分负责指标构建，通过将多个1D-CNN提取的特征进行拼接[17]，进而形成效能评估指标体系空间，相当于整合不同专家挑选的指标体系。

在使用基于DoDAF的解析方法捕获装备功能需求，继而结合装备制造水平获得初始效能评估指标后，通过大量的实战演习或仿真环境演练，就可以获取这些初始指标的运行数据。 之后，再由评估人员根据战役目标完成情况，直观地赋予每次作战活动以相应的效能等级，即可获得CNN构建评估指标体系所需的全部数据样本。

1.4 指标融合降维

在构建效能评估指标体系环节， CNN采用了多种视角的卷积核来提取特征，获得的指标体系往往存在维度较高的问题，不利于后续效能等级评定时神经网络的快速训练和评判。 为进一步约简评估指标，采用CNN的另一种变形 ——“孪生神经网络（SNN）”，对CNN提取的指标体系进行融合降维。 SNN结构如图7所示。

研究表明，在SNN优化后的指标空间中，同类样本得以融合拉近，不同类样本进一步疏远隔离[18]，从而使不同等级的效能数据分布更趋鲜明。

1.5 效能等级评定

效能等级评定环节，主要工作是根据CNN构建的评估指标体系下的数据样本，智能评判其反映出的作战体系效能等级。

通过指标融合降维环节，获得了优化后的评估指标体系下各等级效能数据。 根据神经网络原理可知，通过CNN和SNN两种模型从初始指标中提取出的优化评估指标体系，是完全基于效能数据分布规律挖掘而来的，避免了传统评估方法中主观因素和经验公式的束缚，适用于复杂体系化作战环境下产生的高纬度、大容量的数据处理工作。 而效能等级评定环节，目前已有很多成熟的研究应用，一般采用支持向量机（SVM）或深度神经网络（DNN）拟合效能数据与效能等级间的联系[19-20]。

2 体系化作战效能评估的仿真验证

从原始的作战任务策划出发，使用DoDAF合理地解析出与效能相关的初始效能指标;然后，将初始效能数据输入以CNN为基础的模型自适应提取特征，进而构建出简约高效的效能评估指标体系;最后，依据这一评估体系完成体系化作战效能等级评定。

为了验证该方法的有效性，以一段有人/无人机协同巡逻任务为例，说明评估过程。

2.1 任务策划基本情况

任务内容：敌方出动一艘侦察船靠近我方领海范围，对水文环境等信息实施窥探;我方派遣有人/无人机编队前往[21]，对目标船只进行跟踪，对越界行为予以警告驱离。

行动方案：（1）地面准备;（2）编队起飞;（3）前出搜索;（4）跟踪驱离;（5）返航着陆。

任务目标：敌方船只被持续跟踪、锁定警告，直至离开我方领海范围。

2.2 使用DoDAF建模解析

依照图4所示流程，利用OV-1等5个作战视图开展任务架构建模，将任务策划分解为各装备能力需求。 例如，作战节点连接视图（OV-2）展示了2架有人机（Leader）、2架无人机（UAV）、预警系统（EW）、地面站（GCC、UVAG）等作战单元间的信息交联关系以及各自承担的事件活动列表，如图8所示。

以有人/无人机协同侦察任务中的无人机为例，通过任务架构建模，可以捕获体系化作战中装备所需能力清单。 重点分析无人机前出探测活动，依次分析节点连接、信息交互、事件及状态跟踪等OV视图，推导出无人机探测时的基本功能及其映射的作战活动，如表1所示。

之后，依照图5所示流程，使用SV-4等系统视图开展功能架构建模，将装备整体功能需求细化为其内部各模块的对应性能指标。 这些性能指标即为效能评估所需的初始评估指标。

在任务架构建模阶段，已知无人机探测时在数据获取领域延伸出光电探测、雷达探测、导航、编队探测、通信等5项具体功能需求。 在此基础上，系统接口视图（SV-1）根据任务事件细化出有人/无人机内部各模块功能，以及模块间的作用联系，如图9所示。

考虑OODA2.0强调了现代战机“信息为王”的设计思想，选择数据获取方面的功能进行典型分析。 根据无人机数据交互、事件及状态跟踪等SV视图，捕获模块级功能及其对应的常用指标参数，包括探测范围、精度等，如表2所示。 “指标参数”栏罗列的指标，即为无人机探测时数据获取方面的初始效能指标。

2.3 基于卷积神经网络的智能评估方法

通过DoDAF建模解析，梳理出有人/无人机协同巡逻场景中初始效能指标20余项。 在设定场景下实施多轮实战或计算机仿真，捕获每次作战中相应指标的数值，按照每次作战任务达成“捕获到目标且无自损、捕获目标但有自损、未捕获目标但无自损、未捕获目标且有自损”等不同结果，将多轮作战数据集分为“优秀、良好、一般、不及格”四种效能等级，则初始效能指标在四种等级下的数据均值如图10所示。 表2 数据获取领域的功能与指标转换

由图10可知，四种效能等级下的部分初始指标数据比较接近，不适合作为区分效能等级的明显特征。 如何从初始指标中筛选适当特征，构建新的评估指标体系，以便于快速智能地判别效能等级，就是基于卷积神经网络的智能评估方法所要解决的问题。

基于卷积神经网络的智能评估方法分为三步：

第一步，使用CNN开展指标选择，构建新的效能评估指标体系。 CNN结构如图6所示，包含三条1D-CNN支路，每条1D-CNN均由输入层、卷积层、池化层、压平层及全连接层组成，其中三条支路的卷積层分别选择了1×3一维卷积、1×5一维卷积、1×3空洞卷积等卷积核，从不同视角下尽可能搜寻对于划分效能等级具有关键作用的特征; 池化层采用最大池化;全连接层采用交叉熵损失函数。 由三种卷积核提取的特征，在各自支路中经全连接层训练后，再从压平层中输出，在特征拼接层组合在一起，初步构成效能评估指标体系[15]。

第二步，采用SNN进一步约简指标。 由CNN构建的指标体系参数较多，且使用高维数据可视化算法t-SNE可知[22]，四种效能等级下的数据分布界限仍存在一定程度交错，不利于后续DNN开展效能等级分类。 因此，有必要使用SNN将CNN提取的指标参数进一步简化为只含2项元素的指标体系。 SNN的结构如图7所示，包含两个输入层、一个共享权重的卷积层、一个特征空间层以及一个使用对比损失函数的全连接层。 通过将相同效能等级的数据两两配对成同类数据组，将不同效能等级的数据两两配对成异类数据组，然后逐对送入SNN的两个输入端，利用共享权重的卷积核进行自适应学习，实现在特征空间层简化指标数量的同时，进一步聚拢同类数据、分离异类数据 [18]。 经转换后的四种效能等级数据均值如图11所示。

显然，神经网络构建的评估指标体系显著降低了指标维度。 对比图10中初始指标参数，可以发现图11中四种效能等级的划分更为清晰，有利于后续效能等级评定。

第三步，使用三层全连接神经网络（DNN）[11]，分别对初始指标和神经网络构建指标下的四种效能数据开展等级分类，借此检验智能评估方法的准确率。 DNN输入层神经元的数量与指标体系的参数数量保持一致;输出层神经元数量统一为四个，即与效能等级的数量保持一致;隐藏层神经元数量一般设定在输入层与输出层神经元数量之间，可以获得更好的训练效果。 经过一定批数的训练后，当两个DNN的误差损失函数均不再明显下降，即可获得两种指标体系下的效能等级分类准确率。 两种指标体系的基本数据如表3所示。

由表3可知，神经网络构建的指标体系，相较于初始指标体系，分类准确率明显提升，说明其更有利于效能等级评定。

以上演示过程也证明本文提出的体系化效能评估方法，能够规范地解析体系化作战任务，合理构建简洁高效的评估指标体系，实现基于战场数据的效能等级智能评估。

3 结  论

本文针对复杂多样的体系化作战评估要求，从体系化任务解析与智能评估方法两个方面分别提出了解决方案，整合了基于DoDAF的建模解析方法和基于卷积神经网络的评估方法，进而提出了一套连续完整的体系化作战效能评估流程。

围绕具体的作战仿真实验证明，本文方法能够为体系化作战任务开展完整有效的解析与评估，为深入分析体系化作战规律、持续提升装备实战水平提供方法支撑，在发展体系化作战效能评估方法领域进行有益探索。

参考文献：

[1] 佟京昊. 未来集群智能战争对我国武器装备体系建设的要求和挑战[J]. 国防科技工业， 2019（6）： 34-38.

Tong Jinghao. Requirements and Challenges of Future Cluster Intelligent War on China’s Weapon Equipment System Construction [J]. Defence Science & Technology Industry， 2019（6）： 34-38.（in Chinese）

[2] 姜进晶， 汪民乐， 杨同金. 无人机协同下远程火箭炮作战效能评估指标体系构建[J]. 舰船电子工程， 2020， 40（7）： 144-150.

Jiang Jinjing， Wang Minle， Yang Tongjin. Construction of Operational Effectiveness Evaluation Index System of Long-Range Rocket Gun with UAV Cooperation[J]. Ship Electronic Engineering， 2020， 40（7）： 144-150.（in Chinese）

[3] 田云飛， 赵志允， 李祥珂. 网络化反潜体系效能评估分析[C]∥第21届中国系统仿真技术及其应用学术年会论文集， 2020： 192-195.

Tian Yunfei， Zhao Zhiyun， Li Xiangke. Effectiveness Evaluation and Analysis of Networked Anti Submarine System [C]∥Proceedings of the 21st CCSSTA， 2020： 192-195.（in Chinese）

[4] 蔺美青. 面向体系作战运用的反导预警作战效能评估框架[C]∥第21届中国系统仿真技术及其应用学术年会论文集， 2020： 216-221.

Lin Meiqing. Anti Missile Early Warning Operational Effectiveness Evaluation Framework for System Operation [C]∥Proceedings of the 21st CCSSTA， 2020： 216-221.（in Chinese）

[5] 汪浩. 基于OODA的舰艇编队防空体系作战效能评估研究[J]. 现代防御技术， 2020， 48（6）： 19-25.

Wang Hao. Study on the Operational Effectiveness Evaluation of the Ship Formation Air Defense System Based on OODA[J]. Modern Defence Technology， 2020， 48（6）： 19-25.（in Chinese）

[6] 郭齐胜， 郅志刚， 杨瑞平， 等. 装备效能评估概论[M]. 北京： 国防工业出版社， 2005.

Guo Qisheng， Zhi Zhigang， Yang Ruiping， et al. Introduction to Equipment Effectiveness Evaluation [M]. Beijing： National Defense Industry Press， 2005.（in Chinese）

[7] 毛翔. 美军作战评估理论与实践[M]. 北京： 知识产权出版社， 2017.

Mao Xiang. Theory and Practice of US Combat Evaluation [M]. Beijing： Intellectual Property Publishing House， 2017.（in Chinese）

[8] Enos J R， Nilchiani R R. Merging DoDAF Architectures to Develop and Analyze the DoD Network of Systems[C]∥IEEE Aerospace Conference， 2018.

[9] 王静， 徐瑞， 吴沉寒， 等. 基于DoDAF的远程目指系统作战体系结构[J]. 指挥控制与仿真， 2014， 36（1）： 51-55.

Wang Jing， Xu Rui， Wu Chenhan， et al. Operational Architecture of Remote Target Indicator System Based on DoDAF[J]. Command Control & Simulation， 2014， 36（1）： 51-55.（in Chinese）

[10] 原智杰， 张公平， 崔茅， 等. 基于神经网络的导弹气动参数预测[J]. 航空兵器， 2020， 27（5）： 28-32.

Yuan Zhijie， Zhang Gongping， Cui Mao， et al. Prediction of Missile’s Aerodynamic Parameters Based on Neural Network[J]. Aero Weaponry， 2020， 27（5）： 28-32.（in Chinese）

[11] 刘国强， 陈维义， 程晗， 等. 基于BP神经网络的炮光集成武器系统作战效能评估与预测[J]. 海军工程大学学报， 2019， 31（3）： 55-59.

Liu Guoqiang， Chen Weiyi， Cheng Han， et al. Evaluation and Prediction of Combat Effectiveness on Weapon System with Gun and Laser Based on BP Networks[J]. Journal of Naval University of Engineering， 2019， 31（3）： 55-59.（in Chinese）

[12] 陈侠， 胡乃宽. 基于改进型小波神经网络的电子战无人机作战效能评估研究[J]. 电光与控制， 2018， 25（5）： 64-67.

Chen Xia， Hu Naikuan. Operational Effectiveness Assessment for Electronic Warfare UAVs Based on Improved WNN[J]. Electronics Optics & Control， 2018， 25（5）： 64-67.（in Chinese）

[13] 周興旺， 从福仲， 庞世春. 基于BN-and-BP神经网络融合的陆空联合作战效能评估[J]. 火力与指挥控制， 2018， 43（4）： 3-8.

Zhou Xingwang， Cong Fuzhong， Pang Shichun. Effectiveness Evaluation of Air-Ground Joint Operations Based on the BN-and-BP Neural Network[J]. Fire Control & Command Control， 2018， 43（4）： 3-8.（in Chinese）

[14] 张乐， 刘忠， 张建强， 等. 基于自编码神经网络的装备体系评估指标约简方法[J]. 中南大学学报：自然科学版， 2013， 44（10）： 4130-4137.

Zhang Le， Liu Zhong， Zhang Jianqiang， et al. Reduction Method of Weapon System-of-Systems Assessment Index System Based on Autoencoder[J]. Journal of Central South University： Science and Technology， 2013， 44（10）： 4130-4137.（in Chinese）

[15] Li C， Zhang C， Li J X. Establishment of Effectiveness Evaluation Indicator System Based on 1D-CNN[C]∥Chinese Control and Decision Conference （CCDC）， 2020.

[16] Szegedy C， Liu W， Jia Y Q， et al. Going Deeper with Convolutions[C]∥Computer Vision and Pattern Recognition （CVPR）， 2015.

[17] Kim Y. Convolutional Neural Networks for Sentence Classification[C]∥Empirical Methods in Natural Language Processing （EMNLP）， 2014.

[18] Schroff F， Kalenichenko D， Philbin J. FaceNet： A Unified Embedding for Face Recognition and Clustering[C]∥Computer Vision and Pattern Recognition （CVPR）， 2015.

[19] 李健， 刘海滨， 胡笛. 基于生成对抗网络和深度神经网络的武器系统效能评估[J]. 计算机应用与软件， 2020， 37（2）： 253-258.

Li Jian， Liu Haibin， Hu Di. Weapon System Effectiveness Evalua-tion Based on Generative Adversarial Network and BP Neural Network[J]. Computer Applications and Software， 2020， 37（2）： 253-258.（in Chinese）

[20] 崔正骅， 黄健， 高明光， 等. 基于支持向量机的武装直升机能力评估仿真[C]∥第16届中国系统仿真技术及其应用学术会议论文集， 2015： 294-298.

Cui Zhenghua， Huang Jian， Gao Mingguang， et al. Armed Helicopter Capability Evaluation Simulation Based on Support Vector Machine[C]∥Proceedings of the 16th System Simulation Technology & Application， 2015： 294-298. （in Chinese）

[21] 杜梓冰， 张立丰， 陈敬志， 等. 有人/无人机协同作战演示验证试飞关键技术[J]. 航空兵器， 2019， 26（4）： 75-81.

Du Zibing， Zhang Lifeng， Chen Jingzhi， et al. Critical Technologies of Demonstration Flight Test of Cooperative Operation for Manned/Unmanned Aerial Vehicles[J]. Aero Weaponry， 2019， 26（4）： 75-81.（in Chinese）

[22] van der Maaten L， Hinton G. Visualizing Data Using t-SNE[J]. Journal of Machine Learning Research， 2008， 9（2605）： 2579-2605.

The  Effectiveness Evaluation Method of Systematic

Combat Based on Operational Data

Li Chen1，2， Li Jianxun1*

（1. Department of Automation， Shanghai Jiao Tong University，  Shanghai 200240，  China;

2. Military Representative Bureau of Naval Equipment Department in Shanghai，Shanghai 201206，China）

Abstract： Different from  equipment effectiveness evaluation method based on experience formula and isolated sta-tic state， the effectiveness evaluation of systematic combat can be studied from two aspects： systematic combat task analysis and intelligent evaluation method. This paper introduces the standardized  modeling framework of systematic combat and convolutional neural network to gradually deconstruct systematic combat activities， then proposes a complete set of systematic combat effectiveness evaluation method， which includes five steps： operational mission planning， mission modeling analysis， construction of evaluation index system， index fusion dimension reduction， effectiveness grade evaluation. This method can be used to evaluate the effectiveness of complex and diverse systematic combat tasks according to the degree of realization of operational  objectives.

Key words： convolution neural network; systematic combat; effectiveness evaluation; equipment effectiveness; operational data; artificial intelligence

收稿日期： 2021-08-11

基金項目：  国家自然科学基金项目（61673265）;民机专项（MJ-2017-S-38）;航空科学基金项目（20170157001）;CEMEE重点实验室开放课题（2019G0302）

作者简介：李辰（1990-），男，陕西汉中人，硕士，工程师。

通信作者：李建勋（1969-），男，河北蔚县人，教授，博士生导师。