基于深度学习的网状指标体系作战效能评估方法研究

杨 萍，陈 浩，刘 建，党宏杰，王洪刚

（解放军63921 部队，北京 100094）

0 引言

装备的作战效能是指装备在规定条件下完成特定作战任务的能力，是评估装备作战能力、满足作战需求的重要指标。装备效能指标的选取及指标体系的构建是进行装备效能评估的基础。为了评价装备的作战效能，通常构建多层树状指标体系，将装备的作战效能分解为多层相互独立的指标。目前，常用层次分析法对底层指标进行单项评估［1］，通过专家调查表等方式计算出各层指标的权值，进行聚合进而得到装备的作战效能。层次分析法具有简单易懂、操作便捷的优点，但是得到的权值具有一定主观性，从而影响评估结果的客观性。装备的作战效能评估通常在对抗或者动态条件下进行，很难保证各层指标的独立性［2］，随着装备体系越来越复杂，各层指标之间的关联性越来越大，简单的树状指标体系不能完整表征装备的作战效能，需构建更为复杂的网状指标体系。为了解决复杂装备作战效能评估问题，雷永林等提出了基于仿真的复杂武器系统作战效能评估指标体系框架［3］，本文考虑构建更为复杂的网状指标体系。层次分析法不能解决网状指标体系的装备作战效能评估问题。在作战试验过程中，仿真数据是作战试验数据的重要补充［4-6］。仿真系统的出现，使效能评估有大量的训练样本，机器学习方法被引入到装备作战效能评估中［7-8］。近年来，深度学习等人工智能算法因网络结构更加复杂、准确率更高，在装备效能评估中也得到了应用［9-10］。本文以某数据中心的作战效能评估问题为实例，构建网状指标体系和多层神经网络，将仿真数据和历史数据作为训练数据，利用交叉熵损失函数和最小批量梯度下降法对分类网络进行训练，进而确定装备的作战效能等级。

1 基于深度学习的作战效能评估方法

1.1 作战效能评估基本原理

装备的作战效能评估，可等价于对装备的效能进行不同的效能等级划分。若将影响装备效能的指标作为训练样本，对应的装备效能等级作为标签，可利用机器学习方法训练分类模型。对数据试验生成的数据，可利用训练的分类模型进行预测，进而确定装备的效能等级。

1.2 网状指标体系构建

在进行装备效能评估时，需确定影响作战效能的指标，并根据各指标的相互关系将各因素分组、分层。按照最高层、中间层和最低层的形式进行排列，建立反映各指标关联隶属关系的网状效能指标体系，如图1 所示。

图1 网状指标体系Fig.1 Mesh structure index system

1.3 效能等级确定

对复杂装备系统作战效能的评估可以转化为对装备效能等级的分类，可根据需求将装备的效能分为5 等、7 等或者9 等级，如表1 所示。效能等级的个数决定了需要进行分类的类别数。5 等级分为“极差、差、一般、好、极好”，7 等级在5 等级基础上增加了“很差”和“很好”，9 等级在7 等级基础上增加了“较差”和“较好”。

表1 效能等级表Table 1 Effectiveness level table

1.4 计算步骤

基于深度学习的复杂装备系统作战效能评估方法计算步骤如下页图2 所示。

图2 计算步骤Fig.2 Calculation steps

Step 1 确定指标体系。该方法即可用来对网状指标体系进行评估，又可对树状指标体系进行评估；

Step 2 获取数据集。数据集可包含仿真数据和历史数据，其中，历史数据为该数据中心以往参加作战试验时采集的数据；

Step 3 数据预处理。获取数据集后，对数据进行预处理并转换为神经网络能处理的数据格式，定量数据进行标准化处理，定性数据进行数据编码。预处理完成以后，将数据集拆分为训练数据和测试数据；

Step 4 网络模型构建。根据效能等级分类需求，构建多层神经网络；

Step 5 模型训练。利用数据集进行网络模型训练，并迭代调整网络模型参数和网络模型架构，以得到较好的训练准确率；

Step 6 效能等级确定。将作战试验数据输入到训练好的网络模型，确定作战效能等级。本文的实测数据是数据中心在作战试验中采集的试验数据，采集的数据主要用来评价图3 中的底层指标，比如接入的装备类型、数据带宽、数据接入类型、目标处理能力、数据融合能力等。

图3 某数据中心网状指标体系Fig.3 Mesh structure index system of a certain data ceter

2 某数据中心效能评估

某数据中心作战效能评估构建的网状指标体系如图3 所示，该指标体系共3 层，底层共26 个指标，中间层共6 个指标，输出层为数据中心的作战效能。底层指标与中间层指标没有严格的一一对应关系，不能构成树状指标体系。

2.1 数据准备

为了提高模型的收敛速度和模型的分类预测精度，需对采集的数据进行预处理。对定量的指标进行标准化，通常可以采用最大最小标准化或z-score 标准化（定量指标减去样本均值后，除以样本方差）。对于定性指标，需将数据转换成神经网络模型需要的数字类型的数据，因此，需要对定性指标进行编码量化。根据图3 所示的网状指标体系，底层指标共26 个，将预处理得到的26 个底层指标数据组成一个1×26 的向量作为模型的输入，将某仿真系统生成的数据和历史数据组成的5 000 组数据作为样本集。本文选取7 等效能等级，将仿真系统输出的系统效能进行量化，并划分到对应的效能等级，作为与输入对应的类别标签。例如，某组输入数据对应的效能等级为一般，根据表1 效能等级表可知，则该组数据对应的等级标签为5。为了使训练数据中各类样本的数量更加均衡，减小模型训练的过拟合问题，从数据集中随机选择70%的样本作为训练样本，剩下的30%作为测试样本。

2.2 网络架构

某数据中心效能评估神经网络架构如下页图4所示，该网络共5 层，输入层为1×26 的向量，输出层为1×7 的向量。中间3 层由3 组全连接网络构成，大小分别为32，16，7。为了提高网络的非线性表征能力，3 个全连接层后添加Relu 激活函数。为了减小网络的过拟合效应，在激活函数后添加Dropout，Dropout 率都设置为0.1。选取交差熵损失函数（categorical cross-entropy loss），利用小批量梯度下降法（mini-batch gradient descent）进行参数学习，批量的大小为128，神经网络的训练基于Keras 深度学习库。

图4 多层神经网络架构Fig.4 Multi-layer neural network structure

2.3 计算结果分析

对于网状指标体系，层次分析法无法进行效能评估，本文将深度神经网络算法与其他机器学习算法对比，分析效能等级的分类准确率。图5 为神经网络模型的准确率和损失函数，神经网络训练200 次后收敛，深度神经网络方法训练准确率为99.56%，测试准确率为99.33%，训练损失函数为0.028 6，测试损失函数为0.032 0。图6 为训练好的模型预测结果混淆矩阵，从图中可以看出，仅有少量第5 类数据被预测为第4 类，其他类别数据全部预测正确。图7 为训练以支持向量机函数作为基分类器的Bgging 方法预测结果混淆矩阵，该方法预测准确率为95.6%，图7 为随机森林方法预测结果混淆矩阵，预测准确率为86.57%。从图7 可以看出，第3、4、5 类数据出现预测错误的情况与图8 类似，但预测错误率更高。对比可以看出，深度神经网络方法预测准确率最高，对网状指标体系效能评估有最好的评估效果。将某次作战试验效能评估数据输入模型，预测结果为第5 类，即该数据中心的作战效能为“好”，与实际作战使用情况较为一致。

图5 模型准确率和损失函数Fig.5 Model prediction accuracy and loss function

图6 神经网络模型预测混淆矩阵Fig.6 Prediction confusion matric of the neural network model

图8 随机森林预测结果混淆矩阵Fig.8 Confusion matrix of random forest method

3 结论

本文提出了基于深度学习的作战效能评估方法，将装备作战效能评估问题转换为装备效能等级分类问题，为网状指标体系作战效能评估提供了一种新的思路。将该方法应用到某数据中心的作战试验效能评估中，神经网络模型分类准确率大于机器学习分类算法。本文训练的神经网络模型参数可能出现负数的情况，不具有物理意义。后续可考虑模型的参数的大小作出限制。