基于神经网络的实物保护系统综合效能评估研究

赵 构 熊翰林 吴国东 马宇坤 孔凡富

1（武汉第二船舶设计研究所 武汉 430064）

2（中国船舶重工集团有限公司 北京 100097）

国际安全形势日益紧张，安全形势恶化使得核设施的安全性受到空前的重视，按照法规要求，所有的实物保护系统在初步设计时以及投入运行时（定期）必须进行有效性评估。目前我国采用的量化评估技术还是20世纪90年代末期从法国和美国引进的路径型探测分析方法，即将通往保护设施的路径进行排列组合，对途中每个路径元件的探测时间、延迟时间、保卫人员响应时间以及相应的概率进行测量，通过比较每条路径的探测、延迟和响应时间来量化评估系统的有效性［1-2］。

路径分析法是在不考虑环境影响、设备状态和指挥策略等变量因素的理想情况下，计算路径截住概率和战胜概率，进而对实物保护系统进行评价；是理想状况下的单一指标评估，忽略掉了系统可靠性、指挥人员策略、信息安全水平、环境适应性等因素对系统性能的影响，难以反映系统实际能力。而且实物保护系统是包含人因工程、信息化技术、传感器技术的综合工程，影响其使命任务能力的因素复杂。因此，亟需一种新的能够全面反映系统综合实力、满足实战要求的评价方法。

综合效能评估是现代系统工程应用领域的一个重要课题，系统综合效能评估是对系统的表现值与系统目标的期望值之间吻合程度的量化评价。综合效能评估对于了解系统的能力有很大帮助，能够明确系统的缺陷所在，得出费效比较高的改进措施，反向指导系统的设计，指明系统的发展方向，目前已经应用于军用装备和型号作战能力分析，但是尚未在核设施实物保护领域进行应用。

本文提出了一种新的实物保护系统评价技术路线，将综合效能评估技术应用到核设施实物保护评估领域。依据设计和运行经验，采用层次分析法建立了一种实物保护系统综合效能评价指标体系及指标权重集，对中船重工第719研究所设计的海洋核动力平台的实物保护系统进行综合效能评估试验，并对试验数据进行了收集分析。在此基础上，通过BP（Back Propagation）神经网络获得了一种更精确的适用于同类型海上核设施的实物保护系统综合评判模型，通过大量的仿真对抗试验和实测试验获取了评价指标的参数，得到的评估结果满足误差要求。相比于现有的路径分析法能更全面、真实地反映系统的能力，也能够直观地展示出系统的短板，得出费效比较高的改进措施，对于系统的能力提升有着重要的意义。

1 评估指标体系和权重建立

1.1 评估方法分析

常用的综合效能评估方法主要分为三类：性能参数法、解析法和仿真法。性能参数法通过考核典型参数反映系统性能，过程简单易行，结果片面、失真，不适用复杂系统，路径分析法实质上属于性能参数分析法；解析法以统计学、概率分析、模糊理论等数学理论为基础，构建系统评估数学模型进行分析，该类方法能够充分利用系统的各项参数和运行经验，尽可能地排除主观因素对评估结果的影响，能够胜任对复杂系统的评估任务；仿真法利用实战演习或者现代计算机技术进行模拟、验证、评估，评估结果准确，但是费效比过高，而且一般与解析法同时运用［3-6］。

解析法评估包括层次分析法（Analytic Hierarchy Process，AHP）、ADC 法（Availability-Dependability-Capability-Model，ADC模型）、灰色评估、专家评分法、指数法等方法。AHP法具有系统性好、过程清晰等优点，适用于评估指标体系分析；ADC法适用于静态效能分析；灰色评估适用于信息不充分的系统；专家评分法适用于的系统是其某些指标难以进行定量描述，其缺点是具有较大的主观性。各种评估方法具有各自的优劣，需根据评估任务进行选择，或将不同的评估方法相互结合改进，提高系统效能评估的全面性和实效性，此次评估试验中采用层次分析法。

1.2 层次分析法

针对具体的评价对象，抽取影响评价结果的因素，建立评价对象的评价指标集：

针对各个评价指标，设指标q1，q2，…，qn与上一级指标 Dk有关联，则指标q1，q2，…，qn关于上一层指标Dk的判据矩阵为：

式中：aij表示求因素q1和q2对上层指标Dk影响的重要程度。

进行层次单排序，求解权重w1，w2，…，wn。权重可以由特征根法计算得到：

式中：W=(w1，w2，···，wn)T和λmax分别为据矩阵A的特征向量和最大特征根；W归一化处理后即为所求的权重的向量，代表了指标层因素相对于准则层因素的重要程度。

为了检验因素层判据矩阵A的合理性，需要对矩阵的一致性进行判断，其中CR（Consistency Ratio）为一致性比例参数，CI（Consistency Index）为一致性参数：

式中：n为判据矩阵阶数，当CI越接近0判据矩阵一致性越好，RI（Random Consistency Index）为随机一致性指标，查表1可得。

表1 平均随机一致性RI指标值Table 1 Average random consistency RI index value

1.3 实物保护系统评估体系与权重分析

效能指标体系和权重分析是整个评估过程中的一个关键点，直接影响评价结果的准确性。由于实物保护系统综合效能评估的各项指标体系以及权重研究较少，在国内外并无权威的文件以及标准对评估指标体系和权重进行规定，因此在研究的初期阶段通过专家经验和试验数据统计分析构建指标体系，保障评估指标体系的准确度，同时为了减少主观性，采用层次分析法确定指标权重。

参照相关标准和导则要求，遵从最简性、客观性、可测性、完备性、层次性等原则，分析、论证了实物保护系统的使命任务执行能力的关键影响因素，建立两级实物保护系统评估指标体系如表2所示，抽取探测能力、延迟能力、响应能力、系统可靠性、系统信息安全5个最重要方面作为评价的一级指标，一级指标下共设13个二级指标。

表2 评估指标体系Table 2 Evaluation indicator system

通过专家分析法和试验数据统计分析相结合的方式，得到同一层次内指标间的相对重要性，例如探测能力指标对应二级指标相对重要性通过核电站运行数据统计可得，响应能力对应二级指标则通过专家分析法确定。采用9级标度原则对各层指标进行标度判断，形成判据矩阵，通过层次分析法求取各指标的权重。

对于5个一级指标，根据指标间两两相对重要性，构造判据矩阵A，见表3。

根据上述特征值求解方法，通过MATLAB软件计算得到最大特征值Pa=5.141 4；对应特征向量P=［0.467 1，0.233 6，0.176 6，0.045 3，0.077 4］，根据§1.2中描述，最大特征值对应的特征向量P即为核设施实物保护系统的权重。通过计算其一致性指标CI=0.035 3，CR=0.031 6＜0.1，满足一致性要求，即标度设置合理。同理可计算出二级指标特征向量，代入各指标参数，即可计算出系统的综合效能值。

表3 判断矩阵ATable 3 Judgment matrixA

2 基于BP神经网络效能评估模型优化

2.1 评估实验数据分析

此次研究邀请了60位专家按照上述指标体系对海洋核动力平台实物保护系统进行综合效能评估，得到系统综合效能值如图1所示。

图1 评估试验结果Fig.1 Evaluation results of experiment

对数据进行分析可发现，绝大多数的专家和对抗试验结论对各指标的相对重要性趋势判定是一致的，但是具体相对重要程度值存在差异，例如通过大量仿真对抗试验发现，在其他指标相同的情况下，在模拟对抗时探测能力强的系统要比延迟能力强的系统胜出的概率要高，专家也一致判定探测能力比延迟能力重要，但是相对重要程度值的判定上却存在较大差异。

另外，由于部分评估指标具有模糊性和随机性，此次评估方案中选取的评价指标如环境适应性、通信保障等，性能优劣没有明确的评判界限，体现了其模糊性；在不同的试验中的表现或不同的行业专家判定，同一个系统的环境适应能力或通信保障能力的评价可能存在偏差，体现了其随机性。在使用层次分析法进行评估时，需要确定指标的隶属度函数，建立定性指标和定量评价值相互间转化的映射关系，但是由于指标的随机性和模糊性，导致不同的评估样本中指标定量评价值存在差异。

对于每一个评估样本而言，实质上是通过层次分析法建立了底层指标与系统综合效能值之间的一种复杂映射关系。由于指标的相对重要程度值难以精确量化，以及指标本身的随机性和模糊性，在采用层次分析法评估时，只能保证评估值处于相对稳定的区间，不同的专家建立的映射关系和评估结果不可避免存在一定偏差，60个评估样本结果的波动性证明了这一点。

在此次评估试验中，除了极少数评估样本结果与大多数样本偏差较大，可以作为无用样本剔除，难以确定其中某一个样本的评估结果更精确。如何利用60个评估样本建立一个相对精确的评估模型，用于对同类型核设施实物保护系统进行综合效能评估，具有重要的意义。

为了获得更精确的评估模型，一般可以采用最大隶属度、取均值等原则对评估样本结果进行优化，但是最大隶属度原则会损失大量的有效样本信息，导致最终结果的均方差较大，取均值原则不能反映多数样本的集中效应。由于人工神经网络具有联想、自组织和很强的容错能力，通过输入层、隐含层和输出层之间的非线性复合作用，通过对训练数据的自主学习，建立底层指标与综合效能更为精确的映射模型，因此采用神经网络对评估数据进行优化，获得更精确的实物保护系统评价模型。

图2 BP神经网络拓扑结构Fig.2 Topological structure of BP neural network

2.2 基于BP神经网络的评估模型优化

神经网络实现了机器通过相关算法来模拟神经元交流学习过程，神经网络从网络结构和学习机制相结合的角度可分为单层向前网络、多层向前网络、反馈神经网络、随机神经网络、竞争神经网络［7-9］，本文采用BP神经网络构建海洋核动力平台实物保护系统的综合效能评估模型，以层次分析法建立的实物保护系统评估指标体系作为BP神经网络输入、输出变量，以此次评估试验所得样本作为训练样本，对模型训练和验证，得到一种更精确的海上核设施实物保护系统评价模型。

将实物保护系统的一级评价指标为输入变量，综合效能值作为因变量，建立核设施实物保护系统综合效能评估模型［10］。输入变量为探测能力、延迟能力、保卫人员响应能力、系统可靠性、系统信息安全，模型输入层节点数量为5；模型输出层为效能值，节点数量为1；BP神经网络隐含层设计对整个神经网络模型的性能有重要影响，根据BP神经网络隐层设计经验，隐层节点数量设置为7，训练流程见图3。

图3 BP神经网络训练流程图Fig.3 Flowchart of BP neural network training

从60组评估样本中，选取其中50组数据作为模型训练数据，首先对50组数据评估指标的参数进行归一化处理，输入到BP神经网络进行训练，并将10组数据作为验证数据代入模型进行训练计算。核设施实物保护效能评估模型训练过程如图4、图5所示，经过380次反复迭代训练后，训练误差快速收敛至0.5%。

图4 效能评估模型训练结果比对Fig.4 Comparison of training results of effectiveness evaluation model

图5 训练误差曲线Fig.5 Training error curve

表4 BP神经网络敏感性参数Table 4 BPneural network sensitivity parameters

表4为由BP神经网络对数据进行训练得到的各输入参数相对于输出参数的敏感性参数，其与训练样本的权重体系趋势基本一致。

训练完成后，将剩余10组数据输入到训练模型，输出的评估值与试验样本值对比如图6、表5所示，训练所得BP神经网络模型输出平均误差小于4%。

表5 评估误差分析Table 5 Evaluation error analysis

图6 模型评估模型输出对比Fig.6 Comparison between Mmodel evaluation model output comparison chart and expert assessment

综上所述，此次试验建立的BP神经网络评估模型充分利用了评估试验样本数据，能迅速收敛，预测评估结果与试验样本结果一致性高，误差较小，具有较好的自适应性、稳定性，尽可能地避免了综合效能评价值受到主观因素的干扰，该模型适用于同类型的核设施实物保护系统的综合效能评估。

3 结语

本文分析了现有的实物保护系统评价方法的不足，将综合效能评估的概念引入实物保护系统评估中，为实物保护效能评估领域提供了一种新的且有意义的思路。以海洋核动力平台实物保护系统为例，运用层次分析法进行了综合效能评估试验，对数据进行收集和分析。针对层次分析法的局限性，提出了一种BP神经网络效能评估模型，运用所获得的评估数据对模型进行训练和验证，取得了良好效果。

需要指出的是，目前国内外缺乏核设施实物保护评估指标体系的成熟标准及文件，本文采用的评估指标体系是依据专家设计、运行经验而建立，仅提供一种可行的思路。评估指标体系的建立是一个长期修正过程，未来可以通过不断的仿真、试验，建立更完善的评估指标体系，得到与事实更符合的结果。