面向体系效能评估的仿真实验因素与指标选择研究

季明 马力

(1.国防大学 信息作战与指挥训练教研部，北京100091;2.军事科学院 联合作战研究实验中心，北京100091)

1 引言

体系效能评估，是作战体系分析的一个重难点问题。采用仿真实验方法评估体系效能是目前较为通用的做法。以评估为目的的仿真实验是一种研究“对变量进行操纵的结果”的过程［1］，实验因素和实验指标的确定是体系效能仿真评估的基础和关键，是仿真实验前需要考虑的首要问题。实验因素是指对实验指标值可能产生影响的原因或要素，实验指标是根据评估目的选定的衡量仿真实验作战效果的特性值。因素与指标的确定是获取实验结论的基本依据，因素和指标选择不好，就可能得到诸如“鸡鸣导致天亮”这样的错误结论。

目前，面向体系效能评估的实验因素与指标的筛选，大多基于传统“分解可加”的还原论的思想，没有充分考虑到作战体系的复杂性特征，因此，在选择原则、选择范围、选择方法上都存在一些不足。主要体现在:

(1)在选择原则上，传统因素与指标筛选原则要求客观性、完备性、独立性、敏感性［2］，但是体系具有动态对抗、不断演化、效能涌现、状态混沌等特点，传统的选择原则已经不能满足体系效能评估的需求。

(2)在选择基础上，传统的评估通常基于自底向上层层聚合的树状评估指标体系框架，但由于复杂系统不可分解，也没有“可加性”，分解会导致某些性质的丧失，考虑局部得不出整体性质［3］，因此基于树状结构的评估指标体系框架不能满足对体系的整体评估的要求。

(3)在选择范围上，传统的因素和指标筛选范围局限于作战组分系统的性能、行动、效能等传统参量空间，对导致体系涌现性产生的关键要素即系统的网络性质、网络结构和网络演化等考虑不多，存在范围不全、选择面过窄的问题。

2 选择因素与指标的基本原则

目前关于实验因素和指标的筛选原则通常包括客观性、独立性、完备性、合理性、灵敏性、可度量、全面性、典型性、适度性等要求。这些原则有些过于宽泛，难以指导实践，例如合理性、典型性、适度性等原则;有些又无法做到，例如独立性、完备性、全面性等。尤其在作战体系复杂性特点的条件下，对实验因素和指标的选择又提出了新的要求。

作战体系的复杂性特点决定了面向体系效能评估必须充分考虑体系整体性效果产生机理，突出复杂系统的特点，在“动态、整体、对抗”的条件下进行因素与指标选择［4］。

2.1 突出效能涌现性的特点

体系特别强调“整体”和“涌现”，涌现性反映了体系在演化过程中的整体性效果，是体系形成的标志。作战体系的整体性效果，是在复杂网络的支撑下，各种装备、各作战单元、各作战能力相互联结、相互作用而形成的整体作战能力，而不是单件武器装备、单个作战单元、单项作战系统能力的简单相加。因此，在因素的选择上，需要从分析体系整体性效果产生的机理出发，特别关注会引起体系涌现性效能产生的因素;在指标的选取上，也要特别关注能代表作战体系的整体效能的指标。

2.2 突出结构演化性的特点

作战体系是“活”的系统，具有适应性和进化性，体系的结构、功能和性质动态可变，因此体系能力也不是静态的，而是在对抗过程中动态变化的。因此，在因素与指标的选取上，要特别注意动态性和静态性相结合。不仅要考虑作战体系静态因素的变化，例如武器射程、飞行速度等，还要考虑动态因素的变化，尤其是网络结构的动态变化，例如网络结构、网络覆盖率等。不仅要考虑静态指标，例如总拦截率、总拦截数量等，还要考虑动态指标，例如OODA 环时长、网络活动节点数量等。

2.3 突出能力相对性的特点

作战体系能力是通过对抗展现的，对手不同能力也不同，是在某种条件下“某一时刻”“某一对手”的能力水平。因此，在因素选取时，要特别营造出能力对比的条件，例如面向不同对手不同武器的变化;在指标选取时，要特别注意挑选出反映能力相对性特点的指标，例如面对不同对手的体系抗毁性、脆弱性等。

3 体系效能评估指标框架与指标测量

3.1 体系效能评估指标框架

体系是典型的复杂系统，从体系涌现性形成的机理角度来看，体系涌现性主要源于组成体系的组分系统、组分结构以及组分之间的交互。对体系整体能力的评估必然要基于组分系统，但仅仅通过评估组分系统又无法获得对体系整体能力的有效度量，因为整体涌现性效果是由组分效能与网络化效能共同作用产生的。本文以体系环境下的组分系统效能评估为基础，以体系完成使命任务情况测度为牵引，以体系的整体涌现性能力评估为重点，以体系的“网络化”结构评价为关键，建立了网络化体系能力评估框架，并给出了体系能力评估的参考指标。网络化体系能力评估建模框架如图1 所示，主要包括组分系统的性能评估(Measures of Component Performance，MOCP)、组分系统的效能评估(Measeures of Component Effectiveness，MOCE)、体系的网络化效能评估(Measures of SOS Networked Effectiveness，MONE)、体系涌现性效能评估(Measures of SOS Emergence Effectiveness，MOEE)和体系使命任务效能评估(Measures of SOS Task Effectiveness，MOTE)。图1 中采用不同形状表示了各个层次的多个评估指标，其图中虚线表示该层各指标之间相互关联，指标间不具有独立性，体现了“指标网”的特点;实线表示不同层次间效能指标的映射关系。

组分系统性能指标层指的就是组分系统的性能指标，例如某型导弹的火力范围、命中精度、杀爆范围等。组分系统效能指标层旨在度量系统单元在体系中的效能发挥，例如火力系统的发射成功率、成爆率、命中率、生存力等。网络化效能指标用于评估体系演化过程中组分系统间产生网络化交互的程度。这些指标包括网络的度分布、平均距离、集聚系数、介数等。网状结构的评估指标框架决定了对体系能力的评估不再是自底向上的层层聚合，因此，通常不选择以上指标作为体系能力评估指标，而是在实验分析过程中关注它们之间的关联关系。

对体系效能的评估应着重从两方面进行度量，即体系使命任务效能评估MOTE 和体系涌现性效能评估MOEE。MOTE 旨在对体系实现最终目标的程度进行度量，评估的是体系完成使命任务的整体情况，是体系能力整体涌现性最直接、最根本的体现，是体系优化的根本准则，也是体系的决策者最为关心的内容。它描述的是体系在特定条件下完成使命任务的整体情况，一些传统作战效能评估中使用的典型指标，在研究体系使命任务效能评估时仍然非常重要。该层指标主要包括:战果、战损、任务完成度、战损比、推进速度、作战时间、使命任务完成率。涌现性效能指标层MOEE 衡量的是体系的整体涌现性，特别强调体系演化过程中在结构、功能和行为等方面所涌现出的整体特性，例如体系结构的鲁棒性和脆弱性、组分系统功能耦合所产生的新能力、体系的自适应和同步行为等。该层指标主要包括:传感协同能力、攻击协同能力、体系抗毁性、体系脆性、体系重心、体系适应性、体系作战同步和体系对抗OODA 环效能。

涌现性效能指标层是从机理层面对体系能力的深度分析，反映的是体系对抗机理和能力生成机制，是对体系完成使命任务情况的深层次原因的探寻。对这两层指标都进行度量，可得到对体系整体能力比较全面的评估;但在实际的实验过程中，也可根据评估目的，仅关注某一层指标。例如，关注体系的鲁棒性、寻找体系的重心，可能仅从体系涌现性效能指标层寻找指标来进行能力评估。

3.2 体系能力指标的测量

体系能力是体系涌现产生的整体性效果，是局部所不具有的新性质，一旦把体系还原为它的组分，体系能力便不复存在了。因此，体系使命任务效能指标和体系涌现性效能指标都不适宜再用局部效能指标聚合而成，而是选择合适的方法对体系整体指标进行“测量”得到。这种测量包括静态测量和动态测量两种。静态测量就是传统的仿真后数据采集和统计，例如计算某次仿真后的目标毁伤数量、导弹发射数量等。动态测量主要根据评估需要，有针对性地对某些特别关注的指标在整个仿真过程中的不断变化情况进行测量，这种动态测量获得的可以是指标的瞬时值，例如测量时刻的体系拓扑结构;也可以是指标的累计值，例如测量时刻之前目标累计毁伤数量;还可以是指标的平均值，例如测量时刻之前的OODA 环平均时长。对指标进行动态测量的方法主要包括以下两种:

(1)固定时间间隔测量。这种测量主要是按照分析人员设置的固定时间间隔，每隔一段时间对指标进行测量，得到对某项指标的全仿真过程常态连续的动态监测。

(2)事件触发测量。这种测量以一系列重要行动的发生点为测量时刻，得到对某项指标的特殊的监测，适用于观察关键行动对体系的影响，以及体系的自我修复。

通过对指标静态加动态的全面测量，才能发现和掌握体系运行的规律，从而揭示体系能力形成的深层次机理。

4 因素的选择

4.1 传统参量空间

仿真实验的核心功能是探索各种作战要素、影响因素之间的因果关系，而探索这种因果关系的一个重要前提就是要尽可能找出关系和影响作战的各种“因”，特别是各种关键性的作战要素、影响因素。传统的因素筛选空间通常包括环境参量、能力参量和策略参量［5］。环境参量是指影响体系运作的各种外部要素集合，通常包括自然环境要素和作战环境要素等。能力参量通常取自于体系组分系统的某个属性项或相关关键能力指标，例如“探测距离”“发射数量”“毁伤概率”等，也就是前文所述的组分系统性能指标层。策略参量则是反映作战体系行动方案，包括计划行动和临机行动等。然而，这些参量都是基于武器装备本身的一些基础性因素，多数是直接影响装备系统级效能而间接影响到涌现性效能，而导致体系涌现性产生的基于网络的复杂交互却没有被考虑，这就使得底层基础性的因素与高层整体性效能的“涌现”之间产生鸿沟，使得因果关系判断更为困难，战争规律更难寻觅。因此，在因素筛选时，必须将网络化效能指标也纳入因素筛选空间，弥补这种底层的“因”和高层的“果”之间存在的断层，从而能够从体系整体性效果产生机理的角度出发，发现一些隐藏的因果关系或关联关系。因此，想要通过实验获得体系整体效能评估结果，必须考虑导致体系涌现性产生的网络因素，必须将反映体系网络结构和性能的网络因素纳入到实验因素范围，并结合前三种参量，形成对体系整体效能评估的参量筛选空间。

4.2 网络化因素参量空间

作战体系涉及大量不同层面和不同类型的网络，主要包括物理网、应用网和对抗网。其中，物理网指作战体系中物理层面所存在的各类通信网，包括卫星通信网、电信网、互联网、数据链以及有线/无线局域网等;应用网是指在物理网的支撑下，依据作战体系中存在的不同关联关系构建的网络，涉及指控网和传感网等;除了以上两类相对静态的网络，在动态对抗中，各作战实体会通过信息、物质或能量的交互建立各种关联关系，比如信息获取、火力打击和电磁压制等，这些在对抗中产生的关联关系会形成逻辑上的网络也就是对抗网。对于对抗网，由于是在仿真运行过程中由武器自主行为产生，无法在因素选择阶段对其进行选择和量化，因此只对物理网和应用网的网络因素进行筛选和选择。这种网络因素主要包括两种:一种是物理网络的因素，比如网络通信协议、传输速率;另一种是体系网络结构因素，比如度分布、介数、聚焦系数［6］等。最后根据体系整体性评估目的，选择与实验任务相关的网络因素，结合环境参量、能力参量和策略参量，最终形成面向任务的因素集。

5 因素与指标的选择方法流程

实验分析的过程是分析从因到果的过程，也就是分析某个原因导致了哪些结果的产生，而实验设计的过程中根据考查指标反过来寻找因素，也就是分析某个结果可能是哪些原因造成的。因此，在做实验设计时，首先要选择指标，确定了“果”之后，再根据“果”进行回溯推理，寻找“因”，并经过仿真实验验证这种预想的因果联系是否存在;如果不存在，则要调整选择范围，修正“因”和“果”两方面的选择，进行下一轮实验，如此循环往复，直到达到评估目的，形成科学合理的评估结论。选择流程如图2 所示。

第一步:选择指标。根据实验目的，从体系使命任务效能指标MOTE 和体系涌现性效能指标MOEE 两方面进行定性判断，寻找代表性指标。

第二步:因果回溯。针对每一个指标，寻找可能会影响该指标的原因。

第三步:原因筛选与合并。对重合的原因进行合并，也可根据需要酌情删除或增加。

图2 因素与指标的选择方法流程示意图

第四步:对原因进行细化，逐步细化到仿真可以对其进行操控的粒度。

第五步:形成因素集和指标集，最终通过仿真实验分析其关联程度，再根据分析结果修正或调整指标集和因素集，或重新进行指标和因素选择过程。

在指标和因素选择的整个过程中，必须充分利用军事专家领域知识，分析人员和军事人员要充分交流和协作。

6 分析示例

以对某防空反导体系进行能力评估为例，使用本文所述方法与流程进行因素与指标选择，进行评估分析。

6.1 指标的选取

根据能力评估目的，为了更为全面地评估该反导体系的能力，分别从涌现性效能指标层和使命任务效能指标层各选取两个指标作为评估指标，见表1。

表1 某防空反导体系效能仿真实验评估指标选择表

6.2 因素的选取

根据军事规则和经验，对影响每项指标重要因素进行因果回溯，对这些因素进行合并、选择和细化，最终形成本次能力评估实验的因素集，见表2。在这个因果回溯的过程中，需要充分利用人的知识和经验，酌情取舍。

表2 某防空反导体系效能仿真实验评估因素选择表

6.3 指标与因素的调整

根据仿真后的数据分析，发现来袭目标RCS在某个区间中对使命任务效能指标影响明显，超出该区域则指标变化不明显，则将目标RCS 固定在区间内的某值，不再对其进行变化，即不再将其作为实验因素进行设计。同样，对其他因素也可以做类似修改或调整，直至满足实验需要。

7 结束语

面向体系效能评估的仿真实验，首先面临的就是实验因素与指标的选择问题。本文试图部分解决还原论思想下体系效能评估的不足之处，但是体系复杂性使得因素与指标的选择空间更为庞大，某些指标特别是网络化指标的测量也更为困难，基于复杂系统思想和网络科学的因素与指标选取，还需要进一步研究体系效能评估和分析方法，从而形成对因素与指标选取的支持。

［1］ 军事科学院军事运筹分析研究所. 作战实验实施指南［M］.北京:军事科学出版社，2008.

［2］ 龙建国.作战实验选择原理与方法探析［J］.军事运筹与系统工程，2009，17(1):2 -7.

［3］ 胡晓峰，许相莉，杨镜宇.基于体系视角的赛博空间作战效能评估［J］.军事运筹与系统工程，2013，27(1):5 -9.

［4］ 胡晓峰.战争复杂性与复杂体系仿真问题［J］.军事运筹与系统工程，2010，24(3):27 -34.

［5］ 何明，李志荣，姚洪，等.作战仿真实验中的实验参量空间分析［J］.指挥控制与仿真，2011，33(5):68 -71.

［6］ JEFFERY R CARES.分布式网络化作战［M］.于全，译.北京:北京邮电大学出版社，2006.