美军面向联合环境的能力试验方法研究

石治国, 韩 波, 林 木, 高爱国

(1.中国人民解放军91351部队,辽宁 葫芦岛 125106; 2.中国人民解放军92941部队,辽宁 葫芦岛 125000)

由于我军开展装备试验鉴定的时间较短,缺乏系统、全面的试验鉴定理论支撑,因此需要进一步探索如何高效开展一体化联合试验鉴定。美军在装备试验鉴定方面经过多年的研究和实践,取得了许多经验。随着作战样式逐渐向网络化和体系化转变,美军认为,其传统试验鉴定过多关注系统级和体系级产品性能层面的评估,而新的试验鉴定模式应更加关注如何在能力层面发现和解决作战体系存在的问题。由于这种采办策略重点放在能力生成上,因此被称为基于能力的采办(Capability-Based Acquisition,CBA)。其试验基本思想是面向联合环境的试验(Test in a Joint Environment,TIJE)[1-2],联合环境是指在不同体系结构、不同类型的异构试验环境资源之间互联互操作构建的联合试验环境。美国国防部基于该思想建立了对应联合环境试验的需求生成机制——联合能力集成与开发系统(Joint Capability Integration and Development System,JCIDS)、体系结构建模规范——国防部体系结构框架(DoD Architecture Framework,DoDAF)和研究机构——联合试验与鉴定(Joint Test &Evaluation,JT&E)项目办公室,美国国防部基于上述机制保证武器装备在试验周期中能够进行高效的联合能力试验和评估[3-6]。

联合环境下武器装备性能的评估与联合使命环境(Joint Mission Environment,JME)相关,联合使命环境是指通过不同使命、任务功能构建的联合环境。而传统试验鉴定领域中并没有一个合适的理论体系来解决它们之间定义和集成的问题。因此,美国国防部授权JTEM(Joint Test &Evaluation Methodology)项目组开发了一种新的模型化方法。此前,美军国防采办政策中已经有一个称为“V模型”的系统工程方法[7],描述了组件、分系统与系统层面的试验方法和规程,用于规范研制试验评估到作战试验评估阶段的采办过程,但“V模型”无法解决能力层面的评估问题,这促使美国国防部开始对已有的研究成果进行整合和创新,并根据实践经验提出了能力试验方法(Capability Test Methodology,CTM),该方法适用于联合环境。

本文在研究美军CTM基本方法和应用的基础上,从模型化描述、评估指标体系与能力走廊、试验空间与MTM探索性分析方法、能力试验评估方法等方面对CTM进行综述,最后分析该方法对我军装备试验与鉴定的借鉴意义。

1 CTM的模型化描述

作为美军面向联合环境试验的指导性方法,CTM包含一整套用以解决能力评估的理论、方法、程序、规程和试验手段[8-10]。在CTM出台以前,美国防部已经有很多标准和机制用来指导联合环境试验,包括国防部分析议程(Analytic Agenda,AA)、JCIDS、DoDAF和国防采办系统(Defense Acquisition System)等。JTEM在开发CTM时采用本体方法建立了一套术语集,对相关的概念进行了统一的规范。这套术语集主要包括3个模型[11-12]:

① 能力评估元模型(Capability Evaluation Metamodel,CEM),用于为CTM的评估和操作提供评估指标框架;

② 流程模型,用于提供各个操作之间的流程关系;

③ 联合使命环境基础模型。

作为CTM方法和流程的基础,CEM从认识论的角度对CTM进行了详细的建模,CEM核心模型如图1所示,其包括一系列概念和它们之间的关系和规则[13]。

图1 CEM核心模型

CEM整合了DoD能力、体系、分析基线、能力差和评价指标等概念,为评估“能力”对体系使命效能(Joint Mission effectiveness,JMe)的贡献率提供兼容平台。CEM(又称为“星模型”)与流程模型的输出紧密关联,并形成了一个循环结构,如图2所示。该结构描述了CEM与流程和若干子流程之间的关系。

图2 CTM的“星模型”

“星模型”的开发和集成联合能力轴如图3所示[14],该轴按照以下3个步骤进行。

图3 “星模型”与“V模型”在需求生成方面对比

① 需求分析。从使命预期效果和关键任务两方面发现能力问题。

② 功能分析和分配。从使命级和任务级层次出发,映射到联合能力域(Joint Capability Area,JCA)。

③ 综合设计。在体系层面上进行逻辑设计使得CTM可以在装备和非装备两方面考察体系能力问题。

“星模型”的2～6轴,表示系统集成与校核活动,具体如图4所示。与“V模型”相比,CTM的试验活动更加强调在能力生成过程中建立一个不断校正、改进试验评估活动的循环。该循环有以下好处:

图4 “星模型”与“V模型”在试验活动方面对比

① 不但关注能力域问题,而且对试验活动本身进行限制,这使得试验能够及时纠正和调整,从而适应特殊的任务需求。

② 发现体系缺陷后,对体系进行调整和改进,为能力生成提供稳定保证。

2 评估指标体系与能力走廊

2.1 评估指标体系

美军传统的研制试验鉴定是在系统性能层面进行的,侧重于评估单个系统的效能、适用性和生存能力。但是对于由多个系统组成的体系,其整体的能力和性能不能再简单地分解为部分之和。按照分类,体系评估的内容包含了装备和非装备两方面,非装备方面是体系评估区别于传统试验评估最明显的特征,包括条令、组织、训练、装备、领导力、人员和设施(DOTMLPF)。这些新内容的加入大幅增加了试验鉴定的复杂性,因此,CTM采用了新的评估指标体系,这个评估指标体系在兼容传统试验鉴定的基础上,还将关键联合问题(CJI)、使命预期效果和联合任务整合到一起[13]。

简单地说,CTM的评估指标体系按照3个层次进行衡量,可以描述为以下多元组:

Measure=

即指标层主要分为使命效能指标、任务性能指标和体系属性指标。使命效能指标MOE(Measure of Effectiveness)用来评估系统行为、能力、作战环境的变化对使命终态达到、使命目标实现、使命预期结果创建的影响;任务性能指标MOP(Measure of Performance)用来评估一项任务是否能够完成,例如近空火力支援、联合火力打击任务等;体系属性指标MOSA(Measure of System/SoS Attribute)是最底层的指标,包括一系列装备和非装备的性能属性。在CTM中,能力的评估是在一个特定的想定和环境下进行的,即认为能力是在联合使命环境以及规定的标准和条件下,通过一定的方式和方法完成一组任务,最终达到使命预期效果的程度。系统和体系本身被看作实现任务集的手段之一,最终目的是实现使命预期效果,因此,系统或体系的不同配置和不同运用方式成为试验变量之一,这与关注系统级、体系级产品自身性能的研制试验评估、作战试验评估有明显区别。

2.2 关键能力问题和关键作战问题

为了确保需求部门提出的能力需求可精准地在试验中得以复现,分析人员需要在设计试验之前明确关键能力问题(CCI)和关键作战问题(COI)。

关键能力问题用来定义、组织、构建基于能力思想的多维方案空间和多维响应空间。关键能力问题中的主要元素包括要执行的任务、使命预期效果、体系组成、条件(包含威胁和环境因素),其典型表述形式为评估在指定的条件A下使用体系配置Y执行任务X以达到使命预期效果Z的能力,例如:评估在全面军事行动下,当前/未来指挥控制系统执行战场空间消解任务,以达到联合作战区域内敌方威胁被摧毁或失效的能力。

关键作战问题用来定义系统功能的实现与风险,与关键能力问题不同的是,关键作战问题是一个成败型的评价标准,它的失败意味着系统没有满足用户的需求。关键作战问题一般以问题的形式表述,例如:网络化支援装备是否能与现有综合火力体系兼容?在作战环境下系统是否安全运行?某系统的飞行轨迹在线修正能力如何?

2.3 能力走廊及其矩阵

为了规范试验指标的设计过程,CTM使用了一种称为“能力走廊”的方法[9],它将试验评估和联合作战想定(Joint Operational Context for Test,JOC-T)中所有关键因素结合起来,通过多个矩阵描述它们之间的关系。按照不同用途,能力走廊的矩阵可分为能力追溯矩阵和指标追溯矩阵。

能力追溯矩阵描述关键能力问题、关键作战问题到使命预期效果、任务和体系元素的映射关系。根据任务需要,能力追溯矩阵灵活可调,示例如图5所示。图5将关键能力问题映射到DOTMLPF条件、任务环境和体系配置的组合中。

图5 能力追溯矩阵

指标追溯矩阵描述关键能力问题、关键作战问题或者使命预期效果、任务和系统/体系元素到评估指标的映射关系,示例如图6所示。图6中将关键能力问题映射到了使命效能指标、任务性能指标和体系指标。

图6 指标追溯矩阵

3 试验空间与MTM探索性分析方法

通过试验指标体系设计,CTM给出了联合使命效能与其他试验变量之间的关系[9],可表示为

JMe=f(SoS,JME,JM)

即联合使命效能是我方体系SoS、联合使命环境JME和规定的联合使命JM的函数。将SoS、JME和JM作为坐标轴,可以把试验变量看作是在三维空间上的样本空间,称为试验空间。在具体的实例中,每一个坐标轴又可能包含更多的维度,这使得试验空间变得非常复杂。

为了在如此复杂的试验空间中展开试验,CTM采用的策略是通过被称为MTM的探索性分析方法对试验空间进行筛选,如图7所示。MTM探索性分析的第1步是设计一个试验评估策略来生成一个试验空间,并根据试验空间定义的试验因素和试验指标,建立试验需求。第2步是将试验空间改进为总体试验空间的子集,可以通过建模仿真技术来确定关键的试验区域。最终的试验是在一个LVC(Living-Virtual-Constructive,真实—虚拟—构造)的分布式环境上进行的[15-17],通过分析试验结果来判断试验是否满足需求,通过不断重复,完成联合能力的评估。

图7 MTM探索性分析方法

在试验空间的探索性分析中,有很多经典的试验设计方法可以使用,包括正交设计、空间填充设计[18]等,对试验空间进行探索的一般流程如图8所示。在这方面已经有很多成功的案例[19-23],例如美国海军研究生院在涉及多达120个因素的试验中使用了“中央复合设计”[23],Team6使用基于Agent的仿真工具MANA对一个“火力支援”任务的试验空间进行了探索性分析[25-31]。

图8 对试验空间的探索性分析过程

4 能力试验评估方法

CTM试验结果的评估包括数据分析和SoS/JMe评估2条线程,流程进行如图9所示。数据分析通过分析试验定性和定量数据,研究系统/体系在使命环境下对使命效能的贡献是否具有统计意义,并研究在试验期间发生了哪些重要的结果或重要的趋势。SoS/JMe评估包括探索性分析、综合评估,识别重大发现等步骤。评估过程通常使用的技术包括响应曲面法、分类和回归树、轮廓和交互图、多目标检测响应函数的决策分析等。

图9 试验结果分析与评估流程

5 实例分析

下面以一个优化联合空地系统(Joint Air Ground System,JAGS)摧毁敌方威胁能力的例子进行说明,JAGS是一套包含了各种作战实体及其指挥、控制、通信等系统的联合体,该系统使用战术空域集成系统(Tactical Airspace Integration System,TAIS)作为其空域协调和管理的手段。试验包含2个变量因素,一个使用2个不同版本的TAIS的代表当前/未来的系统方案,反映装备层面要素;另一个使用2种不同的指控流程(传统的和简化的)代表非装备层面要素影响。2个因素的组合构成了一个被试“体系”和4种不同配置方案,通过执行4次试验对结果进行分析和评估。

5.1 试验数据分析流程

(1) 使命效能指标分析。

对于使命效能指标MOE1“敌方威胁目标失效率”,在4种不同的体系配置下各进行了4次试验,统计敌方威胁目标失效率,结果如表1所示,需关注这4种不同体系配置是否对使命效能指标MOE1具有明显影响。

表1 敌方威胁目标失效率

这是一个多样本非参数检验问题,使用Kruskal-Wallis的H统计量进行检验,针对假设:H0(各样本Xi代表的总体分布相同)和H1(各样本Xi代表的总体分布不完全相同),求出混合后各样本的秩和,构造H统计量:

(1)

式中:Ri为第i个样本的秩和;ni为第i个样本的样本数量。计算H=0.796,查自由度为3的χ2分布表,按a=0.05水平检验,不拒绝H0,因此还不能认为不同体系配置对完成使命的效能有显著差异。

(2) 任务性能指标分析。

任务性能指标MOP1“执行间接火力支援任务耗时”是一个时间维变量,可作为衡量不同体系配置对任务级性能的影响度量。在4种不同的体系配置下各收集了64个样本,统计直方图如图10所示,任务耗时数据的均值和方差如表2所示,需关注不同体系配置是否对MOP1具有明显影响。

表2 任务耗时数据的均值和方差

图10 统计直方图

该试验样本量比较大,可以用方差分析方法,首先提出原假设H0和备择假设H1,构造F检验统计量,计算得F=3.05,在a=0.05水平上选择拒绝H0,即认为不同体系配置下的MOP1具有明显差异。

(3) 体系属性指标分析。

体系属性指标MOSA1“决策速度”是一个衡量体系指挥效率的指标,该指标计算从空中支援请求进入指控链到指控系统完成评估的总耗时,它反映了整个OODA循环的效率。与上面类似,4种不同的体系配置下各收集了64个样本,通过方差分析,选择接受H0,即认为不同体系配置下的MOSA1没有明显差异。

5.2 SoS/JMe评估流程

5.1节的分析中统计了MOE1和MOP1的均值,它们从不同角度刻画了不同体系配置在作战行动中的效率,可以用来评估体系的贡献率。但这还不足以全面反映体系对使命层次需求的满足情况,例如某些体系配置下,在行动初期就可以对敌方威胁进行迅速、有效的打击,但随着时间的推移,敌方威胁数量逐渐减少,打击效率必然下降,这种对影响整个行动进程的评价是MOE1和MOP1无法给出的。因此,这里还引入了“敌方威胁系统失效累计时间”的使命效能指标MOE2,计算公式为

(2)

式中:x为威胁目标数量;Ti为第i个目标的失效时间;Tn为行动结束时间;TD为期望的平均累计失效时间。

图11解释了使命效能指标MOE2与MOP1之间的区别,2个试验样本都是由多个单独的间接火力支援任务组成,虽然总体任务平均耗时相同,即MOP1相同,但样本1中的MOE2更高,即敌方威胁失效累计时间更长,相当于敌方威胁存在的累计时间更短,显然,样本1的体系配置更优。

6 结束语

能力试验法是美军为了在联合作战环境下有效进行武器装备联合试验与评估而开发的一种方法,并已在实践应用中获得成功。本文对其方法模型进行了深入研究,分析其能力指标的构建和评估方法,对我军武器装备体系贡献率的评估具有很大的启示。

目前,体系化建设已成为武器装备发展的重要原则。我军装备建设正步入自主创新、成体系发展的历史阶段,装备信息化程度显著提高。为客观有效地检验装备的体系化实战能力,可以借鉴美军CTM方法的成功经验。CTM方法的基础是其底层的系统工程结构,即CEM,它合并了能力、体系、分析基线、能力差距和评估措施概念,在评估体系对作战能力需求满足度时可提供更好的一致性。基于CEM概念,CTM建立了其庞杂的上层结构——“星模型”,以增强系统在能力开发过程中的应用。这种模型化驱动方法的好处在实际应用中得到了充分体现。通过整合JCIDS能力概念、CJI和度量框架,建立了强大的能力评估循环。基础的CEM底层结构和能力“星模型”为体系贡献率提供了一种科学的、符合系统工程原理的评估方法,其理论方法和实践值得我军借鉴。