江 涌, 齐振恒
(军事科学院系统工程研究院,北京 100082)
装备作战试验设计,是对作战试验考核内容、试验方法、试验场景、试验资源等进行系统分析和统筹规划的活动。试验设计的合理与否,对作战试验能否高效实施、达到预期考核目的具有重要影响。美军高度重视装备作战试验设计工作,在试验设计的组织实施、方法手段、成果运用等方面建立了较为完善的制度机制。分析借鉴美军作战试验设计的主要流程、经验做法和方法特点,对推进装备作战试验任务高效实施、提升装备实战化考核水平具有重要意义。
美军实行国防部集中统一领导与各军兵种分散实施相结合的作战试验管理体制。国防部层面,美军主要通过作战试验鉴定局管理全军作战试验活动;作战试验鉴定局局长可直接向国防部长和国会提供有关作战试验报告,具有很强的独立性和权威性。军兵种层面,建立了隶属于作战部门的作战试验鉴定管理机构,负责作战试验任务的具体组织实施和管理,独立专业,且便于试验兵力调动。如,美陆军试验鉴定司令部、海军作战试验鉴定部队、海军陆战队作战试验鉴定部、空军作战试验鉴定中心等[1]。经过不断的探索实践,美军逐步认识到作战试验与研制试验不同,更加突出成系统、成体系的对抗考核,试验设计的地位作用更加突出,各军兵种均在顶层法规文件中明确了作战试验设计的有关要求,并把试验设计结果作为试验鉴定主计划的重要输入。
(1)陆军
截止目前,美陆军没有单独发布作战试验设计的顶层文件,但在陆军手册AP73-1《支持系统采办的试验鉴定》中,明确将作战试验规划分为试验需求确认、事件设计和事件场景、进度、资源规划等三个过程[2]。其中,事件设计是作战试验活动考核内容、影响因素和条件的确定过程,是作战试验规划的核心要素。在事件设计中,美陆军通常采用“分析图”的方式,形象描述关键作战问题(COI)——评估标准——效能指标——数据要求——数据元素之间的树状结构关系;并以此为基础,统筹规划设计整个作战试验活动。
(2)海军
2000年以来,美海军进一步加强作战试验顶层设计,在前期《作战试验主任指导方针》基础上,研究制定了COMOPTEVFORINST 3980.2《作战试验主任手册》系列文件,详细规范了作战试验鉴定的整个实施过程。在2019年5月最新版的《作战试验主任手册》中,美海军明确将基于任务的试验设计流程归纳为“三个阶段、12个步骤”,并在关键节点上安排有正式审查;设计形成的一体化鉴定框架文件作为后续作战试验实施的重要基础[3]。
(3)海军陆战队
在美海军陆战队2013年2月第3版《作战试验鉴定手册》中,明确提出作战试验鉴定“六步法”(系统鉴定计划、试验构想和试验鉴定主计划、试验计划、作战试验实施、作战试验数据报告、系统鉴定及报告)[4]。其中,作战试验设计工作主要集中在前三步。首先,制定系统鉴定计划(SEP),根据装备使命任务,分解形成子任务、关键作战问题、度量指标和方法;然后,采用试验设计(DOE)方法,确定试验流程、样本大小、限定条件、试验资源等,并作为试验鉴定主计划的输入;最后,制定详细的试验执行和数据采集计划。
(4)空军
在美空军作战试验鉴定中心2013年2月第6版《作战试验鉴定指南》中,将作战试验设计系统归纳为作战能力需求分析、关键作战问题描述、评估指标确定、作战试验鉴定框架构建、试验条件分析、试验设计和试验事件梳理等主要过程[5],详细规范了每个阶段的输入输出关系及相关要求,形成初始试验计划;并在“作战试验方案制定”中更新完善,设计相应的试验场景,确定规模和优先次序,指导作战试验任务的具体组织实施。
从上述分析可以看出,美军各军兵种在作战试验设计的思想理念、主要方法步骤上较为一致,均是以作战任务/能力需求为出发点,通过关键作战问题分解,明确主要评估效能指标和条件;然后,采用试验设计方法,系统分析试验的主要影响因素;最后,通过构建试验场景,统筹一系列试验事件的组织实施。但相对而言,美海军基于任务的作战试验设计流程经过了10个版本的迭代更新,更为成熟完善。下面,以美海军作战试验一体化鉴定框架为重点,说明美军作战试验设计的主要流程和经验做法。
美海军基于任务的作战试验设计流程如图1所示,主要包括任务分析、需求分析和试验设计3个阶段,每个阶段包含4个步骤,最终形成的一体化鉴定框架作为美军试验鉴定主计划的主要输入,以及联合能力集成开发系统、作战方案、作战能力基线等更新完善的重要依据[3]。
该阶段主要是以海军发布的一系列顶层需求文件为基础,对被试系统、执行的作战任务及影响任务完成效果的相关条件进行系统分析。
图1 基于任务的作战试验设计流程框图
步骤1:定义被试系统/体系。根据系统初始能力文件、能力开发文件等,对被试系统的软硬件构成、填补的能力差距、预期的作战效果及系统最终的技术状态等进行描述,重点明确被试系统与体系之间的边界,清晰描述被试系统与其他装备之间的接口和相互作用,被试系统如何集成运行在体系中,共同支撑作战任务的完成。
步骤2:确定关键作战问题。根据《海军作战部长指示》所定义的22个任务域,明确适用于被试系统的任务域[6]。然后,根据上述任务域,确定被试系统作战试验鉴定中必须考核的关键作战效能/作战适用性问题。此外,可根据需要,重点关注网络安全、生存能力等作战效能问题,以及兼容性、互操作性、运输性等适用性问题。关键作战问题,确定的不是一个参数、目标或阈值,而是系统执行任务的能力。通常,一个关键作战问题就是一个任务域,基于任务的关键作战问题通常采用以下问句形式表述。如,××系统在战斗环境中能在有效交战范围内成功探测到目标吗?××系统在战斗环境中能安全地使用吗?
步骤3:确定子任务。在充分理解被试系统如何作战使用的基础上,将关键作战问题分解到操作员级的具体子任务,一般不超过3级。首先,根据被试系统适用的任务域,从一体化鉴定框架数据库中选择相应的标准化任务流程,按序构成一级子任务;对于不受被试系统影响的一级子任务,应保留在分解结构中,用“灰色”标识,有助于作战试验主任认识到该子任务属于任务流程,但现阶段未得到被试系统的支持;然后,对一体化鉴定框架数据库中自动生成的通用二、三级子任务进行审查,根据需要删除、调整或增加相应的子任务。需要说明的是,完成一个主要作战使命任务域可能需要其他任务域的支撑;这时,需要根据支撑任务域要素与一级子任务之间的关系,分别作为二级子任务、一级子任务或独立关键作战问题处理。以打击战任务域关键作战问题子任务分解为例,如指挥、控制与通信(C3)任务域中的交换、处理、显示等要素,对打击战一级子任务的作用要求不同,则应将相关要素并入二级子任务;如相同,则可作为另一个一级子任务进行分解,分别如图2和图3所示。
步骤4:建立条件/与子任务关联。条件是任务分析阶段的关键输出,将直接决定试验的规模和范围。根据海军通用任务清单提供的通用条件,以及类似项目使用过的自定义条件,确定包括物理、军事、民事等所有可能影响每个子任务执行的条件和相应条件变量的级别,并与最低层级的子任务进行关联。
图2 将指挥、控制与通信(C3)有关要素并入二级子任务
图3 将指挥、控制与通信(C3)有关要素作为一级子任务
该阶段主要是根据系统能力文件中关键性能参数、关键系统属性等,确定成功执行子任务的系统能力指标和相应标准,以及每个指标和条件的数据需求,形成一个与子任务和关键作战问题相关联的指标矩阵。通常,每个关键作战问题有3~5个关键任务,关键任务是指如果被试系统没能完成,会导致关键作战问题被鉴定为“不合格”的任务,关键任务及指标在一体化将鉴定框架中以红色粗体显示。
步骤5:确定规定指标/与子任务关联。规定指标,是指在系统能力文件中有明确说明的指标。对能力文件中明确的关键性能参数、关键系统属性、作战效能、适用性等指标,以及“系统应……”或“系统必须能够……”关键性短语进行系统梳理,确定相应标准;并基于作战试验主任的经验,将指标关联到最低层级的子任务。除非被确定为“孤立”指标即不被作战试验人员报告的规定指标。如,与子任务或关键作战问题没有直接联系的技术指标。否则每个指标至少关联到一个子任务或关键作战问题。指标可以关联到多个子任务,但多重关联应最小化。没有指标关联的子任务,应重新审查被试系统是否适用于该子任务。如不合适,应将子任务删除或显示成灰色。
步骤6:确定派生指标/与子任务关联。派生指标,是指在系统能力文件中没有明确说明,从其他文件中提取的指标,主要包括网络安全性、生存性、杀伤性等指标。作战试验主任应参考规定指标方式,将派生指标与子任务或关键作战问题关联,审查指标能否完整覆盖子任务或关键作战问题范围;并就派生指标的使用与上级部门、项目办公室沟通协调,记录在一体化鉴定框架数据库中。
步骤7:创建其他指标/与子任务关联。其他指标,是指没有书面来源,根据专家知识和任务实际创建的指标。这些指标负责对完成子任务或关键作战问题评估的剩余方面进行解释说明,在获得作战试验鉴定部队司令批准后,添加到指标矩阵中,并在一体化鉴定框架数据库中进行记录。
步骤8:导出数据需求/与指标和条件关联。区分随机性、确定性指标,分析每个指标的数据需求,并填入一体化鉴定框架数据库中。数据需求既可以是定量的,也可以是定性的,主要包括数据元、度量单位和来源等3个要素。随机性指标,需要大样本数据进行统计评估;确定性指标可以降低数据的数量和种类,通过演示验证来鉴定。同时,还需明确试验条件的数据需求。
该阶段主要是根据上述数据需求,运用统计学方法或定性的演示验证对作战试验进行总体设计,确定试验规模和数据量;然后,把有关联的试验事件构建成试验场景,便于试验的组织实施和数据采集;同时,确定有关的试验资源需求。
步骤9:统计设计/试验设计。统计方法主要包括试验设计、置信区间、假设检验等。试验设计应首先审查与关键任务和关键指标有关的试验条件,将所有条件分为受控、不变和可记录3类。根据系统性能的预期影响和在预期作战环境中遇到某些条件的可能性,对这些条件及其关联水平进行优先排序,确定哪些因子用于试验事件,产生满足作战试验鉴定需要的最少的数据需求。
步骤10:构建场景。场景,定义为子任务或关键作战问题的逻辑执行组。这样做的目的是,把基于任务的试验设计产品(相关的试验事件)串起来,在确保对子任务进行充分试验的基础上,降低试验组织实施难度。根据作战过程中的相关性、可执行性,将若干子任务组合为逻辑执行组,形成1个可独立执行的试验单元。场景的构建与其说是科学,不如说是艺术,要基于被试系统的复杂性和试验团队的作战经验。每个子任务至少与1个场景关联,最简单的是1个子任务对应1个场景,最复杂的是1个场景包含所有子任务,即端到端的作战试验;但两种都不是最佳的试验设计方法,需根据作战试验考核重点,对试验任务进行组织,形成逻辑子任务流,降低试验组织难度,提高试验效率。如图4所示,某任务中包含6个一级子任务。
图4 某任务一级子任务分解图
一个可能的场景是子任务1.1和子任务1.2的组合,这样的场景可描述为“任务准备”;也可以将子任务1.3和子任务1.5结合为一个场景,描述为“任务转移”,尽管缺失了子任务1.4,但也不影响任务转移时的逻辑作战流。反之,将不相连的子任务1.1和子任务1.5组合成一个场景会很困难,因为逻辑子任务流是断开的;将子任务1.5和子任务1.6作为一个场景来执行没有多大意义,因为子任务1.6是任务后相关的,如果任务还未实施,任务后分析就不可能有作战代表性。
步骤11:为每个试验场景设计试验方法。试验方法,主要指概述执行该场景、评估作战用户完成相关子任务能力和收集所需数据的程序。由于作战试验是由典型用户操作执行,所以试验方法描述重点放在采集的试验数据,以及可能影响作战逼真度的事情上,如靶场安全、作战对手模拟等,形成场景——数据需求——试验方法矩阵。
步骤12:确定资源需求。在确定每个场景的数据需求和试验方法后,应分析完成每个场景所需的试验资源,并按照资源类型和场景执行时间表,对试验资源进行统筹安排和整合,为试验鉴定主计划和作战试验成本估算提供基础。对周期长的项目而言,将所需的试验资源列入试验鉴定主计划是至关重要的。
综上,美军作战试验设计主要采取“总-分-总”的方式。首先,从装备作战使命任务提炼相应的关键作战问题;然后,将关键作战问题/任务域分解成一系列的子任务/试验事件及相应的指标;最后,按照作战过程,将子任务/试验事件综合设计成几个试验场景。需要说明的是,虽然基于任务的作战试验设计流程被描述成一系列连续的步骤,但实际上是一个相互迭代、逐步完善的过程。即在后面的试验设计过程中,往往需要返回到前面的步骤,根据新的认识对前面步骤的有关内容进行修改完善。
系统分析美海军作战试验设计的“3个阶段、12个步骤”,结合其他军兵种的主要做法,美军作战试验设计主要有以下4个特点。
(1)突出作战任务牵引
美军强调“像作战一样试验”,要求按照实战标准进行试验考核。每个军兵种均按照装备的作战使命任务,结合作战部长指示、作战能力需求/预期作战环境等有关文件,提炼装备作战试验的关键作战问题,把回答关键作战问题作为作战试验的主要任务,而不是针对具体的指标。同时,强调关键作战问题确定的不是一个参数、目标或阈值,而是系统执行任务的能力,从根本上避免通过简单对照指标来确定作战试验是否通过的错误思想。
(2)强调使命任务分解
美军特别强调作战试验的可操作性,要求将作战使命任务分解到操作员级的具体行动,便于试验的具体评估,但同时明确子任务分解一般不超过3级。且从构建形成的子任务-评估指标框架来看,指标只与最低层级的子任务关联,体现了围绕作战使命任务开展作战试验评估的根本思想,避免陷入就指标分解指标、评估指标的错误做法。
(3)注重试验场景构建
虽然对“场景”一词,不同军兵种有不同的表示方法,如海军用vignette,其他军兵种用scenario;但其内涵均是一致的,都是指可执行的、具有逻辑关系的子任务/试验事件组,各军兵种均特别重视。通过试验场景构建,将有逻辑关系的子任务一起组织实施,既可以最大程度贴近作战过程,也有利于试验资源的统筹使用,降低试验组织实施难度,提高综合效益。
(4)充分运用支撑手段
从上述作战试验设计流程中可以看出,美海军在系统梳理前期积累数据的基础上,构建了一体化鉴定框架数据库,供作战试验设计人员统一调用。一体化鉴定框架数据库,既包括任务分解、评估指标、试验条件、报告文件等模板,也包括典型案例。通过一体化鉴定框架数据库的使用,大大提高了美海军作战试验设计人员的工作效率,也促进了作战试验设计工作的标准化、规范化。
根据美军作战试验设计的主要做法和特点,结合装备作战试验实际,就加强装备作战试验设计工作,提出以下3条启示建议。
(1)提高作战试验设计认识
试验设计在作战试验过程中的地位作用更加突出,要高度重视作战试验设计工作。建议,在装备立项论证和研制总要求论证中,要进一步细化装备作战使命、任务剖面、作战环境的论证,为装备鉴定定型初案、总案中作战试验内容的论证提供重要支撑;同时,在装备鉴定定型初案、总案评审中,充分吸收科研院所、作战部队人员,加强对作战试验相关内容的审查,提升作战试验设计工作的科学性、合理性。
(2)加强作战试验想定论证
借鉴美军试验场景构建的理念和方法,在作战试验想定论证过程中,将可执行、具有逻辑联系的任务进行组合,构建形成几个典型的作战试验场景,统筹整个作战任务的组织实施,打破将作战想定直接应用于作战试验想定的错误想法。
(3)加强试验设计方法运用
美军特别注重统计试验方法在试验设计中的运用,提升试验设计和结果的科学性、有效性。建议加强正交设计、最优回归设计、均匀设计等统计试验方法在作战试验设计中的研究运用,提升作战试验设计水平。
本文以美海军作战试验一体化鉴定框架为重点,系统分析了美军基于任务的装备作战试验设计主要流程和方法,通过案例对部分内容进行了详细描述,可为加强装备作战试验设计工作提供借鉴。下一步,将结合实际,以作战任务为牵引,以试验场景设计为重点,研究提出适应的装备作战试验设计流程方法,为提升装备实战化考核水平提供技术支撑。