作战仿真系统可信度评估研究

刘 勇, 阳贵兵

(中国人民解放军92941部队，辽宁 葫芦岛 125001)

0 引 言

作战仿真是基于相似理论采用建模和物理方法对作战系统或作战过程的抽象、映射、描述和复现[1]。因此，作战仿真必须回答及证实如下三个问题：①作战模型是否正确描述了实际作战系统的外部特征和内在特性；②作战仿真是否有效地反映了作战模型的数据、性状和行为；③仿真结果是否体现了作战应用模板和用户需求。这就是通常所说的作战仿真可信度问题。国内外仿真界普遍认为“可信性是仿真科学与技术发展的生命线”，缺乏足够可信度的仿真是没有实际意义的[2]。

国外对于仿真系统可信度评估研究可以追溯到20世纪60年代，从事研究的国家和地区主要有美国、欧洲和加拿大，其中以美国最为突出，其研究特点可以概括为起步早、范围广、成果多、系统性强、规范性好等。国内则紧密跟踪国外的先进技术，并结合国内工程实际，在院校和科研机构中广泛开展相关技术研究。国内比较突出的成果包括：国防科技大学分别以导弹仿真系统和HLA(high level architecture，高级体系结构)仿真系统为背景进行的可信性研究；北京航空航天大学、哈尔滨工业大学等对分布交互式仿真的VV&A(verification， validation and accreditation，校核、验证与确认)与可信度评估进行的概念、过程、指标和工具研究；国防科技大学、军事科学院以及西北工业大学等院校在作战可信度评估理论和方法等方面所做的大量研究。

由于作战仿真系统自身的特点，其可信度评估比一般仿真系统的可信度评估难。因此，为了获取作战仿真系统的可信度，必须对系统建模与仿真的全过程进行可信度评估[3]。本文基于作战仿真系统的特点，从评估过程和评估对象的确立、指标体系的构建以及评估结果的给出等方面，提出了作战仿真系统可信度评估方案，为作战仿真系统的可信度评估工作提供理论支撑。

1 总体评估方案

根据作战仿真系统的特点及可信度评估需求，其VV&A与可信度评估工作可分为6个阶段，如图1所示：①根据综合设计与作战仿真系统的特点及评估要求，确定其可信度评估过程；②从中提取可信度评估对象；③根据各评估对象的具体情况建立可信度评估指标体系；④在评估节点上采用适当的评估方法(定性或定量)得到评估值；⑤采用指标综合算法计算出系统的可信度结果；⑥基于指标体系进行系统的可信度结果分析，提交给用户以支持系统的应用或改进。

图1 作战仿真系统可信度评估的总体方案Fig.1 Warfare simulation system credibility evaluation scheme

1.1 可信度评估过程的制定

系统级的可信度评估工作首先需要建立其评估过程，用于指导后续评估工作的开展。为了建立可操作的、合理的仿真系统可信度评估过程，从以下3方面开展工作。

1) 明确仿真系统可信度评估的过程、阶段及活动。

2) 描述各可信度评估工作的内容，如评估对象、采用的评估方法、需要的数据支持、关联的参考对象、评估人员和工作执行者等。

3) 在相关过程标准的框架内，合理设置仿真系统的可信度评估过程粒度，使其既详尽完备，又具有较强的可操作性。

1.2 可信度评估对象的确定

作战仿真系统是一个相对复杂的仿真系统，直接对其进行系统级的评估是不可能的。在可信度评估中将大系统分解为若干个评估对象是常用的做法，这些对象均与大系统的可信度相关。对评估对象的规模并没有统一的要求，但评估对象越大，对其实施评估的难度就越大，可操作性就越低。如果评估对象规模较大，不便于进行评估，还要对其进行分解以增强可操作性。

1.3 可信度评估指标体系的建立

作战仿真系统的可信度评估指标体系主要包括模型和数据的可信度评估指标体系。其中，作战仿真系统的数据评估指标体系要求高，比较难建立。主要原因有：①作战仿真系统的数据可信度评估要从数据提供者和数据用户两个角度进行，他们对数据关注的重点不一样。②根据数据性质不同，作战仿真系统的数据往往可以分为参考数据、固定数据、实例数据、验证数据和交换数据等；按照数据作用不同，作战仿真系统的数据又可以分为基础数据、想定数据、方案数据、模型数据以及仿真运行管理与控制数据等。因此，作战仿真系统数据的评估指标体系比较复杂，难以建立统一的评估指标体系。大多数情况下，数据均采用标准格式数据，而与模型有关的数据则被置于模型中参与模型的可信度评估[4]。因此，本文主要研究作战仿真系统模型部分的可信度评估指标体系。

首先建立系统可信度评估指标体系，该体系主要包含军事需求模型评估指标、军事概念模型评估指标、数学模型评估指标以及软件模型评估指标4个方面，通常称为一级指标，如图2所示。

图2 作战仿真系统可信度一级评估指标Fig.2 First level credibility evaluation indexof warfare simulation system

一级指标下又根据系统实际情况建立二级和三级指标。以军事需求可信度指标为例，军事需求评估项目主要有作战任务分析、军事背景描述、作战行动描述、作战实体划分、作战关系描述等，称为二级指标；二级指标以下又可以细分为评估细则，称为三级指标。

1.4 可信度评估及其结果转换方法的选取

可信度评估方法是得到指标体系节点上评估结果的途径，而评估结果转换方法则负责将可信度评估结果转换为可信度值，二者是取得仿真系统可信度量化值的工具。可信度评估方法和评估结果转换方法有很多，需根据系统的实际情况、评估节点的情况以及仿真数据和参考数据的可获取情况等选取合适的方法加以改进和应用。

可信度评估方法分为定性和定量两大类，仿真系统主要采用定量的评估方法。定量评估方法又可分为静态/动态分析方法、时域/频域分析方法等，主要来源于模型验证方法、数据一致性分析方法和统计学分析方法。

虽然仿真系统倾向于采用定量评估方法，但某些定性方法在解决特定问题时也能发挥作用。如在外场试验数据缺乏的情况下，图灵测试法、模糊综合评价法等都是有效的。所谓定性评估不是完全脱离数据，而是指它主要依靠SME(subject matter expert，主题专家)的经验和主观分析来获得评估结果。例如图灵测试法包含5个步骤，分别是选取测试样本、执行测试样本、辨别输出结果、分析辨别结果和得出评估结论。如果领域专家不能明确分辨两条曲线哪条属于仿真数据或参考数据，则证明评估对象拥有较高的可信度。

可信度评估方法得到的分析结果并不是仿真可信度描述，需要经过一个转换才能表示为量化可信度值。例如使用不等式系数法得到的是一个[0,1]区间内的有理数，该数值越小则可信度越高，工程上量化可信度值小于0.3就意味着仿真结果可以被接受。然而该结果显然在值域、单调性、摆幅等方面都不同于仿真可信度描述。研究各种评估结果在同一标度空间内向量化可信度的转换，也是本课题需要解决的问题。

为了给出合适的可信度评估方法及评估结果转换方法，应从以下4方面开展工作。

1) 研究常用的定性评估方法，掌握方法的原理、计算公式、使用步骤等，包括专家评定法、模糊综合评价法、图灵测试法等。

2) 研究常用的定量评估方法，掌握方法的原理、计算公式、使用步骤等，包括参数估计法、假设检验法、TIC法、灰色关联法、窗谱估计法、特征匹配法等。

3) 根据仿真系统各评估对象的指标体系，为每一个评估节点选择合适的评估方法来取得可信度评估结果。

4) 针对每一种系统中应用的评估方法，研究其评估结果向量化可信度转换的方法，并将指标体系内各节点的评估结果转换为量化可信度值。

1.5 指标综合方法的选取

最终的可信度结果需通过将指标体系各层节点进行综合来获得，即需要一个指标综合方法。仿真系统采用树型的可信度评估指标体系，可借助该树型结构使用改进的加权平均模型等方法进行指标综合。

量化的可信度结果通常是一个[0,1]区间或[0,100]区间内的有理数，这使得在对多个对象进行评估或进行多专家评估时结果具有可比性。除量化值外，一些组织提倡“可信度等级”划分[5]，一般采用5级可信度，即“可信”、“较可信”、“一般”、“不太可信”和“不可信”。这样做可以向用户提供直观的可信度等级判定，而不会使用户对单纯的数值产生困惑。可信度等级也是对应到量化区间内的，如“可信”通常对应在[0.9,1.0]区间或[90,100]区间。

1.6 仿真系统可信度结果的分析

仿真系统的可信度评估主要有3个目的：①规范仿真开发过程和阶段性成果；②获取仿真与真实对象的接近程度；③指导仿真系统的改进。

为了充分分析仿真系统的可信度结果，并支持仿真系统的应用和改进，从以下两方面开展工作。

1) 根据可信度评估指标体系和评估结果，分析影响仿真系统可信度的主要因素。

2) 基于前文所述评估过程及结果，提交仿真系统可信度评估报告。

2 案例分析

假定有一型导弹武器系统攻防对抗的作战仿真系统，对其进行可信度评估分析。该作战仿真系统分为红蓝两个阵营，红蓝双方在导弹联合试验平台支撑下进行导弹攻防对抗作战仿真。系统结构如图3所示。

图3 某导弹攻防对抗作战仿真系统结构Fig.3 Structure of missile attack-defense confrontation warfare simulation system

按照图2所示的指标体系结构，建立该仿真系统模型可信度评估指标体系，对各级指标的权重采用专家赋值，一般军事需求与军事概念模型所占权重比数学模型和软件模型的权重要大。采用专家赋值法，将军事需求模型、军事概念模型、数学模型和软件模型的权重分别设定为：0.3、0.3、0.2、0.2。

可信度评估采用定性与定量、主观与客观相结合的方法进行：对于有外场试验数据或者可靠结果输出的项，采用定量评价的方法；对于无输出结果作为对比的项，采用行业专家给出的主观定性评价方法。根据评价结果对各层指标节点进行赋值，再采用主观综合评价方法对模型的可信度进行评估。

主观综合评价法最适合于作战仿真系统的军事需求、军事概念模型、包含经验参数较多的数学模型以及高层作战的软件模型的可信度评估。主观综合评价方法最大特点就是对专家权重进行计算，主观综合评价方法具体执行步骤见参考文献[1]。

根据主观综合评价方法对作战仿真系统进行评估，评估结果如表1所示。

表1 各项评估结果
Tab.1 Evaluation results

评估等级优秀良好中等差取值范围[0.90,1.00][0.80,0.90][0.60,0.80][0.00,0.60]军事需求模型—0.83——军事概念模型—0.86——数学模型——0.75—软件模型——0.72—

根据各项权值进行加权求和，得到系统总的可信度评估结果为

0.3×0.83+0.3×0.86+0.2×0.75+0.2×0.72=0.801

0.801在良好取值范围。因此，本系统的可信度评价结果为良好。

3 结束语

本文基于作战仿真系统的特点，提出了作战仿真系统可信度评估方案，方案包含评估过程和评估对象的确立、指标体系的构建、结果转换方法和指标综合方法的选取以及评估报告的给出6个方面，并以假定作战仿真系统为例，进行了可信度评估分析，为作战仿真系统的可信度评估工作提供了理论支撑。