装备虚拟操作训练考核评价方法研究

阳加远，周畅，邱煌彬，郑超，马之馨

（中国运载火箭技术研究院，北京 100076）

随着装备保障作用的日益增加，装备训练模式也逐步由传统的训练方式向多元化转变，结合计算机仿真、虚拟现实等技术的虚拟操作训练正逐渐成为新时期装备训练和考核的重要方式[1-4]。为客观反映参训人员的训练水平，避免由人为因素过多引起的评价不准确、效率低等问题，需要一套客观准确并自动化实施的评价系统。目前，工程评价中常用的方法有灰色度评价方法、模糊综合评价法、层次分析法（AHP）、基于云模型的系统效能评价方法和以上方法的联合运用等。文献[5]采用灰色度评价方法对无人侦察机模拟训练系统中操作人员故障维修模拟训练的实际操作进行考核评价；文献[6-8]采用模糊综合评判方法，分别建立了民用机虚拟维修、装甲装备半实物维修、载人深潜器的训练评价方法；文献[9]采用AHP 建立评价指标体系，对设备的虚拟维修操作进行了综合评价；文献[10]采用云模型建立了信息化条件下的军事训练效果评价模型；文献[11-13]采用AHP-模糊综合评价法分别对装备虚拟训练、飞行指挥模拟训练、消防训练进行了评价；文献[14-16]采用AHP-云模型分别对运输勤务训练场保障、炮兵营作战指挥训练和雷达对抗训练效能进行了评价。在虚拟操作训练系统应用分析时发现，单纯借用上述方法存在评价不全面、可操作性不强、计算复杂或需要人工干预等问题。为此，文中在分析系统训练评价需求的基础上，综合对比各评价方法的优缺点，提出一种装备虚拟操作训练考核评价方法，基于预设标准操作流程，构建由操作完整性、操作顺序、操作时间和操作准确性构成的训练评价指标体系，并采用层次分析法明确训练指标权重，通过数学计算实现了虚拟操作训练过程的量化评价。

1 需求分析与评价方法明确

1.1 需求分析

装备虚拟操作训练系统主要实现装备维护维修操作训练，由虚拟现实外设、虚拟训练软件和训练内容组成。虚拟现实外设采集用户操作动作并提供沉浸式的操作感官；虚拟训练软件实现训练内容的运行加载、过程记录和考核评价；训练内容由相互独立的操作训练项目组成，每个操作训练项目又由一系列操作步骤组合，操作步骤又可进一步划分为一系列原子动作组合（即无法再进行分割的动作，如按钮、开关动作）。

系统的训练评估需求是通过记录训练人员在操作训练时的各项操作信息（如项目执行步骤、项目执行时长、操作动作精确度等），在完成项目训练时，自动准确地给出训练人员的考核评分。

1.2 评价方法选择

表1 综合对比了现有主要评价方法的适用范围和优缺点。考虑到涉及的装备虚拟操作训练系统中评价的影响因素较为明确，因此，文中采用基于预设的标准流程与AHP 法相结合的方法开展训练评价，其中，AHP 法主要用于明确各项指标权重。

表1 常用评价方法对比

AHP的主要步骤如下：

1）构造判断矩阵。按标度理论（一般采用1-9 尺度赋值方法，如表2所示），构建两两比较判断矩阵B。

表2 1-9尺度量化值

2）计算重要性排序。计算判断矩阵满足Bw=λmaxω的特征值和特征向量，其中λmax为B的最大特征根，ω为对应于λmax的正规化特征向量。所求特征向量经归一化后为各评价因素的重要性排序，即权重分配。

3）对判断矩阵进行一致性校验。通过一致性指标CI明确各个指标之间互相不存在逻辑冲突，其中CI=(λmax-n)/(n-1) 。引入RI（随机一致性指标）对一致性情况进行判断，如表3 所示。对于3 阶以下判断矩阵，一致性始终符合，无需判断；当阶数大于2时，用CR=CI/RI作为判断矩阵是否具备一致性的衡量指标。当CR＜0.1 时，判断矩阵的一致性可接受，否则需进一步调整矩阵。

表3 矩阵阶数与RI值

2 评价指标体系构建与赋值

2.1 评价指标体系构建

装备每一个维护维修操作项目均有一套标准的操作规程。在装备虚拟操作训练系统研制过程中，针对每一个操作项目，研制人员会按照标准操作规程预先设置一套标准操作流程，并存储于数据库中。在训练人员开展装备虚拟操作训练时，记录训练人员的全流程操作信息，通过与数据库中标准操作流程进行比对，并建立评价指标体系来对该项目的训练进行整体评价。

文中从训练评价完整性、可操作性和实际需求出发，建立由操作完整性X1、操作顺序X2、操作时间X3和操作准确性X4构成的训练评价指标体系，如图1所示。

图1 虚拟操作训练系统评价指标体系

1）操作完整性X1：操作完整性直接决定了训练人员是否正确完成全部操作步骤，该指标通过检查训练人员在虚拟操作训练过程中的操作步骤缺失情况进行评价。

2）操作顺序X2：操作顺序正确与否直接影响操作结果甚至危及人员及设备安全，该指标主要通过检查训练人员的操作流程顺序是否与标准操作流程顺序一致进行评价。

3）操作时间X3：操作时间直接反映训练人员对操作项目的熟练程度，是训练评价的关键参数，该指标通过对训练总时长、关键步骤时长等进行记录，并与预设的标准时长进行比对进行评价。

4）操作准确性X4：操作准确性反映训练人员的技能水平，该指标通过检查训练人员在训练过程的关键流程操作动作与标准规范符合的情况进行评价。

针对上述4 个指标，按照分值0～100 分进行打分赋值，赋值方式见2.2 节，各项指标在总评分中的权重则采用AHP 法明确。训练人员在开展装备虚拟操作模拟训练系统某一项目虚拟训练的最终得分为以上4 项指标得分与对应权重的乘积之和，即：

式中，C为某项目操作训练考核总得分；C(Xi)为第i项指标的分值；ωi为第i项指标的权重。

2.2 评价指标赋值

1）虚拟操作完整性指标赋值

假设某一操作项目标准操作流程步骤集合为S={s1,s2,…,sn}，其中si代表第i步操作。令vi代表第i步的操作权重，，操作权重采用AHP 法确定。当训练人员完成操作训练时，其操作完整性评分如下：

式中，∑vi代表实际操作中遗漏的操作步骤对应的权重之和。

2）操作顺序指标赋值

采取实际操作流程与标准操作流程的逆序来计算，对于标准操作流程步骤集合，设Nij(i＞j)表示第i步操作与第j步操作顺序颠倒对操作结果产生不良影响的程度，按照0～100 打分，分数越高，影响程度越大，Nij由专家预先给出。训练人员操作顺序指标所得分数如下：

式中，∑N为实际操作训练时的逆序权值之和，为可能发生的逆序权值之和。

3）操作时间指标赋值

操作时间指标采取超时扣分制，设规定的操作项目总时长为TS，关键步骤的操作时长为TSi，训练人员在虚拟操作训练系统中实际花费总时长和各关键步骤时长分别为TX和TXi，则训练人员操作时间指标所得分数如下：

式中，P为总时长超出时间，Q为总时长计量单位；Pi为关键步骤超出时间，Qi为关键步骤时间计量单位。P、Q、Pi、Qi的具体数值由专家根据实际项目需求和考核要点事先给出评分。部分项目的操作时间因虚拟操作的还原度问题，可能会有部分宽限，例如使用虚拟现实设备在虚拟空间避开某些遮蔽物时，需要比正常操作花费更多的时间，在进行分数评定时应综合进行考虑。

4）操作准确性指标赋值

操作准确性采取分档打分制。根据具体的操作步骤要求，对比实际操作训练与标准操作规程的差距数值，将操作准确性划分为非常准确、准确、基本准确、不太准确、不准确5 档，分别给予100、90、60、30、10的考核评分。以某螺栓拧紧力矩为例，在操作中要求拧紧力矩设定为(400±20)N·m，5 个档次分别设定为偏差±5 以内、±20 以内、±25 以内、±50 以内、±50 以外，当操作时拧紧力矩为380 N·m，则给予80的评分。当训练人员完成操作训练时，其操作准确性指标所得分数为：

式中，Ci代表第i步操作的准确性得分。

3 应用实例

以某设备安装操作训练流程为例，该流程标准操作流程可分为：1）s1：从包装箱取出设备，放置到安装位置；2）s2：用力矩扳手安装设备固定螺钉；3）s3：连接设备电缆；4）s4：绑扎设备电缆；5）s5：连接舱段连接电缆；6）s6：舱段对接，用力矩扳手安装舱段螺栓。

经过专家评价，可能存在的操作逆序为N23=70、N24=90、N25=90、N34=70、N35=60、N45=30；操作总时长TS=600 s，P=10，Q=3，关键步骤s2时长TS2=120 s，P2=5，Q2=4；步骤s2操作力矩要求为()100±10 N·m，5 档偏差分别为±5 N·m 以内、±10 N·m 以内、±12 N·m 以内、±15 N·m 以内、±15 N·m 以外；步骤s6操作力矩要求为(250±15) N·m，5 档偏差分别为±10 N·m 以内、±15 N·m 以内、±20 N·m 以内、±25 N·m 以内、±25 N·m 以外。评价指标判断矩阵B=λmax=4.043 5，权值w=[w1w2w3w4]=[0.389 9 0.389 9 0.067 9 0.152 4]，CR=0.035 4 ＜0.1；标准操作步骤对应的判断矩阵，λmax=6.143 7，权值v=[0.424 7 0.191 3 0.191 3 0.036 8 0.077 9 0.077 9]，CR=0.023 2 ＜0.1。

在实际操作训练中，某训练人员实际操作流程为“s1：从包装箱取出设备，放置到安装位置；s2：用力矩扳手安装设备固定螺钉；s5：连接舱段连接电缆；s3：连接设备连接电缆；s6：舱段对接，用力矩扳手安装舱段螺栓”。总时长为TX=610 s，TX2=156 s，步骤s2操作力矩为102 N·m，步骤s6操作力矩为200 N·m。

根据与标准操作规程对比可知：

1）在操作完整性上，实际流程遗漏了s4流程，不符合操作要求，根据式（2），该指标得分为：

2）在操作流程上，实际流程将s3和s5流程顺序颠倒，违反了操作规程，根据式（3），该指标得分为：

3）在操作时间上，总时长和关键时长均超时，根据式（4），该指标得分为：

4）在操作准确性上，步骤s2得分C2=100，步骤s6得分C6=10，根据式（5），该指标得分为：

综上，根据式（1）可知本次操作总得分为：

实例分析表明，通过该方法，系统可在训练人员操作过程中记录训练数据，并自动给出各指标评分和综合评分，实现了定量评价，不仅与训练实际相符，且可操作性强，达到了自动量化考核评价的目的。

4 结束语

文中提出的基于预设标准操作流程的训练考核评价方法，构建了由操作完整性、操作顺序、操作时间和操作准确性组成的训练评价指标体系，综合运用AHP、专家评价等方法明确了各指标赋值方法。实例表明，利用该方法构建的评价系统构造简单、可操作性强，可自动给出训练评价结果，具有较好的实际应用效果。