基于格拉布斯校验法的陆军模拟训练学员成绩评估方法

焦秀珍，石子烨

(中国电子科学研究院，北京　100041)



工程与应用

基于格拉布斯校验法的陆军模拟训练学员成绩评估方法

焦秀珍，石子烨

(中国电子科学研究院，北京100041)

摘要：受训学员成绩评估是模拟训练系统中的重要环节，评估结果是否合理将影响到受训人员的积极性和训练水平的提高。为了提高训练评判结果的准确性，从陆军模拟训练系统的实际需求出发，本文提出了一种基于格拉布斯校验法的陆军模拟训练学员成绩评估方法，该方法不仅可按需构建评估指标体系，满足不同用户多样化的评估要求，而且为消除评估人员主观偏好等不确定因素对评估结果造成不客观、不准确的关键问题提供了解决方法。通过某陆军作战模拟训练系统的指挥对抗训练进行了实例分析，验证了该评估方法的有效性。

关键词：格拉布斯校验；成绩评估；模拟训练中图分类号：TP391.9

文献标识码：A

文章编号：1673-5692(2016)03-283-05

0引言

陆军作战模拟训练系统是一个人在回路的大型计算机模拟训练系统，用于培养陆军旅营战术级指挥员、参谋人员的作战业务技能、作战指挥能力、协同工作能力以及合同作战指挥能力。受训学员的训练过程会由于不同国家由于装备水平、战术战法等不同导致了多样化的评估要求，也会由于以人为主的定性评估导致结果不客观、不准确，因此对学员成绩作出客观而准确的评估比较困难[1]。

目前陆军作战模拟训练系统对受训学员的训练效果进行成绩评估有两种方法。一种是评委现场观摩学员对抗训练过程，实时观察和分析双方学员指挥对抗中形成的战场态势，依靠评委的自身经验和知识，给出评价；另一种是评委根据评估指标、细则进行量化评估，对打分结果加权相加，由总评判人员给出定量结论，并采用整体讲评、重点点评的方式进行训练评判[2-4]。

目前的学员成绩评估方法仍存在一些缺陷，第一方面在指挥对抗评估中，评委一般由领域内军事专家或高级指挥员担任，单纯依靠评委主观印象、偏好打分，人为因素有较大影响很难保证评判结果的科学性、公正性；第二方面，评判方法是依据训练大纲制定的评估指标和评估细则，在评估指标和细则制定并颁布后，指标效能评估软件会按照需求固定开发，然后在军贸领域，由于不同国家的指挥体制、作战条令、作战任务等均不同，评估指标、评估细则、定性或定量评估结果等评估需求均存在很大差异，因此评估指标、评估细则需要根据需求，灵活可变。

针对目前的学员成绩评估方法存在易受主观因素影响、无法灵活调整评估指标和评估细则的问题。本文介绍了一种基于格拉布斯校验法的面向陆军模拟训练系统的受训学员成绩评估方法，可由用户按需构建评估指标体系，满足不同国家、不同训练目的、不同评估任务多样化的指挥评估要求，并在层次分析法的基础上引入格拉布斯校验法(Grubss)[5]，通过消除评估人员主观偏好等随机不确定因素获得高置信度、量化的综合评估结果，从而实现了灵活、有效、科学的陆军作战模拟训练系统的受训学员成绩评估。

1基于格拉布斯校验法的成绩评估方法

对受训学员的训练效果做出客观而准确的评估极其困难，既要科学合理的给各指标权重系数赋值，又要合理有效地处理影响指挥效能的难以预测的随机性因素。对陆军模拟训练系统受训学员的训练效果进行成绩评定，需要依据训练大纲和目的构建层次化的评估指标体系，应用定性和定量相结合的层次分析法确定指标体系的权重值，对评委定量的评估输入，通过应用格拉布斯检验法，较好地剔除了评委原始分数中的异常值，消除了评委的主观偏差，使指挥效能的评估更加科学合理，是一种高置信度的评估方法。基于格拉布斯校验法的成绩评估方法实现过程描述如下：

a)定制层次化的指挥评估指标体系；

以图1为例，建立一个两级评估体系。

图1　层次化的指挥评估指标体系

在图1中，评估总指标是评估总结果，一级指标是评价受训学员训练效果和能力需关注的重要方面，二级指标是与一级指标相关的、评委能够定量或定性估计的具体的细化的指标，二级指标为底层指标，有多个评委分别对各个二级(底层)指标评判。对于定量评估输入，用百分数表示，即[0，100]。假设有n个评委实施评估，一级指标有p个，每个一级指标有m个二级指标(m可不同)。

b)应用层次分析法，对定制的层次化指标设定各评估因子相对于其上层因子的权重；

c)依据指标定义，各个评委输入指标体系最底层评估因子的评估结果数据；

d)根据定量的评估输入，应用格拉布斯检验法，计算获得综合评估结果。

1.1确定评估指标体系

陆军作战模拟训练的评估指标是用来衡量和计算军队指挥达到预定目的程度的标准，是评估的准绳。评估指标是指标名称、指标含义和测量值得计算标准等组成[6]。合理设置、做出规范的评估指标体系是受训学员训练效果评估的基础，但由于评估指标体系的建立与不同国家的作战条令、战术规则、国情背景、训练科目等密切相关，不可能提出对所有用户或是评估对象都普遍适用的评估指标体系。

因此本文提出一种开放式的层次递阶结构的评估指标体系的思想，满足不同用户多样化的评估需求。评估人员可依据训练任务、目的以及训练对象制定层次递阶结构的评估指标体系，将评估总指标逐层分解，不同类的指标构成不同的层次，直至分解到便于量化的具体指标。同时要遵照如下基本原则：

a)准确性原则：依据训练大纲、训练要求，选取反应学员对抗训练能力的指标；

b)关键性原则：选取训练目的重点关注的反映学员能力特征的指标；

c)可量化原则：选取的指标应能量化描述，或者能够转化为量化描述；

d)客观性原则：选取的指标应能客观反映系统内部状态，不因人而异。

1.2确定指标权重

指标权重反映了各个指标在“指标集”中的重要性程度，直接影响到训练评判的结果。确定指标体系权重的方法可分为主观赋值法和客观赋值法，两类方法各有利弊，主观赋值法客观性较差，但解释性强；客观赋值法确定的权重精确度高，但有时会与实际情况相悖，而且解释性差，因此本评估方法中采用定性和定量相结合的层次分析法确定指标权重，能够较好地确定符合一致性要求的权重。由于层次分析法属于常用方法，实现过程可参考《效能评估方法研究》[7]，本文不再赘述。

1.3格拉布斯校验法

对于评委定量的评估输入，若由n个评委打分，则每个底层指标对应有n个分值，应用格拉布斯检验法的4个计算步骤如下：

b)原始分数排序并计算统计量；

将原始分数从大到小进行排序，由于数组中最大、最小数出现异常的概率较大，故检验时从最大数Xmax、最小数Xmin向中间数进行检验。根据以下公式，分别计算统计量Tmax、Tmin。

c)判定异常值；

依据格拉布斯判据表，可选定评估的置信度为95%、97.5%、99%，即显著性水平α=0.05/0.025/0.01，当原始分值个数n，查表得出剔除标准T。格拉布斯(Grubss)判据表[8]见表2。

表2　格拉布斯(Grubss)判据表

将统计量Tmax、Tmin与剔除标准比较，如Tmax>T、Tmin>T，则最大值、最小值2个数据为异常值，即表明该评分异常，否则判定无异常，继续进行查找。

按两头极值向中间数据排队的顺序，对评委的原始分数依次检验。循环a、b、c、d步骤，继续选取剩余的数据进行检验。

d)确定评价矩阵；

检验结束后，采用最终筛选后的有效数的平均数作为每个底层指标的评判结果，得到一级指标对应的二级指标评价矩阵B=(b1,b2,…,bm)TR=(r1,r2,…,rm)T。

e)得出一级指标值；

由二级指标权重和评价矩阵R，得到一级指标值：

f)得出评估总指标值。

其中ωj(j=1…p)为一级指标相对于总指标的权重。

2应用实例

在某次陆军机械化步兵团作战模拟训练中，训练科目为阵地进攻战斗计算机模拟对抗训练，训练目的为评估受训机关指挥员的指挥对抗能力，并给出成绩评估结果。训练大纲为红方集结在平原丘陵相间的中等起伏地，行动地幅正面21千米，纵深50千米，作战目的为挫败蓝方的行动目的。红方集中主要力量特别是信息对抗力量和火力主攻方向，形成重点攻击部署，实现纵深攻击，打击蓝方纵深目标，快速连续攻击，迅速歼灭敌方，达成战斗目的。蓝方采取积极防御，力争主动的交战原则，实时伏击、突击，在前沿阵地和有利时机下实施反冲击，歼灭敌方。

2.1定制评估指标体系

通过研究机械化步兵团阵地进攻战斗训练大纲和交战规则，根据评估指标体系确定原则，选取以下3项作为受训指挥员的评估指标，包括：

a)作战指挥流程筹划能力E1，主要包括筹划阶段的完整性E11，实施阶段的顺畅性E12；

b)作战计划拟制能力E2，主要包括战斗方向合理性E21，重点目标合理性E22，战斗配置合理性E23；

c)动态处理能力E3，主要包括指令下达时机E31，计划拟制时间E32，预案匹配能力E33。

以机械化步兵团阵地进攻战斗训练大纲为例建立一个三级评估体系，如图2所示。

图2　机械化步兵团阵地进攻战斗评估指标示意图

2.2确定指标体系权重

采用层次分析法对指标体系权重进行赋权操作，将权重评判信息进行统计，以准则层权重评判矩阵为例，如图3所示。

图3　层次分析法获得指标权重界面

获得权重值为W=(0.11,0.25,0.64)T;

计算判断矩阵R的最大特征根为λmax=3.041，进行一致性检验CI=0.0205,

CR=0.035<0.1满足一致性检验，则W=[0.11,0.25,0.64]为准则层的指标权重。

同理可通过输入评估细则层的指标权重获得计算结果为:

2.3综合效能计算

以机械化步兵团阵地进攻战斗训练大纲和评估指标体系为评价依据为例，由5位评委结合训练回放过程(如图4所示)，对受训学员操作给出评分。

图4　训练回放过程界面

应用格拉布斯校验法对输入数据进行判断，获得评估细则指标的数据值。5位评委打分结果如图5所示。以筹划阶段完整性为例，评估导演2输入60，与其他评估导演输入分数差别较大，利用格拉布斯校验法对其进行校验，得到较为准确、客观的底层指标的输入值。

图5　多个评委打分结果界面

一级评价矩阵为R=[77.37,81.99,86.97]

综合评估结果为E=W·R=(0.11,0.25,0.64)T·[77.37,81.99,86.97]=84.67

通过格拉布斯校验方法，将其中评委笔误或其他人为因素造成的异常数据直接给予了剔除，能够减少人为主观因素对综合评判结果造成的影响，修正了综合评估结果，给出了较为客观的量化结果。

3结语

基于格拉布斯校验法的陆军模拟训练学员成绩评估方法，可灵活定制评估指标体系，能够适用于不同国家用户的指挥评估要求，实现了可消除评估人员主观偏好等随机不确定因素的指挥评估量化结果。在该方法基础上开发了作战模拟训练评估软件，在陆军作战模拟训练系统中得到了很好的应用，实际应用说明了基于格拉布斯校验法的成绩评估方法的可行性，在陆军作战模拟训练系统中学员成绩评估效果较好，给出的成绩能够使指挥员和受训人员信服，为下一步的训练提供参考方向。

参考文献：

[1]孙宗良，盛文，同伟.模拟训练系统效能评估方法研究[J].空军雷达学院学报，2009,23(5):341-343.

[2]王钦钊,郭傲兵,等.基于AHP的装甲分队模拟训练成绩评估方法[J].计算机仿真,2015,32(10):458-461.

[3]吴冲华,滕宗平,等.炮兵指挥系统模拟训练评估模型及其实现方法[J].火力与指挥控制,2011,(8):141-143.

[4]Tamrat W T，Alexander V，Edwin V，et al. An evaluation and selection methodology for discrete-event simulation software[C] Proceedings of the 2002 Winter Simulation Conference，2002：67-75.

[5]Grubbs F E.Sample Criteria Testing OutlyingObservations[J].The Annals of Mathematical Statistics,1951,22(1):68-78.

[6]程启月．基于信息系统的指挥效能评估与风险管理[M]．北京:国防大学出版社，2011.

[7]张杰,唐宏,苏凯等著. 效能评估方法研究[M]. 北京:国防工业出版社，2009.

[8]王中宇,刘智敏,夏新涛,等.测量误差与不确定度评定[M].北京:科学出版社,2008.

The Evaluation Method of Student Performance in Army Simulation Training System Based on the Grubbs Calibration

JIAO Xiu-zhen,SHI Zi-ye

(China Academy of Electronics and Information Technology, Beijing 100041, China)

Abstract:Training students performance evaluation is an important part of the simulation training system, whether the evaluation result is reasonable will affect the training students' enthusiasm and the training level enhancement. In order to improve the accuracy of training evaluation results, starting from the actual needs of the army simulation training system, we oppose the performance evaluation method in army simulation training system based on the Grubss rule. According to the need to build evaluation index system to meet the diverse needs of different users, and break a new way to solve the unsure and stochastic problems, such as the subjective preference of the evaluation personnel. Through the training of the students of a certain army combat simulation training system, carrying out an application case study, we verified the validity of this method.

Key words:Grbuss rule; Performance evaluation; Simulation training system

doi:10.3969/j.issn.1673-5692.2016.03.012

收稿日期：2016-03-11

修订日期：2016-05-20

作者简介

焦秀珍(1985—) ,女,山西大同人,工程师,主要研究方向为计算机仿真、效能评估、仿真支撑模型设计；

E-mail：jiaoxiuzhen85@126.com

石子烨(1987—)，女，山东临沂人，博士，工程师，主要研究方向为数据综合处理、仿真支撑模型设计。

《中国电子科学研究院学报》编辑部诚聘审稿专家

为了更进一步完善稿件评审机制，提高稿件的评审质量及评审效率，缩短本刊出版时滞周期，确保具有原创性高质量学术水平的稿件及时发表，本刊编辑部现面向国内外诚聘本学科各领域审稿专家。

诚聘审稿专家的条件如下：

·具有博士学历、副教授及以上技术职称，具有良好的科研道德，处于本学科各研究领域的中青年专家、学者。

·熟悉并了解所从事研究领域国内外最新的研究状况及发展趋势。具有良好的专业英语水平，能熟练使用网络对评审的稿件进行文献的查新、检索。

·近年来在国外重要检索源刊或国内主要核心期刊上发表过数篇以上的学术性论文。

·有意从事兼职审稿工作，具有较高的学术造诣；对稿件的评审能做到认真负责、客观公正；能按本刊稿件评审要求及时返回审稿意见。

有意者请联系我编辑部,联系电话：010-68893411，邮箱：dkyxuebao@vip.126.com