武器装备IETM数字化教学性能评估

杜晓明，卜昭锋，张建新, 裴国旭

(陆军工程大学 石家庄校区， 石家庄　050003)

信息化背景下的装备训练离不开交互式电子技术手册(Interactive Electronic Technical Manual，简称IETM)，近年来，依托IETM辅助教学训练已越来越受到IETM研究、开发与使用人员的关注。IETM 数字化教学是借助计算机技术，通过集成各主流标准，使IETM 具有了教学、培训和训练功能[1]。将IETM 应用于武器装备的教学训练，提供了一种新的培训和训练手段，然而IETM数字化教学性能，是提高部队训练质量、缩短训练周期以及节约训练经费的关键因素。但当前的面向教学的IETM存在着制定标准不统一、数据内容不重用、学习过程难跟踪、训练水平难掌握等问题，对推进我军装备模拟训练的现代化建设有重要影响。

层次分析法(AHP)和模糊综合评判属于传统但较为成熟的评估方法。层次分析法是一种定性与定量分析相结合的系统评价方法，适用于评价对象结构较为复杂的情况，各个指标不相互耦合，常应用于指标权重的确定；模糊综合评判是用模糊数学方法对多属性事物做出一个较为合理的综合这些属性的总体评价。两种方法应用较为广泛，常用于效能评估、效果评价以及能力评价等[2]。

采用AHP与模糊评判相结合的方法对IETM数字化教学的性能进行评估，可以为开发人员提供有效的决策支持，对系统的优化设计有重要的借鉴作用。

1　建立评估指标体系

目前，我军开发的面向教学的IETM，已逐渐用于装备培训和辅助训练，取得了一定的效果，但是教学资源在不同平台间的共享性不强，且功能较为单一。而IETM数字化教学是将IETM融合E-Learning功能，集成符合SCORM标准的学习管理系统(Learning Management System,简称LMS)[3]以及用于经验跟踪的学习记录存储器(Learning Record Store,简称LRS)[4]，从而实现对课程学习的管理以及学习过程、学习效果的经验跟踪。

为了准确的建立评估指标体系，通过咨询研制单位以及使用单位的意见，并通过可行性分析，根据IETM数字化教学的主要性能和效果，对评价指标进行了选取。提出了系统性能的5个基本要素,即系统功能、系统组成、技术结构、运行性能和集成环境，并对这些要素指标进行了进一步的细化，最终形成了由评判目标层A、基本要素层B和指标层C构成的递阶层次结构，如图1所示。

2　利用AHP确定评估指标权重[2,5-6，10]

指标权重是各指标要素在整个指标体系中的重要程度，因此，确定权重对IETM数字化教学的性能评估至关重要。利用AHP来确定权重，是通过对同一层次的各元素关于上一层次准则的重要性两两进行比较，从而建立判断矩阵，通过求解判断矩阵最大特征值和特征向量(即权向量)得到该层次各指标要素相对于上一层次准则的权重，并通过一致性检验来检查判断矩阵中各元素间的关系是否恰当，以得到符合要求的权重。

2.1　建立判断矩阵

建立判断矩阵，需要对每一层次中各个元素的相对重要程度用数值表示出来，这个过程需要经过专家对模型中各层次元素的相对重要程度进行两两比较，这种比较要通过标度来进行衡量。下面采用指数标度法对元素间的相对重要程度赋值，如表1所示。

表1　判断矩阵指数标度及含义

通过对A—B层各元素相对于总目标R的两两比较，可得到判断矩阵R为

同理，对B—C层各个相关联的指标因素比较，可得R1、R2、R3、R4、R5五个判断矩阵，如下所示：

2.2　层次单排序及一致性检验

层次单排序是根据各判断矩阵来计算对于相关联的上层元素而言本层次各元素的相对重要程度的权重，可归结为计算各判断矩阵的特征根与特征向量(即权向量)，计算最大特征根及其对应的特征向量的方法主要有幂法、方根法、正规化求和法等。对于判断矩阵R，需满足式(1)：

Rω=λmaxω

(1)

其中，λmax为R的最大特征根，ω为对应于λmax的归一化特征向量。

由于各指标因素之间存在广泛的差异性，建立判断矩阵时，对指标间的相对重要性容易产生偏差，判断矩阵很难做到完全的一致性。因此，需要对其进行一致性检查，通常要求矩阵中的各元素基本上合理，相互之间不要有太大的矛盾即可，只有判断矩阵通过一致性检验，所求得的特征向量才符合要求。本文通过公式 (2)、(3)求得一致性比率参数CI和CR的值，来对判断矩阵进行一致性检验。

(2)

(3)

当一致性指标CI=0时，λmax=N,说明判断矩阵具有完全的一致性。当随机一致性指标CR<0.1时，认为判断矩阵符合一致性；当CR≥0.1时，应对各指标因素间的重要程度进行适当调整，直到CR<0.1，实现一致性为止。其中，公式中的N代表判断矩阵的阶数，平均随机一致性指标RI的值如表2所示。

表2　平均随机一致性指标RI的值

2.3　确定评估指标权重

下面采用方根法来对A-B层R的最大特征根和特征向量进行求解，得到B层各指标相对于R的权重，如表3所示。

表3　A-B层R1、R2、R3、R4、R5的权重

最大特征根λmax=5.256 3,CI=0.064 1，RI=1.12,CR=0.057 2,CR<0.10;即判断矩阵R满足一致性。权重ω=(0.389 6, 0.239 1, 0.154 1, 0.156 3, 0.061 0)T可以作为A-B层指标的权重。

同理，可得到B-C层各个指标的权重，并分别对判断矩阵进行一致性检验。如表4～表8所示。

表4　B-C层 R11、R12、R13、R14、R15的权重

最大特征根λmax=5.086 1,CI=0.021 5，RI=1.12，CR=0.019 2,CR<0.10;即通过一致性检验，权重ω1=(0.064 6, 0.253 5, 0.413 2, 0.163 4, 0.105 3)T。

表5　B-C层 R21、R22、R23的权重

最大特征根λmax=3.106 5,CI=0.053 3，RI=0.58，CR=0.091 9,CR<0.10；即通过一致性检验，权重ω2=(0.530 4， 0.300 0， 0.169 6)T。

表6　B-C层 R31、R32的权重

最大特征根λmax=2,CI=0; 判断矩阵具有完全的一致性，权重ω3=(0.560 8，0.439 2)T。

表7　B-C层 R41、R42、R43、R44的权重

最大特征根λmax=4.120 2,CI=0.040 1，RI=0.90，CR=0.044 6,CR<0.10；即通过一致性检验，权重ω4=(0.343 8, 0.211 0, 0.101 4, 0.343 8)T。

表8　B-C层 R51、R52、R53、R54的权重

最大特征根λmax=4.037 4,CI=0.012 5，RI=0.90，CR=0.013 9,CR<0.10；即通过一致性检验，权重ω5=(0.416 7, 0.122 9, 0.188 5, 0.271 8)T。

3　建立模糊评估模型[2,7-9]

由于模型中的各个评估指标因素都是模糊概念，很难用具体的数值表述出来，因此，应用模糊评判理论对IETM装备数字化教学系统进行评估。其具体过程是将评价指标看作是多因素组成的模糊集合，即因素集；再设定这些因素所选取的评审等级，组成评语的模糊集合，即评判集；分别求出各单一因素对评审等级的隶属度，即模糊矩阵；最后根据各个因素在评价目标中的权重分配，通过计算评价进行量化。

1) 选取因素集和评价集

确定因素集U={u1,u2,…,un}，u表示影响目标评判的因素。IETM装备数字化教学系统的因素集分别为：

R={R1，R2，R3，R4，R5}

R1={R11，R12，R13，R14，R15}

R2={R21，R22，R23}

R3={R31，R32}

R4={R41，R42，R43，R44}

R5={R51，R52，R53，R54}

2) 建立评价集

确定评判集V={v1,v2,…,vm}，v表示影响目标评判值的等级。在评估过程中，需要确定各指标的评价集，以便对各评价指标定量分析。下面采用4级10分制，把评价集划分为4个评价等级，即V={V1，V2，V3，V4}={优秀，良好，中等，一般}。系统性能评分标准如表9所示。

表9　系统性能评分标准表

选择各区间的中值作为等级的参数，则4个等级所对应的参数为V1=9.25、V2=8、V3=7、V4=5，其参数列向量为V=(9.25，8，7，5)T。

3) 单因素评判和确定权重集

单因素评判通常采取专家打分的方式进行。对单个因素Ri(i=1,2,…,n) 进行评判，将n个因素的评判集组成一个总的评价矩阵。在确定评价因素，并选定评价集的基础上，对每个因素进行打分，确定其对评价集等级的隶属程度，综合10位专家意见对各个指标影响因素进行综合评判，组成了一个总的评价矩阵，如表10所示。

对前述通过AHP求得的判断矩阵R，R1，R2，R3，R4,R5的权重，取小数点后两位后，如表11所示。

4) 计算模糊评价矩阵

单因素评判矩阵R可以看出：R的第i行反映了第i个因素影响评判对象隶属于各个评语集的程度；R的第j列反映了所有因素影响评判对象隶属于第j个评语集元素的程度。当权重集ω和单因素评判矩阵R已知时，可通过公式(4) 求得综合评判矩阵：

(4)

式(4)中“°”表示合成运算，一般有四种计算模型，即：“取大取小型—主因素决定型、乘积取大型—主因素突出型、取小上界和型以及乘积求和型”。乘积求和型对所有因素依据权重大小均衡兼顾，适用于多个因素起作用的情况，这里采用此运算，即：

(5)

B1=ω1∘R1=0.07，0.25，0.41，0.16，0.11 ∘

B1=0.333，0.236，0.236，0.195

同理可求得B2、B3、B4、B5，由此得到各准则关于总目标R的隶属度矩阵：

求出总目标R的隶属度向量，并进行归一化处理：

B=ω∘R=0.39，0.24，0.15，0.16，0.06 ∘

B=0.391，0.268，0.213，0.122

5) 求出所研究阶段的性能得分

对照评价集参数向量V=(9.25，8，7，5)T，IETM装备数字化教学系统的分数为：

S=B∘VT=9.25×0.391+8×0.268+

7×0.213+5×0.122=7.862

6) 确定系统性能效果

通过对照系统性能评分标准表，S∈[8.5,7.5)，由此可确定IETM数字化教学的性能为良好，可以满足装备训练需求。

4　结论

在装备信息化建设的进程中，IETM用于教学、培训、训练已经成为趋势，E-Learning理念促使了IETM向数字化教学方向发展。IETM融合E-Learning可以拓展IETM的功能，然而二者的融合还存在着标准不一、功能各异等问题。因此，急需一种机制来解决这些难题，本文采用层次分析与模糊评判相结合的方法对IETM数字化教学的性能进行评估，建立了评价指标体系，确定了各评价指标的权重，最终形成了模糊评估模型。从分析和计算过程来看，各种指标权重和评价标准在一定程度上还依赖于专家的经验，量化较为困难，存在一定的主观因素。但总体来看，评价结果比较准确，基本真实反映了IETM数字化教学的性能水平。

由于IETM数字化教学的功能组成较为复杂，评价指标体系的建立还有待于进一步优化论证，评估方法还有待于与先进评估手段融合，使得评估结果更具有客观性和可靠性，对系统开发人员提供更佳的决策支持。

参考文献:

[1]徐宗昌, 张光明, 李博. 基于IETM的装备交互式训练研究[C]. 三亚: 中国系统仿真技术与应用会议, 2012:670-673.

[2]方龙，冯根生，李晓明.现代军事教育训练中的电子学习——E-Learning[J].坦克兵学刊，2008(2)：19-20.

[3]石全,王立欣等.系统决策与建模[M].北京:国防工业出版社,2016.

[4]马小雨.基于模糊层次分析法的计算机网络安全评价研究[J].信息通信，2017(1)：98-99.

[5]方海光,胡神神,杜舟.基于xAPI学习记录的LMS网络系统架构研究[J].中国电化教育,2015 (2):65-69.

[6]PETER BERKING. Choosing a Learning Record Store Version 1.10[J]. ADL.2016:5-7.

[7]JIANG Weiwei.Study on IETM Domain Knowledge Representation[J].Scientific Journal of Information Engineering,2013,63(3):56-62.

[8]郝增明.数字化学习过程评价的客观指标[J].现代远距离教育，2004(2)：47-48.

[9]叶珍．基于AHP—模糊综合评判法研究及应用[D]．广州：华南理工大学，2010：7-16.

[10] 杨海涛，马东堂.层次分析法中判断矩阵的一致性研究[J].现代电子技术，2007(258)：46-48.

[11] 郭齐胜，郅志刚，杨瑞平,等.装备效能评估概论[M].北京：国防工业出版社，2005.

[12] 张凭博.基于AHP模糊综合评价法的企业培训效果评估研究[D].大连：大连海事大学，2008.

[13] 刘志勇，姚俊金，赵美.高新装备军民融合维修保障风险评估方法[J].兵工自动化，2016(6):27-30.

[14] 杜晓明，梁伟杰，朱宁.交互式电子技术手册原理与技术[M].北京：国防工业出版社，2012.

[15] 荀丽丹，刘娴.数字化教学应用探索[J].信息化教学，2016,21(128)：128-129.