虚拟仿真实验项目建设质量评价研究

张海军，闫 琼，张 睿，张国辉

（1. 郑州航空工业管理学院 航空工程学院，河南 郑州 450015；2. 郑州航空工业管理学院 管理工程学院，河南 郑州 450015）

1 问题的提出

实验教学是高校教学中十分重要的环节，对培养学生的动手能力、创新能力具有十分重要的意义。随着教育信息化的发展，实验教学方式在不断地发生变化，在实验教学与信息化技术深度融合的趋势下，虚拟仿真实验教学应运而生。2017 年以来，教育部及各省教育厅陆续开展了示范性虚拟仿真实验教学项目建设工作[1-4]。与传统实验项目相比，虚拟仿真实验项目具有受众面广泛、学习便捷、无地域限制等优势，优秀虚拟仿真实验项目的大力推广应用，可以有效实现优质教育资源的共享。

近年来，陆续有学者对虚拟仿真实验教学开展了相关研究。胡今鸿分析了虚拟仿真实验教学资源共享过程中存在的问题，提出了三层平台组织架构的运行机制[5]。许丽等人探索和实践了虚拟仿真实验公共实验室的运行及共享机制[6]。郭婷等人探讨了虚拟仿真实验项目的建设内涵以及虚拟仿真与实验教学的关系[7]。蒿丽萍针对职业教育虚拟仿真实训平台，建立了评价指标体系，虽未进行定量计算，但较详细地进行了定性描述[8]。夏正新研究了医学虚拟仿真实验教学平台的构建方式，并建立了相应的运行和激励机制[9]。田小丹针对基于移动学习的实践教学绩效评价指标体系进行了研究，应用层次分析法确定了各指标权重[10]。王博等人采用专家评分法对虚拟仿真模拟手术系统进行了评价研究，获得虚拟仿真模拟手术系统能够有效提升医生技能的结论[11]。

综上所述，现有针对虚拟仿真实验教学的研究内容主要集中在教学资源开放共享机制探究、运行机制及保障机制研究、共享平台构建、具体课程建设实践等方面[12-13]，虽然有的建立了针对本专业虚拟仿真实验平台的评价指标体系，为虚拟仿真实验项目的实施与评价提供了有益的思路，但是仍然存在如下问题。

（1）针对虚拟仿真实验项目的评价多为定性评价。定性评价往往是由专家对项目建设质量进行评语性描述，评价结果无法进行量化，也无法就多个虚拟仿真实验项目的建设绩效进行量化排名。

（2）评价指标体系的权重赋权方法有待改进。现有文献一般是采用专家打分法或层次分析法对评价指标体系进行赋权研究。专家打分法需要进行多轮调查分析，专家易产生疲惫感从而降低积极性，而且参与评价的专家人数较多，评价周期较长。运用层次分析法时，如果评价指标体系复杂，则需要建立多个判断矩阵，还需进行一致性检验，计算过程繁琐，计算量大，不便于推广。

（3）有的文献对虚拟仿真实验项目进行了实例计算，所采用的方式为专家评分法。但由于虚拟仿真实验项目建设质量评估指标具有复杂性、不确定性，往往难以明确进行定量评价，大多只能采用一般、不错类的模糊词汇来描述。所建立的模型无法真实准确地再现与映射评价者的意见。

鉴于此，本文首先采用德尔菲法（Delphi methods）进行虚拟仿真实验项目建设质量评价指标体系构建，再采用序关系分析法分析计算各评价指标的权重，而后基于模糊综合评价法[14]对项目建设质量进行综合评价，最后进行了实例验证。

2 评价指标体系的构建

虚拟仿真实验项目建设质量评价是一项复杂的系统工程，涉及教学内容、教学设计、仿真效果、平台统计等诸多方面，在全面分析已有的质量评价相关研究成果基础上，首先采用德尔菲法构建通用性高、适用性强的虚拟仿真实验项目建设质量评价指标体系。对于所要分析的虚拟仿真实验项目建设质量评价问题先以问卷形式征求校内专家意见；然后整理归纳这些专家意见，并将整理的结果反馈给他们；重复进行前述步骤，直至专家意见达成一致为止。实施流程如图1 所示。

图1 德尔菲法的工作流程图

根据专家反馈意见，虚拟仿真实验项目建设质量评价体系分为三层。第一层是目标层，即虚拟仿真实验项目建设质量评价；第二层为准则层，也可称为一级指标，是影响运行系统的内在和外在因素，包括教学内容、教学设计、仿真效果、平台统计四个准则；第三层为二级指标，各二级指标是对一级指标的进一步细分。所建立的虚拟仿真实验项目建设质量评价指标体系如图2 所示。

图2 虚拟仿真实验项目建设质量评价指标体系

2.1 教学内容

教学内容是学生在进行虚拟仿真实验项目学习过程中被有意传递的关键信息，是体现项目建设质量好坏的重要准则，包括三个二级指标，分别是知识构架、能力构架和规范完整性。知识构架反映所授教学内容的关键知识点是否明确、突出，各知识点之间的链接是否连续自然。能力构架反映所授教学内容是否能够对学生核心能力或技能的培养形成有力支撑。规范完整性反映教学内容是否相对完整，教学过程中采用的文字、符号、单位等是否符合相应的技术规范，操作实施过程是否进行了规范化设计。

2.2 教学设计

教学设计反映的是虚拟仿真实验项目是否进行了系统规划，包括三个二级指标，分别是目标设计、交互设计和评价设计。目标设计是指虚拟仿真实验项目的教学目标是否清晰，教学定位是否准确，反映的是教学目标是否适应学生的认知能力。交互设计反映学生在学习过程中的操作是否便捷，有无教、学交互。评价设计是指针对学生的学习过程是否能够进行阶段性评价及综合评价。

2.3 仿真效果

仿真效果是虚拟仿真实验项目绩效的一种外在表现形式，包括软件设计、制作效果、操作性能三个二级指标。软件设计反映设计的软件导航是否清晰，交互方式是否灵活多样，以及仿真元素是否逼真等。制作效果反映制作的精细程度，指仿真过程中界面布局是否合理新颖，色彩搭配是否良好，以及仿真环境是否逼真等。操作性能指在操作过程中是否方便流畅，是否有卡壳及死机现象，特定环境下对一些关键器件的操作是否可以实现拆卸、透视等功能。

2.4 平台统计

虚拟仿真实验项目往往需要在共享服务平台内进行展示及应用，平台统计的数据结果应真实地反映实际使用者的体验效果，因此在虚拟仿真实验项目的质量评价中，需要考虑平台统计的数据，包括学生评教和点击率两个二级指标。学生评教反映使用者对虚拟仿真实验项目的价值判断，点击率则反映虚拟仿真实验项目受到的关注程度。

3 虚拟仿真实验项目建设质量评价模型

3.1 基于序关系分析法确定评价指标权重

序关系分析法（G1 法）于2011 年首次提出。与专家打分法相比，G1 法先由专家对评估指标进行分析排序后，再进行打分计算，无需经过多轮调查；与层次分析相比，G1 法无需检验一致性，计算更加简单，便于应用。采用 G1 法对虚拟仿真实验项目的建设质量评价指标进行权重计算，将有效降低评估周期和成本，同时使计算过程更为简单。计算步骤如下。

步骤一：依据所建立的虚拟仿真实验项目建设质量评价指标体系，建立评价指标集合：

步骤二：确定评价指标之间的序关系。对评价指标的重要程度进行定性排序，若第i个指标的重要性不低于第j个指标，则记为对所有的指标进行比较排序后，得到新的有序的评价指标集合：且满足：若

其中：wk表示指标bk的权重，rk的取值参考表1。

表1 rk 赋值参考表

步骤四：依据式（1）计算各指标的权重值如式（2）和式（3），以及评价指标的权重集合W：

3.2 模糊综合评价决策模型

其中，rij代表第i个评价指标隶属于第j种评语的隶属度。

对模糊综合评价向量S进行归一化处理，依据最大隶属度法确定最终的评价结果。其中◦为模糊乘算子。

4 实例计算

弹射器虚拟仿真实验系统是我校最早立项建设的虚拟仿真实验项目，属于“质量工程学”课程的课内实验，主要面向质量管理工程、工业工程等专业本科生。

在系统未开发之前，学生进行实验时需利用学院自制的弹射器进行数据采集，而后对数据进行多因素多水平实验设计分析，整个实验耗时长且对实验场地有一定要求。开发弹射器虚拟仿真实验系统后，学生在电脑终端即可进行数据采集，不仅改善了实验环境，也提升了学生的学习兴趣，教学效果良好。以下以弹射器虚拟仿真实验系统为研究对象，对其进行建设质量评价。

4.1 确定评价指标权重

根据图2 所示的评价指标体系，建立评价指标集合，一级指标集合为：

首先计算一级指标的权重。计算步骤如下：

（1）确定一级指标的序关系。邀请校内专家对一级指标的重要度进行定性排序，得到：仿真效果,教 学设计,平 台统计} 。

（4）以此类推，按照上述的方法，可以依次计算出一级指标ui对应的各二级指标uij的权重wij，根据式（6）计算可得各二级指标的综合权重值。具体的计算结果如表2 所示。

表2 指标权重值计算结果

4.2 弹射器虚拟仿真实验系统模糊综合评价

表3 各二级指标评价结果统计表

依据表3 统计结果，得到模糊综合评价矩阵R。

根据式（5），得到综合评价向量：

5 结语

针对虚拟仿真实验项目建设质量评价问题，首先采用德尔菲法构建了可量化的评价指标体系；然后基于序关系分析法及模糊综合评价法建立了虚拟仿真实验项目建设质量评价模型；最后以弹射器虚拟仿真实验系统为例，对所建立的评价模型进行了实例验证。

基于序关系分析法计算评价指标权重，方法相对简单，易于推广；结合调查问卷及网络平台的统计结果，基于模糊综合评价法对虚拟仿真实验项目进行评价的方案可行，为虚拟仿真实验项目建设质量评价提供了一种新的思路。后续研究将重点关注以下方面。

（1）序关系分析法为主观赋权法，评价指标权重的计算过于依赖决策者的主观感受，后续应进一步研究将主观赋权法与客观赋权法有机结合应用于虚拟仿真实验项目建设质量评价的可行性，以保证评价指标权重值的可靠性。

（2）虚拟仿真实验项目建设质量评价指标体系较为复杂，有的指标（例如点击率）可以得出定量分值，有的指标则具有一定的模糊性。本文在评价过程中未对评价指标进行属性划分，把评价指标全部定义为模糊指标的做法需进一步改进。后续可以考虑将评价指标进行属性划分，并将犹豫模糊软集应用于虚拟仿真实验项目建设质量评价，从而真实反映决策情境，保证评价结果的真实性。