基于层次分析法的中职网络课堂教学效果评价指标构建

摘要：本文利用层次分析法构建以网络教学设计评价指标体系为目标层，教学内容，教学实施，教学反馈，诊断提升为准则层，以及科学性，规范性，严谨性，启发性，情境性等29个因素为指标层的三级评价指标体系。参照商业化网络课程设计标准及中职生网络学习特点，结合互联网知识传播特性，采用专家打分的方式构造判断矩阵，并计算指标层综合权重，成功建立一个系统、客观、操作性良好的网络教学设计评价模型。

Summary：This paper uses the analytic hierarchy process to build a network of teaching effect evaluation index system ，and takes it as the target layer.It also uses teaching content， teaching implementation， teaching feedback， and teaching diagnosis and upgraded as the criterion layer. Eventually it forms 29 factors of three-level evaluation index system including scientific， standardized， rigorous， enlightening， contextual and so on. According to the design standards of commercial online courses and the characteristics of online learning for secondary vocational students， it combines with the characteristics of internet knowledge transmission， the judgment matrix constructed by expert scoring， and the comprehensive weight of the index layer to establish a system successfully， which is a objective and well-operable online teaching effect evaluation model.

关键词：层次分析法 教学效果 评价指标

Keywords： analytic hierarchy process; teaching effect; evaluation index

一、研究背景

随着“互联网+”教育的深入推进，教育信息化进入2.0时代，教育信息化网络平台日趋完善，教师信息化应用能力显著提高，“互联网+”教育打破了传统教育时间与空间的限制，实现优质教育资源共享，满足学生个性化学习需要[1]。同时互联网提升了教育服务效率，优化在线课堂组织形式，将前期测评、过程监控，成果反馈融为一体，提高学习的针对性。互联网教育凭借着独特的优势，成为传统课堂教学的有益补充，然而在其快速发展过程中，如何有效评价网络教学效果，也引发了专家和学者的关注。

在国外网络教学效果评价体系的研究，主要分为三个方面。（1）网络教学平台的开发和评价，以OpenLearn为代表的公众学习平台，为用户提供免费访问开放大学的教育资源。以Udacity为代表的商业平台，开发高等教育在线课程，并提供行业应用型人才的在线培训和认证。自从2003年，国外针对不同类型的网络教学平台进行比较和评价研究，已经形成多個较为典型的网络教学平台评级指标体系。（2）网络教学中教师的作用，认为课程的组织者，策划者和实施者，也是教学反馈的评估者，对于教师的标准化训练至关重要[2]。（3）从用户体验出发，美国教学设计与适用专业委员会从可用性，技术性和教学性三个方面对在线学习进行了评价并提出在线课程的应用标准。

在国内网络课程质量体系构建中，学者提出必须从学校支持，课程开发，教学过程，教学组织，学生服务，教师培训和教学效果等多方面进行综合管理，而网络教学设计研究，则认为教学设计应该体现互联网碎片化学习的特点和情景迁移的学习习惯[3]。

综上所述，国内外对网络教学设计的评价指标体系的研究各有所长，还未形成一套操作性强的评价标准，缺少各指标在评价体系中科学的权重赋值。因此，构建中职院校合理、系统、有效的新型网络教学效果评级指标体系，具有相对重要的应用和实践价值。

二、网络教学效果评价指标体系构建

（一）构建三级评价结构模型

为确保评价指标的科学性和有效性，项目组邀请网络教学经验丰富的专家和一线教师组成研究团队。首先根据网络教学的特点，认真详细分析构建总目标，然后根据问题的性质和要达到的总目标，将问题分解为不同的组成因素，并按照因素间的相互关联影响以及隶属关系将因素聚集组合，最终将问题归结至底层，形成客观，科学，可执行的行动方案和解决措施[4]。三级评价指标体系（见表1）

（二）构建两两比较的判断矩阵

在确定各层次各因素之间的权重时，借助Saaty的九分位标度法，采用相对尺度，以尽可能减少性质不同的因素相互比较的困难，提高准确性[5]。通过对同一层次两两元素重要性的比较，可以得到表示本层某一因素针对其他因素的相对重要性的成对比较矩阵A，其中满足（A-λE）W=0的λ值叫做矩阵A的特征值，W是特征向量，最大特征值λmax所对应的方程组的解向量W（w1，w2， …，wn）即为各个因素的权重。

（三）层次单排序和一致性检验

层次单排序：W的元素为同一层次因素对于上一层次因素某因素相对重要性的排序权值，这一过程称为层次单排序，能否确认层次单排序，需要进行一致性检验，所谓一致性检验是指对成对比较矩阵确定不一致的允许范围[6]。一致性检验是通过计算一致性比例来进行：在CR=CI/RI中CI是一致性指标，RI是平均随机一致性指标，若CR<0.1，则通过一致性检验;若CR>0.1，则一致性检验未通过。

如果成对比较矩阵是一致阵，则我们自然回取对应于最大特征根λ的归一化特征向量W（w1，w2， …，wn），且，wi表示下层第i个因素对上层某个因素影响程度的权值。

若成对比较矩阵不是一致阵，Saaty等人建议用其最大特征根对应的归一化特征向量作为权向量W，或者重新构造判断矩阵[7]。

首先构建目标层A与准则层B的判断矩阵，得到B层各个元素相对于A层的权重。以准则层的四个要素两两比较的判断矩阵为例，教学内容与教学实施比较，认为后者较前者稍微重要，所以赋值为3，教学内容与教学反馈相比，前者重要性介于明显重要和强烈重要之间，所以赋值为6，教学内容与改善提升相比，前者相比后者强烈重要，所以赋值为7，以此类推。在构建判断矩阵时，为了提高指标评分的客观性、全面性和准确性。我们依据专家评分的方式，对指标层的各项指标做出科学的评估，去掉一个最低分和一个最高分取剩余专家对各项指标评分的均值。

准则层B1-B4关于目标层A构成A-B判断矩阵，如下所示：

（三）计算指标层相对于目标层的综合权重

如果准则层对目标层的权重向量为W=（W1，W2，…，Wn）T，而且指标层元素对准则层的权重向量为，P=（P1，P2，…，Pn）那么指标层对目标层的综合权重向量为 W=P*W

通过Matlab软件计算所得综合权重，可以看出教学活动执行的规范性和准确性，以及教学活动中的情景设计和互动感知所占比重较大，分别为0.16，0.091和0.086，因此教学活动的執行环节是评价网络教学效果的关键，同时也明确了其他指标对目标层的影响程度，该指标体系对于中职院校网络课程建设和教学效果评估具有良好的指导作用。

三、总结

本文所构建的网络教学设计评价指标体系，重点解决了以下几个目标。一是评价指标比较客观。克服了人为主观定级评分的缺陷。二是评价相对精确。按照网络教学活动进程的内在逻辑，通过定性与定量研究对指标进行识别，筛选，确保指标权值的科学性和规范性;三是指标可操作性强，该指标体系遵循教学活动规律展开，从教学内容，教学执行，教学反馈和改善提升四个环节重新还原了教学设计过程，通过知识重组，知识呈现，学习行为管理，学习效果诊断，辅导提升等步骤，形成教学闭环。同时结合网络学习者偏好和互联网内容传播的特性，为进一步细化为课程实施方案提供了依据。当然在实际应用中，可以根据学科导向，参考教学实施者和教学感知者的体验调整各项指标权重，满足实际教学评价的需要，使教学评价结果更加科学，公正，客观。

参考文献：

[1] 周俊.以质量为核心 推进职业教育持续发展——《国家教育事业发展“十三五”规划》解读 [J].江苏教育，2018（44）：23-27.

[2] 孙楠，徐丽君，王子龙，关英红.基于层次分析法的网络教学效果评级分析[J].黑龙江教育（理论与实践），2017，（11）：20- 21.

[3] 谭光兴，徐峰，屈文建.高校学生网络教学行为意向影响因素与模型[J].电化教育研究，2012，33（01）：47-53.

[4] 齐宏影. 中职学校电子商务专业课堂教学中的激励问题及对策研究[D].吉林：吉林外国语大学，2019.

[5] 李宝斌，许晓东.高校课堂教学效果的教师评价维度探究[J].中国大学教学，2011（8）.

[6] 冯丽霞，施韶亭，杜文明.基于层次分析法的教学评价指标模型[J].西北师范大学学报：自然科学版，2010（5）.

[7] T.L.Saaty. The Analytic Hierarchy Process[M].Mc.Graw： Hill International Book Company.1980.

基金项目：上海市职业教育协会2020—2021年度一般课题，《课证融合模式下网络教学效果评价指标研究》阶段性成果之一。

上海市现代流通学校 林明辉