基于层次分析法的网络教学质量评价指标体系研究

王佳利+王峥

摘 要 文章基于层次分析法，研究影响基于网络教学平台的教学效果的相关评价指标，构建相应指标的层次结构模型，计算各级评价指标权重，建立相应评价指标体系。结合相应客观行为数据，通过计算指标体系中各项指标得分，迅速有效评价大量课程网络教学质量。

关键词 层次分析法 网络教学平台 评价 指标体系

中图分类号：G642 文献标识码：A

Network Teaching Quality Evaluation Index System

Based on the Hierarchy Process

WANG Jiali[1]， WANG Zheng[2]

（[1] Academic Affair Office， Yangzhou University， Yangzhou， Jiangsu 225009）

Abstract Based on AHP， the impact on teaching effectiveness research network teaching platform of the relevant evaluation index， corresponding to build hierarchical structure model index， calculated levels of re-evaluation index weight， to establish the appropriate evaluation system. Combined with the corresponding objective behavioral data， by calculating the index system in the index score， quickly and efficiently evaluate a large number of courses' online teaching quality.

Key words AHP; network teaching platform; evaluation; index system

0 引言

近年来网络教学飞速发展，各种商业或开源平台在全世界范围内得到了广泛应用。在我国学校教育信息化建设进程逐步加快的形势下，众多的高校开始重视并投资网络教学平台建设，并利用其开展网络教学。网络教学的开展需要耗费大量的时间与精力，然而，现阶段，我国高校对教师网络教学工作量的核定还不够科学，使得教师主动实施网络教学的积极性不高、持续性不强。因此，对网络教学质量进行有效评价是推进平台深度应用的重要手段。纵观网络教学质量评价的主要方法（胡水星，2005），指标体系评价法是目前实践中最常用的一种主观评价方法。

AHP（Analytical Hierarchy Process），即一种多层次权重解析方法，简称为层次分析法，是由20世纪70年代美国著名运筹学家T.L.Saaty提出的，其主要在多因素系统评价的指标权重确定中应用广泛。现代高校网络教学平台环境下的课程质量评价内容主要包含在网络教学过程中的资源数（质）量、交互形式及其数（质）量等因素和标准，将AHP应用其中，建立灵敏、准确的网络辅助教学评价指标体系，更合理地确定影响教学质量各因素的权重，为大量课程网络辅助教学质量评价问题提供依据。

1 网络教学质量评价指标的设计

与传统的课堂教学或基于自行开发的网络课程的教学行为不同，网络教学平台环境下的网络教学行为主要局限在平台所涉及的栏目范围内，本文的研究以扬州大学使用的“THEOL”网络教学平台为例展开。

1.1 确定评价指标

根据现有Theol的功能设置，综合分析平台环境下的网络教学涉及的因素，充分考虑现阶段网络教学的必要性因素与网络教学操作的难易程度因素等，进而科学确定用于分层分析法的评价指标。具体为：一级指标确定评价的总目标，即网络教学质量;二级指标确定总目标下的3个子目标，即教学资源建设、常规交互使用和新方法应用;三级指标确定各子目标的主要评价因素，共12个。各指标的内容具体如下：

（1）一级指标：

Q—网络教学质量。这一指标主要是为了明确课程网络教学开展的概况，如实反映课程网络教学的效果，进而便于收集和分析课程网络教学的相关信息，促进日后网络教学的高效开展，并不断优化网络教学平台应用技术。

（2）二级指标：

M1—教学资源建设，反映教师在网络教学资源建设方面的情况;M2—常规交互使用，反映利用平台进行日常教学互动的实施情况;M3—新方法应用，反映充分利用平台功能丰富日常教学方式和促进教学改革的实践效果。

（3）三级指标：

S1—新添教学材料;S2—新添常见问题;S3—新添课程作业;S4—生均递交作业;S5—生均批阅作业;S6—生均论坛发帖;S7—生均回帖深度;S8—新添题库试题;S9—生均参与测试;S10—生均测试批阅;S11—新添教师笔记;S12—研究性教学实践。

1.2 建构层次结构模型

在三级不同评价指标制定后，应该建立与Theol功能相适应的评价体系层次结构模型，如图1所示，其结构中同一层次的元素既要作为准则支配对下一层次的某些元素，又要受到上一层次的支配，以此类推。其中一级指标Q由二级指标M1， M2和M3决定，二级指标M1与S1， S2 和 S3相关，M2则与S4，S5，S6和S7相关，M3与S8，S9，S10， S11，和 S12相关。

图 1 Theol环境下的网络（辅助）教学质量评价层次模型

1.3 指标权重的计算

根据AHP方法，指标权重的计算步骤如下：endprint

分别构造一级指标和二级指标的判断矩阵Q-M，以及与各二级指标相对应的三级指标判断矩阵M1-S，M2-S及M3-S。其构造判断矩阵的环节实质上也是对根据上层目标（准则）而对下层某些因素进行的重要性比较，如构造判断矩阵M1-S的过程：要求专家相对二级指标M1对因素S1、S2和S3进行两两重要性程度比较，并按1-9标度法对任意两个因素的相对重要程度予以定值。

然后根据判断矩阵计算，可得到评价指标的权重系数W1，W2，…Wn。与此同时，对于各专家的评价，还须对判断矩阵进行逻辑一致性检验，最终确定对Q而言，S1、S2…S12各元素的相对重要性次序。

2 专家调查问卷设计

对于专家调查问卷的设计问题，应该在网络教学质量评价指标设计的基础上，根据层次结构模型的建构与指标权重的计算方法等进行科学设计，要求专家队问卷中各矩阵内的元素进行重要性两两比较，并按1-9标度法进行定值，从而获取建立判断矩阵的原始真实数据。具体的专家调查问卷设计形式如图2所示。

图2 专家调查问卷（部分）

3 研究结果与结论

3.1 研究结果

将问卷发放给各学院教学院长、教务部门相关教学研究专家以及部分教师代表，共计发放问卷60份，回收问卷58份，回收率为96.7%。将有效回收问卷的各矩阵数据输入Yaahp软件中预先设计好的矩阵框架内进行处理，采用先求权再平均的方法，得出最后的各因素权重结果（如表1所示）。

3.2 结论

（1）基于层次分析法构建的各项网络教学质量评价指标体系，为教学管理部门对基于网络平台的大批量课程的网络教学质量评价提供了更为可操作的工具。利用Yaahp得到的权重一改以往权重设定的随意性，使权重值更有意义。

（2）利用表1得出的各指标权重，计算各课程网络教学质量综合得分（T）： = ·，为各项指标的权重值，=12，为标准化了的各指标对应的客观行为数据值。通过对比综合得分或各子目标得分情况，我们可以非常清晰地看到各课程的网络教学实施情况。

表1 网络教学质量评价指标体系

（3）关于指标的选择与制定，应该以有效促进学生学习效率提高为宗旨，在符合学生实际情况下进行设计与选择，另外还应该不断地更新变化，以顺应学生学习的变化需求。因此，在网络教学推广的不同阶段，我们应适时适情对层次结构和相应指标进行修整，以确保评价的有效性。

参考文献

[1] 王志军，余胜泉.网络教学平台的选择和分析模型研究[J].电化教育研究，2012（5）：36-42.

[2] 梁林梅，罗智慧，赵建民.大学教师网络教学现状调查研究——以南京高校为对象[J].开放教育研究，2013（1）：74-84.

[3] 张润芝，张进宝，陈庚.网络课程质量评价实践及学术研究评述[J].开放教育研究，2011.8：60-64

[4] 王莲芬，许树柏.层次分析法引论[M].北京：中国人民大学出版社，1999：11-55.

[5] 王佳利.基于AHP的网络辅助教学质量评价研究[J].现代教育技术，2013（6）：102-106

[6] 郭向勇，傅国强，周玉芬.基于层次分析法的网络课程学习评价模型[J].电化教育研究，2008（3）：72-76.endprint

分别构造一级指标和二级指标的判断矩阵Q-M，以及与各二级指标相对应的三级指标判断矩阵M1-S，M2-S及M3-S。其构造判断矩阵的环节实质上也是对根据上层目标（准则）而对下层某些因素进行的重要性比较，如构造判断矩阵M1-S的过程：要求专家相对二级指标M1对因素S1、S2和S3进行两两重要性程度比较，并按1-9标度法对任意两个因素的相对重要程度予以定值。

然后根据判断矩阵计算，可得到评价指标的权重系数W1，W2，…Wn。与此同时，对于各专家的评价，还须对判断矩阵进行逻辑一致性检验，最终确定对Q而言，S1、S2…S12各元素的相对重要性次序。

2 专家调查问卷设计

对于专家调查问卷的设计问题，应该在网络教学质量评价指标设计的基础上，根据层次结构模型的建构与指标权重的计算方法等进行科学设计，要求专家队问卷中各矩阵内的元素进行重要性两两比较，并按1-9标度法进行定值，从而获取建立判断矩阵的原始真实数据。具体的专家调查问卷设计形式如图2所示。

图2 专家调查问卷（部分）

3 研究结果与结论

3.1 研究结果

将问卷发放给各学院教学院长、教务部门相关教学研究专家以及部分教师代表，共计发放问卷60份，回收问卷58份，回收率为96.7%。将有效回收问卷的各矩阵数据输入Yaahp软件中预先设计好的矩阵框架内进行处理，采用先求权再平均的方法，得出最后的各因素权重结果（如表1所示）。

3.2 结论

（1）基于层次分析法构建的各项网络教学质量评价指标体系，为教学管理部门对基于网络平台的大批量课程的网络教学质量评价提供了更为可操作的工具。利用Yaahp得到的权重一改以往权重设定的随意性，使权重值更有意义。

（2）利用表1得出的各指标权重，计算各课程网络教学质量综合得分（T）： = ·，为各项指标的权重值，=12，为标准化了的各指标对应的客观行为数据值。通过对比综合得分或各子目标得分情况，我们可以非常清晰地看到各课程的网络教学实施情况。

表1 网络教学质量评价指标体系

（3）关于指标的选择与制定，应该以有效促进学生学习效率提高为宗旨，在符合学生实际情况下进行设计与选择，另外还应该不断地更新变化，以顺应学生学习的变化需求。因此，在网络教学推广的不同阶段，我们应适时适情对层次结构和相应指标进行修整，以确保评价的有效性。

参考文献

[1] 王志军，余胜泉.网络教学平台的选择和分析模型研究[J].电化教育研究，2012（5）：36-42.

[2] 梁林梅，罗智慧，赵建民.大学教师网络教学现状调查研究——以南京高校为对象[J].开放教育研究，2013（1）：74-84.

[3] 张润芝，张进宝，陈庚.网络课程质量评价实践及学术研究评述[J].开放教育研究，2011.8：60-64

[4] 王莲芬，许树柏.层次分析法引论[M].北京：中国人民大学出版社，1999：11-55.

[5] 王佳利.基于AHP的网络辅助教学质量评价研究[J].现代教育技术，2013（6）：102-106

[6] 郭向勇，傅国强，周玉芬.基于层次分析法的网络课程学习评价模型[J].电化教育研究，2008（3）：72-76.endprint

分别构造一级指标和二级指标的判断矩阵Q-M，以及与各二级指标相对应的三级指标判断矩阵M1-S，M2-S及M3-S。其构造判断矩阵的环节实质上也是对根据上层目标（准则）而对下层某些因素进行的重要性比较，如构造判断矩阵M1-S的过程：要求专家相对二级指标M1对因素S1、S2和S3进行两两重要性程度比较，并按1-9标度法对任意两个因素的相对重要程度予以定值。

然后根据判断矩阵计算，可得到评价指标的权重系数W1，W2，…Wn。与此同时，对于各专家的评价，还须对判断矩阵进行逻辑一致性检验，最终确定对Q而言，S1、S2…S12各元素的相对重要性次序。

2 专家调查问卷设计

对于专家调查问卷的设计问题，应该在网络教学质量评价指标设计的基础上，根据层次结构模型的建构与指标权重的计算方法等进行科学设计，要求专家队问卷中各矩阵内的元素进行重要性两两比较，并按1-9标度法进行定值，从而获取建立判断矩阵的原始真实数据。具体的专家调查问卷设计形式如图2所示。

图2 专家调查问卷（部分）

3 研究结果与结论

3.1 研究结果

将问卷发放给各学院教学院长、教务部门相关教学研究专家以及部分教师代表，共计发放问卷60份，回收问卷58份，回收率为96.7%。将有效回收问卷的各矩阵数据输入Yaahp软件中预先设计好的矩阵框架内进行处理，采用先求权再平均的方法，得出最后的各因素权重结果（如表1所示）。

3.2 结论

（1）基于层次分析法构建的各项网络教学质量评价指标体系，为教学管理部门对基于网络平台的大批量课程的网络教学质量评价提供了更为可操作的工具。利用Yaahp得到的权重一改以往权重设定的随意性，使权重值更有意义。

（2）利用表1得出的各指标权重，计算各课程网络教学质量综合得分（T）： = ·，为各项指标的权重值，=12，为标准化了的各指标对应的客观行为数据值。通过对比综合得分或各子目标得分情况，我们可以非常清晰地看到各课程的网络教学实施情况。

表1 网络教学质量评价指标体系

（3）关于指标的选择与制定，应该以有效促进学生学习效率提高为宗旨，在符合学生实际情况下进行设计与选择，另外还应该不断地更新变化，以顺应学生学习的变化需求。因此，在网络教学推广的不同阶段，我们应适时适情对层次结构和相应指标进行修整，以确保评价的有效性。

参考文献

[1] 王志军，余胜泉.网络教学平台的选择和分析模型研究[J].电化教育研究，2012（5）：36-42.

[2] 梁林梅，罗智慧，赵建民.大学教师网络教学现状调查研究——以南京高校为对象[J].开放教育研究，2013（1）：74-84.

[3] 张润芝，张进宝，陈庚.网络课程质量评价实践及学术研究评述[J].开放教育研究，2011.8：60-64

[4] 王莲芬，许树柏.层次分析法引论[M].北京：中国人民大学出版社，1999：11-55.

[5] 王佳利.基于AHP的网络辅助教学质量评价研究[J].现代教育技术，2013（6）：102-106

[6] 郭向勇，傅国强，周玉芬.基于层次分析法的网络课程学习评价模型[J].电化教育研究，2008（3）：72-76.endprint