基于AHP的职业教育MOOCs教学质量评价研究

黄义兵+陈辉

摘 要：MOOCs以迅雷不及掩耳之势在教育领域吸引人们注意力，正在被越来越多的学习者使用和接受，但如何评价其教学质量成为教学研究者关注的焦点。以目的游离评价模式为指导，借助AHP模糊综合评价法，从5个一级指标、19个二级指标对职业教育MOOCs教学质量进行测量。从测量结果看，使用者对MOOCs教学模式并未表现出明显的满意或者反对，对课程建设和考核较为满意，对平台体验认可度不高。

关键词：MOOCs；AHP；教学质量；评价

中图分类号：G712 文献标识码：A 文章编号：1671-9255（2017）03-0062-04

一、问题提出

随着“互联网+”时代的到来，在线教育已成为教育发展的一种必然趋势。作为新的教育形态，MOOCs 提供了开放、灵活的知识传播和学习方式，对教育观念、教育体制、教学模式和教育评价等方面产生了深刻的影响。2012年，美国部分大学先后推出 Coursera、Udacity 和edX三大MOOC平台，2013年，中国先后推出慕课网、学堂在线、果壳网等 MOOC平台，上线课程与注册学生数迅速增长。以Coursera为例，截至2016年4月底，有100余所大学提供的1000多门课程，用户数已超过1400 万，中国用户超过 100 万。

教学质量评價是高职教学过程中的重要环节，是实现高职人才培养目标的重要保证，在教学管理过程中具有重要的导向作用。以学生评教、专家评教以及同行评教为主的高职院校课堂教学质量评价模式，在促使高职课堂教学逐步趋于制度化和规范化方面发挥了一定的作用，但也存在无法形成有机统一体、主观性太强等弊端。[1]传统教学质量因其特殊性，具有较多的“贫信息”，当下MOOCs教学模式质量评价又迫在眉睫。能否借助其他方法让更多MOOCs教学质量评价的“贫信息”显性化呢？故研究MOOCs教学模式下的质量评价问题具有重要的现实意义与理论价值。

二、MOOCs教学质量评价理论依据

教学质量评价的基本思想主要有诊断性评价、形成性评价、总结性评价、泰勒模式、CIPP模式与目的游离评价等六种[2]，但目的游离评价是当前教学质量评价的主流。美国教育家斯克里文在研究教学评价过程中发现，很多事先确定的教育目标的评价范围往往会受到限制，有时还产生许多非预期的效果，这对评价产生至关重要的影响。为了使评价更加合理、科学，评价实施者应该把重点考虑的问题从“教育目标是什么”转变为“教育活动实际是什么”，即进行目标游离，跳出预设目标的局限。[3]

层次分析法（The analytic hierarchy process）简称AHP，在20世纪70年代中期由美国运筹学家T.L.Satty正式提出。它是一种定性和定量相结合的，系统化、层次化的分析方法，主要通过建立层次分析模型、计算组合权向量、进行模糊综合评价等过程，实现对MOOCs教学质量的合理评价。[4]

针对MOOCs教学模式的质量进行评价尚未形成成熟的评价理论，本文结合斯克里文提出的目标游离评价模式，构造层次分析模型探讨教学质量评价方式，给出了评价MOOCs教学质量评价的新思路。

三、基于AHP法的MOOCs教学质量

评价模型的构建

（一）教学质量评价指标的建立

构建一个科学、有效的评价指标体系，需要经

过指标初选、完善至最终使用等过程。考核指标体系的设计应遵循目的性、科学性、可操作性、导向性的基本原则。本文结合职业教育特点，初步制定体现职业教育的MOOCs 课程教学效果评价指标：体系分为5个一级指标、19个二级指标，每级指标都运用Likert五级量表进行评分，即：非常满意5分、满意4分、无所谓3分、不满意2分和非常不满意1分。[5]依据目标游离评价模式，初步形成的教学质量评价指标的思维导图（如图1所示）：

（二）教学质量评价模型的构建

本文基于AHP层次分析法构建评价指标因素的权向量，通过模糊综合评价的方式把定性评价转化为定量评价，主要评价过程和评价模型如下。

1.评价指标表示

根据图1，教学质量评价指标机构分为两层，

第一层一级指标： ，

第二层二级指标：

， ；

，

， ；

，

，

合计共有二级指标数量

2. 评价等级

={非常满意， 满意，无所谓，不满意，非常不满意}，

3. 构建模糊关系矩阵

模糊关系矩阵 给出了评价因素 到评价等级 的变换算子：

其中， 表示MOOCs教学质量这一评价目标在评价因素论域 中的第 个指标处于评价等级 中

第 个评语的隶属度，并且 ， 。

这样， 将评价因素集合 这一论域上的模糊集合 经过 变换为评价集合 上的模糊集合 ，即 。

4.评价指标权重

在进行模糊综合评价时还需要对评价因素中的各指标确定权重，即权重分配模糊矢量

其中， 表示第 个评价指标的权重， ，

。

通常使用的确定权重的方法有专家评估加权平均法、Delphi专家调查法、频率分布法和模糊关系方程法等。对于MOOCs的评价，前文已将其归纳总结为五个层次的19个指标，层次结构明显，这里我们使用层次分析法确定权重分配矢量。主要是采用专家评估建立判断矩阵，计算各判断矩阵的权重向量（单位特征向量）、最大特征值 ，并进行一致性检验。若检验通过，特征向量（归一化后）即为权向量，并计算下层决定上层的权向量。

5. 合成评价结果

对于MOOCs教学质量的评价，由于没有主要因素的突出，在这里采用加权平均的方式得到评价endprint

向量 ，即

为普通的矩阵乘法。

四、评价过程

基于以上评价指标和评价模型，完成对目前MOOCs教学质量的评价如下。

（一）模糊关系矩陣

选择30名骨干教师和20名学生代表，根据二级评价因素指标对当前MOOCs教学质量的评价，构造模糊关系矩阵如下

（二）使用层次分析法确定评价指标权重第一层次的各个指标重要性判断矩阵为：

依据调查数据构建第二层各项指标的判断矩阵，课程建设（P1）、平台体验（P2）、教学过程（P3）、课程考核（P4）和课程推广（P5）的判断矩阵分别为：

根据各判断矩阵计算得到各层次指标的权重向量及一致性检验如表1所示，通过检验可见对各评价指标的重要性判断相对统一，可靠性较高，判断矩阵生成的权重有效（见表1）。

五、评价结论

从总体上看，当前对MOOCs教学关注度较高，但是评价呈现两级分化态势，持满意及非常满意态度者为47.35%，略大于持不满意及非常不满意态度者的43.28%，感到无所谓者仅为9.37%。从课程建设、平台体验、教学过程、课程考核和课程推广情况来看，课程建设和课程考核获得评价较高，满意及非常满意态度分别为52.21%和54.18%，但平台体验和教学过程获得评价较低，不满意及非常不满意度达到33.13%和29.33%。在MOOCs建设过程中，应注重网络生态建设和用户体验的改进，同时加强教学过程管理，调动学生参与课程互动的积极性，引导学生养成合理有效的学习习惯。

本文采取AHP模糊综合评价方法，基于在线教育网络课程的评价要素，考虑系统平台的影响，结合基于学习行为数据的学习分析技术，从教学中的课程建设、平台体验、教学过程、课程考核以及课程推广等五个方面出发构建了一个体现职业院校MOOC教学过程特征的质量评价体系，采用了专家打分和层次分析法确定相关指标的影响权重，在很大程度上保证了测评结果的客观和准确。

参考文献：

[1]刘尧.国内外教育质量认知述评与研究启示[J].青岛科技大学学报，2016（2）：95-101.

[2]孟玉.基于诊断性评价的网络补习课程教学模式设计[D].云南：云南大学，2016.

[3]刘尧.教育评价是教育质量的守护神吗？——一个古今教育评价重心变迁的解析视角[J].中国地质大学学报，2016（6）：145-151.

[4]陈菲.层次分析法在高职课堂教学质量评价体系中的应用[J].南通航运职业技术学院学报， 2014（3）：78-82.

[5]冯雪松，于青青，李晓明.在实践中探索 MOOC评价体系[J].中国大学教学，2015（10）：72-81+85.

（责任编辑 汪 伟）

Study of the Evaluation on MOOCs Teaching Quality in Higher Vocational Education based on AHP

HUANG Yi-bing，CHEN Hui

（Teaching Affairs Department， Anhui Business College， Anhui 241002， China）endprint