Wrapped MOOC质量评价指标体系及模型

，，

(大连海事大学，辽宁 大连 116026)

Wrapped MOOC质量评价指标体系及模型

杨艳冰*，李建敏，陈国艳

(大连海事大学，辽宁 大连 116026)

评估与考核是接受和推进在线教育最有力的策略。利用比较分析法、层次分析法及德尔斐(Delphi)法，构建了“Wrapped MOOC”质量评价指标层次；针对运用层次分析法得到的正互反矩阵的一致性检验不合格影响排序的可靠性这一问题，提出一种改进的模糊综合评价法对正互反矩阵进行微调，以使随机一致性比率CR符合要求；计算得到各级指标的评价矩阵的特征值及Wrapped MOOC质量评价模型，并进行数值测试。研究结果表明，准则层C1的5要素单排序结果为：教学质量、课堂组织、课程资源、课前设计、学习用户。数值仿真验证了该算法及模型的有效性。

Wrapped MOOC；指标体系；质量评价；AHP

一、引言

2015年4月，教育部出台《关于加强高等学校在线开放课程建设应用与管理的意见》(以下简称《意见》)，以发挥我国高等教育教学传统优势，推动我国大规模在线开放课程的建设。 在此背景下，尽快制定在线课程的效果评价办法及教学质量认定标准，便成为发展在线课程的当务之急。

梳理国内外已有的MOOC评价，其相关研究可以分为宏观层面和微观层面，即一般的MOOC教育质量评价方法，以及对具体课程的评价。在宏观层面，国外主要有三种MOOC教育质量评价方法：欧盟推出的The OpenupEd qualitylabel(开放教育质量标签,2013)，主要供自我评估使用[1]；西班牙的ADECUR(análisis didáctico de modelo y estrategias de ense anza de cursos universita rios，简称ADECUR,2015)，主要对MOOC的学习方法、学习成效等方面进行质量评价[2]；德国推出的设计质量保障标准Criteria to Assure Design Quality of MOOCs[3]。微观层面，相关研究关注的重点不同，主要涉及以内容传递为主的xMOOC、以任务传递为主的sMOOC和以网络建立为主的cMOOC这三种视角下的MOOC课程评价，还有一些大学发布了以学习者学习行为的数据为关注重点的MOOC课程总结报告。 此外，冯雪松[4]等基于北京大学MOOC实践，探索了一种面向课程改进的MOOC评价体系；孙力等[5]构建了三种关联复杂度不同的同伴互评概率模型来提升评价系统中主观试题评分的客观性和准确性，并利用“人机交互”课程的相关数据组来评测各同伴互评概率模型的准确度。后MOOC时代，通过对学习者来源的限制、增强本地导学教师辅导、组织线下活动和实施二次考试等，涌现出Wrapped MOOC、SPOC、SOOC等各种MOOC的衍生模式，尤其是“Wrapped MOOC”，结合了传统教育教学和MOOC课程的双重优势，最适宜在高校开展。

在上述研究中，无论是宏观还是微观层面，很少见到专门针对“Wrapped MOOC”的效果评价，还没有一种科学适用的、易于操作的评价机制，来辅助国内高校监督评价Wrapped MOOC的教学质量，远远不能满足Wrapped MOOC快速发展的需要。在借鉴国内外已有的MOOC评价的相关研究成果的基础上，本文从Wrapped MOOC与MOOC的比较分析出发，拟设计一套基于层次分析法的适合我国国情且易于操作的科学的“Wrapped MOOC”模式教学质量评价指标体系，以便为高校发展在线课程提供有价值的参考。

二、影响因子分析

“Wrapped MOOC”，是指整合利用MOOC资源的私募、小型、限制性(或私有)课程。它与SPOC相似，教师将MOOC材料进行改编，并与自己的教学内容、活动、阅读材料以及任务进行整合。理论上，Wrapped MOOC这种混合式O2O的MOOC模式，整合线上优质教育资源，可以最大限度地利用传统课堂教学和MOOC课程资源的优势，部分弥补了MOOC自身无法弥补的缺陷，更适宜在高校开展。

将 “Wrapped MOOC”与MOOC进行比较分析见表1。

表1 Wrapped MOOC与MOOC的比较分析

1.评价的基本原则

在Wrapped MOOC与MOOC的比较分析的基础上，根据“Wrapped MOOC”在建设、开发、应用中的特点，有针对性地采取以下评价原则，构建其评价指标体系。

(1)完整性原则。选取评价指标时要坚持完整性原则，不遗漏任何必需的指标。只有从整体出发，才能使最终建立起的评价指标体系有效地反映课程质量效果。

(2)科学性原则。即选取最能充分反映Wrapped MOOC的本质、特点、优势和规律的指标。

(3)可行性原则。制定评价体系时要考虑到各方面的制约因素，一方面使用者易于接受，另一方面评价体系应具有可操作性。

(4)独立性原则。即同级别、同层次的各项指标独立，指标之间不重叠。

2.因子分析

从表1可以看出，Wrapped MOOC的教学质量与其整个教学过程中的多个因素相关。在以上分析的基础上，根据层次分析法的要求，参考国内外相关研究及专家的意见，将“Wrapped MOOC”的主要影响因素析出以下5个要素。

(1)课前设计，记为X1。包括：x11——教学视频的剪辑、合成、设计与教学目标及内容一致，教学视频效果好，时间长度适宜；x12——提供留言板，记录学生的疑难问题，配套的作业、练习和测试安排合理；x13——提供网络交流支持及互动。

(2)课程资源，记为X2。包括：x21——教学计划安排合适，知识关联清晰，内容组织及结构合理，逻辑性强；x22——所选取整合的MOOC资源重点、难点突出，易于激发学生的联想方式和学习兴趣，有利于发展学生的思维和能力培养；x23——提供课程拓展资源链接，支持相关学习资料查询。

(3)课堂组织，记为X3。包括：x31——能够确定学生疑难问题类型，根据学生情况区别对待；x32——组织学生独立思考、分组讨论，互动学习；x33——能够适时提供解决问题的思路，引导学生；x34——组织学生对学习内容进行归纳整理，教师进行补充、总结；x35——布置下一章节教学任务。

(4)学习用户，记为X4。包括：x41——学生的作业、练习完成率高；课程拓展资源点击率高；x42——学生反馈效果好，相较于纯粹的传统课程，更受学生喜爱；x43——课程通过率高。

(5)教学质量，记为X5。包括：x51——教学态度端正，为人师表，关爱学生，遵守教学纪律；x52——基本概念原理讲解清晰，重点难点处理得当；x53——注重教学内容的整体连贯性，讲解的系统性、逻辑性，善于运用启发式教学，课堂气氛活跃，教师口齿清晰，发音标准，板书清楚；x54——教学效果好，所选取整合的MOOC资源受学生喜爱，有助于学生扩展思维、开阔视野，提高分析问题解决问题的能力。

三、层次分析法

层次分析法(AHP)是由美国运筹学家T.L.Satty在20世纪70年代末提出的，其基本过程是把复杂问题分解成各个组成元素，按支配关系将这些元素分组、分层，形成有序的递阶层次结构，在此基础上通过两两比较方式判断各层次中诸元素的重要性，然后综合判断计算单准则排序和层次总排序，从而确定诸元素在决策层的权重。AHP将决策过程中的主观意识进行量化，具有系统、灵活、简洁的优点。其分析步骤如下：

第一，确立目标，建立“Wrapped MOOC”质量评价指标体系的层次结构。

第二，进行专家咨询，构造判断矩阵，计算权重向量。每位专家对每一层给出判断矩阵， 利用特征向量法，求每个判断矩阵的权重向量；再对每个判断矩阵进行一致性检验，决定其取舍。

第三，形成评价方案。

(1)

其中，M为“Wrapped MOOC”质量效果评价分值，βi,αij分别对应二、三级指标的权重。

(2)

1.确立目标层次

根据系统的结构层次要求和专家的意见，充分考虑“Wrapped MOOC”的相关评价指标，建立“Wrapped MOOC”评价指标体系的层次结构，做出层次结构(如图1)。

图1 Wrapped MOOC质量指标评价值

上图中，第一层为目标层A，中间两层为准则层C1和C2，最后一层为措施层P。

四、修正的模糊综合评价法

定义1 若判断矩阵A=(aij)n×n

(1)aij, (2)aji=1/aij,(i,j=1,2,…,n)

则称之为正互反矩阵。

在利用层次分析法的过程中发现层次分析法的传统做法：每位专家对每一层给出判断矩阵，利用特征向量法，求每个判断矩阵的权重向量；再对每个判断矩阵进行一致性检验，决定其取舍；利用权重向量综合法求多人单准则下的判断矩阵的权重向量；求合成权重向量。经过这一过程后，综合判断矩阵已失去了其互反性，容易造成系统误差。

为避免出现这样的情况，设计的调查问卷综合了模糊评价的要求和层次分析法的优点。对上述结构图中的每层指标之间的关系，先通过模糊评价调查表给出其分值，再通过对照表给出层次分析法的评价矩阵。比如，对第二层的5个指标，我们设计了两个调查表，分两轮发放。第一轮，共发放问卷15份，收回有效问卷12份。将全部有效问卷结果的专家咨询结果汇总，取其算术平均值，得到Wrapped MOOC质量评价准则层C1对应的权重向量。第二轮，根据权重向量的结果及指标的权重比矩阵，以得到AHP的评价矩阵，共发放问卷12份，收回有效问卷11份，其中9份统计表，即81.8 %的专家，同意表2的结果，另两份基本同意，这说明由权重比矩阵构造AHP的评价矩阵，得到专家的认可。对此结果，本研究根据专家的意见及一致性检验的要求，做出微调标准：当权重比与表2中的标准范围相差小于0.02时，可将评价值调整±1，以满足一致性检验的要求。

定义2 满足关系式

的正互反矩阵，称之为一致性矩阵。

(1)aij>0 , (2)aji=1/aij,(i,j=1,2,…,n)

判断矩阵A的最大特征值对应的特征向量，经归一化后即为同一层次某个因素相对于上一层次某因素的相对重要性的排序权值，这一过程称为层次单排序。

表2 层次分析法赋值对照表

说明：

仍采用T.L.Satty教授提出的9档标度法，但将重要度赋予如表2所示的相应数值。这里，两元素同样重要=1，稍重要=3，明显重要=5，强烈重要=7，极端重要=9，稍不重要=1/3，明显不重要=1/5，强烈不重要=1/7，极端不重要=1/9；2、4、6、8介于相邻两个数值代表的程度之间的重要性。

通过上述过程，得到了满足一致性检验要求的表3，一个准则(指标)层1对目标层的5*5的判断矩阵。

表3 准则层C1的5要素的相对重要性

表3中，计算得到

(0.089,0.178,0.223,0.054,0.456)

即为准则层C1对目标层A的特征向量。经Yaahp统计软件检验，该矩阵一致性检验指标CR=0.0177< 0.10，通过一致性检验要求。

重复上述做法，得到准则层C2(子指标)对准则层C1的判断矩阵及特征向量，见表4～表8。

表4 课前设计

表4中，

CR=0.062 47< 0.10，通过。

表5 课程资源

W22=(α21,α22,α23)=(0.231,0.664,0.105)

CR=0.082 57< 0.10，通过。

表6 课堂组织

这里，特征向量

(0.200,0.200,0.200,0.200,0.200)

CR=0.000 07< 0.10，通过。

表7 学习用户

CR=0.000 07< 0.10，通过。

表8 教学质量

这里，W25=(α51,α52,α53,α54)=(0.048,0.165,0.394,0.394) CR=0.027 57< 0.10，通过。

至此，由公式(1)及表3～表8中的指标权重值，只要给出评价对象的初始指标打分值，就可以计算Wrapped MOOC模式课程的质量效果综合评价分值。

五、数值测试

上述结果表明，准则层C1的5要素：课前设计、课程资源、课堂组织、学习用户、教学质量，其中权重值最大的是教学质量，为0.456，最小的是学习用户，权重值为0.054.层次单排序结果为：教学质量，课堂组织，课程资源，课前设计，学习用户。

利用该指标体系和上述模型，选取了4门课程进行了数值仿真，得到其质量综合评价分值分别为90.4，83.6，88.1，92.7。 根据每门课程的2、3级指标的分值，可以对其教学效果进行详细分析；分值缺失项，可以提示该课程教师改进相应部分的质量效果。 评价结果可以强化质量控制，有助于提升相关课程的教学质量和效果。此外，利用该评价体系时，还应该注意的是，不同类型、不同专业的“Wrapped MOOC”课程，其偏重点也可能会产生细微的不同。此时，可以在本研究创建的指标评价体系的基础上，修正个别指标设置及权重取值。随着此类课程数目的增加，是否需要对公共基础课、基础课以及专业基础课设定不同的指标及权重，是有待进一步研究的课题。

[1] ROSEWEL J，DARCO J. The OpenupEd quality label: benchmarks for MOOCs[J].The International Journal for Innovation and Quality in Learning，2014，2(3):88-100.

[3] YOUSEF AMF，et al. What drives a successful MOOC? An empirical examination of criteria to assure design quality of MOOCs[C]//.Advanced Learning Technologies(ICALT).IEEE 14th International Conference on IEEE，2014:44-48.

[4] 冯雪松，于青青，李晓明.在实践中探索MOOC评价体系[J].中国大学教学，2015，10(10):72-85.

[5] 孙力，钟斯陶. MOOC评价系统中同伴互评概率模型研究[J].开放教育研究，2014，20(5)：83-89.

2017-02-21

：大连海事大学资助教师发展专题立项“MOOC模式下教学质量监控与评价机制研究”(2016JFY07)

：1006-8724(2017)03-0093-05

G642.0

：A*