MOOC质量评价体系的构建探究

童小素　贾小军

【摘要】

随着信息技术的快速发展，MOOC已融入了新的网络应用元素，原有网络课程评价的部分标准已显得陈旧，无法充分反映大数据时代MOOC的特点。虽然同内外已有不少学者从不同角度对此展开研究并提出了相应的评价体系，但国内目前还没有形成比较权威且系统的MOOC质量评价体系。在借鉴已有网络课程和网络资源评价规范的基础上，采用文献调研法和专家访谈法，并以我同教育部教育信息化标准委员会制定的《网络课程评价规范（CELTS-22）》为蓝本，探索性地建立了包含3个一级指标（课程内容、教学设计、学习支持）和26个二级指标的MOOC质量评价指标体系，并利用层次分析法确立了指标的权重。同时，在国内三大MOOC平台上各选取一门课程，利用评价体系进行了评价实践。实践表明其具有较强的可操作性，可以有效评判MOOC建设的优劣，在一定程度上丰富了MOOC质量评价的理论体系，对MOOC的规范建设和可持续发展提供了有益的指导。

【关键词】MOOC；质量评价；评价体系；层次分析法

【中图分类号】G40-058.1 【文献标识码】A 【文章编号】1009-458 x（2017）05-0063-09

近年来，大规模在线开放课程（MOOC）作为一种新兴的教育模式受到广泛的关注，国内外掀起了一阵MOOC建设的浪潮。2012年被《纽约时报》称为“MOOC年”，而2013年是MOOC本土化的元年。截至2015年，在欧洲包括英国、德国、西班牙等31个国家在内的311所大学开设了MOOC（OpenEducation Europa，2015）；在中国，自2013年年初起，网易与高教社（中国大学MOOC）、清华大学（学堂在线）、北京大学（华文MOOC）和上海交通大学（好大学在线）等纷纷加入MOOC建设的行列。目前，MOOC学院收集了Coursera、edX、Udacity、中国大学MOOC、学堂在线等平台共5，000多门中英文课程，中国大学MOOC和学堂在线平台上各有上千门中文课程，涵盖了各个学科。同时，随着时间的推移课程数量还在不停增长，选课学习的人数也在不断增长。然而，琳琅满目的MOOC，如何评估其好坏？如何使学习者轻松地获取高质量的资源？如何规范MOOC的建设？这些问题促使MOOC质量的评价成为一项十分有实践意义的研究。

一、研究现状

在MOOC建设的浪潮中，高参与率与低结课率使得MOOC的教育质量及评价问题受到了国内外学者的关注，形成了一些从不同角度出发的评价体系，大致可以分为四类：MOOC平台角度、MOOC传播效果角度、MOOC实践性的角度和将原有在线课程的评价规范迁移到MOOC领域的角度。

从MOOC平台角度出发构建的评价体系，比较典型的研究成果有：①韩锡斌等（2014）基于Edu-tools编制的网络教学平台评价标准，将MOOC平台和国内外典型网络教学平台进行对比分析，对Edu-tools评价体系的系统技术特征进行了补充调整和优化。②刘和海等（2016）以Edutools评价体系为基础，通过MOOC平台与传统网络教学平台的对比优化评价指标，依据优化后的指标体系，全面调研了我国学堂在线等六大MOOC平台，并进行了全面的对比分析，从宏观、中观、微观三个层面提出了优化策略。从MOOC传播效果角度出发的评价体系，比较典型的研究成果有：①马瑞等（2015）通过文献和个案分析确立指标模型，通过专家访谈构建了4个一级维度（资源、课程团队、学习用户、环境）、8个二级维度和32个指标项的MOOC传播效果评价指标体系。②其他传播学角度的MOOC研究，虽没有形成完整的评价体系，但对MOOC传播过程中的重要要素进行了讨论分析。李昕桐（2014）依据担任北大MOOC“民俗学”助教的经验，提出了助教这个“中间人”在MOOC传播中的重要性；张辰（2013）分析了SNS社交网络对MOOC传播的影响；Kop等（2011）通过分析学习者和教学者之间的学情数据，指出双方的联系在MOOC传播中起到重要的作用。从MOOC实践性的角度构建的评价体系，比较典型的研究成果有：①冯雪松等（2015）基于北京大学MOOC实践，提出了一种面向课程改进的MOOC评价体系，分为量化因素（课程内容建设及课程实施）及定性描述（内容的组织、内容的呈现、讲授方法及课程的执行与推广）两大部分。②Margaryan等（2015）对76门已经開放的MOOC采用Merrill的首要教学原理的指标分析其教学质量。从原有在线课程的评价规范迁移到MOOC领域的角度构建的评价体系，比较典型的研究成果有：①李青等（2015）通过对国内外八个权威在线课程评价指标的分析，归纳出一般在线课程的质量因子，并以美国《在线课程质量量规》（Quality Matters Rubric）为蓝本构建MOOC质量模型。②西班牙学者费尔南德斯等人（Ferndndez，et al.，2015）对两种在线学习质量评价方法ADECUR和UNE 66181：2012进行比较分析，建立了一套从四个维度（教学内容、教学法、可访问性、虚拟学习环境）评价MOOC质量的评价体系。③德国亚深工业大学约瑟夫等（Yousef，et al，2014）对在线课程、远程教育等与MOOC相关文献进行分析后，构建了一套MOOC设计质量保障标准，包含教学和技术两个维度75个评价指标项。④罗斯维尔等（Rosewell，et al，2014）从机构层面和课程层面两个维度建立了适用于开放大学的MOOC质量评价标准，其核心内容源于在线学习和开放教育的质量评价基准E-xcellence。从以上分析可以看出，国内外已有不少学者对MOOC质量的评价展开研究并提出了相应的评价体系，但研究出发的角度和关注的重点不同，所形成的评价框架很不一致，目前国内还没有形成比较权威且系统的MOOC质量评价体系。本文也是从将原有在线课程的评价规范迁移到MOOC领域的角度来构建评价体系。在借鉴已有网络课程和网络资源评价规范的基础上，采用文献调研法和专家访谈法，并以我国教育部教育信息化标准委员会制定的《网络课程评价规范（CELTS-22）》为蓝本，结合大数据时代MOOC学习的特点，构建一套面向MOOC质量评价的指标体系，以进一步推动优质MOOC的开发与运营。

二、MOOC的特征

MOOC是通过开放教育资源与学习服务而形成的一种新型教育模式，允许全球有学习需求的人通过互联网学习，通过网络实施教学全过程（McAuley，et al，2010）。MOOC不仅是教育技术的革新，更是一种全新的学习方式与教育模式，具有以下四方面的特征：

（一）规模大

MOOC规模大的特征主要体现在海量参与、海量交互和海量学习数据三个方面（王永固，等，2014）。海量参与主要体现在参与的人数众多，参与的学习者层次差异大，有高中生、大学生，也有职员等，学习目的也各不相同。为应对海量学习者间的巨大差异性，建设MOOC必须提供详细的课程说明与学习要求，列举出课程学习过程中常见问题的解决办法，使学习者能更好地参与其中；提供不同层次的学习补充材料和多种访问路径，以满足不同认知偏好和学识水平的学习者。海量交互是指海量学习者和学习内容间的交互，还包括教师和学习者、学习者和学习者之间的交互。应对海量交互，建设MOOC时需要提供丰富的交互工具，提供充分的交互机会，从而引发学习者对学习内容的深入思考。海量参与和交互使得课程产生了海量的学习数据，这就要求MOOC平台具有学习分析功能，去发现课程学习的特征和规律以及学习者潜在的问题，从而优化学习者的学习。

（二）开放性

MOOC的开放性是指面向全球的学习者免费开放，课程空间中的课程大纲、课程资料、视频、测试题等无须付费即可访问，学习者能够无障碍地访问课程资源，自由获取信息和知识。应对开放性，MOOC开发时需要考虑各种媒体在各种设备上呈现的兼容性，考虑不同国籍学习者文化背景的差异性。

（三）MOOC学习的随时随地性

MOOC学习不受时间、空间等条件的限制，学习内容、学习方法以及学习计划等由学习者自主决定，多以移动学习和碎片化学习为主。这一特点决定了MOOC开发必须考虑以小视频（5～10分钟）加小测验等形式组织课程内容。

（四）MOOC学习的个性化

MOOC学习者学习的需求多种多样，既有对学习活动的个性化需求，也有对各种学习主题的需求，还有对媒体呈现形式的需求等。這一特点决定了MOOC开发时，需要基于教育大数据的学习分析技术的应用，通过对学习者学习过程的追踪记录以及对数据记录的分析，量化学习者的学习，从而定制出不同于他人的学习策略和学习方法，为学习者推送其感兴趣的课程与内容，促使学习更加有效。学习内容应可根据学习者各种个性化、动态的学习需求进行知识结构的调整和内容的完善，实现内容的再生。

三、MOOC质量评价指标体系的构建

从本质上说，MOOC仍是一种网络课程，鉴于网络课程质量的相关研究已比较成熟，所以，现有的网络课程和网络资源的评价标准都可以作为MOOC评价的重要参考。本研究采用文献调研法和专家访谈法构建MOOC质量的评价指标。我国教育部教育信息化技术标准委员会（2012）起草的《网络课程评价规范（CELTS-22）》，是国内使用广泛的E-learning内容设计开发参考依据和网络课程质量模型。因此，本研究以此量规为蓝本，结合MOOC的特征，对其加以适当增删和补充优化来构造MOOC质量的评价体系。

（一）专家访谈方案设计

1.专家的选择

专家的选择是影响研究结果的关键因素之一。本研究主要根据专家的专业背景和当下所从事的研究领域是否为MOOC来选取，选取了浙江大学、杭州师范大学、华东师范大学等学校的11名专家。其中，5名专家为教育技术领域从事数字化学习资源研究和网络课程开发的教授，其余6名专家为本项目开发组的成员。这11名专家当前的研究重心为MOOC，他们中有的人已经在中国大学MOOC平台、智慧树等平台开设了课程，有的人正在参与，对MOOC的建设有较为全面、系统且独到的见解。

2.设计第一轮问卷调查表

问卷的第一部分首先对制定指标体系的背景作简要说明。第二部分是对MOOC质量评价指标咨询表中各级维度、评价参照标准作详细说明，给专家以明确的使用指导。专家可在表中自行添加、删除或修改指标，并对确立的指标进行相对重要性排名。

3.设计第二轮问卷调查表

收回第一轮咨询表，进行统计处理，并设计发放第二轮咨询表。第二轮咨询表主要涉及第一轮问卷中专家的修改意见汇总、每个指标的重要性排名均值和标准偏差，咨询专家是否同意修改和确立本次指标的重要性排名。每一位专家参考第一轮的统计结果进行第二次评估，如不能达成一致，需要进行多次评估。咨询几轮后，专家意见逐渐趋于一致，经过统计归一处理，最终确定MOOC质量的评价指标及其重要性排名。

（二）评价指标设计

CELTS-22评价规范从四个基本维度（“课程内容”“教学设计”“界面设计”“技术”）来评价网络课程的质量，包括21条“必需”指标和15条“建议”指标。同时，笔者通过对在线课程、网络课程、E-Learning课件、资源库评价、移动学习App等方面的学术文献和一些国外机构制定的《在线课程评价标准》[Ouafity On The Line（朱凌云，等，2002a）、E-Learning Certification Standards（朱凌云，等，2002b）、ASTD E-Learning课件认证标准（ASTD，2002）、GEM网络教学资源评价标准（段崇江，等，2002）、ADL网络教学的设计与评价指南（ADL，2001）、OpenECBCheck Quality Criteria-2012（EFQUEL，2012）、Certification System of e-Learning Quality in Taiwan-2013（eLQCC，2013）]进行详细分析，发现在评价指标体系中一般都有反映课程内容的评价指标；课程/教学设计指标在评价指标体系中出现的频率最高；资源的可用易用性指标以及在线支持与帮助指标在评价指标体系中出现的频率也非常高。因此，笔者将MOOC质量评价分为“课程内容”、“教学设计”和“学习支持”三个维度。各维度下具体指标的构建，以CELTS-22评价指标为基础，充分结合MOOC的特征，并通过专家的访谈（由于文章篇幅限制，访谈方案如前所述，访谈过程略），得到如表1所示的指标体系。

将CELTS-22网络课程评价规范和表1对照来看，本文提出的MOOC质量评价指标与CELTS-22网络课程评价规范之间的异同主要体现在以下几个方面：

（1）在评价维度上，少了—个维度，将CELTS-22中的“界面设计”和“技术”统称为“学习支持”。

（2）在“课程内容”维度上，将指标“内容分块”和“内容编排”提炼成“结构合理性”；删除了“内容链接”指标；新增了指标“资源粒度”（因MOOC学习的随时随地性）和“内容的再生性”（因MOOC学习的个性化）；强化了课程说明（因MOOC的大规模和自主性）。

（3）在“教学设计”维度上，删除了“学习目标”和“目标层次”指标[因MOOC具备后现代课程的特征（王永固，等，2014），其学习目标具有不确定性和自我生成性]；将“学习者控制”指标移到“学习支持”维度下；删除了“实例与演示”指标；新增了“文化”指标（因MOOC的开放性）；将“学习帮助”指标改为“在线辅导”（强调MOOC学习的网络性）；强化了“内容的交互性”、“交流与协作”和“练习与反馈”指标（因MOOC学习的自主性、开放性，学伴交互协作、相互测评的重要性）。

（4）在“学习支持”维度下，将CELTS-22中“界面设计”维度下的9个指标提炼成3个指标（“界面可视性”“导航”“语义聚合”）。其中，“语义聚合”强化了“内容检索”指标（因MOOC视频资源的小粒度性，增加了学习者检索资源的次数，通过语义将资源内聚，使小粒度的知识组成更加完整的知识单元，有助于学习者进行全面的知识建构）。CELTS-22中“技术”维度下的6个指标提炼成一个指标“兼容性”，“兼容性”指标代表在不同平台安装、卸载以及可靠运行等多个方面。同时，新增加了3个与当前大数据时代数据分析相关的评价指标，也是符合MOOC学习的大规模性和个性化特征的指标（“记录追踪”“学习分析”“个性化推送”），对在线学习过程中发生的各种数据进行分析，将分析结果反馈给教师可以帮助教师提高教学质量、教学水平和职业技能，反馈给学生可以帮助学生更好地开展自适应的学习，从而提高学习效果和提高课程通过率。为了提高MOOC的结课率，新增了“证書/学分”指标（因MOOC的开放性和大规模性）。

（三）指标权重的计算

权重是指指标体系中各指标在完成、实现整体目标中的贡献程度。只有确定了各指标的权重之后，才能合理地进行分析和判定。确定权重的方法主要有专家意见平均法、秩和运算法、层次分析法、特尔斐法等。由于MOOC评价指标不是很直观，不能用精确的数据来衡量，层次分析法是一种将定性方法和定量方法相结合的方法，为无法定量描述的复杂问题提供了解决方法，因此，MOOC评价指标的权重采用层次分析法来确定。

Yaahp（Yet Another AHP）是一个层次分析法软件，以层次分析法为依据，具有构造层次模型、录入判断矩阵、计算权重和将计算结果导出等功能。利用Yaahp软件计算MOOC评价指标体系各指标权重的过程如下：

1.建立层次结构模型

在Yaahp软件中绘制如图1所示层次结构模型。

2.构造两两比较判断矩阵

（1）一级指标判断矩阵的构造

根据专家对一级指标课程内容U1、教学设计U2、学习支持U3相对重要性排名的最终统计结果U2>Ul>U3，在Yaahp软件工作区里单击“判断矩阵”标签，判断矩阵中输入数据标度，软件自动进行一致性检测，提示“一致（0.0000）”，当一致性比例<0.10时，认为判断矩阵通过一致性检验，如图2所示。

（2）二级指标判断矩阵的构造

1）课程内容U1

根据专家对课程内容U1维度下的二级指标相对重要性排名的最终统计结果，将数据标度输入判断矩阵中，数据标度的值如表2所示。Yaahp软件自动进行一致性检测，提示“一致（0.0316）”，判断矩阵有效，一致性检测通过。

2）教学设计U2

根据专家对教学设计U2维度下的二级指标相对重要性排名的最终统计结果，将数据标度输入判断矩阵中，数据标度的值如表3所示。Yaahp软件自动进行一致性检测，提示“一致（0.0222）”，判断矩阵有效，一致性检测通过。

3）学习支持U3

根据专家对学习支持U3维度下的二级指标相对重要性排名的最终统计结果，将数据标度输入判断矩阵中，数据标度的值如表4所示。Yaahp软件自动进行一致性检测，提示“一致（0.0259）”，判断矩阵有效，一致性检测通过。

3.计算权重

判断矩阵创建完成后，在Yaahp软件工作区里单击“计算结果”标签，得到所有指标的权重，单击“显示详细数据”按钮可以看到各级指标权重的明细。

图3列出了一级指标的权重计算结果，从中可以看出，三个一级指标所占的权重分别是：课程内容U1的权重为0.3333，教学设计U2的权重为0.4167，学习支持U3的权重为0 2500，教学设计U2所占的权重比例最高。由于篇幅关系，二级指标权重计算在此省略。

4.MOOC质量评价指标体系的确立

将Yaahp软件分析的权重结果整理到原有的无权重的评价体系表中，并把较低层次的指标权重乘以其上一级指标的权重，就可得到其在整个指标体系中的实际权重，通过处理得到的MOOC质量评价指标体系，如表5所示。

四、评价指标体系的应用

当前，国内比较受欢迎且用户量较多的三大MOOC平台是中国大学MOOC、学堂在线和好大学在线。因此，本研究从这三大MOOC平台中各选一门课作为MOOC评价体系评价的对象，分别是学堂在线平台上的清华大学邓俊辉老师的“数据结构”、好大学在线平台上的上海交通大学李康化老师的“唐诗宋词人文解读”和中国大学MOOC平台上台湾新竹清华大学杨佳娴老师的“细读张爱玲”，这三门课程都是MOOC学院平台上推荐的好课。笔者邀请课题组的六名成员从使用者的角度对其实施评价。评价实施后回收评价数据，并计算六位评价者在各指标上的平均分，统计结果如表6所示。将每一个二级指标的平均分乘以各自的权重，得到一级维度的得分，将一级维度的得分乘以各自的权重求得课程的总分，其结果如表7所示。

表6显示了三门课程在每个二级指标上所得的总分和平均分。这三门课程在资源粒度、资源扩展、内容再生性、媒体选用、动机与兴趣、练习与反馈、记录追踪、学习分析、个性化推送指标上的平均分存在小于4的情况。其中，资源粒度指标“细读张爱玲”课程得分只有2.67，原因是其他两门课程资源的播放时长一般在10分钟以内，而“细读张爱玲”课程一般视频时长都在20分钟左右，资源粒度大，负荷高，不利于移动学习、碎片式学习的开展。资源扩展指标“唐诗宋词人文解读”课程得分最低，只有1分，其次是“数据结构”课程，得分为3.33，原因是“唐诗宋词人文解读”没有提供与教材及课程内容相关、有学习价值的外部资源或链接，“数据结构”课程只提供了课程教材的信息以及课程讲义的下载链接，而“细读张爱玲”课程不仅给出了课程的教材信息，还给出了相关的参考文献信息，实现了课程的拓展。内容再生性指标“数据结构”和“细读张爱玲”这两门课程得分都只有1.83，原因是这两门课程都没有专门的版块允许用户提交资源申请、提交资源以及对资源进行纠错。这个指标“唐诗宋词人文解读”课程稍高些，其专门设有课程纠错区，在视频播放区右上角设有提问与纠错，学习者如果发现内容有误或播放有问题都可以实时报错纠错。媒体选用指标“细读张爱玲”课程得分为2.5，原因是该课程通篇都是以教师讲为主，偶尔辅以文本介绍，媒体形式单一。动机和兴趣指标“细读张爱玲”课程得分3.33，原因是“细读张爱玲”课程没有采取适当的措施去维持学习者学习课程的兴趣，通篇只是介绍，其他两门课程均采取了一些相应的措施，比如，视频中嵌入小测试、课堂晋级、提供笔记功能等。练习与反馈指标“细读张爱玲”课程得分最低，原因为其只提供了主观题，题型单一，评价采用互评和白评形式。“唐诗宋词人文解读”课程提供了客观题和主观题两种形式，客观题系统自动反馈，主观题采用互评形式。“数据结构”课程提供了客观题和编程题，客观题系统自动评分，编程作业则在http：∥dsa.cs.tsinghua.edu cn/oj/上自动评测，反馈非常及时。記录追踪、学习分析、个性化推送指标三门课程得分均低于4分，这三个指标之间为层递的关系，只有记录了更全面的学习信息（学习者生理信息、心理信息、学习行为信息等），才能进行更加精确的学习分析，量化学习者的学习，进而推送学习者感兴趣的知识内容，学习资源的表征方式采用学习者喜欢和习惯的方式，从而实现学习者个性化、智能、定制和高效的学习。目前，三门课程只是记录了学习者的学习时长、测试成绩、在线交互情况、笔记等数据，记录不全面，没有将学生的生理和心理数据（详细的在线日志、学习表情、操作习惯等）记录下来。学习分析也只是做了简单的统计，其中“数据结构”课程在课程进度版块统计了学习者的学习进度和练习得分情况，“唐诗宋词人文解读”课程在统计版块里显示了学习者的每周学习时长、人均学习时长、练习得分和人均得分的对比图，而“细读张爱玲”课程则没有专门的版块统计分析学习者的学习情况。个性化推送指标三门课程都只是通过课程注册时的邮箱定期推送一些与课程相关的通知（新内容上线通知、作业提交、考试、证书申请等），远达不到根据学生的喜好、学习分析情况自动推送适合学习者的学习内容的要求。除上述9个二级指标外，其他各项评价指标的平均分都超过了4.00，表明三门课程建设得比较规范，可用易用性较好。

表7给出了三门课程一级维度的得分与总分。可以发现，“数据结构”和“唐诗宋词人文解读”总分较高，在85分以上，说明课程建设情况较好。三门课程在学习支持维度上得分均低于4分，说明在建设MOOC时要加强这方面的建设，尤其是在记录追踪、学习分析和个性化推送方面的学习支持，这也是大数据时代量化学习，实现个性化学习、自适应学习的必要支持，也是当前MOOC建设面临的巨大挑战。“细读张爱玲”课程除了学习支持维度得分低外，教学设计维度得分也低于4分，说明其在课程内容呈现、学生学习兴趣维持以及练习题提供的多层次性等方面要加强建设。

MOOC学院平台上有一项学习者对课程评价的统计功能，从五个方面来评价课程的好坏（知识量、教师参与、趣味性、课程设计、难度）。网站上这三门课程学习者评价的统计结果（截至2016年11月）显示“细读张爱玲”总分为8.5分，“数据结构”和“唐诗宋词人文解读”分别为9.0分和8.9分。其中，在“课程设计”单项上“细读张爱玲”得分为8.4分，“数据结构”和“唐诗宋词人文解读”分别为9_7分和9_2分。从这些数据可以看出MOOC学院平台上的学习者评价统计结果与本研究中MOOC质量评价指标评价结果的一致性，可见MOOC质量评价指标体系的可操作性和有效性。

五、结论

通过查阅和分析大量国内外学术文献和评价规范，并通过专家访谈，探索性地建立了包含3个一级指标、26个二级指标的MOOC质量评价指标体系，并利用层次分析法确定了各指标的权重（见表5）。依据生成的评价指标体系对国内三大MOOC平台上的三门课程进行评价实践，结果表明其具有较强的可操作性，可以有效评判MOOC建设的优劣。评价指标体系的评价实践对于MOOC资源的建设与管理具有以下启示：①资源建设要重视教学设计，尤其是资源的趣味性、交互性、教师的参与和反馈。②要加强学习支持方面的建设，尤其是记录追踪、学习分析和个性化推送等方面，真正实现以学习者为中心自定步调的个性化学习。

本研究的不足在于，评价指标体系的有效性检验只是运用评价指标体系对三门课程进行评价实践，用评价结果与MOOC学院平台上学习者对三门课程评价的统计数据的一致性来体现，未能根据评价指标体系编制评价量表对其信度和效度做进一步检验，评价体系还有待进一步细化和完善。因此，在今后的研究中，我们将进行较大规模的应用研究，将评价指标体系编制成李克特量表，运用到各大MOOC平台的课程中，检验其信度和效度。同时，结合MOOC平台上学习者的反馈和调查来进一步完善评价指标。