中外MOOC评价指标对比研究

李伟长 李光敏 吕坤 张滢琪 陈飞燕

湖北师范大学计算机与信息工程学院 湖北黄石 435002

1 研究背景

2008年，北美的一些公立和顶级大学开始试运营大规模在线开放课程（Massive Open Online Course，MOOC，也叫慕课）[1]，2012年，MOOC 作为一种新型的优质数字化在线课程资源，开始逐步传入中国，它适应了信息网络时代学习者学习需求多样化、学习时间碎片化、学习媒体多元化的学习新变化[2]，通常由知名教师合作开发，按照碎片化的知识点，制作8 ～15 分钟时长（每个知识点）的微型教学视频，并以此作为主体教学内容，配套课后作业、在线测试、课外讨论等功能模块，通过在线学习平台向全球学习者开放使用。

MOOC 在数量激增且广泛应用于混合式教学和在线学习的同时，其自身存在的质量问题开始受到国内外研究者的关注。英联邦学习共同体（Common Wealth of Learning）于2016年发布的《MOOC 质量保障与评估指南》提出：“MOOC 建设质量已经成为制约MOOC 发展的瓶颈，为了保持MOOC 的生命力，需要MOOC 建设者采用预设性评价、过程性评价和总结性评价分别对通识型MOOC、实践型MOOC和学术型MOOC 进行分类质量评价。”2016年，北京师范大学智慧学习研究院对国内MOOC 平台的1 388 门课程进行深度调研，发现我国MOOC 主要通过新建、改造和引进三种方式建设，其质量与学习者的理想差距甚远。一是新建MOOC 存在使用对象不明确，课程内容机械照搬教材等问题；二是改造的MOOC 是在学校原有网络课程素材和课堂教学监控视频的基础上经过二次开发制作而成的，存在资源陈旧，内容表现方式简单、视频质量不高等问题[3]；三是引进的国外MOOC 缺少翻译或提供必要的学习支持服务，存在学习门槛。这些问题导致MOOC 学习者使用困难，出现了注册率低、选课率低，弃学率高（两低一高）的现象[4]。我国高校在教学实践过程中发现，MOOC 质量定位不准确、内容不规范、服务不到位等问题严重影响到在线教学的质量。为了引导高校有序建设MOOC，确保MOOC等在线开放课程的建设质量，教育部早在2015年就发布了《教育部关于加强高等学校在线开放课程建设应用与管理的意见》（教高〔2015〕3 号），2022年又发布了《教育部等五部门关于加强普通高等学校在线开放课程教学管理的若干意见》（教高〔2022〕1 号），意见明确指出，要鼓励高校间通过协同创新和集成创新的方式建设满足不同教学需要、不同学习需求的在线开放课程或课程群，并制定在线开放课程教学管理办法，规范课程选用、教学、评价、督导和学分认定等管理制度，通过使用评价等方式对在线开放课程的在线运行、实际应用、教学效果等进行跟踪监测和综合评价，加强对在线课程建设的监管。教育部从2019年开始组织国家精品在线开放课程持续开放服务和更新情况督导检查工作，要求各学校做好课程认定，把好在线课程的入口关，鼓励建立在线课程质量评价办法，形成以评促建的质量保障机制。[5]MOOC 质量评价与质量监管已经成为各级教育管理部门和学校的一项常规性任务。

2 MOOC 评价标准体系简介

本研究对象来源于5 个不同层面的MOOC 评价标准，分别是：武汉大学邱均平教授2015年发表的论文中所构建的“慕课质量评价指标体系”；复旦大学管理学院姚凯教授于《复旦教育论坛》发表的论文中的“MOOC 评价标准体系”；华中师范大学聂艳娇2021年发表的论文中的“MOOC评价框架”；美国普渡大学5 位学者于2019年发表的论文中的“MOOC评价指标”；奥地利格拉茨大学3 位学者于2015年发表的论文中的“MOOC 评价网格”。国内外MOOC评价指标体系皆出自CCSSCI 以及SSCI层次的文献中，本研究以这5 套评价体系为对象进行研究，具有较强的代表性（见表1）。

表1 MOOC评价指标体系表

2.1 邱均平“慕课质量评价指标体系”

邱均平教授以先进、独立、全面，具有代表性、可操作性和可比性的原则为指导，在国内外慕课质量和在线教育质量评价指标相关研究的基础上，征求慕课研究专家、慕课教学团队、讲师、助教和慕课学员的意见和建议，并根据慕课特点设计了“慕课质量评价指标体系”（见表2）。

表2 邱均平“慕课质量评价指标体系”[6]

2.2 姚凯“MOOC 评价标准体系”

姚凯教授以“MOOC 学院”社区论坛为数据源，使用文本挖掘技术对其进行处理和分析，获取部分课程评价指标，同时结合已有课程评价标准，建立了课程内容、教学设计、界面设计、媒体技术、课程管理等5 个一类指标，以及课程说明、内容目标一致性等25 个二类指标的“MOOC 评价标准体系”，如表3所示。

表3 姚凯“MOOC 评价标准体系”[7]

2.3 聂艳娇“MOOC 评价框架”

聂艳娇综合了文献综述的发现之后，提出了一个两级MOOC 评估框架。第一级包括课程计划、课程内容、教学过程和学习成果4 个主要标准。每个主要标准包括2 到3 个次要标准[8]。表4 展现了标准的结构及其描述。

表4 聂艳娇“MOOC 评价框架”

2.4 普渡大学“MOOC评价指标”

普渡大学5 位学者对来自EDX，Coursera 或Udacity 教授STEM MOOC 的14 位教职员工进行了半结构化访谈。他们从现象学角度遵循定性方法分析访谈数据，以更多地了解教师在教授MOOC 方面的经验及哪些信息是对他们有益的观点。从MOOC教师的角度获得了4 个维度的“MOOC评价指标”[9]。详情见表5。

表5 普渡大学“MOOC评价指标”

2.5 格拉茨大学“MOOC 评价网格”

格拉茨大学的3 位学者研究了XMOOC 的基本要素。他们通过对来自多个MOOC 提供商的不同XMOOC 的积极观察，确定XMOOC 基本教学要素的特征，并且将它们分为子类别并提出标准，以阐明XMOOC 中存在的主要类别。在这项研究中，他们使用不同类型的方法来揭示和评估结果。这些方法是：定性内容分析、个人观察、文档分析和专家意见分析。他们总结出了系统标准、交互标准和内容标准的3 个一级标准，以及3 个维度下有针对性的二级标准。详情见表6。

表6 格拉茨大学“MOOC 评价网格”[10]

3 MOOC 评价标准对比分析

3.1 指标内容涵盖程度比较分析

以上5 套评价体系内容有许多相似之处，同时也存在不同侧重点。除了普渡大学MOOC评价指标，其他4 套评价体系都强调了课程内容、教学资源、教学媒体等因素；而普渡大学MOOC 评级指标来自对MOOC 教师的访谈，该指标和格拉茨大学MOOC 评价网络更倾向于与学习者交互，获得学习者的数据和及时的反馈。邱均平慕课质量评价指标体系与姚凯MOOC 评价标准体系关注了MOOC 的界面设计。

3.2 MOOC评价指标形成方法比较

关于评价指标形成的办法，在文献中有所提及的情况下进行比较。邱均平“慕课质量评价指标体系”通过整合MOOC 质量研究和国内在线教育课程评价指标的办法而形成；姚凯“MOOC 评价标准体系”以“MOOC 学院”社区论坛为数据源，使用文本挖掘技术对其进行处理和分析，获取部分课程评价指标，同时结合已有在线教育课程评价标准而形成；聂艳娇“MOOC 评价框架”是整合有关慕课质量的相关研究而形成；普渡大学“MOOC评价指标”是对MOOC 教师进行访谈后，通过定性分析的方式而形成；而格拉茨大学“MOOC 评价网格”形成的办法是定性内容分析、个人观察、文档分析和专家意见分析。

可以发现国外2 套MOOC 评价标准体系都采用了定性分析作为其中的步骤，而国内的3 套MOOC评价指标体系并没有采用定性分析方法；另外，姚凯“MOOC 评价标准体系”采用了数据挖掘的方法来获取学习者对MOOC 的关注点作为MOOC评价指标；而普渡大学的5 位学者则通过访谈MOOC 教师来获取教师对MOOC 的关注点作为评价指标。

3.3 MOOC评价指标粒度分析

邱均平“慕课质量评价指标体系”结构为5 个一级指标、14 个二级指标；姚凯“MOOC 评价标准体系”为5 个一级指标、25 个二级指标；聂艳娇“MOOC 评价框架”为4 个一级指标、9 个二级指标；普渡大学“MOOC评价指标”是4 个一级指标；格拉茨大学“MOOC 评价网格”则是3 个一级指标、22 个二级指标。可见姚凯“MOOC 评价标准体系”和格拉茨大学“MOOC 评价网格”在评价指标上更细化，说明这2 套MOOC 评价系统分析MOOC 教学环节更透彻。

4 中外MOOC 评价标准分析对比对我国创建MOOC评价指标体系的启示

4.1 避免评价内容单一性，注重指标全面性

MOOC 评价内容可以反映出建设团队对MOOC 课程建设的构思，同样也能够检测出一个MOOC 课程是否符合优秀MOOC 课程的标准。所以，评判MOOC的标准体系是否全面，能否反映出MOOC 的本质特征，重点在于MOOC 评价内容的设计。评价内容体系不全面，评价的结论也会不正确。通过以上的比较分析，评价指标内容除应具备全面性外，还需要按照MOOC 的特点围绕某个主题开展，不能过于分散。但中外5 个MOOC 评价体系综合性很强，没有以一门MOOC 课程的学科特点为主题。因此在构建MOOC评价指标体系时应根据MOOC 课程学科特点确立一个主题，并围绕主题构建评价体系。

4.2 根据客观实际，调整硬件评价指标与软件评价指标的比例

由于各MOOC建设团队的硬条件和软条件不同，在建立MOOC评价指标体系时，应该从实际情况出发，根据一门MOOC 现有的软硬件水平建立一个评价指标体系，并且评价指标体系要体现出软硬件水平的比例的科学性。只有这样，它才能发挥有效的评价作用，并在引领MOOC 课程发展到更高水平方面发挥作用。例如，MOOC 的硬件设施建设并不完善，如果评价指标体系以软件标准为主要评价依据，那么这个体系就会显得苍白和薄弱，不仅起不到评价作用，而且也起不到指导作用。

4.3 综合考量主客观评价因素，科学平衡主客观评价配比

主观评价指标和客观评价指标在MOOC评价指标体系中都非常重要。主观评价指标反映了学习者在MOOC 课程中的个人学习体验，但由于是个体差异造成的主观因素，因此可能无法正确反映通过MOOC 课程所达到的客观可信度。

客观指标虽然能在一定程度上反映MOOC 的真实水平，但不能反映MOOC 课程学习者对MOOC 课程本身的满意度。

另外，如果没有学习者和MOOC 课程整体的评价，那是不正确的，二者能有效地显示MOOC 课程体系的真实面貌。因此，评价指标体系的主观评价和客观评价必须是科学一致的。

5 结束语

各评价主体对于MOOC 内涵的理解程度有所不同、侧重有所不同，导致了MOOC评价指标的差异性。具体表现在：与欧美2 套MOOC 评价标准体系比较，国内的3 套没有采用定性方法来建立评估体系；国内MOOC评价指标体系较多强调教学设计评估，而欧美评价指标体系注重与学习者交互的评估。总而言之，5 套评价指标体系中有很多优点值得我们在设计国内MOOC 的评价指标体系前借鉴学习。综上所述，建议根据MOOC 特点、MOOC 学科发展等客观实际，量体裁衣，来建立MOOC评价指标。