基于学习者需求视角下的MOOC评价指标体系研究

李军 王泽芳

[摘           要]  从学习者需求视角出发，结合计量学和评价学知识，使用层次分析法构建MOOC评价指标体系权重，利用模糊综合评价法构建MOOC评价模型并用此模型来测评所在学院开设的计算机应用课程质量，以提高课程质量和学习者的学习效率。

[关    键   词]  慕课;学习者;课程评价指标体系;层次分析法;模糊综合评价法

[中图分类号]  G715                 [文献标志码]  A              [文章编号]  2096-0603（2021）14-0062-02

近年來，MOOC（大规模在线开放课程，简称慕课）在世界范围的迅速兴起，满足了高校师生和社会学习者的全方位或个性化需求，激发了学习者的学习积极性和自主性，也促进课程教学方式和评价机制发生变革。为此教育部在2015年出台了《关于加强高等学校在线开放课程建设应用与管理的意见》，意见明确指出要鼓励高校间通过协同创新和集成创新的方式建设满足不同教学需要、不同学习需求的在线开放课程或课程群，并制订在线课程的教学评价办法，通过使用评价等方式对在线开放课程的在线运行、实际应用、教学效果等进行跟踪监测和综合评价，加强对在线课程建设的监管。

随着国家对MOOC课程要求的不断提高，要求MOOC课程更加突出“三教”改革理念、体现课程思政精神、注重校企联合开发等，原来的评价指标体系已经不符合新时代的要求，急需一个更合理的MOOC评价指标体系。

本文从课程团队、课程设计、课程资源、教学应用四个方面、10个指标首次从学习者需求的视角构建了新时期MOOC评价指标体系，对湖南省某所高校的MOOC进行问卷调查，运用AHP层次分析法确定权重，运用模糊综合评价法对该校的MOOC进行测试评价，以促进该校MOOC课程建设和诊断为提供理论依据。

一、引言

要建设好一门MOOC，首先需要了解学习者的需求，根据学习者的需求进行针对性的建设，这样才能更好地满足学习者的学习欲望，提高学习者的学习兴趣。李凑在《基于用户体验的我国MOOC学习者需求调查研究》[1]文章中从MOOC的平台界面设

计、课程结构、课程内容、学习评价、学习交互以及技术支持六个维度对学习者的MOOC需求做了具体的阐述;陈志华的《基于用户体验的网络课程有用性评价指标体系设计与应用》[2]从网络产品用户体验的角度出发，研究了用户体验方面的相关理论，提出了基于用户体验的网络课程有用性评价指标，并对每一项评价指标项做了分析以及确定权重，最终得出网络课程用户体验方面的评价指标体系。还有其他研究人员对MOOC的学习者需求进行了具体的阐述，这里不一一列举。

二、MOOC课程评价指标体系的构建

目前各个学校、各地教育行政部门评价MOOC课程的标准不一，评价专家往往都依靠自己的经验来评价，主观性比较大，不能很客观地评价MOOC课程的教学质量。理论研究上，目前对MOOC课程评价指标体系理论研究并不多，武汉大学的邱均平在《慕课质量评价指标体系构建及应用研究》[3]中以先进性、独立性、全面性、代表性、可操作性以及可比性为指导原则，按照慕课教学队伍、教学内容、教学效果、教学资源以及教学技术五个一级指标，慕课提供组织、慕课主讲人、慕课团队组成等十四个二级指标的慕课质量评价指标体系，使用层次分析法软件计算指标体系的权重，使用模糊综合评价法构建慕课质量评价模型，并以此模型测试信息检索课程的质量情况。

本文结合国家对MOOC课程建设的最新要求，从教育学和人的需求理论出发，遵循系统性、代表性、可比性、可量化等原则，从课程团队（B1）、课程设计（B2）、课程资源（B3）、教学应用（B4）四个方面（准则层）选择了10个指标，构建了MOOC课程评价指标体系，如表1所示：

其中，课程团队包含了主讲教师和团队结构两个指标;课程设计包括总体设计和教学设计两个指标;课程资源包含了内容要求、视频资源、图文资源三个指标;教学应用包含了开课情况、教学过程、应用效果三个指标。课程团队指标的观察点主要包括主讲教师师德师风、教学能力和经验、团队成员的结构和人数。课程设计指标的观察点主要包括课程是否融入课程思政思想、是否以学生为中心的课程教学改革方向、是否突出“三教”改革理念和注重校企联合开发。课程资源指标的观察点主要包括是否为人才培养方案中规定内容且体现产业发展水平和职业标准、视频资源是否以颗粒化的方式来组织知识点并且是否清晰流畅、图文资源是否类型丰富且风格统一。教学应用的观察点主要包括运行周期和学习人数、提供的教学活动种类和互动情况、应用效果和影响力。

三、基于学习者需求的MOOC评价指标体系权重的确定

（一）学习者需求问卷调查

采用问卷调查的方式对湖南某所高校在校生进行MOOC需求问卷调查，该校开设了很多门MOOC课程，参与的学习人数较多，应该说问卷调查具有代表性和推广性。问卷调查的内容包括上述10个指标，学习者根据实际情况对以上指标进行评价，评价等级为4级，分别为优秀、良好、合格、不合格，其中优秀代表非常符合学生的需求，良好表示比较符合学生的需求，合格表示基本符合学生的需求，不合格表示不符合学生的需求。本次发放500份问卷，其中有效问卷490份。统计有效问卷，得到10个指标相对于每个等级的隶属度，如表2所示。

（二）评价指标体系权重的确定

层次分析法是一种定量和定性分析的决策方法，它的步骤如下：首先由专家对指标一一打分，构建判断矩阵，通过判断矩阵确定一级指标的权重，如果该判断矩阵通过了一致性检验，则继续确定二级指标的权重，再进行一致性检验，最终得到所有指标的权重。

邀请10位慕课专家对课程团队、课程设计、课程资源、教学应用四个一级指标进行两两打分，构成判断矩阵，再利用Yaaho10软件计算出四个一级指标的权重分别为0.102、0298、0.326、0.274;从权重系数可以看出，课程资源>课程设计>教学应用>课程团队。可以得出，课程资源的完善、课程设计理念、教学应用效果对于一门MOOC课程来说，权重系数较大，课程建设者需要多加重视。类似的，利用Yaaho10软件计算出各二级指标的系数：B1的二级指标权重分别为0.423、0.577，B2的二级指标权重分别为0.561、0.439，B3的二级指标权重分别为0.302、0.358、0.334，B4的二级指标权重分别为0.362、0.324、0.314。

（三）评价结果

使用模糊综合评价法对MOOC课程进行评价，它的步骤如下：首先根据表2每个指标的隶属度形成模糊矩阵，然后将二级指标的权重系数乘以与其对应的模糊矩阵，最后得到评价结果。

使用上述评价体系来评价计算机应用MOOC课程的质量，计算机应用MOOC总课时32课时，主讲教师副高职称，有多年的教学经验，多次获得教学比赛奖励，课程教师团队由5名教师组成。教學团队制订了详细的教学实施方案，根据教学内容的需要，自主开发微课视频、习题、作业、单元测试、PPT课件等资源，让学生了解信息素养知识，具备利用计算机进行信息的获取、处理、传递及应用的基本技能，提高学生解决问题、动手实践应用的能力。同样利用Yaaho10软件计算计算机应用MOOC课程的评价结果，得到评价结果为良好等级。此门课程教学设计上需要更加完整，尤其要加强校企合作开发和课程思政元素的融入。

四、结论

目前，中共中央、国务院印发了《深化新时代教育评价改革总体方案》，教育评价事关教育发展方向，有什么样的评价指挥棒，就有什么样的办学导向。构建一个符合新时代要求的MOOC课程评价指标体系，具有重大的理论和实践意义，这也是落实国家“金课”建设要求，打造高教“金课”，提高MOOC质量，促进学习者学习效率，提高教学效果的有效途径。

参考文献：

[1]李凑.基于用户体验的我国MOOC学习者需求调查研究[D].南昌：江西师范大学，2015.

[2]陈志华.基于用户体验的网络课程有用性评价指标体系设计与应用[D].北京：首都师范大学，2014.

[3]邱均平，欧玉芳.慕课质量评价指标体系构建及应用研究[J].高教发展与评估，2015，31（5）：72-81，100.

编辑 司 楠