线上“金课”评价指标体系构建研究

王晓凡，马 力，汪 娟

(湖北大学，湖北 武汉 430062)

2018年8月，教育部印发了《关于狠抓新时代全国高等学校本科教育工作会议精神落实的通知》，首次提出“每一门课程的教学内容都要进行彻底的整顿，建设‘金课’，以全面提高课程质量为目标”。[1]2019年10月，《教育部关于一流本科课程建设的实施意见》提出，要在三年左右建设国家级省级一流本科课程约1万门。[2]2019年1月，有801门课程被认定为2018年国家精品在线开放课程，也就是线上“金课”。目前，已有的“金课”相关评价指标体系主要采用自上而下的方法构建，关注学者和专家的意见，鲜有从学生或学习者的视角出发，自下而上地去开展课程质量评价。[3]如果一门课程与用户没有关联或者不能从用户的角度出发，那么它提供的服务质量就是差的。[4]基于此，将采用文本挖掘技术，选取中国大学MOOC平台上12门国家精品在线开放课程作为代表，结合国内外的评价规范和学习体验的特征与构成要素，构建基于学习体验的线上“金课”评价指标体系。

一、线上“金课”的特征

作为“金课”的一个分类，线上“金课”具有“两性一度”[5]的标准，但是由于线上课程的时空分离和技术依赖等特征，又使线上“金课”具有以下独特的特征：

(一)凸显技术属性

社会处于信息化发展的背景下，一些新型智能技术发展十分迅速，如人工智能和第五代移动通信等。而线上“金课”的各方面都离不开技术属性，如资源呈现方式、师生和生生交互方式、学习分析和支持服务技术等。

(二)教学技术融合

线上“金课”不同于传统的面对面的教学方式，充分利用互联网技术，改革教学方法，以一种音频、视频、字幕和图片结合的在线授课方式，建立一套完整的在线教学体系。教师精心备课，录制教学视频，并利用网络技术的储存功能和传播功能，把教学视频传到网络在线平台供学生学习。

(三)突破时空限制

线上“金课”学习不在传统课堂进行，避免了时间和空间等条件的限制，学习者可结合自己的需要安排，调整学习进度和计划，更加注重移动学习和碎片化学习。

二、线上“金课”评价的新视角

除了借鉴学习体验的理念，也借鉴了用户体验的观点，因为在某种程度上“金课”属于一种特殊的教育产品，学习者属于用户，将用户体验和学习体验的概念与构成要素进行归纳分析，以确定线上“金课”学习体验的概念和构成要素。

(一)概念界定

将线上“金课”学习体验定义为在线上“金课”学习前、学习中和学习后产生的感知与体验，它是学习者对线上“金课”课程设计、学习活动、学习交互、学习环境等学习过程以及学习结果中涉及的诸多要素的感知、反应和行为表现。[6]

(二)构成要素

通过线上“金课”学习体验概念的界定，可以得知，它是学习者对线上“金课”学习过程和结果的认知和情感，从过程来分析，是学习者对课程本身和学习活动的体验，涉及课程环境与学习活动；从结果来看，主要是学习者对课程和学习效果的体验。[7]所以，将线上“金课”学习体验划分为三个阶段：即课程环境体验、学习活动体验以及学习结果体验。

三、线上“金课”质量评价指标体系的指标提取

(一)文本采集

中国大学MOOC平台上有10类国家精品课程，基于“学习体验”的视角，在每个分类中选取一些课程评价作为数据源，课程按照系统展示的热门来随机选择，最终选择的12门课程为：国际交流英语、大学计算机、高等数学(一)、电路、微观经济学、外国文学史(一)、艺术教育、管理心理学(上下)、营养学、社会学概论、文献管理与信息分析以及马克思主义基本原理概论。然后，选取与课程质量有关的用户评论，使用八爪鱼采集器收集数据，共收集了17871条评论，去重之后得到16570条评论。

(二)指标提取

研究采用ROST CM 6进行文本挖掘，ROST CM工具在各大高校应用非常广泛。首先将上文采集到的16570条课程评价导入ROST CM 6 中进行分词处理，在词频统计的过程中，ROST CM 6会自动载入过滤词表，过滤一些常见停用词和合并同义词。得到词频统计表之后，从词频统计表的结果中可发现学生评价中国大学MOOC的侧重点，但单纯的词语频度很难显示词语之间关系，接下来要用ROST CM 6对上文的文本数据构建社会网络和语义网络。五个步骤分别为：提取高频词汇，过滤无意义词汇，提取行特征词汇，构建行特征词共词矩阵，最后是构建语义网络。[8]最终得到的语义网络图如图1所示。

图1 语义网络图

从图中可以看出，有若干高频词汇，以“老师”和“课程”为中心，这表明在参与线上“金课”学习后，学生更侧重于对这两个方面进行评价或提出建议。然而，由于学习者评论内容的复杂性，不能只根据高频词汇总结评价指标，还应参考原始文本数据，根据文本中的高频词，以人工查找的方法进行分类整理，进而归纳出评价指标，按照这些关键词出现频率，分配指标比例。经过总结归纳后得到13个高频词汇，将高频词汇进行整理，得到6个一级指标，表1为相关指标和所占比例。

表1 提取的评价指标及所占比例

四、线上“金课”质量评价指标体系的建立

(一)线上“金课”评价指标体系的构建

研究借鉴了国内外已有的课程评价规范，通过梳理这些标准和体系可发现，许多指标内容存在重复或相似，还有一些指标不能体现线上“金课”独有的特征。为此，对这些评价标准进行筛选提炼，删除了一些重复相似项，又提取出被这些评价标准共同认可的基于学习体验的指标内容，并结合前文线上“金课”的特征、线上“金课”学习体验的构成要素和从中国大学MOOC评论数据中提取的13个高频指标，构建了包含3个一级指标、8个二级指标、以及28个三级指标的基于学习体验的线上“金课”评价指标构成要素表，具体如表2所示。

表2 基于学习体验的线上“金课”评价指标构成要素表

(二)AHP法确定指标权重

1．建立层次结构模型

利用AHP法可建立层次结构模型，图2展示出基于学习体验的线上“金课”评价指标体系层次结构模型图。

图2 基于学习体验的线上“金课”评价指标体系层次结构模型图

2．构造两两比较判断矩阵

采取的打分方法是层次分析法中常用的“1-9标度法”，设计了基于学习体验的线上“金课”质量评价指标权重系数调查表，邀请四位本专业领域的专家进行评分。对一级指标的判断矩阵及其一致性进行检验，通过归一矩阵算得λmax=3.0183，则CI=0.0091，CR=CI/RI=0.0176<0.1，说明权重判断具有理想的一致性。接下来是二级指标和三级指标，对它们的判断矩阵与一致性检验进行分析，CR都小于0.1，一致性检测通过。

3．权重计算

判断矩阵完成后，就可计算所有指标的权重。一级指标的权重计算结果分别是：课程环境体验A1的权重为0.3196，学习活动体验A2的权重为0.5584，学习结果体验A3的权重为0.122，学习活动体验A2的权重比例最高。因篇幅有限，二级指标和三级指标的权重计算不做具体介绍。

4．评价指标体系的确立

将以上各指标权重的结果整理到原来的评价指标构成要素表中，得到了基于学习体验的线上“金课”评价指标体系，如表3所示。

表3 线上“金课”评价指标体系

(三)实例应用

为检验开发出来的评价指标体系的有效性和适用性，从中国大学MOOC平台上随机选择3门线上“金课”，分别是武汉大学李维武老师的中国哲学史(先秦部分)、南京大学王海啸老师的大学英语学术阅读和福建农林大学黄秀玲老师的毛泽东思想和中国特色社会主义理论体系概论。由学生从学习体验的视角进行打分，并与中国大学MOOC平台中的评分功能进行对比。

1．调查人员的选择

基于调查的实际可行性，选取湖北大学教育学专业的六名研究生。在评分前给学生介绍线上“金课”评价指标体系与线上“金课”评分表的内容，尽量减少概念性的问题的理解存在异议的情况。[9]每位参与调查评估的学生在观看过抽取的3门国家精品在线开放课程后，按照非常满意、比较满意、一般满意、不太满意和不满意对每项指标进行评分，完成后提交评价数据，结合这3门课程的情况对评价数据进行分析与总结。

2．评价得分计算

评价数据回收之后，对评价数据进行分析，计算过程为：首先计算6位评价者在每个三级指标上的平均分数，将分数乘以对应的三级指标的权重，得到二级指标的分数；再将二级指标的平均分数乘以对应的二级指标的权重，得到一级指标的分数；最后将一级指标的平均分数乘以各自的权重求得课程的总分。[10]表4为三门课程各二级指标的得分，表5则给出了三门课程一级指标的得分与总分。

表4 二级指标分值表

表5 一级指标及总分表

从表4和表5可以得知，“毛泽东思想和中国特色社会主义理论体系概论”总分最高，为4.33分，说明学生对这门课程各方面体验较好。“中国哲学史(先秦部分)”在考核评价和课程评价上得分低于4分，说明学生在这两方面的学习体验较差，要加强作业、讨论、考试的建设，线上课程由于空间上的分离比较缺乏有效的沟通，更要注重作业、讨论、和考试的反馈，如课前可以提前布置预习，课上留出一些空闲时间解答学生不会的作业，采用翻转课堂的形式与丰富多样的讨论形式和平台供学生讨论，考试结束后可发放问卷形成反馈单，形成性与终结性评价都要重视。“大学英语学术阅读”在学习效果上得分低于4分，说明学生在学习这门课程后，收获不是很多，实际运用水平欠佳，在这门课建设中可以增加一些实例的教学，提高学生理论联系实际的能力。

中国大学MOOC平台上有一项学习者对课程进行评价的功能，平台上这三门课程学习者评价的统计结果显示“毛泽东思想和中国特色社会主义理论体系概论”总分和“大学英语学术阅读”总分都为4.7分，“中国哲学史(先秦部分)”总分为4.8分。将这些数据与表5中的得分进行对比，可发现中国大学MOOC平台上的评价统计结果与文中线上“金课”评价指标结果存在一致性，可见文中评价指标体系的可操作性和有效性。

五、结论

通过对中国大学MOOC平台的12门国家精品在线开放课程的用户评论进行采集，并利用ROST CM工具进行分析挖掘，提取出用户评论中出现频率较高的词，并分析大量国内外关于学习体验的文献和国内外主流的课程评价标准，结合学习体验的特征和构成要素，探索性地建立了线上“金课”评价指标体系，其中包含3个一级指标、8个二级指标以及28个三级指标，并利用层次分析法计算了各项指标的权重(表3)。根据构建的评价指标体系，从学习体验的角度，邀请6名学生对中国大学MOOC平台上的3门课程进行评分。最终结果表明文中指标体系具有可操作性，可用于评价线上“金课”的优劣。