MOOC评价模型研究

姚凯,李思志,李艳红,邱静静（.复旦大学管理学院，上海00433；.上海财经大学信息管理与工程学院，上海00433）

MOOC评价模型研究

姚凯1,李思志1,李艳红2,邱静静2
（1.复旦大学管理学院，上海200433；2.上海财经大学信息管理与工程学院，上海200433）

本文以“MOOC学院”社区论坛为数据源，使用文本挖掘技术对其进行处理和分析，获取部分课程评价指标，同时结合已有课程评价标准，建立了包括课程内容、教学设计、界面设计、媒体技术、课程管理等5个一类指标，以及课程说明、内容目标一致性等25个二类指标的MOOC评价指标体系，并运用基于Vague集的相似度量法建立了MOOC评价模型。模型比较客观、符合实际，有利于MOOC学习者确定课程质量优劣，为MOOC平台、管理者和开发者对课程进行改进提供依据。

慕课（MOOC）；课程评价；文本挖掘；社区论坛；Vague集；相似度量

大规模开放式在线课程（MOOC）自2011年起开始风靡全球，成为一种新型教育模式吸引了世界各地的学习者[1]。但当前MOOC发展遭遇了瓶颈问题，即MOOC学习的注册率很高，但完成率很低，如斯坦福大学、麻省理工学院和加州大学伯克利分校等院校的MOOC辍学率竟高达80%-95%[2]。虽然MOOC质量不是导致MOOC学习完成率低的唯一要素[3]，但课程质量会影响学习兴趣确是不争的事实[4]。现有关于MOOC质量的研究，多集中于评价原则和对应措施方面[2]，在课程评价模型方面的研究还相对较少。原因之一是MOOC评价体系尚未科学合理地建立[5]，二是尚未找到合适的评价方法对MOOC质量做出准确评估[6]。所以，提出恰当的评价指标体系和评价方法，构建合理有效的MOOC评价模型，是帮助MOOC平台加强MOOC管理、提升MOOC质量的当务之急，也是保护学习者的学习兴趣、促进课程完成率的提高、最终实现MOOC教学目标的关键路径。

一、文献回顾

现有文献中虽然针对的MOOC评价的研究相对较少，但传统课程评价和网络课程评价的研究成果可提供一定借鉴和参考。现有传统课程评价方法包括回应性评价模式、外观评价模式、目标游离评价模式、CIPP评价模式和目标评价模式等，主要缺陷之一是量化为主的课程评价方法将关乎课程质量却无法或暂时无法量化的因素排除在外，导致评价结果存在偏差，课程评价管理机制不健全[7]。未来，校本课程评价方式将会不断调整，由标准化测验转向动态研讨式评价形态；在支持系统维度上，由权威式系统支持模式转向协同式支持模式[8]。

在网络课程评价中，有学者提出以客观数据作为量化依据的网络计量方法，以学习者学习绩效测量为核心，初步构建了基于网络计量方法的网络课程评价指标体系[9]。有学者提出了包括教学性、技术性、艺术性和使用性等指标在内的综合评价指标体系，并针对指标体系的特点采用模糊综合评价模型和方法对网络课程进行综合评价[10]。也有学者以细胞生物学网络课程为研究对象，以专家评价、学生网上评教、学生学习效果检测等三个方面来构建该网络课程的评价体系[11]。

关于在线课程评价，有学者认为在线课程评价应关注所应用的技术以及增进教师和学生交互的教学策略，还应围绕学生的“学”这个中心，结合在线课程教学的特点，形成对教师教学评价的原则[12]。也有学者建议将课程预期的效果以及易获得性、对于学生和教师来说具有的灵活性、师生互动性及互动的便捷性、获得积极参与课程的体验等因素融合到在线课程评价中[13]。

关于MOOC评价，有学者对欧洲的“开放教育质量标签”、西班牙的“MOOC教育质量综合评价指标体系”以及德国的“MOOC设计质量保障标准”等三种MOOC质量评价方法进行了梳理和分析，详细对比了这三种评价方法在MOOC评价实际应用中的优缺点[1]。有学者通过对国内外8个权威在线课程评价指标体系的分析，归纳出一般在线课程的质量因子，然后结合MOOC的特殊性确立适合MOOC的质量观，并以美国在线课程质量量规为蓝本构建MOOC质量模型[2]。有学者基于北京大学MOOC的实践，构建了包括量化因素及定性描述、面向课程改进的MOOC评价体系，其中量化因素分为课程内容建设及课程实施两个阶段，定性描述则又分为内容的组织、内容的呈现、讲授方法及课程的执行与推广[14]。也有学者结合大学英语课程，从多元智能理论的角度探讨了如何从评价目标、评价主体、评价内容、评价方式、评价结果等五个方面来构建MOOC自主学习多维动态评价体系[15]。还有学者建议通过采集网易公开课中上传的可汗学院视频下的评论，并按照不同研究方面对采集的评论数据进行数据挖掘和分析，分离出评论数据中可作为可汗学院课程评价的各项一级、二级指标类目，整合出影响MOOC传播效果的重要因素[16]。

综上所述，现有传统课程评价和网络课程评价领域的文献，为MOOC评价提供了一定的思路和借鉴，如尝试构建动态评价体系、可采用模糊综合评判方法评价、加强技术层面关注、关注互动体验等。专家学者们在分析借鉴国外MOOC评价方法的基础上，已经开始有意识地探寻影响我国MOOC评价的影响因素，构建适合我国教育体制和实践运作的MOOC评价指标体系和评价方法。虽然有学者提到采用数据挖掘等方法对MOOC评论数据进行处理，但仍处于建议层面，并未真正落实。如何基于大数据背景利用数据挖掘手段开展MOOC评价，尚未得到充分阐述和论证。但究竟采用何种技术手段能够助力开展MOOC评价，是提升MOOC品质、促进MOOC推广亟待解决的关键一步。

本文拟将借助数据挖掘和Vague集方法，以MOOC学院社区论坛的评论为数据源，通过文本挖掘方法获取潜在的课程评价指标，构建符合MOOC特点的综合性评价指标体系，并在用AHP法确立指标权重基础上，建立基于Vague集相似度量的评价模型。

二、评价模型的指标提取

（一）文本采集

八爪鱼数据采集系统是一款业界领先的网页采集软件，具有使用简单、云采集、拖曳式采集流程、图文识别、定时自动采集等诸多优点。它以分布式云计算平台为核心，可以在很短时间内从网站或网页获取大量数据，实现数据的自动化采集、编辑和规范化[17]。它不仅能有效降低信息获取成本，而且能极大地提高信息获取效率。

国内的MOOC学院收录了Coursera、edX、Udacity、学堂在线、中国大学MOOC等主流在线课程提供商的所有课程。学习者可以在这个平台上免费参与所有课程学习，并且可以给已学习过的MOOC进行评价打分，上传分享上课笔记，在讨论区和其他学习者讨论课程相关问题。

因此，本文以MOOC学院点评区的评论为文本数据源，选用八爪鱼采集器进行文本采集，共采集了9179条文本数据（已去重）。

（二）文本挖掘

英文文本挖掘相对于中文的文本挖掘成熟很多，国外的一些开源工具在面对汉语时显得有些力不从心；而国内的ROSTCM在这方面做得很好，对中文的支持度最高，在各大高校应用非常广泛[18]。因此，本文选取ROSTCM进行文本挖掘。

首先，将数据导入ROSTCM 6中进行分词处理，然后进行文本清洗，即去除停用词、合并同义词。ROSTCM 6在词频统计过程中自动载入过滤词表，过滤常见停用词。不同文本挖掘的需求不同，根据文本分词结果和初步词频统计结果，人工修改过滤词表，添加“作为”“还有”“第一”等20个停用词，得到新的过滤词表，进行第二次词频统计。从词频统计结果中可发现学习者评价MOOC学院课程的侧重点，但单纯的词语出现频度无法显示词语之间的关系，因此利用ROST CM 6对文本数据进行社会网络和语义网络的构建。通过提取高频词、过滤无意义词、提取行特征词、得到行特征词共词矩阵和构建语义网络5个步骤，最后构建了语义网络图（如图1所示）。

图1 语义网络图

语义网络图出现了以“老师”和“课程”为中心的若干高频词，表明在参与MOOC学习后，学习者更侧重于对这些方面进行评价或建议。但由于用户评论内容的复杂性，不能单纯依据高频词得出评价的具体表述，因此需要回溯到原文本数据，用ROST CM 6分别提取包含高频词的文本，用人工阅读方式进行分类，归纳出评价指标，并按照关键词出现频度，分配指标权重。初步统计后得到包含高频词的评论数据量，然后通过高频词确定指标提取范围，再对文本数据进行人工阅读筛选，最后总结归纳后提取出如下几项数据总量较为明显的评价指标：

1．内容设计

多数评论表达所学过的MOOC内容设计合理，框架清晰，在学习者的学习能力范围内，比较符合学习者的学习期望，收获很大；也有评论表达课程内容设计不合理，过于浅显，没有针对性。

2．作业

针对不同课程，讲授者会根据课程需求布置不同难易程度和数量的作业；针对相同的课程，不同学习者对作业的接受能力不同。评论里不仅体现了学习者完成作业的能力、作业练习量是否合适，还体现了学习者对待MOOC和作业的态度。有评论表示“作业设计有惊喜，收获超出课程目标，很棒”，“作业量很大，但是多加练习会很有收获，每次完成都有小成就感”，“作业形式很新颖，让我爱上历史”；也有评论表示“作业都是瞎写的”，“作业好难，不想做”。

3．趣味性

多数评论表示老师讲解生动，比较有趣，调动了学习者学习兴趣，让学习内容更容易被理解，强化了学习效果。

4．证书

MOOC认证证书会对部分学习者有吸引力。多数评论表示按规定完成了课程学习、作业和考评，获得证书后十分喜悦；部分评论是咨询如何获取证书认证；少量评论表达了未按照课程安排完成任务导致无法获得证书的遗憾。

5．字幕

由于MOOC学院网站收录了世界各大知名MOOC提供商的课程，一些未配备中文字幕的课程增加了学习者的学习难度，降低了学习兴趣。涉及字幕的评论中多数表达了期望能有中文字幕以方便学习，也有少量评论反映了配套字幕不太清晰、有错别字的问题。

6．考试

学习者通过评论表达了对考试难度的看法及接受程度。大部分评论认为课程设置的考试环节比较贴合所学内容，是对课程所掌握知识和技能的巩固，且相对比较容易通过，符合学习者的能力水平；还有评论表达了部分课程采取多种考试形式相结合的方法，对学习者很负责。

7．讲课方式

多数评论认为授课者在对课程内容进行讲解时，思路清楚，语言简练，讲解配合其他工具，提高了课程的整体质量，表达了对授课者讲课方式的赞赏与感谢；也有评论表达个别授课者照本宣科，一味地按照PPT等课件内容进行讲课，无法让学习者投入其中。

8．知识量

每门课程会根据其计划传播的知识内容及期望达到的传播效果进行知识量的设计，评论中也体现了不同学习者对所学课程应涵盖的知识量的期待。较多的评论表达了课程内容比较基础，知识量不大，学习起来负担小，与期望收获有落差；也有少部分评论表示课程知识量丰富，对此十分满意。

9．课件

评论主要反映了对课件质量、内容量、清晰度、下载途径等方面的意见或建议。

10．视频质量

评论主要反映了MOOC视频流畅度、清晰度方面的问题。

11．授课者的镜头感

部分评论表达了授课者讲解课程时精神饱满，面对镜头与学习者可产生眼神交流，能调动学习者情绪，带领学习者进入课程内容的氛围；也有评论表达了授课者状态不佳，讲课过程不能面对镜头，影响到授课质量。

将上述11项评价指标进行归类，得到4个一级类目（如表1所示）。

表1 评论数据中提取的评价指标及所占比例

三、MOOC评价模型建立

MOOC评价模型主要包括评价指标体系和评价方法两部分内容。

（一）MOOC评价指标体系

目前国内外主流的课程评价标准包括：在线学习的认证标准（2001）、CELTS-22.1网络课程评价规范（2002）、高校网络课程实施质量评价标准（2004）、网络课程评价指标体系（2005）、国家精品课程评审指标（2010）等。对这些标准和体系进行梳理发现，各类标准的指标列项存在很多重复或相似的内容，如课程内容设计评审标准中，第一条指出要符合先进性，第二条提到要具有前沿性，二者含义并无本质区别。为此，本文对其进行筛选提炼，删除重复项，选取其中表述最明确、最恰当的指标。经过归纳统计、比较分析，提取出被多个评价标准共同认可的指标内容，并结合从MOOC学院评论数据中提取的11个指标，最终建立了包含5个一级指标、25个二级指标的MOOC综合评价指标体系（如表2所示）。

表2 MOOC综合评价指标体系

（二）AHP法确定指标权重

目前，AHP（层次分析法）是应用较为广泛的确定指标权重的方法。它是把复杂问题看做一个整体，然后对其内部多个因素逐层分析的方法，是基于专家对指标的经验判断和专家对目标的不同认识程度来确定评价指标的权重[19-20]。本文参照AHP的要求，设计了MOOC评价指标权重打分表，邀请本校MOOC领域的4位专家进行打分，然后对打分结果逐一进行权重计算，并检验一致性（对CR≥0.1的矩阵进行调整，直到该判断矩阵通过一致性检验）；再将4份打分结果对应项目加权平均，计算平均结果下的各指标权重，并通过调整，使判断矩阵满足一致性。最终得到的各指标权重如表2所示。

（三）评价模型的建立

Vague集是在模糊集基础上发展而来的。相比较Fuzzy集隶属度，它引入真假隶属度的概念，采用区间形式，通过支持、反对和中立三种状态表示隶属程度，在描述模糊性和不确定性方面比Fuzzy集理论更具优势，也更加符合客观事物的真实情况[21]。虽然AHP法和Vague集理论早已发展成熟，但主要运用于系统工程、经济管理、生物医学等领域，将其运用于教育教学领域的研究还不多见。本文结合文本挖掘技术、借助AHP和Vague集理论构建MOOC质量评价模型，是在该领域的创新尝试和有益探索。

1．指标Vague集隶属函数的构造

假设论域X中的任意一个元素用x表示，X中的一个Vague集V用一个真隶属函数tv和一个假隶属函数fv表示。tv（x）是x的肯定隶属度下界，fv（x）则是x的否定隶属度下界，tv（x）和fv（x）将区间[0,1]中的一个实数与x中的每一个点联系起来，即tv：X→[0,1]，fv：X→[0,1]，其中，tv（x）+fv（x）≤1。

如一个Vague集V用一个真隶属度tv（x）和一个假隶属度fv（x）来描述其隶属度的界，这两个界构成了[0,1]上的子区间[tv（x），1-fv（x）]，表示“一定范围内属于”，是存在支持、反对和中立的客观事物的数学模型[22]。例如，V在点x的Vague值为[tv（x），1-fv（x）]= [0.6,0.9]，则有tv（x）=0.6，1-fv（x）=0.9，fv（x）=0.1。该结果解释为：元素x属于V的程度是0.6，不属于V的程度是0.1，对V的未知程度为0.3。如果用投票模型对其进行解释，即10人投票，其中6人赞成，1人反对，3人弃权。

本文在构造真隶属函数tv（x）和假隶属函数fv（x）时借鉴了“5%犹豫度”的概念。即在某一度量值下，对x的信息全部可知，并且均为肯定信息，tv=1（或均为否定信息，fv=1），此时因素x关于Vague集的不确定度为0；但5%是对x的犹豫限度，当超过这一度量值的5%时，开始出现相反的信息[23]。根据该概念构造MOOC评价指标对应的Vague集隶属函数如图2。其中a、b分别表示各指标值的最小值和最大值。

图2 隶属函数图

2．基于Vague集相似度的评价过程

设U是一个非空集合，V是U上所有的Vague集组成的集合，A∈U，B∈U，M：V×V→[0，1]。如果M（A，B）满足性质：

（1）0≤M（A，B）≤1；

（2）如果A=B，则M（A，B）=1；

（3）M（A，B）=M（B，A）；

则称M（A，B）为A与B的相似度。

设x∈[tx,1-fx],y∈[ty,1-fy]是论域X上的两个Vague值，定义优势函数s（x）=tx-fx，s（y）=ty-fy。定义函数M∈[0,1]，其值越大，表示Vague值x和y越相似。

相似度采用周晓光改进后的相似度量公式[24]：

M（x，y）=1-|s（x）-s（y）|/8-（|tx-ty|+|fx-fy|）/ 8-|tx-ty+fx-fy|/4

设A和B是两个Vague集，A和B之间的相似程度可由函数T计算，T∈[0,1]，其值越大，表示Vague集A和B越相似，其中：

在上述MOOC综合评价指标体系和AHP法确定权重的基础上，可以开始对MOOC各项指标开展评价，主要参照如下步骤进行：

（1）建立被评课程的Vague集；

（2）建立理想指标的Vague集；

（3）根据各指标权重计算被评课程Vague集和理想指标Vague集之间的相似度。相似度越大，课程评价越优。

（四）实例应用

从MOOC学院网站随机选取三门课：财务分析与决策、大学国文（上）和私人化的基因医学（课程名称分别以课程一、课程二、课程三代替）。请40位同学对三门课程进行学习，然后分别对三门课程各项指标进行评价。建立三门课程评价为“优”的Vague集，并建立理想指标Vague集；再根据相似度量公式计算三门课程Vague集打分和理想指标Vague集之间的相似度。结果如表3所示。

根据权重系数，最终可计算出三门课程的相似度结果：T1=0.952，T2=0.913，T3=0.828，T1＞T2＞T3，表明财务分析与决策课程质量最高，大学国文（上）次之，私人化的基因医学课程质量最低。同时，通过每一课程模块的相似度指数，可以发现大学国文（上）在界面设计方面和课程管理方面评分较低，急需改进；而私人化的基因医学则在课程内容和教学设计方面比较欠缺，特别是在内容编排和练习设计方面亟待加强。

表3 MOOC评价Vague集与相似度

四、总结

本文通过对MOOC的用户评论进行采集、分析挖掘，提取出评论数据中出现频度较高的课程评价指标，同时参考现有的课程评价方法，通过统计分析相应地选取被多数权威方法所共同重视的指标，将二者结合，建立综合的MOOC评价指标体系；通过专家打分，使用AHP法确定各指标权重；最后建立基于Vague集的MOOC评价模型。该模型的应用价值主要体现在如下四个方面：

一是有助于MOOC平台质量的持续提升。MOOC评价模型可以为MOOC平台提供课程质量反馈和课程优劣排序，为MOOC平台持续提升课程质量和学生学习效果提供有效评价路径。

二是有助于MOOC管理者的指导和引导。MOOC管理者可以通过MOOC评价结果，统筹规划，合理投入，引导MOOC的数量和质量全面均衡发展。

三是有助于MOOC学习者的有效选择。其他MOOC学习者可以参照课程评价结果选择自己需要和匹配的优质MOOC进行学习，避免MOOC质量参差不齐影响学习的热情和持续性。

四是有助于MOOC开发的持续改进。通过MOOC评价模型反馈的结果，课程开发者能清楚得知其课程在同类课程中的位置以及存在问题的环节，为后续持续改进指明了方向。

本文在研究过程中也存在一定局限性，仍需在后续研究中进一步改进。例如：评论数据均来自于MOOC学院网站，数据量不够充足，很难完全和完整反映用户评价内容；专家打分方法确定指标权重，尚存在一定的主观性等。MOOC评价对象多元化日益明显，需要从不同视角考量MOOC的质量指标，建立更加全面综合的多维度MOOC评价模型，使研究结果服务于MOOC学习者、开发者和管理者等，以更好地促进MOOC的全面持续发展。

[1]刘路,刘志民,罗英姿.欧洲MOOC教育质量评价方法及启示[J].开放教育研究,2015（05）:57-65.

[2]李青,刘娜.MOOC质量保证体系研究[J].开放教育研究,2015（05）: 66-73.

[3]FINI A.The technological dimension of a massive open online course:The case of the CCK08 course tools[EB/OL].[2015-03-19]. http://www.irrodl.org/index.php/irrod l/article/viewArticle/643/1402 Continued.

[4]耿文侠.影响师范生教育理论课学习兴趣的因素分析[J].教育研究, 2009（12）:80-84.

[5]王铮.对大规模开放式网络课程的SWOT分析及应对[J].郑州大学学报哲学社会科学版,2015（2）:100-103.

[6]孙史宇,米俊魁.大学生MOOC学习评价策略研究[J].内蒙古师范大学学报（教育科学版）,2015,28（3）:24-26.

[7]王统永.现代大学课程评价理论研究综述[J].临沂师范学院学报, 2009（05）:40-43.

[8]李晓玉,杨道宇.深化校本课程评价的四个转型趋向[J].教学与管理,2016（06）:111-113.

[9]张家年,占南,李阳.基于网络计量学的网络课程评价方法研究[J].教育科学文摘,2015（01）:66-72.

[10]别文群,缪兴锋.网络课程的模糊综合评价模型研究[J].中国教育信息,2007（11）:20-23.

[11]彭仁海,卢全伟,马雪梅,陈瑞利.细胞生物学网络课程的构建与实施评价[J].中国细胞生物学学报,2012,34（8）:808-811.

[12]郭富平.美国在线课程的评价原则及启示[J].华北科技学院学报, 2012（04）:95-98.

[13]PALLOFF R M,PRATT K.Effective Course，Faculty，and Program Evaluation[R].24th Annual Conference on Distance Teaching＆Learning,2008.

[14]冯雪松,于青青,李晓明.在实践中探索MOOC评价体系[J].中国大学教学,2015（10）:72-85.

[15]马桂花.多元智能理论下大学英语慕课自主学习多维动态评价体系构建[J].湖北函授大学学报,2015（08）:145-149.

[16]马明山,乔丹丹,汪向征.公众视野中的可汗学院课程评价及其启示[J].中国电化教育,2014（01）:93-98.

[17]崔玉洁,廖坤.借助八爪鱼采集器实现过刊网刊元数据的自动提取[J].编辑学报,2016（10）:485-488.

[18]张雯雯,许鑫.文本挖掘工具评述[J].图书情报工作,2012（4）:26-31+55.

[19]张宇,任福兵.基于AHP-熵权法的智库网络传播力评价研究[J].情报科学,2017（3）:110-116.

[20]王高飞,李明.基于AHP-模糊综合分析的移动社交网络舆情预警模型研究[J].现代情报,2017（1）:41-44+65.

[21]崔春生.基于Vague集的网上机票比价研究[J].系统工程理论与实践,2015（02）:437-444.

[22]黄友锐,杨岸.基于Vague集理论的课堂教学评价研究[J].合肥工业大学学报（社会科学版）,2010（05）:61-64.

[23]刘东海,胡晓清.基于Vague集的拱坝施工方案模糊综合评价[J].水力发电学报,2008（12）:96-100+89.

[24]周晓光,张强.Vague集（值）相似度量的比较和改进[J].系统工程学报,2005,20（6）:613-619.

A Study on MOOC Evaluation Model

YAO Kai1,LISi-zhi1,LIYan-hong2,QIU Jing-jing2
（1.School of Management,Fudan University,Shanghai200433,China;2.School of Information Management and Engineering,ShanghaiUniversity of Finance and Economics,Shanghai200433,China）

This study collects,processes and analyzes a large amount of data from the community forum named"MOOC College"to acquire the evaluation indexes for MOOC.Combined with the existing online course evaluation system,a MOOC evaluation model is established by using the fuzzy comprehensive evaluation method based on Vague set.The MOOC evaluation model,which ismore objective and truthfulness,may help MOOC learners to evaluate the quality of MOOC,thereby providing references for the platforms,administrators and developers to improve the quality ofMOOC.

MOOC;Course Evaluation;Text Mining;Community Forum;Vague Set;Fuzzy Comprehensive Evaluation

2016-11-28

教育部在线教育研究中心在线教育研究基金（全通教育）“中国在线课程学分认定和管理机制研究”（课题编号：2016YB133）；上海市教育科学研究决策咨询项目“与建设现代化国际大都市相匹配的上海教育事业发展总体战略研究”（课题编号：JA1502）。

姚凯，1971年生，男，江苏邳州人，复旦大学管理学院教授，博士生导师，从事人力资源和教育管理研究；李思志，1978年生，女，黑龙江哈尔滨人，复旦大学管理学院博士后，从事人力资源和教育管理研究；李艳红，1974年生，女，黑龙江哈尔滨人，上海财经大学信息管理与工程学院副教授，硕士生导师，从事数据挖掘和教育管理研究；邱静静，1994年生，女，安徽六安人，上海财经大学信息管理与工程学院学生。