基于MOOC平台的混合式学习能力达成度模型及应用

董永刚 宋剑锋 李兴东 姚春东

[摘 要] 依托学堂在线MOOC平台的《工程制图基础》在线课程资源以及学生在线学习数据情况，根据考核内容重要程度，基于专家排序法确定了不同测试类型的加权系数，采用加权平均法给出了评估学生阶段性在线学习效果的能力达成度数学模型。学生整个学习过程的学习参与度和能力达成度结果，可以为教师有针对性地干预学生学习进程、持续改进教学效果提供重要的数据支撑，充分发挥了MOOC优势，并贯彻了OBE教育理念，对在线学习效果评价以及混合式教学实践有重要的价值和意义。

[关键词] OBE;MOOC;在线学习;加权平均法;能力达成度

[中图分类号] G642.4  [文献标识码] A  [文章编号] 1005-4634（2020）06-0076-07

OBE（Outcomes-based Education）是以预期学习产出为中心来组织、实施和评价教育的结构模式。从本质上讲，OBE教育模式就是围绕"定义预期学习产出-实现预期学习产出-评估学习产出"这条主线而展开的，学生产出评估构成了教育质量持续改进的闭环[1]。

MOOC（慕课）是大规模开放在线课程（Massive Open Online Courses）。2012年发端于美国的"慕课"浪潮目前已席卷全球数十个国家，对传统高等工程教育理念和教育方式提出了新的挑战。在线教育提供了一个强有力的实验平台，去探究学生是怎样学习的，教师应该如何使用工具和技术以教得最好。可见慕课促进了大学教学模式的深层变革，提升了专业教师的自主反思能力[2]。

慕课课程实现了教育理念的突破，即教学过程的中心由教师向学生转变。学生由单纯接受知识、与教师交流很少的学习方式转变为学生具有很大的自由度和空间的学习方式，为学生和教师以及学习者之间交流架起了沟通的桥梁。另外，教育形式由单一课堂授课形式向基于多种教学资源的多种学习形式转变，教学资源包括将文字、声音、图像、动画效果融为一体的在线课程视频和教学PPT课件，以及在线讨论交流平台、在线测试等平台，这些教学资源均可以在MOOC平台实现[3]。

1 在线学习评价方法及评价模型研究进展

在线学习行为隐藏着学习者在学习过程中的学习习惯和个人喜好，一定程度上能够反映学习者存在的学习问题和学习效果，但需要通过一定的在线学习行为分析方法和模型将其直观体现出来，为教学管理者干预和介入在线学习提供方向，并为在线学习参与者提供学习指导和差别化服务。

在线学习评价是根据课程特点和教学目标，基于大规模在线开放课程学习资源，采用相应的评价方法和评价模型，对在线学习过程及其结果进行监控和评价，并作出价值性判断。因为在线学习依赖于网络，其非现实性决定了它与传统教学模式在教学环境和评价模式方面的明显区别。在线教学评价对教师以及教学管理者具有一定的导向、诊断、调控作用，评价模型的建立应该遵循客观性、整体性、科学性和有效性原则[4]。

1.1 在线学习行为类型及评价方法

目前国内外学者对在线互动学习行为指标以及不同在线学习者文化背景、行为类型与在线学习效果之间的关系展开了研究。

Goggins、Xing[5]等学者通过研究证实了在线互动学习行为指标（如发帖的数量、阅读帖子的次数、阅读帖子的时间、回帖时间）与学习成绩和学习效果之间具有一定的关系。 Macfadyen[6]等学者研究表明：在线学习过程中，学生在讨论区发帖总数、在线时间、应用搜索功能次数等17个在线学习行为参数与在线学习效果相关。冯晓英[7，8]等人通过研究表明：在线学习过程中，阅读帖子、回复帖子、发布帖子等13个在线学习行为参数与在线学习效果具有明显的相关性。

薛宇飞[9]等基于EdX平台数据，对具有不同文化背景如美国、印度、英国的学习者的学习行为进行对比分析，结果显示：具有不同文化背景的学习者群体在在线学习投入程度、活跃度、持续程度等方面具有明显的差异和区别。贾积有[10]等对北京大学在Coursera平台上的6门课程、82 352位注册学习者的学习行为数据进行了汇总与分析，研究表明：学习者的学习成绩与在线时间、观看视频次数、观看网页次数、浏览和下载讲义次数、平时测验成绩之和、论坛参与程度（发帖、回帖）等在线学习行为呈显著正相关。

目前主要研究的在线学习行为类型如下：（1）在线互动情况。包括发帖数量、阅读帖子的次数、阅读帖子的时间、回帖时间、发表讨论数、回复讨论数、向老师提问次数等;（2）在线学习情况。包括课程访问次数、在线时间、观看视频次数、观看网页次数、浏览和下载课件PPT次数、视频观看完成度、资料阅读完成度、不良刷课记录等;（3）测试情况。包括作业和测验完成次数、作业和测验质量。关于在线学习参与行为指标参数与学习效果之间关系的研究比较多，而在线测試、在线作业完成情况以及完成效果与在线学习成果之间关系的研究相对较少。

在线学习行为依赖于不同的在线课程平台特点以及开发的在线学习资源情况，并且不同类型的课程也有不同的在线学习行为特征，不同的学习者也会根据自己的学习喜好和习惯选择不同的学习行为。比如，习惯利用在线学习资源进行独立自主学习的学习者，观看教学视频和教学课件的次数会较多，而使用讨论区进行交互学习的频率会比较少。反之，喜欢通过在线交互方式进行交流学习的学习者，使用讨论区交互学习的频率会大于使用在线视频、课件学习的频率。所以，在线学习行为分析，主要是对各个学习方式和学习资源使用情况的统计，可以根据不同学习方式参与者的使用体验及反馈信息加强在线学习资源管理，完善工具功能，这对于在线学习平台建设和适应不同学习者的个性化需求是有利且有意义的事情。

1.2 在线学习行为类型权重确定

权重反映出各个评价指标之间重要程度的差异性，对于一个完整的评价指标体系而言，权重的设置必不可少。由于课程特点及课程考核侧重点不同，因而，确定指标权重的方法也多种多样，比如因子分析法、相关系数法、专家排序法、Delphi法、层次分析法、模糊数学判断方法等，其中"专家排序法"以其操作简便、易于掌握等特点应用最广[11]。

专家排序法要求在线学习评估管理者有丰富的教学实践经验，对在线学习内容的重要程度及课程目标有非常清醒的认识。沈欣忆等根据专家排序法对考试成绩、作业成绩、测试成绩以及作业和测试行为下所包含指标的权重予以确定，通过学习积极性、学习速度和学习效度了解学生的学习能力，构建了包括学习偏好和学习成绩在内的在线学习绩效评价指标体系[12]。

层次分析法（Analytic Hierarchy Process，简称AHP）是一种将复杂目标分解为多个目标或准则、多层次的决策方法，其将同一层的评价因素的指标进行两两对比，依据经验认识为指标赋予1～9之间的整数及其倒数标度数值表示其重要程度。它的优点是结合经验数据与合理的数学模型确定指标的权重系数，因此权重系数的分配具有一定的科学性与合理性[13]。

1.3 在线学习效果评价模型

孙燕龙[14]提出了将在线学习行为评价划分为知识获取、协作交流、学习态度3个维度，并确定了各维度的评价指标。考虑了在线学习过程中的课程视频观看、课程资料阅读、课程作业和测验、课程页面访问次数、不良刷课记录、发起讨论数、回复讨论数等9个在线学习行为，以相关系数为参考，采用层次分析法为各级评价指标确定加权系数，分别建立了线性加权综合评价模型和非线性模糊综合评价模型，并对云南师范大学"尔雅在线课堂"学习平台上3 146位学习者（20门通识课程）的9个在线学习行为方面的数据与期末考试成绩之间的相关性进行了研究。

王燕[15]依据评价指标体系原则建立了网络学习评价指标体系，采用层次分析法确定各指标体系的权重，运用模糊综合评判原理建立网络学习评价的数学模型，并在此数学模型的基础上，运用UML建模语言构建了一个基于网络教育的学习评价系统模型。

元帅[16]采用加权平均法评价在线学习成绩和效果，在实际运算中根据各个因素在综合评价结果中的重要程度为其设定一个权重ai（i=1，2，3，…，m），根据公式∑mi=1ai=1，ai0，对各个因素的评分Si（i=1，2，3，…，m）做加权平均运算，即：E=∑mi=1Siai，最后将加权平均值E作为评价标准。

2 MOOC平台在基于OBE高等教育模式教学改革中的实践  2012年以来，我国高校 MOOC 上线课程数量快速增长，多媒体技术和"互联网 +"在教育领域中获得了广泛应用。2016年6月燕山大学机械工程学院图学部成功申请了校级在线课程建设项目，2017年5月学校教务处与慕华科技有限公司旗下的学堂在线MOOC平台签署合作协议，2018年8月底《工程制图基础》在线课程正式在学堂在线上线运行，2018年11月教改项目顺利结题[17，18]。图1和图2分别为学堂在线平台的《工程制图基础》在线课程主页以及2018年10月以来的开课信息。

学堂在线MOOC平台为每一门课程都提供了动态学习数据，如学生在线视频观看记录、参与讨论情况、在线习题测试情况等（如图3和图4所示），目前在线课程资源包括课程三级项目实施方案及报告模板、考核方式、教学视频及授课PPT。为了更准确地掌握学生对知识点的掌握以及灵活应用情况，课题组制作了章节习题、在线自测题、考前练习题（题型包括填空题、讨论题和主观题等）。在线测试题、三级项目题型分别如图5和图6所示。

目前MOOC平台给出的学习数据都是单独列出的某一项活动的统计数据，并没有将其综合起来考虑，在分析某个学生或整个班级的总体在线学习参与程度时不够方便。基于OBE教育理念的最关键部分就是教学效果的持续改进，也就是需要对学生的动态学习效果--能力达成度进行客观合理的评价。为了准确合理评估学生动态学习过程的能力达成度，课题组考虑了学生在线章节习题测试结果、期末测试结果、三级项目测试结果以及主观题测试结果，给出了不同类型测试的能力达成度公式：

Rfj=Sf.jSft.j1≤j≤v，（1）

Rci=Sc.iSct.i1≤i≤q，（2）

Rp=SpSpt，（3）

Ram=Sa.mSat.m1≤m≤u。（4）

在此基础上给出了考虑不同测试结果的总能力达成度公式，为适应不同侧重点的考察需求，每一个单项能力达成度给出了加权系数：

Ap=Wc∑qi=1Sc.i∑qi=1Sft.i+Wf∑vj=1Sf.j∑vj=1Sft.j+Wa∑um=1Sa.m∑um=1Sat.m+WpRp，（5）

式中：

Rfj--第j次在线测试（客观题）能力达成度，总次数为v;

Sf.j--第j次在线测试（客观题）得分;

Sft.j--第j次在线测试（客观题）总分;

Rci--第i章课后练习（客观题）能力达成度，总章节数为q;

Sc.i--第i章课后练习（客观题）得分;

Sct.i--第i章課后练习（客观题）总分;

Rp--三级项目能力达成度;

Sp--三级项目得分;

Spt--三级项目总分;

Ram--主观题能力达成度，主观题总数为u;

Sa.m--主观题得分;

Sat.m--主观题总分;

对公式中符号的说明应该紧跟在对应的公式后面。

公式（5）中加权系数满足如下条件：

Wc+Wf+Wa+Wp=1，（6）

式中： Wc、Wf、Wa、Wp分别为章节测试、期末在线测试、主观题、三级项目等四项学习效果评价指标的加权系数，4个加权系数均在0到1之间。

4 在线学习能力达成度模型应用及结果分析  为了充分发挥MOOC平台学习资源及课堂授课优势，课题组2018年开始以《工程制图基础》在线开放课程为依托进行线上线下混合式教学改革实践，试点班级为燕山大学电气工程学院2018级自动化专业学生，学生人数为32人。根据学堂在线平台提供的学生在线学习个人纪录，学生不同模式学习得分情况统计如表1所示，不同学习模式总分及加权系数如表2所示。

根据表1数据可绘制出所有学生不同学习类型的得分情况分布图（图7），并根据公式（1）～公式（4）得到所有学生不同学习类型的能力达成度分布图（图8）。在此基础上，根据公式（5）和公式（6）可计算得到学生线上线下混合式学习能力达成度及平均能力达成度分布图（图9和图10）。

由图7可知，学生线上学习得分比线下三级项目和讨论课得分低，三级项目得分最高，而在线章节测试得分最低。线下学习能力达成度最高0.7、最低0.3，平均值接近0.5（图9）。线上线下混合式学习能力达成度平均值仅为0.3（图10）。造成在线学习得分及能力达成度偏低的原因主要有：（1）在线学习参与情况在学生期末成绩中所占比重偏低或者不纳入期末成绩，导致学生参与在线学习紧迫感和积极性不够;（2）目前高校课程考核不够严格，相当一部分学生对课程学习投入时间不够;（3）在线课程学习资源与课程期末考试联系不够紧密，学生学习积极性不高。线下三级项目和讨论课得分尚可，主要原因是三级项目和讨论课成绩计入期末成绩，学生的学习积极性和主动性要明显高于在线学习。

解决在线学习能力达成度不高问题的方法主要有以下3种：（1）提高学生在线学习参与度占期末考试的比重，可考虑提高到15%～25%;（2）课程考试可设置自学内容，并适当加大试题难度，促使学生积极参与在线学习;（3）可考虑将考试重点考察内容以在线测试习题方式上传到在线课程中，提高学生参与在线学习的主动性。

5 结论

线上线下混合式能力达成度模型考虑了不同测试内容对于课程培养目标的相对重要程度，确定了不同测试内容的加权系数，并且对线上章节测试以及线下讨论课及三级项目等不同阶段性学习成果进行了量化平均，能够比较全面地体现学生在混合式教学过程中的学习成果。

通过不同章节的能力达成度分析结果，可及时对阶段性章节学习效果进行评估和分析，及时发现学生学习过程中存在的共性问题，每章内容结束后对比较薄弱的知识点进行重点讲解和强化训练。另外结合期末在线测试能力达成度、三级项目能力达成度以及主观题能力达成度对每个学生的课程学习效果进行分析，针对能力达成度较低的学生进行重点辅导和有针对性的强化训练，对实现教学效果持续改进有非常重要的意义。

参考文献

[1] HOOD N， LITTLEJOHN A， MILIGAN C.Context counts：how learners′ contexts influence learning in a MOOC[J]. Computer and Education，2015（91）：83-91.

[2]MARGARYAN A， BIANCO M， LITTLEJOHN A. Instruction quality of Massive Open Courses（MOOCs）[J]. Computer and Education， 2015（80）：77-83.

[3] LITTLEJOHN A， HOOD N， MILIGAN C， et al. Learning in MOOCs：motivation and self-regulated learning in MOOCs[J]. The Internet and Higher Education， 2016， 29（5）： 40-48.

[4] 王鹏.在线学习分类评价模型的构建[D].曲阜：曲阜师范大学， 2013.

[5] GOGGINS S，XING W.Building models explaining student participation behavior in asynchronous online discussion[J]. Computers and Education， 2016（94）：241-251.

[6] MACFADYEN L P，DAWSON S.Mining LMS data to develop an "early warning system" for educators：a proof of concept[J].Computers and Education，2010，54（2）：588-599.

[7] 冯晓英，郑勤华，陈鹏宇.学习分析视角下在线认知水平的评价模型研究[J]. 远程教育杂志， 2016，34（6）：39-45.

[8] 冯晓英，刘月，吴怡君.学习者在线学习水平的学习分析模型研究--临场感学习分析模型构建与方法探索[J].电化教育研究，2018，38（6）：12-17.

[9] 薛宇飛，黄振中，石菲.MOOC学习行为的国际比较研究--以"财务分析与决策"课程为例[J].开放教育研究， 2015， 20（6）：80-85.

[10] 贾积有，缪静敏，汪琼. MOOC学习行为及效果的大数据分析--以北大6门MOOC为例[J].工业和信息化教育， 2014，1（9）：23-29.

[11] 洪煌亮.教育督导及教育督导评估[M].北京：北京师范大学出版社，1993：25.

[12] 沈欣忆，吴健伟，张艳霞，等.MOOCAP学习者在线学习行为和学习效果评价模型研究[J].中国远程教育， 2019，38（5）：38-46.

[13] 张阳，王东，杨贯中.基于模糊AHP理论的网络学习评价模型研究[J].湖南师范大学自然科学学报，2007，50（2）：71-73.

[14] 孙燕龙.大学生在线学习行为评价建模与应用研究[D].昆明：云南师范大学，2018.

[15] 王燕.一种基于模糊理论的网络学习评价系统模型的研究[D].昆明：昆明理工大学，2009.

[16] 元帅.在线学习行为分析评价及其应用研究[D].武汉：华中师范大学，2011.

[17] DONG Y G，SONG J F，ZHU H，et al.Exploration of teaching reform of drawing courses in Chinese colleges and universities based on the advanced engineering education model [J]. Advances in Social Sciences，Educations and Humanities Research， 2017（83）：34-38.

[18] DONG Y G， SONG J F. Reform practice of evaluation method of drawing courses in Chinese colleges adapting to advanced manufacturing technology[J].Advances in Social Science， Education and Humanities Research， 2016（65）：379-381.

Model and application of ability achievement

for blended learning based on MOOC：take the

Engineering Drawing Foundation as an example

DONG Yong-gang，SONG Jian-feng，LI Xing-dong，YAO Chun-dong

（College of Mechanical Engineering，Yanshan University，Qinhuangdao，Hebei066004，China）

Abstract Since 2012，the MOOC storm has provided a new development opportunity for the reform of higher engineering education in China， greatly enriched the learning resources and had a positive impact on the learning mode and teaching mode. Firstly， this paper introduces the construction of online course resources and online learning data based on the XuetangX MOOC platform in China. According to the importance of the assessment content， the weighting coefficients of different test types are determined based on the expert ranking method， then the mathematical model of ability achievement for different chapters was built by the method of weighted mean.Moreover， this model was applied in the practice of blended teaching of Engineering Drawing Foundation course， and it can provide important data support for teachers to take effective actions to intervene students′ learning process in time， then improve teaching effect continuously.This model can give full play to the advantages of MOOC and realize the concept of OBE education，and it has important value and significance for online learning effect evaluation and blended teaching practice.

KeywordsOBE; MOOC;online learning;weighted mean method;ability achievement

[責任编辑 马晓宁]