基于MOOC的大数据学习预警模型在混合教学中的应用

随着互联网技术在教育领域的大规模应用，教育大数据挖掘已成为推动我国教育改革、创新发展的重要战略。大规模开放在线课程(Massive Open Online Courses，MOOC)作为远程教育的重要形式之一，打破了学习者的时间和空间限制，满足了学习者多样化的学习需求。

MOOC平台完整记录了教学者和学习者的行为，产生了大量连续的教学互动信息。这些信息表征了学习者零散、无意识的学习行为，是深入研究学习行为和学习心理的新素材。对其进行深入分析，能够发掘学习者最真实的思维和学习情况，不仅能在理论上促进对学习本质、学习者的学习心理和学习行为的研究，更能在实际应用中帮助跟踪学习者的学习过程、评价学习效果、准确把握其学习状态，以便及早干预[1-3]。随着MOOC平台在线学习系统的激增，教育数据呈现出爆发式增长的势头，传统技术手段已经无法对海量数据进行处理和分析。大数据技术可以计算和分析教、学、研等多角度的数据特征，构建用户画像，提取出对学生学习行为和教师教学情况的反馈和建议，从而为改善教学质量做出最合理的评估和决策。

大数据挖掘技术是指从大量数据中自动搜索特殊关系信息的过程。大数据挖掘通常与计算机科学有关，并通过统计分析、机器学习、深度学习、专家系统和模式识别等方法实现目标。其中“机器学习”是21世纪兴起的一门多领域交叉学科，机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法，“机器学习”算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法；“深度学习”是建立、模拟人脑神经网络，通过模仿人脑的机制进行数据的诠释，如声音、图像和文本识别等。

从数学模型的角度来讲，深度学习是一种复杂的特征提取方法，将原始数据通过一些非线性模型变换为更高层次的抽象表达，再组合多层变换，学习提取出非常复杂的函数特征方法。与传统机器学习相比，深度学习的核心在于含有多个隐层，并且各层特征的提取不是通过人工参与设计，而是在其学习过程里从数据中自学。这种“黑盒式”的自学习特征对数据结构要求低，但对数据量要求大，因此非常适合当前互联网大数据应用的需要[4]。由于深度学习非常依赖于高端硬件设备，而且当数据量较少时，深度学习算法的表现并不佳[5]，因此本文采用传统的机器学习算法建立学习预警模型。

“翻转课堂”作为一种新型教学模式[6]，以学生为主体，能够真正调动学生积极性，提高学习效率和质量。目前基于MOOC教学的“翻转课堂”，即线上线下混合教学法已经被广泛应用于高校教学。然而关于在如何深入挖掘MOOC平台的海量教学信息分析和预测学习者的学习行为和特点，并制定精准的教学方案，从而针对性地指导学习及评估教学质量等方面的研究尚浅。因此本文将以《临床药物治疗学》课程为例，通过实证开展混合教学法中基于在线学习行为数据的学习预警模型研究。

1 数据与方法

近年来国外研究者除关注学习者对在线学习的接受程度外，也关注学习者的学习表现、学习态度、学习动机以及学习风格等，数据挖掘技术开始受到重视[7]。Teng等人[8]依据学习行为的相似性对学习者进行聚类，并在分析聚类结果后为每类学习者提供针对性建议；Aher等人[9]在K-means 算法聚类的基础上，应用Apriori算法对各类学生的课程学习记录进行关联规则分析，得到各类学生偏好的课程学习顺序，从而向学生推荐合适的课程。

随着大数据算法的不断演进，国外大数据挖掘技术在教育领域的应用日新月异[10-14]。在可视化预警系统上，比较有代表性的是可汗学院的学习仪表盘系统。该系统将学习管理系统与可视化工具相结合，运用信息跟踪技术和镜像技术对学习者的学习行为、习惯兴趣等信息进行记录和追踪，并对测验成绩、学习时间和学习路径等数据进行分析，依据对知识点的掌握情况进行反馈预警，帮助学习者提高知识点掌握程度和改善学习技能[15]。近年来国内MOOC快速崛起，数据挖掘技术被引入在线学习行为的研究，涌现出一批研究成果[16-19]。

检索国内常用数据库，时间跨度为2007-2018年，获得有关学习预警模型设计的文献。如赵慧琼等设计的在线学习干预模型，运用数据分析技术对学习管理系统存储的数据进行分析，利用决策树算法进行危机诊断，一旦发现学习者存在危机，则及时采取电子邮件、资源推荐、弹出窗口等方式发送预警信息，以辅助学习者的学习活动顺利进行[20]。

通过分析国内外教育大数据文献内容发现，在教育数据的挖掘上，大多偏重于对数据自身的分析，缺少对教育价值的深度分析；在教育数据的建模分析上，主要集中在理论模型的建立与性质分析，而基于在真实教学数据上建立机器学习模型进行挖掘分析的研究较为少见；预警模型的算法单一，没有采用主流机器学习算法，并且很少采用交叉验证、混淆矩阵等技术评估和选择合适的模型。由于机器学习算法日新月异，主观选择的某一种机器学习算法有时并非最好的选择。如果把目前主流的机器学习算法(如支持向量机(SVM)，随机森林、朴素贝叶斯、Logistic回归、决策树、k-近邻等)都代入数据中训练，并用交叉验证、混淆矩阵等技术评估和选择合适的算法模型，这样的模型精度会更高，预警评估的效果将更好。

2 《临床药物治疗学》的MOOC在线学习课程

2.1 课程基本情况与实验对象

《临床药物治疗学》课程是浙江医药高等专科学校(以下简称“我校”)开设的一门专业课程，教师团队为药学院教师，适用对象为药学类专业的学生，开课时间为2018年2-6月，实验对象为2016级药学专业的300余名学生。按班级分为“MOOC+案例教学”对照组和“MOOC+翻转课堂”实验组(分别为179人和129人)，2组分别采用“MOOC+案例”教学和“MOOC+翻转课堂”教学。两组授课内容完全相同，且均连续实施32学时(其中10学时是MOOC教学)。

2.2 教学实验方法

实验教学方法主要分为以下两种。

2.2.1 “MOOC+案例”教学

预习：登录超星泛雅平台学习，完成测验作业和讨论。

案例引入：课堂上选择疾病典型案例，根据教学目标设置问题，给予学生同样的案例。

互动交流：学生在课前和课中以小组为单位，互相交流并解决问题，在教师引导下小组讨论发言。

归纳总结：教师对案例讨论进行点评及归纳总结。

临床实训：医院各科室带教医生带领学生阅读病历，与患者沟通并了解病情和用药，根据案例指导学生制定和评价药物治疗方案。

2.2.2 “MOOC+翻转课堂”教学

根据学生在MOOC平台的学习情况分层分类设计翻转课堂教学内容，分别给予学习情况较好和较差的学生不同难度的案例学习，并统计平台上学生知识掌握情况。针对未掌握的知识点进行重点讲述，其余学习过程与“MOOC+案例”教学班相同。

表1 慕课+案例教学组和慕课+翻转课堂组期末成绩

3 MOOC学生在线学习行为数据挖掘分析与建模

大数据挖掘分析与建模流程分为数据获取与特征分析、数据预处理与特征选择、模型构建3个步骤。

3.1 数据获取与特征分析

3.1.1 数据集描述

从超星MOOC平台采集的《临床药物治疗学》MOOC在线学习行为数据描述了一个学习者该门课程的学习记录，每列项为对学习者学习行为的描述，提供了十几项维度，主要分为3类，分别是课程信息(临床药物治疗学)、学习者的基本信息(学号、姓名、性别)、学习者的行为信息(视频观看时长、访问数，任务点完成百分比、总讨论数、回复讨论、发表讨论、课程视频得分、课程测验得分、作业得分、MOOC综合成绩、MOOC综合成绩五级制等级、MOOC综合成绩是否及格、期末成绩)。

3.1.2 数据获取

利用Python数据分析模块pandas读取合并2016级药学专业300名学生在超星MOOC平台上的学习行为信息(包括测验、作业成绩，讨论数，视频观看时长等指标数据)，并与期末笔试成绩按学号关联合并，完成数据提取工作。

3.1.3 学习者行为分析

通过单特征分析、多变量统计分析，统计绘图得出以下结论。MOOC综合成绩(由线上学习中的观看视频完成度、线上测验及线上作业成绩组成)A-E中期末笔试不及格人数比例随等级下降而升高(图1)。图1中“0”代表不及格，“1”代表及格；横坐标中等级A为90分及以上，等级B为80～89分，等级C为70～79分，等级D为60～69分，等级E为60分以下；纵坐标为人数。MOOC综合成绩等级相同时，不同性别在期末笔试成绩中有显著差异：女生及格率更高(图2)，且女生在期末笔试成绩中及格人数的比例明显高于男生(图3)；总讨论数和访问数的中位数数据均显示女生高于男生，但总讨论数、访问数与期末笔试成绩是否及格均分布呈现区域不平衡，一般情况下考试及格的学生总讨论数、访问数均更高(图4和图5)。观看视频时长的中位数数据女生高于男生，一般情况下考试及格的学生观看视频时长更长(图6)。

图1 MOOC综合成绩等级与期末笔试成绩及格关系

图2 MOOC综合成绩等级、性别和期末笔试成绩及格率的关系

图3 不同性别和期末笔试成绩及格人数的对比

图4 不同性别和总讨论数对期末笔试成绩的影响

图5 不同性别和访问数对期末笔试成绩的影响

图6 不同性别和观看视频时长对期末笔试成绩的影响

3.2 数据预处理与特征选择

通过检查缺失值并进行填充，然后将特征数据标准化建立特征热图(图7)筛选各特征相关性。

将标准化后的特征数据通过热图，可以从中看到一些正相关的特征以及一些负相关的特征。去掉其中“课程视频得分”“期末成绩”“回复讨论”“MOOC综合成绩五级制等级”“课程测验得分”5个特征。

图7 特征热图

3.3 学习预警模型构建

虽然本文从特征分析部分获得了一些结论，但仍然不能准确地预测学生对知识点的掌握情况以及是否能通过期末笔试。本文将使用主流机器学习算法建模，预测学生是否已经掌握相关知识。在机器学习领域，没有一种算法能够完美解决所有问题，尤其是对监督学习(如预测建模)，所选的算法必须要适用于特定问题，这就要求正确的选择机器学习算法[21]。机器学习算法很多，如分类、回归、聚类、推荐、图像识别领域等，想找到一种合适的算法并不容易。因此在实际应用中通常会选择大家普遍认同的算法，然后通过交叉验证(cross-validation)对每种算法进行逐一测试、比较，最后选择最好的一个模型。

本文在教学实践中尝试使用如支持向量机(SVM)、随机森林(Random-Forests)、朴素贝叶斯(Naïve Bayes)、逻辑回归(Logistic Regression)、决策树(Decision Tree)、k-近邻(KNN)等主流机器学习算法建立预警模型。机器学习预警模型能够通过学生的学习行为信息预测其期末笔试成绩是否及格。模型的精度并不是决定机器学习算法效果的唯一因素。假设算法模型在训练数据上进行训练，需要在测试集上进行测试才有效果。如果算法模型在训练集上的精确度很高，但是无法确保在所有的新测试集上精度都很高，当训练和测试数据发生变化时，精确度也会改变，它可能会增加或减少。为了克服这一问题并得到一个广义模型，我们通常使用交叉验证。我们将数据分为10等分，通过特征数据标签准备、数据集切分、多种建模算法对比，用交叉验证来评估模型的精度。模型平均精度排前3位的依次为：支持向量机(76.33%)、逻辑回归(75.67%)、随机森林(72.67%)。其中支持向量机(SVM)建立的模型精度最高，平均预测精度和最高预测精度分别达到76.33%和90%(表2，图8，图9)。

表2 机器学习算法模型平均精度和标准差

图8 机器学习算法模型平均精度条形图

图9 机器学习算法模型精度箱型图

本文还使用混淆矩阵、ROC曲线下面积对机器学习算法模型进行评估。

3.3.1 混淆矩阵

混淆矩阵是对有监督机器学习分类算法准确率进行评估的工具。通过将训练集数据训练好的模型预测的数据与测试数据进行对比，使用混淆矩阵(Confusion matrix)指标对模型的分类效果进行度量[22]。各机器学习预警模型的混淆矩阵见图10。

图10 机器学习算法模型混淆矩阵

3.3.2 ROC曲线下面积(ROC-AUC )

ROC曲线(receiver operating characteristic curve)又称“接受者操作特征曲线”，最早应用于雷达信号检测领域，后来人们将其用于评价机器学习模型的预测能力。ROC曲线是基于混淆矩阵的结果计算得出，AUC(Area Under Curve)的值为ROC曲线下面的面积。若模型预测完全准确，则AUC为1。但现实中不会有如此完美的模型，一般AUC值在0.5到1之间。AUC值越高，则模型的预测能力越好。各机器学习预警模型ROC-AUC见表3。

表3 机器学习算法模型ROC-AUC

综合混淆矩阵、ROC-AUC、模型精度交叉验证，选择支持向量机(SVM)模型预测学生知识掌握情况，为教学评估、改善“MOOC翻转课堂”教学质量提供了数字化的模型评估标准。

4 讨论

《临床药物治疗学》是我校药学专业学生的专业核心课程，目前以线上线下混合教学为主。为了更好地利用MOOC指导线下的“翻转课堂”教学，提高教学质量，对2016级药学专业1-10班学生在线学习行为数据进行了挖掘和分析，并通过机器学习方法建立了在线学习行为数据与期末闭卷笔试成绩(线下考试)的预测模型。

4.1 MOOC背景下“翻转课堂”和案例教学的优势

通过比较不同教学组的期末笔试成绩发现，通过MOOC学习，“翻转课堂”组的学生成绩要优于普通的案例教学组，说明通过对MOOC平台的数据挖掘，可以对学生进行分层分类教学，并优化教学设计，从而提高课堂效率。

4.2 MOOC背景下各在线学习行为特征分析

本文发现设置的MOOC综合成绩并非期末笔试成绩及格的决定性因素，MOOC综合成绩等级A中也有部分学生期末笔试成绩不及格，等级B-E中期末笔试不及格人数比例随等级下降而升高，说明MOOC综合成绩的组成仅有观看视频完成度、线上测验及线上作业成绩组成是不够的，还需引入其他学习行为指标，才能更好地预测期末笔试成绩。即使MOOC综合成绩等级相同，不同性别学生的期末笔试成绩也不相同，以女生及格率更高。总体来看，女生在期末笔试成绩中及格人数比例明显高于男生，这可能跟女生更愿意努力学习以在考试中取得高分的意愿有一定关系。在“翻转课堂”实践教学中，观察到女生在查资料和讨论上较活跃，且发言更加积极主动，而这种主动性在一定程度上推动了学习进步。此外，总讨论数及访问数的中位数数据反映女生对MOOC的参与积极性更高，但总讨论数、访问数与期末笔试成绩是否及格呈现区域不平衡，一般情况下考试及格的学生参与度更高(即讨论数、访问数均更高)。也有个别异常积极讨论的学生依旧不及格，推测这部分学生可能学习比较勤奋，但学习方法不太得当，需要教师重点关注和引导。视频观看时长的中位数反映女生的学习时间更长，笔试及格率也更高。研究中发现观看视频完成度(视频完成90%即给予观看视频完成度满分)相同的情况下，女生及格率更高，推测部分男生可能仅仅为了完成视频观看任务而播放视频，并没有认真观看和学习。可以考虑在未来的视频播放中插入测试题，以提高学生的学习注意力，使学生真正从视频中学到知识。由于视频观看完成度指标存在一定局限性，选用视频观看时长这个指标来替代，能更加客观地预测期末笔试成绩。通过视频观看时长发现一般情况下学习时间越长，及格率越高，推测反复看视频可以加深对知识点的理解，这也体现了MOOC学习的优势。

本文以期末笔试成绩作为最终预测指标，因为闭卷考试更突显公平公正，受其他因素干扰较小，且考试知识点囊括MOOC所学范围，分布相对合理。学生的学习态度可以通过在线课程的访问数、讨论数、视频观看时长等指标体现，而学习能力在一定程度上可以通过线上测验和作业成绩体现。学生的学习态度和能力会影响其最终的学习质量，因此通过预警模型可以提前进行干预，对预警学生(预测出其期末笔试成绩可能低于60分)进行督学导学，提高其学习质量，使其真正掌握知识和技能。

5 结语

本文总结了国内外研究者在教育大数据挖掘的相关研究及存在的问题，以《临床药物治疗学》MOOC课程在线学习行为数据为基础使用主流机器学习算法建立预警模型，并基于各种学习行为指标预测其对期末笔试成绩的影响。通过热图对各种学习行为特征进行筛选，将在线学习行为数据使用主流机器学习算法来训练和建立预警模型，综合混淆矩阵、ROC-AUC、模型精度交叉验证等模型评估指标，最终选择支持向量机(SVM)模型来预测学生知识掌握情况。它对学生的学习质量评估起到预警作用。教师可以调整教学计划，指导线下的“翻转课堂”教学，并重点关注被预警的学生；学生则需要督促其端正态度，加强学习。

由于本文只选用了300名学生的MOOC特征数据，训练数据偏少，模型的精度尚需提高。下一步一方面计划大量采集不同学习者的学习行为数据来进一步训练模型，另一方面计划通过优化特征进一步提升模型精度，更好地预测学习者的学习质量，并计划对被预警者进行多种手段干预，如平台中的督学导学功能、电子邮件，谈心法等。同时通过深度学习为不同的学习者精准推送知识点，真正做到因材施教，从而全面提升教学质量。