面向在线学习的学习成效早期预测模型*

黄江涛，谢 颖

(南宁师范大学 计算机与信息工程学院;广西人机交互与智能决策重点实验室，广西 南宁 530001)

0 引言

近年来，一些学者基于传统机器学习方法开展了在线学习成效预测研究工作，包括逻辑回归、马尔科夫模型、支持向量机、决策树、随机森林等[3-8]。这些方法在相同的在线课程历史数据分析中可以获得较好的预测性能，但一般需要从海量的在线学习行为数据中提取特征，导致其预测性能在一定程度上取决于研究者的领域知识和经验，实际应用的成效甚微。

鉴于深度学习可以直接处理原始数据，且其最近十余年在计算机视觉、语音识别和自然语言处理等领域取得了巨大成功，一些研究者开始基于深度学习开展在线学习行为分析与预测研究。伍斯特理工学院和哈佛大学的研究者[9]通过构建一个含5个隐藏层的全连接前馈深度神经网络进行辍学预测，获得了比一般线性模型更优的性能。清华大学Feng等[10]在一个统一的框架下融合分析在线学习者和课程信息，提出了上下文感知特征交互网络(CFIN)深度学习模型，在学堂在线历史数据集分析中取得了良好的性能。

以上方法虽然有助于提高辍学预测结果的准确性和提升在线学习成效，但没有侧重关注早期辍学群体的分析研究。一些研究发现，大部分的辍学开始于在线课程的前几周，例如，文献[11]发现75%的辍学发生在课程的前几周，如课程的前3个单元。考虑到早期辍学预测存在数据不充分、不平衡和稀疏的问题，提出一种改进的长短时记忆神经网络模型——差分循环神经网络(Differential Recurrent Neural Network based on LSTM，DiffLSTM)，利用在线学习行为周期统计信息和相邻周期学习行为变化信息学习不同学习行为习惯下在线学习者的异常。构建差分循环神经网络主要基于：虽然不同认知水平和学习习惯的在线学习者的在线学习行为数据存在较大的差异，但他们的学习行为的时间周期是相似的。若存在辍学风险的在线学习者，则在线学习行为的时间周期易发生突变情况，差分数据分析更易也能更快地学习和捕捉到该异常，可以有效提升在线学习成效早期预测的性能。

1 在线学习成效预测

在线学习，特别是MOOCs之所以能获得如此快速的发展，得益于在线学习平台的优质资源，包括世界一流大学提供的优质课程、入学限制的取消、成本低、时间不受限制、空间不受限制等。但是，其较高的生师比和师生交流的异步性，导致在线学习者的辍学率一直居高不下，严重阻碍了MOOCs的发展。在线学习与传统课程教学的学习与交互过程存在着较大的差异，如图1所示。在传统课堂教学中，教师与学生同一时间，在同一教室进行面对面的教学活动，教师能够实时了解学生的表现，并可通过评估或者经验感知不同学生的课堂学习成效，及时有效地采取相应对策为存在学习成效不佳的学生提供辅导。在线学习则主要通过在线学习平台远程开展教学活动，在线学习者众多且来自世界各地，在线学习者与线上教师的比例非常高，且在线学习为异步进行，线上教师很难实时、全面地了解和评估每位在线学习者的学习成效，难以及时开展有效的教学干预。可喜的是，在线学习平台收集了在线学习者基本背景信息和海量的在线学习行为细粒度数据信息，为在线学习行为分析与在线学习成效预测等提供了可能的途径。

图1 在线学习与传统课程学习的差异

当前在线学习成效预测主要聚焦于辍学预测，拟通过辍学预测及时发现存在潜在学习风险的在线学习者并施以相应的教学辅助。在这些研究工作中，辍学定义一般可划分为从时间维度分析和从时间维度与最终学习成效综合分析两类。从时间维度分析，常划分为3类：(1)在接下来的一周内没有参与在线学习；(2)在接下来的任意一周均未参与在线学习[12,13]；(3)在最后一周没有参与在线学习[14]。从时间维度和最终学习成效综合分析在考虑在线学习者某段时间内未参与在线学习的同时，综合考虑其是否完成最终课程测验进行判断[15,16]。早期基于传统机器学习方法开展辍学预测的研究中，研究者常把在线学习辍学预测问题视为序列预测或分类问题，先从原始的活动记录数据抽取特征，然后按固定时间间隔，如一周，构建特征向量，最后通过监督学习方法或半监督学习方法实现分类或预测。然而，特征提取需要对在线学习行为源数据深入理解，此外，不同在线学习平台采集的行为记录也存在着差异。因此，基于传统机器学习方法的准确性和可靠性容易受到这些因素的影响从而鲁棒性(鲁棒性亦称健壮性、稳健性、强健性)不强。近年来基于深度学习开展的相关研究直接在原始在线学习行为数据上进行分析，更易于发现潜在特征，获得了较好的预测性能。基于深度学习方法在时间维度和最终学习成效综合分析的辍学定义上开展早期辍学预测研究，构建了在线学习成效早期预测模型(Early Learning Performance Prediction Model，ELEPP)。

2 在线学习成效早期预测模型

在线学习成效预测的目的更多地在于及时掌握在线学习者的学习成效，发现学习上存在困难的学生，因材施教，及时给予适当的教学干预，减少在线学习中途辍学率。研究者发现辍学发生在在线课程早期的可能性更大，然而，在线课程早期特别是开课的前几周，在线学习平台收集到的在线学习行为数据十分有限，难以准确地预测在线学习成效以便及时发现潜在的有教学辅导需求的在线学习者。考虑到学习能力较强的在线学习者只需花较少的时间或只需查阅在线教学资源即可掌握在线课程内容，而学习能力较弱或基础知识较为薄弱的在线学习者需花费较多的时间和精力和进行较多形式的在线学习活动，将在线学习行为时序分析的注意力集中在在线学习行为周期的差异上，以便减少不同学习能力的群体在在线学习行为数据上的差异对学习成效预测所带来的影响，更鲁棒地发现有学习意愿却学习受阻的在线学习者。

2.1 问题描述

工业建筑设计整体化与住宅设计整体化有着相似之处，作为城市内部建设的重要组成部分，工业建筑不仅要注重自身的整体性，能够满足工业生产多方面使用需求，还需要能够与城市发展规划相一致。由于工业建筑所涉及的内容较多，在设计过程中要重点关注工程质量目标，同时还要采用科学的手段提高建筑经济效益、环境效益与社会效益，这样才能满足新时期和谐社会发展要求，实现人与自然的和谐共融。由此可见，在工业建筑设计中坚持整体性原则是优化建筑环境的重要手段，能够降低工业建筑对环境各方面造成的破坏。

构建一个模型f(.,.|θ)，然后通过在线课程的历史数据信息学习模型参数，最终实现当前课程在线学习者的实时学习成效预测或辍学预测。具体过程可描述为：

(1)

(2)

2.2 DiffLSTM模型构建

图2 差分循环神经网络模型

融合两层LSTM模块编码的循环神经网络模块通过构建更新门和重置门实现，实现过程详见表达式(3)至式(6)。

(3)

(4)

(5)

(6)

2.3 在线学习者个人信息编码

为了弥补在线学习行为早期分析中数据量贫乏的问题，考虑到不同背景和不同认知能力的在线学习者在在线学习行为上存在着一定的差距，综合分析在线学习者的个人背景信息有希望进一步细化不同在线学习行为模式，提升在线学习成效早期预测模型的预测性能。具体实现过程为，首先提取、清洗、转换在线学习者个人背景信息，然后通过独热编码进行编码，最后构建多层感知机模型进行训练学习，并获取有助于早期预测的隐藏特征，即：

fd=(W×D+b)

(7)

其中，D是学生个人背景信息的独热编码， 是非线性激活函数，W是权重矩阵，b是偏置矩阵。

2.4 在线学习成效早期预测模型构建

在线学习成效早期预测模型(ELEPP)将经DiffLSTM分析在线学习者在线学习行为时序数据的结果和经多层感知机分析在线学习者个人信息编码的结果串连起来作为其输入，然后构建一分类器实现最终的分类，完成在线学习成效早期预测，模型架构如图3所示。

图3 在线学习成效早期预测模型

3 实验及结果分析

3.1 数据集

本研究使用开放大学学习分析数据集(Open University Learning Analytics Dataset，OULAD)[17]进行实验分析。OULAD数据集收集了虚拟学习环境(Virtual learning environments，VLEs)上在线学习者的个人信息(如性别、学历背景等)和所有在线学习互动行为记录。该数据集包含22个开放大学课程，涉及2013年和2014年两年开设的课程，详见表1。在线学习者有32593名，在线学习交互行为记录共有10655280条。鉴于存在部分在线学习者申请课程后并未进行学习的情况，即个别学生未产生选修课程的任何在线学习交互行为记录，通过数据预处理过滤了该部分在线学习者，形成了表1的各门在线课程的实际学生人数。同时，每一年开设的在线课程根据开课的月份设置了不同的编码(类似于学期，如二月份开设的课程，编码后缀为“B”)，同一在线课程在不同时间开设存在着一定的差异，包括时长和内容。OULAD数据集标注了课程类型，包括人文社科类课程和自然科学类课程。每个学生学习课程会有一个最终评估成绩，包括优秀、及格、不及格和辍学四类。

表1 实验中使用的OULAD数据集

本研究从支持教师及时发现存在学习困难的学生并及时实施干预的角度出发，以提升整体在线学习成效为目的，将优秀和及格的在线学习者划分为一类，不及格和辍学的在线学习划分为另一类进行实验分析。

3.2 数据预处理

3.3 实验设置

实验通过PyTorch包[18]实现。ELEPP模型训练时，批量大小设置为100，每次模拟运行5000步，学习率设置为0.001。

考虑到人文社科类课程和自然科学类课程差异较大，本研究将在线课程划分为人文社科类和自然科学类后分别进行实验分析。实验从现实应用需求角度出发，基于历史在线课程进行训练，用实时在线课程测试。具体在OULAD数据集实验中，使用2013年的在线课程作为训练集，2014年的在线课程作为测试集。因为OULAD数据集的在线课程，即使同一课程，不同学期在课程时长、课程模块与流程设计上均可能存在一定的差异，这可以很好地模拟现实应用中新开设在线课程的实时在线学习成效预测。同时，从2013年在线课程中随机抽取20%的样本作为验证集，已提取更优的参数。

本实验使用逻辑回归(LR)和支持向量机(SVM)作为基线方法。在这些基线方法中，输入为每位学生当前课程在线学习行为输入向量和个人背景信息输入向量的串连，即基线方法的输入向量包括n周在线学习行为向量和学生个人信息独热编码。鉴于实现在线学习成效早期预测的目标，实验分别进行前10周(n≤10)的在线学习行为分析，测试课程时长达34～39周的在线课程的学习成效早期预测。评价指标使用准确率(Accuracy)和F1值(F1 score)指标。

3.4 实验结果分析

研究社科类课程和自然科学类课程的在线学习成效早期预测性能比较(表2、表3)。在同一类型课程的预测性能实验中，包含了多门不同课程，例如，自然科学类包含了CCC、DDD、EEE、FFF 4门不同的课程；而且同一课程不同学期也存在差异，例如，DDD课程在2013B学期时长为35周，在2014J学期时长为38周。同时，有个别课程2013年未开设，2014年开设，如，CCC课程，属于新开设课程的在线学习成效早期预测性能测试。

表2 在线学习成效早期预测性能比较(人文社科类课程)

表3 在线学习成效早期预测性能比较(自然科学类课程)

从表2可知，LR、SVM和本研究提出的ELEPP模型在人文社科类课程在线学习成效早期预测准确率上均能获得良好的性能。从整体性能上来看，ELEPP模型更加稳定，能获取比LR和SVM更优的准确率性能。如前所述，研究者发现在线课程辍学在早期发生的概率较大，该部分在线学习者在线学习行为记录数存在骤降或明显减少现象，容易被检测出来，所以能够在课程早期就可以获取良好的预测准确率。另一方面，基础扎实且学习能力强的在线学习者的在线学习行为记录数也相对较少，容易被误检，所以，召回率同样是重要的考量指标。良好的召回率性能可以在提升决策支持教师实施教学干预的同时，减少教师错误干预带来的时间损耗。从综合分析了精确率和召回率的F1值来看，ELEPP模型的性能更优，随着学习周的不断推进，F1值稳步提升，更契合现实情况。ELEPP模型在第10周的F1值达到80.4%，比LR提升5.48%，比SVM提升3.99%。

从表3可知，ELEPP模型比LR和SVM方法在准确率和F1值均能获得更优的性能。ELEPP模型在第1周的准确率分别比LR和SVM方法提升0.74%和0.94%，F1值分别比LR和SVM方法提升5.2%和6.66%。同时，3种方法随着学习周的推进，性能均得到稳步提升，但ELEPP模型性能提升得更快，一定程度上反映了该模型能够更有效地捕捉到在线学习行为的时序异常。到第10周时，ELEPP模型同样获得最优的性能，在准确率上分别比LR和SVM提升了9.16%和6.29%，在F1值上分别比LR和SVM提升了12.91%和10.16%。可以明显地发现，在第10周时ELEPP模型比基线方法在学习成效预测性能上的提升比第1周时更加突出。

比较表2和表3可以发现，人文社科类在线课程的预测性能整体优于自然科学类在线课程，主要是因为自然科学类课程在教学模块设计和教学流程等方面相互之间差异更大，同时，OULAD数据集自然科学类存在2014年新开设课程，人文社科类未存在2014年新开设课程。同时也可以发现，虽然自然科学类在线课程学习成效预测性能整体上弱于人文社科类，但ELEPP模型仍然获得了较好的预测性能，特别是随着学习周的不断推进，ELEPP模型能够及时地获取在线学习行为的时序差异信息，并有效地提升模型早期预测性能，体现了较好的鲁棒性，在存在大量新开设课程的现实应用中明显要优于传统方法LR和SVM。

4 结 语

针对在线学习成效早期预测容易因在线学习行为数据稀缺而难以获得较好的预测性能问题，提出了一个差分循环神经网络模型DiffLSTM，旨在挖掘不同学历背景、不同学习习惯、不同学习能力的潜在在线学习行为规律，缓解分类预测模型的过程拟合现象。在此基础上，构建了在线学习成效早期预测模型ELEPP，融合在线学习行为和在线学习者背景信息的分析结果，进一步提升在线课程早期学习成效预测性能。基于OULAD公开数据集的实验结果表明ELEPP模型能够在在线课程学习成效早期预测上获得较好的预测性能。同时，实验也表明了ELEPP模型有更好的鲁棒性，在处理跨课程、新开设课程学习成效早期预测上也能获得较理想的准确率和F1值，能够支持教师及时有效地实施教学干预，具有一定的应用前景。