在线学习者学习状态评测方法：述评与展望

赵艺璇

(福建师范大学 教育学院，福建 福州 350117)

2012年以来，以MOOC的兴起为标志，在线学习成为了教育研究者关注的重点领域。如今在线学习逐渐成为一种常态化的学习方式，其弊端也随之突显。在真实的课堂学习环境中，教师可以通过观察学习者的行为或情感表现给出适当的反馈，并调整教学策略。而在线学习存在师生时空分离的特点，学习者是在没有教师面授的情况下自主学习，这直接导致了教师与学生之间缺乏情感交流，学习者缺乏相应的反馈和激励，易产生孤独、学习倦怠等消极的学习状态，造成学习效率低下；另一方面，教师无法及时观察到学习者的学习状态，也就无法判断学生对某一知识点的掌握情况。学习状态是教师进行教学评价的一个重要指标，也是影响学生学习效率和学习结果的重要因素[1]。因此，如何了解并掌握在线学习者的学习状态，对其进行有效评测，以此改善教师教学过程和学生学习效果成为在线学习研究领域的重要课题。本文通过整理归纳国内外在线学习状态评测研究的相关文献，详细探讨评测在线学习状态的技术和方法，以期为后续研究提供理论依据及方法借鉴。

1 学习状态相关理论研究

1.1 学习状态内涵

学习状态是一个复杂的、综合的概念，包含学习者的学习情感状态和学习认知状态，是学习者在学习时的心理、情感、态度、思维等活跃、积极、接纳、参与状态的综合反映[2]。学习情感状态是指由学习者情绪变化而引发的学习状态，当学习者表现出愉悦的情感时，一般表明学生对当前知识或任务是感兴趣的，其学习状态是积极的。学习认知状态是由学习者在学习认知过程中对知识的理解程度引发的学习状态，包括注意力状态、动机状态等。认知状态与情感状态往往交互在一起。在复杂的认知过程中，学生可能会经历多种情感状态的混合，而这些情感状态会影响学习认知。因此评价学习状态的因素复杂繁多，包括情感、态度、动机、认知、注意，等等[3]。

1.2 学习状态分析指标

学习状态是学习者在学习过程中表现出来的心理特征和生理特征，通常会借助于学习者的表情、姿态、言语等特征表现出来[4]。也就是说，学习者的学习状态是可以观察到的，并且可以通过生理特征和行为特征来测量。在传统的课堂教学中，教师通常可以对学生的情感表现、注意力和课堂参与等进行直接观测，从而衡量学生的学习状态。而在线学习不同于传统的课堂教学，它存在师生之间时空分离的特点，因此在线学习状态评测方法必然不同于传统课堂。评测方法的不同，评定学习状态的指标也就不同。图1列出了不同的评测方法对应的部分分析指标。

图1 在线学习状态评测分析指标图

2 在线学习状态评测方法

回顾文献发现，根据学习状态数据获取形式，可以将目前在线学习状态评测方法分为五种：基于问卷调查、测评量表和自我报告等主观评测数据的分析方法；基于学习者网络学习行为数据的分析方法；基于学习者脑电、心电、皮肤电等生理数据的分析方法；基于计算机视觉数据的分析方法；融合多模态数据的混合分析方法。

2.1 基于问卷调查、测评量表和自我报告等主观评测数据分析

在现有研究中，许多学者基于情感访谈、测评量表、自我报告等方法获取学习者在认知、情感等方面的学习状态信息。在在线学习中，一般是教师或研究者根据某一维度或研究目的设计一系列相关问题，以量表的形式呈现，让学习者在学习前或学习后于在线学习平台中按要求进行填写。如表1列出了从不同评价维度对在线学习状态进行评测的量表。以问卷的形式分析在线学习状态，一方面可以深度剖析学习状态与学习结果之间的关系，特别是学习参与度[5]、学习风格等较难从单一的外部表征数据获得的学习状态指标。另一方面，在自我报告、访谈中反映出的学习状态来源于学习者对自我的评判，体现了其内在的心理特征，如李艳等人通过分析231条学习者自我报告，发现学习者在线学习过程中的情感状态主要表现为兴奋、期待、压力、紧迫感、逐渐适应、信心、愉悦感、挫败感和不舍9种类型[6]。

表1 在线学习状态评测量表

尽管测评量表、自我报告、情感访谈等方式研究在线学习状态评测取得了不少成果，但通过这些方法得到的数据结果的有效性往往是难以预测的，例如无法判定被测者是否诚实测评。另外测评往往是出现在学习之后，这就要求学习者必须回顾具体的学习过程，回忆并表达他们当时的想法和情感状态，而无论是自我报告还是访谈都要求学习者能够有较好的自我评定和语言表达能力，从而准确地评判并描述自己的学习状态，否则容易造成实验结果不全面不准确。从研究者的角度来看，问卷调查等方式对信息的归纳、分析要求比较高，需要研究者人工花费大量的时间处理数据，因此很难实现大规模的数据采集，人力成本方面的局限性较大。

2.2 基于学习者网络学习行为数据分析

相对于第一种方法，基于学习者网络学习行为数据分析在线学习状态是一种较为隐式的评测方法，也是当前在线学习分析中运用较多的一种方式。它包括三种数据分析方式：学习日志文件分析、键鼠操作分析、学习者讨论文本分析。

2.2.1 学习日志文件分析

学习日志文件分析是对学习者在线学习过程中产生的学习行为数据进行分析。当前大多数在线学习平台监测系统是通过监测学习者学习过程记录其在线学习数据，例如视频学习时长、论坛发帖次数、作业完成情况等网络操作行为，对这些数据进行整理分析，得到学习者学习行为特点和规律，从而建立学习行为与学习状态之间的联系。例如，李爽等人通过章节覆盖率、视频完成率、测试完成率、作业完成率、是否参加期末考试这五个在线学习完成度指标分析学习者在线学习注意力投入状态[15]。沈欣忆等人利用学习者在MOOCAP中的在线学习行为数据，如学习时间分布、视频学习时间间隔、论坛交流频率等构建MOOCAP在线学习行为和学习评价模型，得到学习者学习行为与学习绩效间的联系[16]。其研究发现，很难判断保证在线时间长的学习者是真实有效地在进行学习，还是仅打开了学习界面，进行“伪学习”。因此学习时长这类网络操作行为存在难以断定的问题。教师或在线学习平台可以通过学习者网络操作行为来分析学生当前学习状态，掌握其学习风格和特点，但显然每个学习者都有自己的网络操作习惯，在数据统计时容易造成数据特征分散、数据量庞大，要使得评测模型做到相对精准则对数据挖掘和分析技术要求较高。近年来流行的机器学习、深度学习算法则为在线学习分析领域研究提供了强大的技术支撑。例如王洋等人采用决策树和朴素贝叶斯这两种机器学习的经典算法对四种在线学习状态的特征进行分析，挖掘出七种行为特征。图2为学习状态对应行为特征生成的决策树，该模型与学习者自我报告对比验证是有效的[2]。

图2 学习状态分析决策树

2.2.2 键盘鼠标操作分析

研究发现，在网络学习环境中，鼠标滚轮滚动或鼠标左键单击，是学习行为发生时情绪状态变化的调查线索[17]，也就是说可以从记录在计算机日志文件中的交互行为来推断行为操作者的学习状态[18]。在线学习中阅读、观看视频、检索资料都需要使用鼠标、键盘来进行输入操作，而这种评测方法同样也是一种不易被学习者察觉、不会对其造成额外压力和负担的方法。Lim等人研究提出一种基于鼠标和按键的动力学压力分类方法，对190名大学生三种不同的电子学习活动时的压力水平进行分类。研究结果表明，该方法与根据连续两个问题间持续时间变化的压力测量方法效果是一致的[19]，因此使用鼠标和按键数据可以对学习压力状态进行测量。黎孟雄等人对学生击键和滚轮等操作行为进行监测，以情绪平静状态下的滚轮平均滚动速度和平均击键频率作为计算基准，根据方差值判定其在线学习时的情绪状态[20]。但按键操作始终存在随机性和偶然性，因此在数据样本和准确率上仍然存在一定的差异。

2.2.3 学习者讨论文本分析

还有一些研究者提出在电子学习环境中从文本中识别学习者状态信息。在参加MOOC学习过程中，学习者可能会在评论中表达自己的情感，可以采集学习者发表的一些评论文本，通过使用的关键词来推断其学习情绪状态。Dyulicheva利用文本数据挖掘技术，从MOOC课程评论中提取有关学习者对于数学焦虑的描述，以此分析学习者对数学学习的情绪状态[21]。 叶俊民等人从单词级和句子级对短文本语义进行建模，并提出基于学习者特征的注意力机制来识别不同学习者语言表达特点，得到情感概率分布特征向量，并融合多种信息，利用LSTM网络建模来分析学习者的学习状态，从而预测学习者成绩[22]。使用文本分析在线学习状态主要在于检测学习者的情绪倾向，学习者的文本数据有时可以直观反映其情绪状态，但也可能出现一个句子中包含多种情感词汇，一段文本中出现多个情感倾向的情况，这就导致了文本情感状态分析结果不够准确，需要对文本进行细粒度情感分析及多粒度情感融合计算。

2.3 基于脑电、心电、皮肤电等指标的生理数据分析

随着现代医学技术的不断进步，一些研究者开始借助学习者的生理信号数据对在线学习状态进行分析。神经生理学的研究表明，情绪的强度和性质的不同，通常会引起自主神经系统(ANS)的变化[23]，例如恐惧会导致ANS引发应激反应，在这种情况下，人的皮肤会出汗，心率和呼吸频率会增加。因此使用不同的生理信号可以更好地在情感层面量化在线学习状态。心率(HR)和心率变异性(HRV)是两种重要的心电测量指标，是区分不同情感状态的良好指标。例如，当人感到恐惧、愤怒和悲伤时的HR往往是高于快乐、厌恶和惊讶时的HR。Artífice根据在线学习者的心电图对HRV进行分析，推断其学习情绪状态和注意力状态[24]。有研究表明，当人脑思考或感到兴奋时，会出现大量的β波。通过采集在线学习者脑电波数据可以发现，当学习者感兴趣的内容出现时，学习者往往会表现出积极的学习状态，投入更多的注意力或情绪明显波动，并且很容易产生β波，由此可以利用脑电波的变化分析学习者对不同学习内容的认知情况[25]。Chen等人开发了一种注意力感知系统(AAS)，该系统能够根据EEG信号准确识别并评估学生的注意力状态[26]。由于生理信号的复杂性，信号采集过程中容易受到不同设备的噪声干扰以及采集场景或被试者的影响，逐渐有研究者开始使用多种生理信号融合识别的方式。如使用ProComp5设备采集电子学习者心率、皮肤电和血容量脉冲，对多种特征提取后在决策层进行信号融合，从而测量学习者的情感状态[27]。在学习者生理信号采集过程中，可以发现学习者的体征信息因人而异，因此很难对生理数据进行统一的特征提取；而若根据学习者特质建立个人生物信号数据库作为监测的参考，则处理和存储的数据量就会很庞大，容易影响分析速度。虽然有研究者提出可以建立学习者生理信息分类数据库以减少数据处理量[28]，但这种方法仍然存在不可避免的误差，因此不能简单地直接根据收集到的生物信号来判断学习者的在线学习状态。另一方面，基于生理信号数据检测分析在线学习状态虽然可以实时地获取数据，但通常需要可穿戴式设备或连接不同的传感器接收信号，学习者容易受到影响，显然无法实现大量的随时随地的在线学习状态评测。

2.4 基于面部表情、眼动跟踪、姿态识别等计算机视觉数据分析

在传统课堂中，教师通过观察学生的面部表情、行为动作来了解学生在学习过程中的学习状态和表现情况。而在线学习中受到时间和空间的限制，教师无法及时了解到学生在网络学习时的学习状态。基于表情、姿态识别等计算机视觉技术可以通过终端设备摄像头捕捉在线学习者实时的面部表情、眼球运动、身体姿态的变化特征，依此来分析当前的学习状态。

面部表情识别可以区别不同的面部变化特征，根据这些特征来判断心理状态、情绪状态等。面部表情识别通常是将表情细分为特定类别的标签，通过人脸检测、面部跟踪、特征提取、表情分类四个环节实现对画面中学习者面部表情识别，然后以识别结果对学习者学习状态进行评估。Khalfallah基于机器学习算法对学生人脸进行检测，面部表情识别系统可以检测到学生情绪状态中的愤怒、悲伤、惊讶和快乐的比例，由此判断学生当前的情绪/心理状态[29]。也有直接基于面部位置特征来对在线学习状态进行评估的。张建利等人根据人脸与计算机屏幕的距离发生改变时所选定的人脸区域的大小变化来评估学习者注意力的集中度，根据学习者眼睛闭合程度和嘴唇的几何位置判断学习者疲劳度[30]。Shen等人通过识别MOOC场景中四种常见的表情(理解、中性、厌恶、怀疑)，再融入注意力机制来判断学生的实时注意力状态，实现对学习投入状态的评估(图3为基于面部情绪识别的学习状态评估框架)[31]。利用面部表情识别判断学习者在线学习状态，特别是情感状态，有较好的评测效果。但大多数的表情识别系统都使用静态的人脸图像序列进行识别，很难对表情实现前后相关的情感分析[32]。然而学习者对知识点的认知理解通常是阶段性的，一个时间点的情绪状态难以直接对应到学习者阶段性的学习状态上。同时受到光照、环境、设备等因素影响，在自然环境下有时也难以进行准确的判断；况且在线学习中很难保证学习者的全脸图像出现在摄像头画面中，这也容易影响识别的准确率。

图3 基于面部情绪识别的学习状态评估框架

使用学习者眼球运动进行学习状态的判断，主要是通过提取瞳孔直径、眨眼、注视、眼跳等特征。一般情况下，眼睛注视状态与专注度、注意力状态有关，眨眼次数、闭合时间等大多反映了学习疲劳状态。Yücel认为眼睛疲劳会增加眨眼率，眼睛的长宽比与注意力状态密切相关[33]。另外身体姿态在情感识别领域已被证实与面部表情一样具有情感表达能力[34]。在在线学习环境中，头部姿态就是评测学习状态的一个重要指标。Yu等设计了一个在线学习支持系统，可以直观地观察学习者的非语言行为，他们使用Kinect摄像头捕捉学生的面部表情和头部姿势，运用支持向量机算法进行特征分类，分析学习者在屏幕前的学习状态[35]。Ashwin等人使用手势、身体姿势和面部表情三者来对电子学习者的学习情绪状态进行更全面的分析。他们研究发现，手势和身体姿势对学习投入的情感状态影响较大，例如有时学生可能表情看起来是困倦的状态，但将其手势和身体姿势(托腮且身体前倾)一同考虑后，发现学生明显是非常投入的状态[36]。目前使用姿态和手势进行在线学习状态分析的公开数据较少，而手势和姿态呈现出的情感特征较不明显且容易被遮挡，因此通常是与其他数据信息进行多角度、多模态的识别分析。

目前使用计算机视觉技术评估在线学习状态大多采用基于深度学习算法的形式，选择合适的算法训练数据集，构建学习状态分析模型，搭建学习状态智能分析平台，在平台中利用所构建的模型描述学习者学习状态。这类方法显然较好地实现了对于在线学习者的实时学习状态捕捉，以一种不显眼的方式实时自动检测和分析，不会使学习者在学习过程中受到测量设备的影响，实现了对在线学习有效性的监督，弥补了教师和学生在远程教育中由于地理位置差异造成的情感缺失。但采用这种方法在数据采集和处理过程中，数据量极其庞大，对于网络带宽、传输速度和数据处理技术要求都比较高；而且在监测过程中容易受到光照、遮挡、背景等因素的干扰，导致测量结果不准确。

2.5 多模态数据混合分析

随着人工智能技术的迅速发展，多模态信息融合技术在学习分析领域已成为一种流行趋势。多模态融合可以通过挖掘单模态信号的独有特征，实现多模态信息的互补。例如EEG信号可以代表学习者的内部生理特征，而眼动信号可以代表其外部动作特征。脑电信号与眼动信号的融合就可以实现内外特征的统一协调，更充分准确地表达学习者的状态特征。Yue等人提出从情感、行为和认知状态三个方面识别学习投入状态。这三个方面分别通过摄像机获取学习者的面部表情、眼动跟踪器获得眼动行为信息和学习者单击鼠标的流数据来表现，三模态数据特征融合使得评测出的学生的学习状态更加准确可靠[37]。Saneiro利用在学习者在线学习过程中的身体动作和面部表情标记情感状态，并结合生理数据、键盘与鼠标交互数据、学习者自我报告等分析其在学习任务完成过程中的学习状态[38]。多模态数据混合分析弥补了单模态数据分析的不足，实现了各个模态数据的互补，使得数据分析的结果更全面、准确。显然多模态混合分析的评测方式更加适合在线学习这一复杂综合的状态。

3 讨论与展望

目前，在线学习中主要存在由于师生分离造成的学习状态低下、学习效率不高的问题，特别是对于一些基础薄弱、自主学习能力弱的学生，他们往往很难全身心地主动投入到学习中去。这就需要教师更多更好地关注学习者在学习过程中的学习状态，以及时对教学方案进行有效的调整。本研究详细讨论了五种在线学习状态评测方法(如表2所示)，对于未来在线学习状态分析研究从以下三个方面展开讨论和展望。

表2 在线学习状态评测方法归纳

从数据来源看，过去教师常常只能依据学生的学业成绩来评估他们的在线学习状态，但学业成绩呈现的大多是单一静态的、浅层次的学习结果，评价方式过于片面。随着对学生全面发展的重视，评价应更加注重动态的、深层次的、与学习过程融合的过程性学习状态评价。学生在学习过程中常受诸多因素的交互影响而产生复杂的学习现象和多种不同的学习状态，因此需要研究者利用新的技术和方法，多维度、多视角对学生的学习状态进行更加广泛和全面的研究，从而发现学生学习状态的内在发展规律，进而精准地对教学方案进行改善和调整，优化教学过程，获得更好的教学效果。

从数据形式看，过去的在线学习状态研究中，往往使用单模态数据获取信息，例如单一的从眼动数据、音频数据或自评量表中获得学习者学习状态特征，但学习者在学习过程中产生的学习行为和状态是复杂多样的，单一的数据形式较难诠释学习者完整的在线学习状态情况，而通过多种不同方式获得数据可以更全面地描述学习者学习特征，更准确地指导教师和学习者进行教与学的动态调整。

采用多模态技术检测与主观测评验证的混合评测方法。从上述评测方法分析来看，基于问卷量表的分析方式存在较强的主观倾向性，无法全面并实时地反映学习者真实的学习状态特征，但从另一方面来看，测评量表通常由学习者自评，以学习者本人第一视角获取学习状态信息，能更好地对学习者心理层面的学习特征进行分析。而借助图像、生理信号、网络行为等大数据分析方式可以获得海量的学习数据，实时动态地监测学习者在线学习状态，较好地弥补了传统方法的客观缺陷和局限性。但基于大数据的分析方法，往往更多考虑的是事物和现象之间的相互关系，难以捕捉到内在因素的联系，而人类学习心理和行为是十分复杂的，因此，可以使用多模态信息融合技术对学习者在线学习状态进行检测，再通过测评量表、学习者自我报告等方式让学习者对检测结果进行验证和补充，实现跨方法的优势互补，增加研究的准确性、可靠性和科学性。

4 结语

这五种在线学习状态评测方法，目前来看基于计算机视觉数据分析方式可操作性较高，能够实现实时分析，而多模态数据混合分析的评测结果更全面准确；研究者还可以结合问卷、访谈等方式获取学习者内在的心理表征，对检测的结果进行验证补充，从而更好地帮助教育工作者了解学生的在线学习动态，有针对性地调整教学方案，对具有消极学习状态的学生及时进行学习干预，实现教学评价个性化、智能化。目前人工智能技术已较广泛地应用于学习分析领域，使用相关的深度学习算法可以更准确、高效地对学习状态特征进行提取和分类，从技术层面解决了数据处理量大而繁琐的问题。然而目前在教育领域仍然缺乏可进行深度研究的在线学习者相关公开数据集，这也是在线学习状态评测难以大规模普及并获得成效的一大局限。