在线学业情绪：类型与测量*

况姗芸，郑美秋，钟 玲，卢 昀

（华南师范大学教育信息技术学院，广东广州 510631）

一、引言

疫情当下，科技与教育融合创新，在线教育迅猛发展，《2022地平线报告（教与学版）》提出，疫情背景下的“应急在线教学”将常态化并逐渐成为未来主流趋势[1]；“中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要”明确提出要积极发展在线课堂，扩大优质公共服务资源辐射覆盖范围[2]。有效应对在线教学中学习者“认知层次浅”[3]“情感缺失”[4]等问题，提升在线教学质量成为在线教育研究重心之一。研究发现，学业情绪会影响学习投入度[5]和投入持久性[6]，进而影响学业成就[7]和学习满意度[8]。积极情绪与深层认知行为紧密关联，消极情绪常伴随浅层认知行为[9]，但研究也发现部分消极情绪，特别是困惑、挫败等消极情绪能提升学习者认知投入[10-11]。情绪能预测学生投入度[12]和学业成就[13]，情绪水平越高，预测效果越显著。在线学习过程中，学习者主要会面临什么样的学业情绪？如何测量学习者的在线学业情绪？对在线学习者情绪类型与测量方法研究的梳理将有助于推进在线学业情绪与在线学习的评估与干预研究，提升在线学习绩效。

二、在线学业情绪的类型

（一）情绪的分类方法

情绪和情感都是指人对客观事物的主观感受，前者倾向于瞬时且强烈的情感体验，而后者一般指综合所有情绪的、稳定的情感倾向[14]，一般两者可以混用。关于情绪的分类，有研究关注枚举的、独立的、有限的离散情绪，如我国古代的“七情”——喜、怒、哀、惧、爱、恶、欲；Ekman等人提出的公认的基本情绪[15]——喜悦、愤怒、悲伤、恐惧、厌恶和惊讶。离散情绪的描述形式较符合人们日常的语义表达，且更适用于情绪识别系统输出情绪识别结果，但各情绪间相互独立，相互间的关联性得不到展现。相对而言，结合情绪的多重属性构建情绪的分类模型能更好地展现不同情绪间的关联，也有利于开展机器情感模拟[16]。Russell基于情绪的积极或者消极的倾向和情绪唤醒的强弱程度，提出“愉悦——唤醒”二维分类模型，将28种离散情绪依据其属性及程度分布到不同象限空间的不同位置，建立情绪环[17]；Mehrabian等人在此基础上增加个体对情绪的控制维度提出了“愉悦度——唤醒度——控制度”情绪模型，更加全面地表达和量化情绪[18]。

（二）在线学业情绪的概念

Pekrun是学业情绪概念的提出者，将学生在学习过程中获得的所有与学业学习活动相关的情绪体验统一定义为学业情绪[19]。在线学业情绪则是指学习者于在线学习过程中获得的所有与在线学习活动相关的情绪体验。

（三）在线学业情绪的离散类型

在学业活动中，学习者会遭遇不同的情绪。关注不同的离散类型有助于深化某一具体情绪对于学业活动产生的影响，亦有助于失去具体情绪的有效干预。薛耀锋等人在Ekman的基础上提出六类基本学业情绪——高兴、惊奇、中性、生气、疲劳和困惑[20]；Ashwin等人提出更细致的学业情绪类别——幸福、悲伤、喜悦、恐惧、厌恶、惊讶、困倦、无聊、沮丧、困惑、投入和中性[21]。在线学习活动中，学习者学习的自主性和孤立性特性往往导致学习者会体验丰富的情绪[22]，因而难以列出所有孤立的离散的在线学业情绪，但不同研究者聚焦了不同的离散情绪，Hara等人关注沮丧、孤独、焦虑和困惑[23]；You等人聚焦了享受、自信、恐惧、沮丧、无聊和焦虑[24]；Myers重点关注学习者与智能导师系统交互时的心流和鄙视情绪[25]。

（四）在线学业情绪分类的体系模型

学业情绪分类体系模型的研究反映出研究者对于情绪研究的价值关注及目标定位。Pekrun等人在“愉悦——唤醒”情绪分类模型的基础上，提出“愉悦——唤醒”学业情绪体系模型，并将常见的9种学业情绪分别归入不同情绪象限区间，分别为：愉快、希望、自豪归为积极高唤醒情绪象限，放松归入积极低唤醒情绪象限，愤怒、焦虑、羞愧归入消极高唤醒情绪象限，绝望、无聊归入消极低唤醒情绪象限[26]。9年后，Pekrun又在此基础上，增加了学习活动（学习结果）维度，进一步丰富了这一分类体系模型[27]。结合在线学习情境，研究者发现对于不同学习者系统分析了不同学习者的在线学业情绪类型。詹艺发现在职教师在线学习中不存在积极低唤醒象限的各种情绪[28]；在保留的三个情绪象限中，刘君玲发现大学生存在的在线学业情绪有：积极高唤醒情绪——享受、自豪，消极高唤醒情绪——焦虑、羞愧，消极低唤醒情绪——失望、无聊[29]。Altuwairqi等人将学业情绪分类与情感投入度结合，提出了对应不同情感投入水平的学业情绪模型，进一步明确各情绪与学习投入间的关联[30]。也有研究者将学业情绪与影响因素关联，主要包括将学业情绪分为与学习期望、学习活动和学习进度关联[31]。不同分类体系模型的构建会产生不一样的在线学业情绪分类结果，也有助于丰富拓展在线学业情绪的研究领域。

三、在线学业情绪的测量方法

在线学业情绪与学习活动密切相关，其随时间变化及学习刺激变化而动态变化，表现方式也呈多样化特点，学习者的主观体验、面部表情、躯体动作、语音语调及外周神经系统都可能产生变化。相应地，在线学业情绪的测量方法多样，其测量主要包括对情绪的类型及情绪唤醒度高低的测量。根据情绪测量的主体执行者，可将情绪测量方法分为两类：一是自我报告法，即被试本人报告自己的情绪状态；二是外显行为推演测量法，即第三方根据主体的外显行为进行测量，推演并报告被试的情绪状态。

（一）自我报告法

自我报告法是情绪测量应用较早、影响广泛的一种方法，它是指学习者本人采用某一量表，通过对量表或形容词表的等级判定来表达自己的情绪体验的一种情绪测量方法。研究者认为，学习者本人对其情绪有比较清晰的认知，其在监测和判断自己的情绪类型及水平上具有优先权和认知权，有能力报告自己的情绪。从自我报告的内容来看，它既可能是针对某一特定情绪，报告其程度等级，也可能是针对多项情绪，报告自我的情绪类别及各类情绪的体验程度。从自我报告的时间点来看，可以分为实时报告和回溯报告，实时报告是指在事件发现的同时报告自我情绪，回溯报告是在事件结束后，学习者结合自己的回忆或事件过程记录信息对自我的情绪进行报告。鉴于被试在同一时间点难以追踪多种独立情绪，实时报告时多采用单一情绪报告方式，对于多项情绪的自我报告通常采用回溯报告法[32]。

采用自我报告法测量在线学业情绪时，量表的信度和效度对于测量结果的可信度影响巨大。AEQ学业情绪问卷是适用于测量课堂教学、考试等情境下自我调节学习中的学业情绪问卷，其能有效区分愉快、自豪、气愤、厌倦等九种学业情绪[33]，其信度和效度在多个研究中被加以证实，因而得到广泛应用并得以细化发展。Sander等人利用AEQ研究学生学业信心、人格特质和学业情绪之间的关系，并构建三者的关系模型[34]；Yu等人基于AEQ编制了在线学业情绪量表，该量表着重关注在线学习中的享受、焦虑和无聊[35]此外，也有研究者针对不同学习者特性开发了针对性强的在线学业情绪测量量表，如《成人在线学业情绪测评量表》[36]、《在职教师在线学业情绪量表》[37]、《大学生在线学业情绪量表》[38]等。

采用自我报告法测量在线学业情绪测量时，若是要收集学习者针对某一具体学习刺激产生的学业情绪，会导致学习者认知过程的暂停，影响其认知流程，过于频繁的自我报告会引发学习者的反感甚至抵制情绪，影响自我报告的准确性。但过于稀少的自我报告次数又无法正确反应情绪与学习刺激间的联系。同时，学习者在进行自我报告时，有可能因为期望得到来自教师或同伴的赞许，对自己的情绪进行非客观性的报告，亦可能影响报告结果的信度。因而，在采取自我报告方式测量在线学业情绪时，需要综合多方因素确定自我报告的时间结点、频次、报告内容、测量量表信度及社会赞许性控制方法。

（二）外显行为推演测量法

外显行为推演测量法的实施流程主要循着“情绪数据采集——特征提取——识别判断”的流程展开，在被试进行认知学习的过程中，第三方在一旁观察，采集其情绪数据（如面部表情、语音语调、生理数据等），之后对其数据特征进行提取，再据其特征进行识别判断，报告其情绪结果。采用外显行为推演测量法测量被试的在线学业情绪的优势是可以避免干扰学习者的认知过程，但是需要寻找对熟悉学习被试的观察者或经历过专门训练的观察者对学习者的学习过程进行观察评价，并据学习者的外显行为进行推演，编码报告学习者的情绪状态。这一过程中可能会涉及巨大的人力支出。伴随着近年机器学习技术和大数据技术的迅速发展，多种计算工具被陆续引入这一方法中，担任情绪外显行为识别的第三方。利用传感设备、机器学习算法和多模态混合识别模型识别学习者的学业情绪，具有客观、高效、省时的特点，能很好地推进在线学业情绪识别与预测，并可据学习者的在线学业情绪，给出干预对策。基于情绪采集的数据来源，在线学业情绪识别主要包括五类方法。

1.基于图像/视频的情绪测量

学习者的面部表情、躯体行为能反映学习者的在线学业情绪状态。面部表情是表达情绪的最主要、最自然和最直接的通道[39]，Darwin认为躯体行为会对应特定的情绪[40]，如耷拉的脑袋表达学生学习时出现的无聊情绪。在线学习过程中，记录学习者的面部表情和身体资态的影像数据是采集在线学业情绪识别数据的一种有效手段。

数据采集后，需要对数据的情绪特征数据进行捕捉，基于图像的情绪识别常采用几何特征和外观特征；而基于视频的情绪识别研究常采用光流特征、几何动态特征和外观动态特征[41]。Ekman设计了经典的人脸面部动作编码系统(FACS)[42]，通过面部动作单元（如皱眉、噘嘴等）的运动变化来表征脸部的几何特征和纹理特征[43]。

情绪的识别判断离不开相关数据集的建设，常用的表情数据集主要有JAFF[44]、CK+[45]、CAS（ME）[46]、MMI[47]等，融面部表情和上身动作的数据集有FABO数据集[48]。在识别在线学习者的在线学业情绪时，研究者会引入深度学习技术实现表情特征的自动提取，在深度神经网络中对特征提取和情绪分类进行端对端的学习。另外，也有研究将提取出的特征信号作为模型输入，再使用分类算法完成情绪分类的任务。基于面部表情的情绪识别常用卷积神经网络(CNN)和循环神经网络(RNN)分类算法。前者常用于图像的处理和分析，后者可以存储时间序列信息，更适用于处理基于视频的情绪识别任务。Sun等人构建由两个RNN组成的级联架构，能够分别从视频序列数据中提取人脸特征和上下文特征[49]，大大提高视听情绪识别的准确率。但是，RNN只能存储短期信息，随着时间序列的长度增加，当任务需要参考的信息特别远时，RNN就丧失了学习长期依赖信息的能力。为解决该问题，研究者提出长短期记忆网络(LSTM)，通过门控状态实现选择性记忆，由此存储先前重要的信息。如Martin等人设计基于LSTM的自动视听情绪识别框架，通过远距离上下文建模以提高情绪识别的准确性[50]。

2.基于语音的情绪测量

语音情绪识别旨在通过声音信号中特定的基频、语速、音调、振幅等特征来识别情绪状态。语音情绪识别过程中采用的声学特征包括韵律特征、谱特征、音质特征和融合的特征[51]。常用的韵律特征有时长、基频、能量等；谱特征主要分为线性谱特征和倒谱特征；音质特征包含振幅微扰、谐波噪声比、共振峰频率等。如Bahreini等人使用学习者语音中的韵律特征作为输入特征[52]，实现在线学习环境中七种学业情绪（愤怒、悲伤、恐惧、快乐、中性、厌恶和惊讶）的识别；张世清采用韵律和音质特征，从中文自然情感语料库中识别愤怒、喜悦、悲伤和中性四种情绪[53]。

语音情绪识别模型的性能很大程度上取决于语音情绪数据集建设质量[54]，常用的汉语语音情感语料库有CASIA汉语情感语料库[55]。目前，对于语音情绪识别，研究有的采用隐马尔可夫模型（HMM）、高斯混合模型（GMM）和支持向量机（SVM）等传统分类算法[56]，如Albornoz等人构建基于HMM、GMM和多层感知器（MLP）的分层分类器，情绪识别准确率达到71.75%[57]。也有的采取基于深度学习的分类算法，如Mustaqeem等人设计AI辅助的深度卷积神经网络（DSCNN）架构，从语音信号的频谱图中自动学习特征，并结合softmax分类器完成语音情绪识别任务[58]。

3.基于文本的情绪测量

基于文本数据的情绪识别是指抽取带有情感色彩文本中的情感特征的过程，主要采用基于词典和规则的方法或基于机器学习的方法。前者利用带有情感标签的情绪字典、词典、关系表等，结合语义规则匹配文本数据来完成情绪识别；而后者基于机器学习技术实现自然语言处理领域中的情绪分类任务。

目前常用情绪词典有SentiWordNet[59]、LIWC[60]、GI[61]、How Net[62]、台湾大学的情绪极性词典（NTUSD）[63]、清华大学的褒贬义词典等。此外，许多研究者基于自构建的情感词典开展研究，如刘智等人构建包含积极、消极和困惑三种情绪词汇的情绪词典，基于在线课程的论坛发帖记录识别学习者群体水平在情绪表征方面的差异[64]。然而，随着语境的变迁、社会以及信息技术的发展，词典中情感词汇的情感倾向容易发生变化，进而降低情绪识别的准确率，因此研究往往需要投入大量精力和资源扩充或修改情绪词典。

基于机器学习的情绪识别方法利用大量带标签或无标签数据的语料库进行有监督、半监督或无监督的学习，从而自动精准提取文本特征和输出情绪分类。Anne等人基于ISEAR和twitter数据集对比四种机器学习分类算法，发现SVM最适于提取文本中羞愧、高兴、悲伤等七种在线学业情绪[65]。为进一步提升基于文本的情绪识别的效率和准确率，研究者引入了注意力机制和使用预训练语言模型。叶俊民在在线学习情感特征提取过程中，引入注意力机制，基于迁移学习设计两个层次化注意力网络，聚焦少量重要信息，忽略大量的次要信息，大大减少计算量，节省标记数据的时间和人力成本[66]。预训练语言模型则先利用大规模数据集对模型进行预训练，再通过微调的方式完成下游自然语言处理任务，避免了随机初始化可能造成的过拟合问题，以提升泛化能力，常用的有ELMo、BERT、ERNIE、XL-NET等模型。如Kumar等人构建基于BERT的双通道可解释文本情绪识别系统，结合CNN和双向长短期记忆网络(BiLSTM)提取文本的序列信息，再以嵌入向量的形式输入到情绪分类模块，该系统在AffectiveText等4个数据集上识别高兴、悲伤、憎恨、生气的准确率均高于70%[67]。

4.基于电生理信号的情绪测量

人产生情绪变化时伴有神经系统的改变，如当人感到焦虑，其会心率加快、血压升高等[68]。因此，通过测量生理信号能够在一定程度上识别相应的情绪状态。情绪识别常用的电生理数据有脑电信号（EEG）、心电信号（ECG）、肌电信号（EMG）、皮肤电信号（SC）等[69]，通常会采用脑波仪、物理电极、智能手表等可穿戴传感器采集，相关常用情绪数据集有DEAP[70]和SEED情感脑电数据集[71]。

基于电生理信号的情绪特征常采用时域特征、频域特征和时频特征。时域特征主要反映信号随时间的变化情况，其最易获得，发展最早。频域分析是将时域信号变换到频域上，分析信号中的频率成分。时频分析则将时域、频域结合，从而获得更全面的特征信息。不同电生理信号采用的特征提取方式不尽相同，比如脑电信号通常采用傅里叶变换进行时频域转换后提取频域特征，而采用短时傅里叶变换、小波变换等方法进行时频分析，以提取脑电信号的时频特征[72]。

基于电生理信号的情绪识别研究中常用的分类算法主要有SVM、K-最近邻（KNN）、线性判别分析（LDA）、逻辑回归和决策树，其中Doma等人基于DEAP数据集发现KNN的准确率最高[73]。

5.基于多模态数据的情绪测量

基于多模态数据的情绪识别是指对个体的图像/视频、语音、文本、电生理信号等多模态数据进行采集、提取情感特征，信息融合理解、最终获得情绪识别结果。从不同的单模态数据中提取信息集成多模态特征称为模态融合[74]，包括数据级融合、特征级融合和决策级融合。数据级融合在前期传感器层采集数据的阶段，将原始采集到的数据组合形成一组新数据，并作为特征提取的输入。特征级融合属于中期融合，是指从原始数据中提取有效的特征并拼接成特征集的过程。决策级的融合属于后期融合，通过将各个单模态数据经过特征提取、情绪分类后的结果根据某种策略进行融合得到最终分类结果。

常用的多模态情绪数据集主要有DEAP数据集[75]、YouTube数据集[76]和SEMAINE数据集[77]、AFEW数据集（包含音频、视频和身体姿势图像）[78]、IEMOCAP[79]、BAUM-1[80]、中文自然视听情感数据集（CHEAVD）[81]等。Pérez等人基于YouTube数据集开展基于文本、语音和图像数据模态的多模态情绪识别研究，将采集到的多模态数据组合成共同的特征向量，采用数据级的融合方式达到了75%的识别准确率[82]；Tzirakis等人采用CNN提取语音信号的特征，利用ResNet-50网络从视觉信息中提取特征，将语音、图像两种数据模态以特征融合的方式实现多模态的情绪识别并对后续情绪进行预测，结果表明预测情绪唤醒度和效价的最高准确率分别达到78.9%和73.2%[83]。

（三）在线学业情绪测量的困境

在线学业情绪测量方法比较表

情绪是学习者对学习刺激的反应，随着学习刺激的动态变化，在线学业情绪也在发生变化，下表对比了不同的在线学业情绪测量方法的特点、适用情境与局限性。

从上表可以看出，尽管已有了很多测量在线学习情绪的途径与技术，可推进在线学业情绪采集与分析测量，但仍可以看出，在线学业情绪测量准确性存在诸多困难，主要体现在：（1）数据采集的信度。数据采集的准确性是决定情绪判断准确性的前提基础，但目前各种采集方法均存在其使用局限，设备的精细度、个体的心理抵触和数据采集环境等均会引发数据采集的不准确性。（2）数据处理方法的信度。数据处理方法的可信度是决定情绪判断准确性的另一关键要素。利用机器学习算法实现对学业情绪实现自动化判断，结果的准确性受到数据训练集的制约，由于学业情绪与社交情绪发生情境不同，诱发的情绪也出现差异，学业情绪的唤醒度往往不及社交情绪，但目前学业情绪训练集建设薄弱，往往是利用社交情绪训练集加以处理，因此判断结果倾向于反映为社交情绪，有些学业情绪无法得到识别，如困惑。

对应上述困难，在展开学业情绪测量时，应该：（1）多通道采集数据。尽可能综合采用多种方法综合测量个体的在线学业情绪，多种途径相互印证，相互制约有利于提升数据采集与处理的信度，准确确认个体的情绪状态。（2）加强学业情绪数据集建设，提升相关算法的运算效率与信度，保障学业情绪正确认知。

四、未来研究方向

关于在线学习，已有研究多从教学资源建设、平台开发、教学模式与策略等角度对个体的学习过程进行了充分的关注，较好地推进了数字化资源、平台开发与在线教学过程研究，但已有研究对学习者的在线学业情绪关注度严重不足。在线学业情绪是学习者个体在线学习过程中的主观体验，其会影响学习者的在线学习投入、学业成就及学习满意度。良好的在线学业情绪不仅有助于学生在线学习活动的开展，培养主动在线学习的态度，激发在线学习动机，而且有助于建立良好的在线交互，促进在线学习者身心健康发展，推进“互联网+教学”。未来，在线学业情绪研究将要关注以下三个方面：

首先，加强在线学业情绪的分类体系研究，奠定在线学业情绪测量的理论根基。与社交情绪相比，在线学业情绪具有其领域特异性，它更多与学习刺激关联，包括数字化学习资源、学习平台及中介学习平台产生的学习交互等刺激因素，已有研究发现了数字化学习资源的画面设计、在线学习交互、在线学习平台均会引发学习者产生一定的在线学业情绪，但针对在线学业情绪的分类体系研究目前仍处于起步阶段，简单引入“愉悦-唤醒”情绪分类体系模型不能很好地推进情绪与在线学习的关联研究，需要进一步将这一分类体系与在线学习投入、产出及在线学习的不同情境具体关联，深入剖析，建立有利于推动在线学习研究的在线学业情绪分类体系，为在线学业情绪的自动化识别奠定理论基础。

其次，改善在线学业情绪测量的机器学习算法，提升在线学业情绪自动化测量的准确度。在线学业情绪的测量是了解在线学业情绪，进而分析学业情绪对学生发展及在线学习发展的意义。目前，尽管在线学业情绪的测量方法多元化，突破了原有的主要依赖学习得个体或外在观察者报告的方法，提升了测量的宽广度。但是，由于相关数据集及采集终端设备的限制，在线学业情绪测量结果的信度和效度仍难以得到有效保障。未来需要综合教育学、心理学、生理学、信息科技等多学科知识，运用多种方法采集多模态情绪外显行为大数据，推进在线学业情绪测量数据集建设，融合情绪结构理论、情感认知理论、情感计算模型构建情绪测量模型，改善情绪分类算法，提升在线学业情绪测量的自动化测量信度、效度与效率，推进在线学业情绪测量发展。

最后，深入剖析在线学业情绪对学生发展的影响路径与机理研究，推进在线学业情绪的评估与干预。已有研究认识到了在线学业情绪会对学生的学习投入和学业成就的影响，也发现了其会对在线学习的满意度产生影响，但对于在线学业情绪的影响路径与影响机理分析甚少，尤其是某类具体的在线学业情绪对于学习投入、学业成就及学习满意度的影响，以及其影响路径及影响机理研究非常之单薄，这些研究的缺乏将导致未来在线学习中难以关注具体的学业情绪并对相应情绪展开干预。未来，需要进一步探究学习过程与情绪变化过程之间的关联性，明晰在线学业情绪发生、发展及产生作用的机理及相关的调节因素，以明确何时如何有效干预学习者的在线学业情绪发展，突破学习者的在线学习的困难，实现“互联网+教学”快速跨越式发展。