基于面部情绪识别的物理实验教学过程评价

龚雅云，唐小煜，刘思睿，郑小冰

(1.华南师范大学 a.物理与电信工程学院;b.脑认知与教育科学教育部重点实验室;c.物理国家级实验教学示范中心，广东 广州 510006;2.东莞市石龙镇中心小学，广东 东莞 523000)

随着教育现代化研究的深入，先进的教育理念与科学技术为课堂教学评价的革新带来无限生机，实现全面、客观、高效的课堂教学评价成为可能. 为落实物理课程“立德树人”的根本任务，提升学生的物理核心素养，教育部发布了《普通高中物理课程标准(2017版)》[1]，对中学物理教学与评价提出了总体要求. 针对当前物理教学中“重结果轻过程”的现状，相较于2003版本，新课标在课程评价方面更明确地提出“注重过程评价，以促进学生核心素养的发展”的基本理念[1]. 过程性评价内涵丰富，目前被广泛认可的是美国研究团队提出的定义：过程性评价是师生在教学过程中所进行的一种教学反馈，由反馈信息对教学过程进行调节，以改善学生的学习状况而获得预期的学习成果[2].

物理是一门以实验为基础的学科[3]，实验既是物理教学的重难点，也是培养学生科学探究能力的关键. 但应试体系下的中学物理实验教学评价仍以单一的笔试考查为主，与新课标提倡的“评价方式多样化”存在较大偏差，难以达到促进学生发展、促进教师反思及改进教学的评价效果. 因此，落实高效的实验过程性评价是提升实验教学效能的重要一环. 自新课标颁布以来，已有许多物理实验的过程性评价研究，研究方向主要有三大类：研究实验课堂评价流程，研究基于核心素养的实验评价内容，构建有层次、分权重的物理实验评价量表. 在实验操作教学中，王爱生等[4]认为教师应及时关注学生的情绪变化，采取体验成功操作的方法提高学生自我效能感，建立积极乐观的情绪. 在实验评价内容的研究中，刘朝安等[5]提出除了关注学生的实验基础知识和技能外，还应关注每个学生的个体差异，对学生在实验过程中表现出的情感态度进行综合评价. 但在实验评价量表构建中，大多数研究者关注学生的实验操作、分析数据、合作交流等外显的能力，量表中缺乏针对学生内隐情感的评价指标，且对学生课堂情感识别的工具开发不足，使得教师难以全面评价学生实验过程中的学习状态，也未能及时获取学生的情感反馈并做出相应的指导调整.

人工智能、大数据等蓬勃发展，给人类生产和生活方式带来深度改变，并在教育领域产生重要影响[6],将图像跟踪及分析技术用于学生课堂状态的实时评价成为可能. 基于此，本文研究了物理实验过程中学生情绪的判别方法，利用面部情绪识别技术对学生在实验课堂中的学习投入状态进行评分，旨在将学生的课堂状态变化与实验教学评价紧密结合，获得更实时、更全面、更客观的评价效果.

1 学习情绪与状态评价技术的发展

1.1 物理实验教学中的学习情感评价

学习者的情绪不仅作用于认知加工过程中的注意、记忆、决策等各个环节，还会影响学习者的学习动机和兴趣[7]. 课堂中教师能否实时、准确地感知学生的情绪状态，在一定程度上决定了能否及时调整教学策略以提高课堂教学效能，同时，学生在课堂中表现出的情感状态也为教师实施个性化教育提供了关键信息. 从中学物理新课标对教学评价的实施建议中可看出，随着教育观念的改变，课堂中学生的情绪状态越来越被重视. 初中《义务教育物理课程标准》在评价建议中提出应重视对“情感·态度·价值观”的评价，在开展实验探究学习过程中，教师要有对学生学习兴趣、投入程度等情感状态的判断[8]. 而在《普通高中物理课程标准(2017版)》中则提出形成性评价不仅要关注学生获得了什么，还要动态观察其表现，细心了解其内心情感的变化[1]. 摒弃传统的“讲实验”模式，关注学生在实验探究中的情感体验是物理实验教学变化的一大趋势，实验课堂将更需要学生充分发挥其主观能动性，积极地投入到探究活动中. 学生学习过程中的积极情感能够促进其更好地完成认知活动[9]，因此，在过程性评价中融入对学生情感投入状态的判断，更有针对性地诱发学生实验学习的积极情绪，是物理教师提升实验教学效能的重要途径.

相较于物理理论课，学生的学习情感状态在物理实验课堂中更容易被教师所察觉. 实验课多以动手操作、师生问答、小组合作、讨论交流等开放教学形式展开，充分调动学生的多种感官，更容易激发其内部思维活动. 学生普遍对新鲜而实践性强的内容存在强烈好奇心，在实验课堂中学生活动的灵活度更高、自主性更强、情感状态波动更显著，更容易反映出学生对本节内容学习的状态与兴趣. 实验操作具有外显性的特点，学生实验过程中的肢体动作及情绪变化能够反映其思维活动[4]. 自我效能感较高的学生通常在操作中更积极主动，练习坚持的时间更长，善于与同伴交流并发表自己的发现与观点；相反，自我效能感低的学生动手坚持的时间较短，易产生放弃心理，若教师不及时干预，学生可能逐渐丧失学习物理的兴趣. 因此，在实验中依据学生的外在表现对其学习状态进行评价与指导，能够弥补物理教学中对学生情感态度关注的缺失. 我国目前仍以一对多的大班教学为主，仅凭教师有限的精力难以实时关注全体学生的肢体和表情变化，教师往往对明显存在操作困难的学生关注较多，而容易忽视其他学生在实验中的情绪状态，存在课堂把握的片面性和滞后性问题.

1.2 情感评价技术的研究现状

心理学家Mehrabian的研究表明：情感表达可分为7%的语言、38%的声音和55%的面部表情[10]. 面部表情是情感表达的重要载体，是情感判断的重要依据. 随着计算机、互联网技术的进步以及图像处理、模式识别等理论的发展，表情识别技术在安防监控、疲劳驾驶、心理医疗等领域被广泛应用，技术的迅速发展使得表情识别应用于教育领域逐渐成为现实. 在此背景下，应用面部情感识别技术，对物理实验课堂中学生的面部表情进行识别以评价学生的情感投入度，不失为实现实验教学过程细粒度评价的可行方案.

目前，对传统课堂中提取学生面部表情以分析学生听课状态的即时评价方式的相关研究还较少[11]. 谢幼如等[6]提出智能时代基于深度学习的课堂教学设计观，制定智能时代基于深度学习的课堂教学评价体系. 冯满堂等[12]探索性地将人脸表情识别应用于智能网络教学系统中，从而补偿网络教育的情感缺失. 孙波等[9]通过面部表情的情感分析技术，实现了智慧环境下的学习者的情感识别及情感干预功能. 除了利用表情情绪识别技术外，刘毓等[13]还提出了基于中文短文本教学评价的情感分析方法，该方法有助于教师获得准确的评价反馈信息并及时调整教学工作. 崔怀丰等[14]研发了在课堂环境中汇集学生的肢体、表情、语音、坐姿、心率等信息的学生情绪识别装置，帮助教师在课堂中因状态施教. 这些技术的发展应用与方法创新，使得面部情绪识别应用于物理实验教学的过程性评价更加科学可行.

本文在已有的研究基础上，提出面部情感识别技术与物理实验课堂相融合的过程性评价方法，建立实验课堂教学设计与学生的情感投入状态之间的联系，为实现实验教学的细粒度评价与学生学习状态的分析提供依据.

2 基于PAD三维情感模型的人脸情绪识别与分析方法

2.1 人脸情感识别的实现

在实验教学中，通过获取学生的面部表情作为分析其情感状态的依据，这一方法比传统的问答互动来获取其语言、声音等信息更加准确有效. 在表情识别领域中，将人类的表情分为高兴、愤怒、厌恶、恐惧、悲伤及惊讶6种基本表情[15]，但在实验课堂中，学生平静听课状态下还会呈现中性表情，因此，本文针对以上7种表情进行分析归类识别.

物理实验课堂中学生活动多样化，实施各环节时的情感状态呈现在面部表情中的变化明显，在录制的实验课堂学生活动视频中截取教学关键环节的图像，捕获学生的面部表情样本. 对表情进行情感分类属于模式识别的过程，本文采用卷积神经网络(CNN)实现面部情感分类识别的算法，在对面部情感识别模型进行预训练调优后，基于图像计算分析出学生在实验过程中各节点的情感状态.

2.2 PAD三维情感模型

情绪是反映学生学习状态的主要表现形式，可作为评价学生课堂状态的重要依据. 但在课堂评价中对学生情感状态指标的评判需要量化，PAD三维情感模型则将情感与外部表现、外界环境联系起来，为实现不可量化的学生情感和可量化的投入度之间的转换提供了工具，得出的情感投入度可作为反映学生课堂情感的指标纳入实验课堂评价体系中.

依据情感维度理论，PAD三维情感状态模型将情感借由愉悦度(Pleasure-displeasure)、激活度(Arousel-nonarousal)和优势度(Dominance-submissiveness)这3个维度来描述[16]. 愉悦度表示个体情感状态的正负特性，激活度表示个体的神经生理激活水平，优势度表示个体对情景和他人的控制状态(主要指对情感状态的主观控制程度). 研究表明，PAD 3个维度的值能够代表具体的人类情感. 李晓明等[17]以中国人群为样本对Mehrabian提出的PAD情感模型进行可信度测评，并修正得到各种情感对应三维权重值. 其中，7类基本情感在愉悦度、激活度和优势度3个维度上的权重，如表1所示.

表1 7类基本情感在PAD情感空间中投影的权重值

分别以这3个维度为坐标轴可构成PAD三维情感空间. 基于表1所列权重数据，将各类表情投影到情感空间中，得到7类基本情感在PAD三维情感空间中的分布，如图1所示.

图1 基本情感在PAD 3维情感空间的分布

学生的课堂投入度主要由愉悦度、激活度和优势度体现，但在不同形式、不同教学方法的课堂中，3个维度对学生整体课堂投入度的贡献值有所不同，其系数应根据实际课堂情况而定，因此，投入度公式可以表示为

(1)

2.3 系统实现

实现面部情绪识别过程主要包括数据获取、情感识别以及结果分析，智能教学评价系统实现框架如图2所示.

图2 智能教学评价系统实现框架

通过摄像头获取学生在实验课堂上的视频信息，在视频中以设定的时间间隔截取1帧照片，并从中识别提取出每位学生的人脸图像. 在获得各学生的人脸样本后，情感识别则通过人脸检测框出人脸部分，并对其进行预处理，降低输入图像的数据维数. 再通过特征学习提取出表情图像中的有效信息并去除冗余，完成情感分类模型的预训练，从而判断输入样本的情感类型. 最后利用(1)式计算学生的投入度. 综合各时间节点学生的投入度可计算出该学生在课堂中的平均情感状态(Average 1,I1)，用于评估学生个体的学习状态，进而评价实验教学对个别学生的教学效果. 运用多名学生的投入度可计算出全体学生的整体情感状态(Average 2,I2)，用于评估实验课堂中学生整体状态效果.

(2)

式中,i表示时间节点，j表示学生个体.

3 系统模型与实验结果

物理实验教学过程中学生的情感状态随探究活动的开展而易显于其外部表情和动作中，这为摄像头捕获有效的可识别图像奠定了基础. 同时，实验课堂也存在学生活动多样、复杂的特点，大多数学生的面部朝向不同，需多角度捕获面部图像并筛选出可用样本. 为提高智能教学评价系统在物理实验课堂的可行性与准确性，该系统通过卷积神经网络进行模型调优，并实际应用于中学物理实验课堂中,验证实验过程评估的效果.

3.1 系统模型

情感分类属于模式识别的过程，其本质是选择合适的分类算法对图像进行分类判决. 对于面部情感分类识别的算法，将采用卷积神经网络(CNN)来实现. CNN的最基本架构为卷积层、池化层和全连接层. 传统的基于特征提取的方法在选择合适的特征进行模型学习时非常耗时，CNN能有效地学习这些特征，这使CNN在现实场景中使用变得非常方便[18]. 2012年，Alex在此基础上提出了AlexNet，在imageNet2012的图片分类任务上，AlexNet以15.3%的错误率登顶，由于其显著的学习能力，自提出以来便引起众多研究者的注意. 对比LeNet，AlexNet的卷积层和池化层没有太大变化，不过层数有所加深. AlexNet在模型训练提出了LRN局部响应归一化、ReLU激活函数、Dropout、GPU加速等新的技术点[19]. 本文将应用迁移学习的方法，使用AlexNet进行表情情感分类.

3.2 实验数据集

模型训练部分的数据将采用JAFFE和Ck+这2个公开数据集：

1)JAFFE由10位日本女性在诱发状态下产生，该数据库包含了213幅图像，每幅图像都有原始的表情定义，共有7种表情：中性、高兴、悲伤、惊奇、愤怒、厌恶、恐惧.

2)Ck+数据库是在 Cohn-Kanade Dataset的基础上扩展来的，发布于2010年，该数据库包括123个实验对象,593个图像序列，每个图像序列的最后1张框都有行为单元的标记，而在这593个图像序列中，有327个序列有情感状态的标记. 该数据库是人脸表情识别中比较流行的数据库.

为了达到2个数据集上的统一，在训练学习Ck+数据集时也引入了“中性”这一感情. 实验中将数据集中提取得到的数据经过预处理后，随机划分为训练集、测试集以及验证集. 其中，每个时期的训练数据为80%，测试数据则为20%. 用于验证的数据始终与用于测试的数据保持相同的大小.

3.3 实验与分析

3.3.1 模型效果评估

实验采用五折交叉训练，在2个公开数据集上得到的验证平均准确率及测试平均准确率如表2所示.

表2 不同数据集的验证集和测试集的准确率

模型的泛化能力通常由模型在验证集上的性能来评估，随着网络的优化，泛化误差也会出现，即使训练集上的泛化能力下降，其在验证集上的表现也不一定变差. 反之，即使模型在训练集上表现良好，但在验证集上表现不佳，也可能发生过拟合. 因此，为了避免过拟合，引入了提前停止的机制. 如图3所示，当性能达到最佳预测时，模型将被保存.

(a)基于JAFFE

(b)基于Ck+图3 不同数据集上的准确率曲线图

3.3.2 模型可行性验证

为了验证学生面部情绪识别方法的实际可行性，研究团队在广东某中学的2节40 min物理实验公开课堂中，于教室的前方、左侧、右侧3个角度放置了摄像头，每堂课中分别采集了20名学生在实验过程中5个关键时刻的面部表情样本，运用该识别模型对学生各节点的表情图片进行分析计算，得到关键时间点学生情感状态(I)、学生个体在整体实验中的情感状态(I1)及实验课堂中学生整体的情感状态(I2). 经筛除表情图片中截取到学生背面、侧脸、低头姿势以及表情模糊的样本后，选取其中2个实验小组共9名学生在实验课堂完整的情感投入度变化来记录、预测与评价.

同时，教师在实验教学过程中根据观察到的学生学习状态情况，将学生的情感投入度分为2个等级进行评分，投入度低用0表示，投入度高则用1表示. 最后将教师对各学生各节点的评分与模型测试计算的结果进行对比，以验证模型的准确性与可行性，对比结果如表3所示.

表3 方案预测结果与教师评价结果对比

面部情绪识别方案经分析计算所得的学生情感投入结果，与教学经验丰富的教师所给出的学生状态等级基本一致，验证了本文提出的智能情感评价模型具有较高的可行性与准确度.

评价所获得学生各节点的课堂情感投入情况与物理实验课堂的科学探究流程设计进行关联对照，能够为教师反思、改善教学提供有力指导依据. 在实验课中，第1个时间节点对应的教学环节为小组实验设计与猜想，有的学生在教师的情境引入下能较快适应课堂角色，积极主动地联想，呈现较高的投入度，有的小组却仍未进入课堂状态. 因此，在实验操作前教师应设置合适的情境并引导小组讨论猜想，让学生精力集中、情绪饱满，保持思维活跃. 第2个时间节点中，学生上台分享小组的实验猜想，而其他学生多呈现低投入度，实验猜想的思维发散度较低，各小组间的设计猜想差异较小，教师可适当缩短这一环节的时间. 第3个时间节点设置在学生初步实验阶段，学生还未完全进入实验操作状态，仅有少数学生动手操作，智能系统识别出大多学生对实验投入度低，但当教师巡视到目标学生面前进行指导时，他们的注意力很快集中回来，因此教师判断出大多数学生的实验投入度较高，这一评价存在片面性. 第4个时间节点内学生处于实验探究的高潮，操作熟练且能对感兴趣的问题进行自主探究，整体投入度较高，该阶段教师应抓住学生这一积极状态，引导学生思考实验中的“争议点”；最后的时间节点设置在结论分析环节，学生能够在小组交流中阐述自己的发现，此时学习状态较兴奋，有助于教师进行总结梳理与拓展延伸.

用面部情绪识别技术来评估学生的投入度的方法能够在实验课堂的自然状态下进行，避免了教师干预所带来的影响，相较于传统的教师评价，可实现更高效且客观的情感评价.

4 结束语

模型验证所选的2堂实验课均为公开课，课堂质量较高，学生精神饱满热情，大多呈现出高投入度. 在后续的研究中，可以在更多实验课堂中进行实证分析，以新课标提倡的科学探究7环节设计为基础，进一步修正物理实验课堂评价的PAD模型3个维度的权重，提高模型的准确度. 还可以进一步细化评价的粒度，将评价节点分解到物理实验课堂的各个具体环节，用于评估实验教学微设计对学生学习状态的影响，为物理教师探索出有效激发学生科学探究兴趣的实验教学途径提供参考. 要实现有效的物理实验教学过程性评价，不仅要充分考虑评价内容，还要有客观准确的评价工具. 随着图像处理和人工智能技术的发展，未来有望实现对学生实验操作的动作表情识别，更智能、更高效地进行实验过程评价.