审计视角下学生面部行为与课堂评价分析研究

谭海 董倩倩 陈欣 成嘉雯 覃慧红

关键词：深度学习；审计评估；面部行为；线上学习效果

网络教育兴起，线上教学成为信息化教育发展的趋势，教育部致力于推动联动、融合虚实空间、线上线下教学相结合的教育模式，部分在线教育平台也逐步提高了授课教师教学水平。但网络教育体系仍存在一些弊端，如授课教师不能进行现场指导学生，学生自主学习过程中缺乏自律和专注能力。现有网络直播教学平台无法帮助教师融合教学过程和学生学习情况评估，是目前线上教学面临的主要问题。本研究通过动态表情识别算法、对人脸图像进行分析的深度学习算法、人脸特征检测等技术实时获取学生学习状态，并进行学生状态的识别及分类，以此评估学生的学习状态和效果。本研究旨在构建一个完整的学习状态评估系统，促进教育信息化发展和智能教育的实施，完善教育体系，满足学生的个性化学习需求。

1文献综述

美国科学家Ekman[1]提出的6种基本的面部表情分类，而在学习情绪识别的过程中无法直接应用和评分。行为和情绪是人类情感的两个主要组成部分。情感是人内心体验的表现，行为是情绪对外部环境的反应。因此，人的情感通常与他们的行为线索密切相关。Constans JI[2]等人研究了情绪与风险评估的关系，证实了情绪对于人的判断、选择都会有一定的影响，此结论放在学生身上同样适用。学生在课堂上的行为表现出他们心理状态的晴雨表，能反映出他们在课堂上的学习状态。因此，我们可以从面部了解学生课堂的注意力集中情况。因此，表情识别可以运用到教育领域上来判断学生的情感状态，从而评估课堂效果。

表情识别的包括五个过程：表情图像获取，数据预处理，提取图像特征，表情分类和所属类别。其中准确提取图像特征是表情识别过程中至关重要的步骤。目前，表情识别研究大致可以分为两类：1） 基于人工提取特征的方法；2） 基于深度学习的方法。早期的表情识别主要依赖人工提取特征，如Gabor小波变换[3]、主成分分析（Principal Components Analysis， PCA） [4] 等，再使用支持向量机（Support Vector Machine，SVM） [5]进行分类。传统方法提取特征要求一定专业知识的帮助，人为干扰因素较大；且实验设计烦琐，参数调整复杂。卷积神经网络（Convolutional Neural Net?work，CNN） 能够直接处理原始数据，并通过端到端的图形拓扑结构自动提取输入数据的抽象特征，这一特性使得识别过程变得更加简单和快捷，从而大大提高数据处理的效率。

1989 年，LeCun[6] 等人发明了卷积神经网络（CNN） ，他们利用LeNet-5模型，成功提高了手写字符识别的准确率。随后，Kim[7]等人最先将CNN应用于表情识别，并提出了一种新的表情特征表示方法。为了进一步提高表情识别的准确度，研究者们开始探索新的方法，尝试着将CNN进行进一步的改进并与其他特征提取方法相结合。Xie[8]等人提出了一种针对CNN的特定改进方法，运用多路连接和空间注意力机制，对CNN进行微调预处理以获取特征图，然后对特征向量进行全连接和分类。但是，该方法在分类精度上仍有提升空间。另外，乔桂芳[9]等人提出了一种优化算法，该算法利用改进的CNN与支持向量机（SVM） 相结合，以达到更好的识别效果，但其在目标检测效率方面仍然不够好；崔铁军[10]等利用YOLOv4 目标检测算法对人进行快速检测，并与MTCNN和FaceNet构成的人脸算法结合，提高算法的鲁棒性和检测效果。

智慧课堂中有多个学生的视频图像，每个学生有自己的窗口，因此目标检测非常重要。YOLO系列是流行的目标检测算法之一，其效率和精度优秀。针对学生个体的面部图像，使用YOLOv5算法进行目标检测，但此算法不能完成表情识别。因此，本文结合VGG19 和Rstnet18 算法完成人脸表情识别，并使用Softmax分类器进行进一步分类和分析。最终将识别结果与学生的听课状况相结合，通过评价分析系统评估学生的学习情况。

2 研究设计

2.1 基于视频图像的人脸检测方法

我们先对YOLOv5输出图像处理进行Resize函数修改，再利用VGG19和ResNet18模型进行特征提取和表情分类。此外，在全连接层之前加入Dropout层，在训练模型的过程中减少一些特征检测器，降低过拟合，使训练模型泛化性增强并有效提高其鲁棒性。我们还去除了传统VGG19和Resnet18中的多个全连接层，直接将一个全连接层分为6类去识别，以此得到每一类表情的输出概率，再使用SVM分类器以此得到相应的模型。如图1为本文使用网络模型。

经过大量数据的训练，此模型得到了较满意的实验结果。如图2为本文算法训练检测结果。

2.2 面部表情分析

除了特征提取，我們还需要设定不同表情的特征，以便让模型能够更好地识别表情。因此，本文在Ek?man的6种基本面部表情基础上，将学生的学习情绪分为6种标签，分别是开心、惊讶、疑惑、困倦、正常和厌恶，并且提供了相应的表情特征，如表1所示。经过大量的数据训练，本模型可以很好地识别人物的表情。

3 研究成果

3.1 数据集增强

本次训练使用了包含CK+和Fer2013两个数据集的数据，使用随机抽样的方式将数据集按照8：2的比例划分为训练集和测试集。图像包括男性和女性的数据，比例为1：3。通过这两个数据集的组合和随机划分，训练集和测试集的标准化程度得到了保证，同时还可以使训练出的算法具有更好的泛化能力。具体的样本数据集划分结果如表2。

由于数据集内图片有不同曝光、不同明暗的示例图，加强了数据训练的精度。在图像采集方面，实验表明人的表情最少持续大约1.5s，因此本研究设计图像采集频率为t=1.5s。

在分类任务中，为了使图片能够被正确地传入神经网络中，需要将图片统一缩放到相同尺寸。本文采用双线性插值法，原理是在横轴与纵轴两个方向上进行一次线性插值，通过四个相邻像素插值获得目标像素，其原理图如图3。

算法具体步骤为先通过Q12和Q22线性插值得到R2，过Q11与Q21线性插值得到R1，再通过R1和R2插值得到所要求的P点。双线性插值法拥有计算量较小，运算速度较快的特点，基本克服了最近邻算法灰度不连续的缺点。

使用深度学习模型对人脸表情数据集进行标记后，使用YOLOv5进行训练，以检测人脸表情。接着，使用人脸对齐技术将检测结果转换为160x160大小的图像，并输入FaceNet网络中进行人脸匹配，最终完成人脸表情检测。

3.2 評价指标体系构建

过去，教师评估课堂效果通常基于一系列主观评价指标，但这种传统方法易受人为因素干扰。为了弥补多主体主观评价的缺陷，研究提出了基于学生学习行为的教学效果评价方法，通过学生学习行为智能审计分析不断监测和采集数据，深入分析后，评价人员可以全面准确地了解教学效果和学生的学习效果，从而提供更客观准确的评价结果。

本文将学生的学习行为细化为三类，分别为积极学习行为、中性学习行为和消极学习行为，其中惊讶和正常归为中性行为。然后再将学习专注度和学习态度与该指标相结合，由此，本文得到的教学效果分析指标，详细分类如图4所示。

为了检验课堂学习效果评价指标的信效度，本研究采用了Cronbacha系数[11]和探索性因子分析。相关分析考察了学习态度、学习专注度和课堂活跃度四个指标与学生课堂学习效果之间的关系，正确解释了评价结果。信度检验结果显示评价系统各指标的一致性信度系数都在0.7以上，其中3个指标的信度系数为0.7～0.8，4个指标的信度系数为0.8～0.85，1个指标的信度系数为0.85以上，显示评价系统各指标的信度都很高，结构效度分析也表明评价系统的各指标结构效度很好。

课堂活跃度是影响课堂学习效果的一项重要因素，此外还有其他因素，如学生的学习态度、学习专注度以及教师的教学方法，也可能对课堂学习效果产生显著影响，并且这些因素之间可能存在相互作用。因此，在评价课堂学习效果时，需要综合考虑多种因素，并采用科学方法进行分析和评估，以得出准确的结论和评价结果。接下来可以进行学生个体课堂效果评价，得到表情分类结果并按照各项指标的权重进行加权平均得出最终结果，详见表3。

然后再按照公式（2） 统计所有学习效果分析指标的平均结果，其中i 表示学习的天数，f （n）表示某堂课对应的评价总分。

学生的课堂学习效果评价方法可由此形成一个评价体系。

此外，本实验还将学生的课堂评价指标与该学生的各项能力相结合，作为学生自我评价的主观指标，此指标并不参与实际评分。结合如下：学生的课堂专注度可以体现其抗压能力和持久能力；学生的课堂活跃度可以体现其思辨思考能力、沟通交流能力和团队协作能力；学生的学习态度可以体现其责任担当能力。

除了学生个体的课堂效果评价，还有课堂的总体评价供教师参考。课堂的总体评价是由所有学生课堂的三种学习行为比例进行在线评价。教师则可以通过即时的整体学生的课堂状态反馈来调整自己的教学。

4 结束语

本研究积极迎合新时代下教育部的发展指标，探索建立健全多元综合评价方式，持续努力探索和推进网络学习空间应用。这种新模式以数据支撑、智能辅导为核心，覆盖了教育生命周期的全过程，从而满足学生和教师的不同需求。此外，新的教学模式还需要紧密结合互联网和教育技术的发展趋势，创新教学内容和形式，注重培养学生创新能力和实践能力，从而真正推动教育高质量发展，在后续可投入群体使用。

同时，本研究将学生的学习状态可视化，便于及时引导学生调整学习状态，并且为教师提供直面的反馈，协助改进教学方案，使师生双方得到成长和进步。文章中将面部表情作为评价指标，并且以此预测、帮助学生个性化成长是一种创新。但是，为了更好地发挥该评价体系的作用，还需要解决一些问题，比如如何通过评价体系为学生提供进一步的未来规划，如何加强教师与学生间的交流互动等。