基于表情识别技术的教学效果反馈研究

收稿日期：2023-08-05

基金项目：无锡城市职业技术学院横向课题项目（HX2023017）；无锡城市职业技术学院校级教育教学改革立项课题

DOI：10.19850/j.cnki.2096-4706.2024.06.041

摘  要：随着人工智能技术的飞速发展，人脸表情识别技术的应用越来越广泛。学校是学生的聚集地，人脸表情数据的来源充足，为表情识别技术的研究提供了数据支撑。文章以课堂实录视频为研究对象，采用K210检测人脸进行表情特征提取及分类，借此对课堂质量进行等级评分，并以皮尔逊积矩相关系数验证课堂质量等级评分与教师评价的相关性，最终进行教学效果反馈的研究。

关键词：人工智能；表情识别；教学效果

中图分类号：TP39；G434  文献标识码：A  文章编号：2096-4706（2024）06-0194-05

Research on Teaching Effect Feedback Based on Expression Recognition Technology

XU Xiaoping

（Wuxi City College of Vocational Technology， Wuxi  214153， China）

Abstract： With the rapid development of artificial intelligence technology， the application of facial expression recognition technology is becoming increasingly widespread. A college is a gathering place for students， and the source of facial expression data is abundant， providing data support for the research of facial expression recognition technology. This paper takes classroom recorded videos as the research object， uses K210 to detect face for facial expression feature extraction and classification， and grades the classroom quality. The Pearson product moment correlation coefficient is used to verify the correlation between classroom quality grade rating and teacher evaluation， and finally， a study on teaching effect feedback is conducted.

Keywords： artificial intelligence; facial expression recognition; teaching effect

0  引  言

相對于指纹、虹膜等识别技术，面部表情识别技术的发展较慢，但是由于其具有多样性和复杂性的特点，在人机交互领域得到越来越广泛的应用。相关研究表明，在人与人的日常沟通和交流中，语言表达、肢体动作、面部表情等信息传递占据着重要地位，其中面部表情是重要角色，在没有任何外力或修饰下最能反映人的心理活动和情绪状态。随着人工智能技术及其相关学科的迅速发展，表情识别技术在各行各业中的应用也越来越广泛，比如公安测谎、疲劳驾驶检测、医疗监护系统，等等。在教育方面，无论是线上方式还是线下方式，通过记录、分析学生的面部表情，教师能更有效地判断学生的学习状态及其知识掌握情况，便于教师及时调整教学设计和教学方法，从而提高教学质量。本文采用K210从课堂视频中获取人脸检测目标，通过人脸表情识别网络模型进行表情判别，计算学生的表情分数和课堂教学质量等级分值，并与测试分值进行比较，从而分析学生的知识掌握情况，最后进行教学效果反馈的研究。

1  人脸表情识别概述

课堂教学中，学生面部表情随着教师教学进程的推进而不断变化，从课堂教学视频帧中获取学生的人脸图像，通过图像预处理进行表情特征信息提取及分类，达到表情识别的目的。人脸表情识别框架图如图1所示。

图1  表情识别框架图

1.1  人脸识别

人脸识别任务的执行除借助识别算法之外，还需搭载一个识别设备，目前嵌入式设备有很多，本文主要采用K210单片机，主要原因在于其成本低，容易实现MicroPython的开发，且其内部拥有一个神经网络处理器，可以进行高性能的计算，亦可以加载和运行各种现成的AI算法模型，可对人脸进行实时检测，还可进行均衡、去噪、裁剪、仿射变形等一系列处理，接下来再进行图像预处理。

图像预处理是指对原图像进行人脸对齐、数据增强及人脸归一化等操作，在提取特征值关键点之前，排除掉与之无关的一切干扰。恰当的图像预处理能够提高表情识别度，有利于实现情绪分类。其中，图像预处理之一“人脸对齐”也叫人脸关键点定位，在检测到人脸的基础上，找到眉毛、眼睛、鼻子、嘴、人脸轮廓等关键点位置，目前要求至少找到5个关键点，而网络上一般基于68个关键点的变化情况进行特征提取，满足表情识别的需要。图像预处理之二“数据增强”是指在图像识别过程中，为了提高识别率，防止过拟合现象的发生，随机改变训练集样本，从而降低网络模型对某些属性的依赖。图像预处理之三“人脸归一化”主要是指亮度归一化和姿态归一化。

1.2  表情特征提取及分类

20世纪70年代，美国心理学家Ekman [1]定义了人类的6种基本表情：高兴、生气、吃惊、恐惧、厌恶和悲伤，并与Friesen共同建立了面部动作编码系统（FACS），可使研究者按照系统划分的一系列人脸动作单元（AU）来描述人脸面部动作，为如今的人脸表情识别统一了标准。由于本文主要研究课堂教学中学生脸部表情变化，与生气、恐惧等情绪的相关性不大，特此分析归纳了学生学习过程中各类情绪与面部表情特征之间的关系，具体分为以下6类：1）疑惑、思考类特征：眼睛瞪大，鼻孔变大，嘴紧闭或张开。2）喜欢、理解类特征：下眼皮有皱纹，鱼尾纹向外扩张，嘴角向后拉高。3）不感兴趣类特征：下眼皮有横纹，鼻子上有皱纹，嘴紧闭嘴角下拉。4）排斥类特征：眼睛睁大可能斜视，嘴张开。5）疲惫类特征：上眼皮抬高，嘴角下拉。6）兴奋类特征：眼睛瞪大，上眼睑挑高，下眼睑垂落，嘴未闭，不紧张，不拉伸。根据这六类特征提取面部特征值，进行相关标注及划分。

2  基于K210的人脸识别技术

2.1  环境配置

硬件：K210开发板、摄像头、屏幕、SD卡、USB Type-C数据线

环境搭建：硬件接线，下载并安装MaixPy IDE，分别安装串口驱动、Python 3.8、pip、TensorFlow，进行CUDA环境配置。

2.2  实现人脸识别

基于K210的人臉识别[2]的主要目标是人脸检测。目前人脸检测有Maix Hub [3]云端训练和本地训练两种方式。MaixHub云端训练即在云端进行，只需上传训练数据即可输出训练模型，无须进行本地环境配置及相关软件的安装，但缺点是功能十分有限，因此采用本地训练方式。检测人脸的数据集来源于某高校课堂实录视频，视频总长为8分钟，学生听课内容为计算机基础课程中二进制与十进制的快速转换。从长期的教学经验来看，这个知识点没有太多承上启下的衔接，易理解，易计算，学生在听讲的过程中情绪变化较为明显，面部表情丰富，适合进行基于表情识别技术的教学效果反馈研究。

首先，按照Sipeed官方K210教程中本地训练的步骤进行环境配置；其次，采用Maix Hub以48帧为单位对课堂视频进行数据采集并实现头像标注，数据集图像命名如图2所示，数量为300张；从Maix Hub网站下载人脸检测模型文件face_model_at_0x300000.kfpkg至K210开发板中，并进行参数设定，在KPU中运行YOLO（You Only Look Once）目标检测算法实现人脸检测。

然后，对图像数据集中获取的单张人脸进行定位，考虑到光线、坐姿、分辨率等因素，除去定位错误或不符合要求的图像，最后将人脸图像统一调整为200×200大小，形成如图3所示的人脸数据集。

最后进行图像变换、裁剪、旋转等仿射变换矩阵操作实现人脸对齐，最终形成1 300张有效人脸图像。仿射变换矩阵计算式为：

（1）

其中，X′和Y′表示矫正后的像素位置，θ表示旋转的角度，a、b分别表示水平位移和垂直位移，x和y表示原图片的像素位置。通过计算左眼和右眼中心坐标，求得双眼的倾斜夹角θ，逆时针旋转θ度获得对齐后的人脸图像。

3  表情特征提取及分类

通过上文归纳出的学生学习过程中6类情绪与面部表情特征之间的关系可以看出，特征值主要定位在嘴巴、眼睛、鼻子等位置。dlib [4]库中自带的预训练人脸特征点检测器主要用于获取脸部特定区域对应的68（x， y）个坐标点[5]，这68个坐标点的编号从1至68，主要分布在人脸、眉毛、眼睛、鼻子、嘴等部位，根据六类表情特征，结合关联关键点的变化进行分类，并为课堂教学效果反馈赋予相应权值，如表1所示。

4  课堂教学反馈

4.1  课程质量等级评价方法描述

学生学习情绪的变化主要体现在表情特征的变化，这是课堂教学效果反馈的最主要途径，从教学经验得出，学生的情绪变化既能直接影响教师的教学情绪，又能直观体现教学效果。若要研究课堂教学反馈，需要建立表情识别模型，将学习情绪分为6类，为每类学习情绪设置一个置信度作为判断学生存在这个表情的可能性，而将这一可能性作为对学生听课状态评分的标准。现结合表情特征将学生听课状态分成6种[6]：很不好、不好、较不好、好、较好、非常好，并给予赋权值。如表1所示，fear作为对听课状态很不好的判断，权值设置为-3；disgust作为对听课状态不好的判断，权值设为-2；sad作为对听课状态较不好的判断，权值设为-1；anger作为对听课状态好的判断，权值设为1；happy作为对听课状态较好的判断，权值设为2；surprised作为对听课状态非常好的判断，权值设为3。最终得分取值在-3到3之间，再进行归一化处理，就可以得到学生a在t时刻的表情分数，计算式如式（2）所示。其中E表示表情集，g表示各类表情权值。

（2）

累加所有学生的表情权重并求平均值即可得到所有学生一帧图片的表情分数，如式（3）所示：

（3）

根据视频总时长，将所有时刻的分数累计取平均值获得整个视频中学生的表情分数，由于该分数值在-1～1之间，数值太小，不利于划分等级，现将权值乘上5再加上5分基础分，使得分数在0～10之间，如式（4）所示：

（4）

根据数值将听课质量划分为5个等级[7]：非常好（Very Good）、好（Good）、一般（General）、差（Bad）、很差（Very Bad），数值分布如表2所示。

表2  课堂质量等级划分表

质量等级 Very Bad Bad General Good Very Good

数值 0～2.0 2.0～4.0 4.0～6.0 6.0～8.0 8.0～10

4.2  实验与分析

采用如前所述的质量等级评价方法对录取的8分钟课堂视频进行计算处理。通过以48帧为单位截取的300张有效图像计算学生的表情分数和等级分值，根据时间点显示部分中间过程数据，如表3所示。

通过计算得出课堂质量等级平均值为7.12，属于6.0～8.0之间，显示听课质量为好。观看此视频，虽然由于录制范围、教室座位、架设角度、光线等问题画面呈现不够全面，但是教师与学生互动频繁，学生听课质量较高，符合听课质量好的等级。接着通过选择跟踪上文进行人脸识别及表情分类的10名学生的评价等级数值，与课堂随测结果进行比较，结果如表4所示。

表3  部分时间点学生表情分数及等级分值图

图像编号 表情分数 质量等级

iamge_1.jpg 0.301 915 2 6.509 576 00

iamge_15.jpg 0.306 579 90 6.532 899 50

iamge_29.jpg 0.332 463 50 6.662 317 50

iamge_43.jpg 0.343 934 50 6.719 672 50

iamge_57.jpg 0.359 208 65 6.796 043 25

iamge_71.jpg 0.394 482 80 6.972 414 00

iamge_85.jpg 0.427 569 50 7.137 847 50

iamge_99.jpg 0.455 031 10 7.275 155 50

iamge_113.jpg 0.525 179 10 7.625 895 50

iamge_127.jpg 0.565 621 70 7.828 108 50

iamge_141.jpg 0.525 321 50 7.626 607 50

iamge_155.jpg 0.497 645 60 7.488 228 00

iamge_169.jpg 0.386 579 20 6.932 896 00

iamge_183.jpg 0.370 763 10 6.853 815 50

iamge_197.jpg 0.344 082 50 6.720 412 50

iamge_211.jpg 0.397 223 10 6.986 115 50

iamge_225.jpg 0.427 320 10 7.136 600 50

iamge_239.jpg 0.496 752 20 7.483 761 00

iamge_253.jpg 0.525 843 90 7.629 219 50

iamge_267.jpg 0.524 105 80 7.620 529 00

表4  学生等级分值及测试分值

Student ALL_Point Exam Student ALL_Point Exam

Student1 8.125 895 5 10 Student6 7.460 432 5 10

Student2 8.828 108 5 7 Student7 6.545 412 5 9

Student3 6.562 317 5 9 Student8 7.187 847 5 8

Student4 6.469 672 5 10 Student9 6.356 421 0 4

Student5 5.987 317 5 9 Student10 6.789 956 0 7

表4中Exam [8]值来自学习通课堂随测，题目数量为10，题型为单选题和填空题，分别为5题，每题1分，知识点涵盖视频中内容，难度分布均衡，针对性极强，可作为教师评分项。

最后，通过皮尔逊积矩相关系数验证课堂质量等级评分与测试评分的相关性。皮尔逊积矩[9]相关系数的计算式为：

（5）

其中，sn为学生数量，σ为标准差，皮尔逊积矩[10]相关系数的取值范围为[-1， 1]，相关系数的绝对值代表相关度，且成正比。取-1时是负线性相关，取1时是正线性相关。其相关程度与相关系数密切相关，如表5所示。

表5  相关系数的绝对值与相关程度表

相关系数

绝对值区间 0.0～0.2 0.2～0.4 0.4～0.6 0.6～0.8 0.8～1.0

相关度 无相关或极弱相关 弱相关 中等程度相关 强相关 极强

相关

通过计算得出，该课堂视频的Pearson [3]值为0.611，大于0且处于0.6～0.8之间，说明课堂质量等级评分与测试成绩存在强相关性，能够切实体现教学效果反馈，从而验证了本次課堂教学效果较好。

5  结  论

大学的公共基础课程大部分都是合班课，学生人数众多，教师无法一一关注到每位学生的听课情况。有效的教学效果反馈是教学的重要组成部分，教师通过传统观察方式获取的教学效果反馈不一定准确，通过测试方式获取的教学效果反馈也存在不确定性，研究表明通过表情识别技术获取教学效果反馈是一种可行且可靠的方式。但是其也存在一些不足之处，有待做进一步的深入研究：1）课堂视频针对性强，缺乏普及性。在录制视频前，教师与学生已经沟通过，且视频较短，学生的注意力较集中，听课专注度较好，与真实上课的情况存在差异。在后续研究中应获取多段课堂视频，扩充表情数据源，以期更加全面真实地反馈教学效果。2）表情识别数据集数据单一，不够全面。除人脸表情外，人物情绪还可以由微表情、语音、肢体动作等多种模态展现，本文主要采用单模态数据集进行表情识别技术研究，比较单一，在后续研究中还可以加入其他模态数据进行分析，力求使教学效果反馈更周全。

参考文献：

[1] EKMAN P，ROSENBERG E L. What the Face Reveals： Basicand Applied Studies of Spontaneous Expression Using the Facial Action Coding System （FACS） [M].Oxford：Oxford Uni-versity Press，1997.

[2]卓玛cug. dlib人脸识别安装及使用教程 [EB/OL].（2020-01-13）.https：//blog.csdn.net/qq_29153321/article/details/103952475.

[3] 于方军，焦玉杰，孙丽君.人体关键点检测及教学应用之人脸表情识别 [J].中国信息技术教育，2023（1）：96-98.

[4] 戴海云.基于人脸表情识别的课堂质量分析研究 [D].镇江：江苏科技大学，2022.

[5] 钟源，李鸿天，袁家政，等.基于深度学习的人脸表情识别研究综述 [C]//中国计算机用户协会网络应用分会2022年第二十六届网络新技术与应用年会.北京：[出版者不详]，2022：9-12.

[6] 刘建华，唐雷.人脸表情识别技术研究综述 [J].信息通信技术与政策，2022（8）：89-96.

[7] 王晔，王峰，贾海蓉，等.结合人脸关键点与光流特征的微表情识别 [J].激光杂志，2023，44（5）：72-77.

[8] 崔海生，侯晨杰.基于Tensorflow框架的面部识别技术 [J].科技与创新，2023（10）：34-38.

[9] 孙廨尧，李秀茹，王松林.基于改进YOLOv5的学生面部表情识别 [J].齐鲁工业大学学报，2023，37（1）：28-35.

[10] 赖东升，冯开平，罗立宏.基于多特征融合的表情识别算法 [J].广东工业大学学报，2023，40（3）：10-16.

作者简介：许晓萍（1979—），女，汉族，江苏无锡人，讲师，硕士，研究方向：计算机及应用。