基于距离和角度特征的在线学习表情检测

[摘           要]  针对在线学习表情检测数据量大、冗余数据多等问题，基于面部动作编码系统提出了精简后的在线学习表情对应的面部活动单元组合及其特征，然后基于RealSense实感技术捕获的人脸特征点提取在线学习表情的欧式距离和角度特征。通过OpenCV视觉库的实验验证，基于欧式距离和角度特征向量的在线学习表情检测能够有效减少冗余数据，对高兴、困惑、厌恶等在线学习表情具有良好的检测效果。

[关    键   词]  在线学习表情检测;欧式距离;角度特征

[中图分类号]  G712                    [文献标志码]  A                  [文章编号]  2096-0603（2022）21-0091-03

人脸表情是人类表达情感的重要方式之一，表现为一种动态的变化过程，包括开始、峰值、结束三种状态。在线学习表情检测是指从在线学习视频中筛选出表情的起始帧、峰值帧和结束帧，截取出表情强度较大的帧序列[1]。

在线学习环境下，如果逐帧存储学习过程，会造成存储空间的浪费，并增大表情识别算法的计算量。如时长5分钟的在线学习过程，以640*360的分辨率，30fps的帧速率录制RGB视频流，并按24位无压缩存储，大约会占用5.79G存储空间。而真正可用于表情识别的图片序列，可能只有几秒的时间，在实际应用中只需对这少部分的有效表情图片序列进行存储和识别即可。因此，通过在线学习表情检测将有效的表情数据从大量的数据中提取出来，可以极大降低存储空间的占用，并减少无关数据的处理，从而提高后续表情识别算法的效率。

一、在线学习表情对应的面部活动单元

（一）面部动作编码系统

面部特征点是表情测量中最常用的一种面部特征信息，而选取人脸特征点的重要理论基础是美国心理学家Paul Ekman提出的面部动作编码系统（Facial Action Coding System，FACS）[2]。FACS根据面部肌肉分布，将一块肌肉或多块肌肉的组合定义为一个运动单元（Action Unit，AU），由此，将人的面部分为44个运动单元，而不同的运动单元进行组合又会形成不同的面部表情。人类的六种基本表情：高兴、悲伤、惊讶、恐惧、生气和厌恶，都可以通过上述运动单元的组合进行描述[3]。

（二）在线学习表情

学习情境的多样性和学习个体的差异性等因素会使学生产生丰富多样的复杂学习情感，进而导致学习表情的多样化、复杂化。因此，Ekman提出的六种基本表情无法直接应用于学习领域。鉴于此，国内外研究者对学习表情的分类架构进行了深入的研究探索。如D’Mello等人基于复杂学习情感动态变化模型，将学习表情分为投入、困惑、惊讶、高兴、挫折及厌恶[4];薛耀锋等人将在线学习表情定义为中性、高兴、困惑、生气、疲劳和惊奇六种类型[5]。

学者们的研究结果虽不相同，但基本上都包含了学习过程中的三种关键情感表情，即高兴、困惑和厌恶。當学生处于认知平衡的学习状态时会呈现中性情感表情;如果学习者遇到困难无法理解学习内容，会打破认知平衡的学习状态，产生困惑情感表情;如果学生遇到的困难一直不能解决，最终会导致学生脱离学习状态，产生厌恶情感表情;如果及时解决了困难，学生就会感到快乐从而进入积极学习状态，表现出高兴情感表情，然后情绪平复再次进入认知平衡状态并表现出中性情感表情。因此，本文将困惑、高兴和厌恶表情作为在线学习表情检测的主要研究对象。

（三）在线学习表情的面部活动单元

北京师范大学的孙波等人基于面部动作编码系统，对高兴、困惑、厌恶等学习表情对应的面部活动特征进行了研究，并构建了学习表情数据库BNU-LVSED[6]。此外，表情分析专家姜振宇也对相关的微表情进行了分析描述[7]。其中，高兴、困惑、厌恶表情对应的面部运动单元如表1所示。

表1清晰描述了相应表情变化时相关面部运动单元呈现的关键特征，有助于区分不同的学习表情，但是没有具体到对应的特征点，所以还需进一步确定人脸特征点，以便提取对应表情的几何特征。

二、在线学习表情的特征向量选取

几何特征具有精度高、数据少、计算简单等优点，通过几何特征能够有效提高在线学习表情检测的效率，而定位面部特征点又是计算几何特征的基础。Intel公司的RealSense实感技术能够精确捕获面部78个特征点的平面坐标和以摄像头为中心点的世界坐标[8]，如图1所示。

（一）距离几何特征提取

在线学习表情主要是通过表1中相关AU单元的变化来呈现，通过定位表1中相关AU单元的特征点，并计算特征点之间的距离，就可以将人脸的距离几何特征提取出来，并用于表情检测。欧式距离是常用的图像距离度量方法，因算法简单、高效被普遍应用于图像识别算法中[9]。由此，本文的距离特征采用欧式距离。

为进一步减少数据量，按照幅度变化明显的原则，对图1中位于在线学习表情相关AU上的特征点进行筛选，形成欧式距离特征向量表，如表2所示。

（二）角度特征提取

在实际的在线学习过程中，学生不可能总是正襟危坐地直面摄像头，其面部由于坐姿等因素会产生一定的变化。此外，人的面部差异等也会使欧式距离产生一定的误差。而角度特征具有尺度不变特性，利用角度特征可以增强表情检测对图像旋转、姿态变化等的鲁棒性[10]。为提高计算效率，本文按照幅度变化明显、前后一致的原则，进一步对图1中位于在线学习表情相关AU上的特征点进行精简，形成角度特征向量表，如表3所示。

三、在线学习表情检测实验

为验证表2和表3特征向量的有效性，对Real-Sense实感摄像头录制的数据进行检测实验，从提取的正确率和提取前后总帧数对比的角度分析实验结果。

（一）实验流程

在线学习表情检测实验由两个部分组成，首先，对RealSense实感摄像头录制的数据进行格式化处理，从录制的视频流中逐帧提取彩色图像并将其转换为Mat类型进行保存。其次，对格式化处理后的图像数据逐帧检测，通过投票分类确定表情的起始帧和结束帧。其主要过程如下：

1.创建PXCSenseManager实例获取RealSense视频流，并通过EnableStream方法设置视频流的格式（如彩色、深度或红外视频流及视频的宽度和高度等）。

2.使用Init（）方法按照第二步中EnableStream函数设置的视频流格式对PXCSenseManager实例进行初始化，即初始化对应管道流，以便下一步使用对应的管道流的视频流数据。

3.循环使用AcquireFrame方法鎖定并获取视频流中的每一帧数据。如果AcquireFrame（true）同步等待所有的I/O请求都完成并且所有的处理模块都完成的返回结果小于PXC_STATUS_NO_ERROR，就退出循环;反之，则使用QuerySample（）方法创建Sample结构的实例用于存放获取的图像帧。

4.由于Sample结构维护了一个从多个视频流里面获取的图像数组（如彩色图像、深度图像、红外图像等），所以我们要使用Sample实例的color方法，指明我们实验所需要访问的是彩色流图像实例，即说明要使用的是彩色图像（如果需要访问的图像是深度图像或红外图像，其方法分别是depth、ir），并进一步通过Acquire-Access方法锁定对应的彩色图像帧。

5.对第4步获取到的PXCImage彩色图像帧进行Mat转换，并将生成的Mat类型的图像信息保存到新建的ImageData（ImageData描述了图像存储的细节，如存储格式、存储缓存及步长等）。

6.使用imwrite方法保存转换后的图像数据。

7.对图像数据逐帧检测，基于投票分类理念[11]对特征幅度变化较大的图像进行筛选，根据投票结果确定起始帧和结束帧。

（二）实验结果

按上述实验规程，实验在VS 2019平台上进行，实验数据是人工诱导生成的6个学习表情视频片段，利用OpenCV视觉库、RealSense SDK图像接口实现表情检测，测试结果如表4所示。

从表4可以看出，在线学习表情检测的正确率达到100%，这说明了表2和表3中特征向量的有效性。

此外，通过原始视频帧数和截取帧数的对比分析，还可以看出，利用表2和表3中的特征向量进行表情检测后大幅度减少了冗余数据，有效节省了存储空间，其检测前后的数据量对比如图2所示。

参考文献：

[1]贺冰华.基于RealSense的在线教育表情识别研究及应用[D].武汉：华中师范大学，2018.

[2]Ekman P，Friesen WV.Facial Action Coding Sy-stem （FACS）：a Technique for the Measurement of Facial Actions[J].Rivista Di Psichiatria，1978，47（2）：126-138.

[3]张敏.基于面部特征的性别和表情识别算法研究[D].沈阳：东北大学，2015.

[4]D’Mello S，Graesser A.Dynamics of Affective States During Complex Learning[J].Learning & Instruction，2012，

22（2）：145-157.

[5]薛耀锋，杨金朋，郭威，等.面向在线学习的多模态情感计算研究[J].中国电化教育，2018（2）：46-50.

[6]孙波，刘永娜，陈玖冰，等.智慧学习环境中基于面部表情的情感分析[J].现代远程教育研究，2015（2）：96-103.

[7]姜振宇.微表情[M].南京：凤凰出版社，2011.

[8]张钊.基于RealSense的动态表情识别方法研究[D].武汉：华中师范大学，2018.

[9]沈宇超.变形QR码的多结构校正识别研究[D].北京：华北电力大学，2016.

[10]林娇娇.基于卷积神经网络的多角度人脸特征点检测技术研究[D].上海：上海交通大学，2019.

[11]任江涛，丘正元，纪庆革.一种基于投票机制的代表点选择算法[J].计算机应用，2007（1）：77-79.

◎编辑 栗国花

①基金项目：重庆市教学科学规划项目（2020-GX-398）。

作者简介：范凌云（1981—），男，汉族，山东海阳人，硕士，副教授，研究方向：计算机视觉及网络安全。