一种面部微表情识别算法在职业微笑评价中的应用

陈玮 蒋金

摘  要：应用现有比较成熟的人脸面部表情开源算法模型，建立一套机器智能识别系统，量化评价职业微笑的符合度，对人脸表情进行预处理得到纯表情图像，采用优化Gabor提取表情特征，用PCA进行数据冗余处理和用支持向量机识别人脸表情并进行仿真。通过筛选融合现有的开源人脸识别算法，应用于量化评价学员表情中职业微笑的符合度，积累培训学员的模型采样处理，不断优化算法，建立科学的评价系统。

关键词：表情特征;微表情;微笑评价

1  引言

人脸表情识别（FER）是计算机视觉研究热点，微表情识别是人机交互的一个新兴研究课题，面部微表情识别目的是让人工智能产品能够识别出人的表情，应用于职业礼仪类培训、强化职业微笑表情分析，进而量化标准，从而提高评价的精确度。

2  面部表情识别主流方法

微表情识别是用计算机对人脸表情信息进行特征提取分析，按照人类认知和思维方式加以归类和理解，结合人类具有的情感信息方面的经验知识使计算机进行联想、思考及推理，进而从人脸信息中去分析理解人的情绪。

2.1有效提取微表情特征，消除与识别无关信息。传统Gabor滤波器存在提取特征时间较长和特征数据存在冗余性的缺点。

2.2 Gabor和PCA相结合的特征提取，通过支持向量机，对微表情进行预处理得到纯表情图像，采用Gabor提取表情特征，用PCA进行数据冗余处理和用支持向量机识别人脸表情并进行仿真。

3  面部微表情识别的步骤

3.1 预处理

人脸面部对齐，拿到训练数据后，第一步检测人脸，去掉背景和无关区域。使用OpenCV和Matlab得到人脸边界框，原图像裁剪至面部区域。数据增强，以足够的训练数据保证识别任务的泛化性能。而 FER公开数据库达不到这样的训练数据量。

3.2人脸表情特征学习

应用CNN 对人脸位置变化和尺度变化有更好的健壮性，而且对于未见人脸姿态变化比多层感知器有更好的表现。用逐层贪婪训练法初始化，在不需要大量标注数据下得到局部最优解。然后对网络的参数和输出进行微调。

3.3特征分类

在学习深度特征之后，最后一步是识别测试人面部微表情。在网络的末端加上损失层，来修正反向传播误差，每个样本的预测概率可以直接从网络中输出，使用SVM 和随机森林，对提取的特征进行分类。

4.  优化的R-Net算法流程

Refine Network （R-Net）：此网络结构是通过边界框回归和NMS来去掉那些false-positive区域。抑制false-positive的作用，将PNet的输出resize成正方形，是基于人脸一般都是正方形。由此生成（dy， edy， dx， edx， y， ey， x， ex， tmpw， tmph）数组;生成的元素意义如下：

dx，dy：bbox相对本身起点坐标（0，0）

edx，edy：bbox相对本身终点坐标（tmpw-1， tmph-1）

x，y ：原始图片bbox起点

ex，ey：原始图片bbox结束点

在生成过程中避免bbox坐标超出原图片或负值;接着遍历这数组，将bbox从原图片抠出，对resize进行归一化，将24x24的图片喂入RNet，下图表示RNet结构：

R-Net最后是采用的全连接层，由上图得到，一张24x24x3图片最终输出结果3x3x64的特征图，再经历全连接层后分成三条支路，用于人脸分类、边框回归、人脸特征点定位。三条支路损失函数各项损失权重比为1：0.5：0.5。

将图片输入RNet后，得到了cls_ scores， reg两个数组，cls_ scores表示是否人脸的概率，reg表示bbox的回归值。将cls_ scores中人脸的概率与实现设定的阈值比较，将大于阈值的图片对应的bbox提取出来，过滤掉一部分非人脸的bbox。接着抛弃掉重叠率高的人脸框，经过两次筛选， bbox数量将会减少很多。最后进行R-Net操作，用回归信息reg来调整bbox坐标，将bbox4个坐标乘bbox宽或高，其中x和宽相乘，y和高相乘，返回调整后的四个坐标。

5.结论

本项目的特色是应用现有的比较成熟的人脸面部表情开源算法模型，建立一套机器智能识别系统，通过改良R-NET算法，更好地量化评价职业微笑的符合度。

参考文献：

[1]儿童人脸识别和成长预测系统的设计与实现[D]. 周凡. 重庆.西南大学. 2021（01）

[2]基于跨连接LeNet-5网络的面部表情识别[J]. 李勇，林小竹，蒋梦莹.  自动化学报. 2018（01）

[3]Identity-aware convolutional neural networks for facial expression recognition[J]. Chongsheng Zhang，Pengyou Wang，Ke Chen，Joni-Kristian Kmrinen.  Journal of Systems Engineering and Electronics. 2017（04）

[4] 基于全景相机的侧脸表情识别和目标检测[D]. 彭磊. 重庆. 西南大学. 2021（01）

[5]基于Gabor参数矩阵与改进Adaboost的人脸表情识别[J]. 杨凡，张磊.  计算机应用. 2014（04）

作者简介：陈玮，女，出生1982年，福建福州，汉族，助教，本科学士，福建船政交通职业学院，主要研究方向为：图像识别、机器学习

作者简介：蒋金，男，出生1973年，福建福州，汉族，高工，本科学士，福州量子中金数码技术有限公司， 主要研究方向为：软件工程

[基金項目]：福建省教育厅中青年教师教育科研项目（科技类）（JAT201051），基于人脸特征点识别算法的职业微笑量化评价系统研究，审批单位是福建省教育厅