基于深度学习的面部表情识别探讨

盛伟 刘嵩岩 成杰 孙毅

摘 要 随着计算机技术和人工智能技术及其相关学科的迅猛发展，人们对类似于人和人交流方式的人机交互的需求日益强烈。表情识别是人们获取情感信息的基础，是计算机获取人类情感的前提，同时也是人们探索和理解智能的有效途径之一。本文在嵌入式系统的基础上利用Fer2013数据集，在TensorFlow平台上训练卷积神经网络（CNN），从而实现面部表情识别。

关键词 嵌入式系统;CNN;TensorFlow;面部表情识别

引言

面部表情识别技术同其他人工智能技术相比，发展的比较缓慢。由于面部表情具有多变性和复杂性，再同情绪和个体差异结合，很大程度上提高表情识别的难度。因此，与生物识别技术如指纹识别、人脸识别等相比，发展相对较慢，应用还不广泛。但是表情识别突破了人与机器传统的关系，因此国内外学者致力于这方面的研究，并在技术方面有很大的突破。人脸表情识别是指从给定的静态图片或动态视频序列中分离出的表情状态，本文主要研究的是从静态图片中确定被识别对象的心理情绪，实现计算机对人脸表情的理解与识别，从而更好达到人机交流[1]。

1技术背景

1.1 数据集

Fer2013人脸表情数据集由35886张人脸表情图片组成，其中，测试图（Training）28708张，公共验证图（PublicTest）和私有验证图（PrivateTest）各3589张，每张图片是由大小固定为48×48的灰度图像组成，共有7种表情，分别对应于数字标签0-6，具体表情对应的标签和中英文如下：0 anger 生气; 1 disgust 厌恶; 2 fear 恐惧; 3 happy 开心; 4 sad 伤心;5 surprised 惊讶; 6 normal 中性[2]。

1.2 卷积神经网络

传统表情识别技术和深度表情识别技术最大的区别就在于特征学习的方式不同。传统表情识别技术的特征提取方法主要有Gabor小波变换、局部二值模式（LBP）等方法;而CNN网络对图片进行预处理获取特征向量。近些年来，有越来越多的深度网络用于表情识别，如卷积神经网络CNN等。本文就是采用是11层的CNN网络进行面部表情识别，1层输入层，4层卷积层，三层池化层、2层全连接层、损失函数层和输出层。

第一层，输入的图片像素为48*48*1，经过第一层步长为1，卷积核大小为1*1d的卷积层之后，输出像素为48*48*32。第二层卷积核大小为5*5，步长为1，填充为2，输出是48*48*32。经过第三层池化层之后进入第四层，该层卷积核大小为3*3，步长和填充均为1，输出为23*23*32。在经过第五层池化层之后进入第六层，卷积核大小为5*5，步长为1，填充为2，输出结果为11*11*64;经过第七层池化层后，输出为5*5*64。然后输出结果经过两层全连接层在输出，丢弃50%，输出像素为1*1*1024;最后是输出层，输出结果为1*1*7[3]。

2测试

（1）预处理：预处理是将计算特征之前，排除掉和脸无关的一切干扰，因此，就有了人脸检测，人脸对齐，归一化等过程，主要有：人脸检测，人脸对齐，数据增强，人脸归一化。

（2）卷积神经网络模型的训练：基于构建CNN的网络模型，利用Fer2013作为训练集进行网络模型训练;直接学习特征，预测概率（softmax），识别出表情结果。为了提高网络的非线性特性，本文使用线性整流函数Relu作为激活函数可避免由其他一些激活函数引起的消失梯度问题。

（3）面部表情的识别测试：获取图像，利用训练好的完啦进行识别比对，返回识别结果[4]。

3结束语

基于深度学习的面部表情识别系统，具有非常高性能的特征表达能力，适合基于图像的分类问题，可以识别出准确识别出六种表情。利用深度学习技术来解决如光照变化、遮挡、非正面头部姿势等问题。本文研究的面部表情局限于6种表情，而人类的表情十分丰富;另外随着人类的老去，面部表情识别的难度也增加，这些都是未来深入研究的方向。

参考文献

[1] 刘芾，李茂军，胡建文，等.基于低像素人脸图像的表情识别[J].激光与光电子学进展，2020，57（10）：97-104.

[2] 陆嘉慧，张树美，赵俊莉.基于CNN集成的面部表情识别[J].青岛大学学报（工程技术版），2020，35（2）：24-29，42.

[3] 卢官明，何嘉利，闫静杰，等.一种用于人脸面部表情识别的卷积神经网络[J].南京邮电大学学报（自然科学版），2016，36（1）：16-22.

[4] 张啸，周连喆，张琳琳.基于改进LeNet-5的面部表情识别方法[J].计算机与现代化，2019（10）：83-87，93.

作者简介

盛伟（1995-），女，黑龙江哈尔滨人;黑龙江大学在读，学历：硕士，研究方向：嵌入式系统。

刘嵩岩（1969-），男，黑龙江哈尔滨人;学历：博士，职称：副教授，现就职单位：黑龙江大学，研究方向：嵌入式系统。

成杰（1996-），男，河北张家口人;黑龙江大學在读，学历：硕士，研究方向：嵌入式系统。

孙毅（1996-），男，山东济南人;黑龙江大学在读，学历：硕士，研究方向：嵌入式系统。