基于三维特征点模型的人脸表情识别算法

邵 洁，董 楠

(1.上海电力学院电子与信息工程学院，上海 200090;2.中国科学院上海高等研究院城市公共安全研究中心，上海 201203)

人脸表情识别是人机互动中机器智能化的重要功能之一.通过“读懂”人类的脸部表情，机器可以进行情感预测，并根据预测的情感状况做出相应动作或表情等一系列行为.这一功能不仅可以在商业领域帮助销售者预测顾客的需求或广告投放的精准率，还能够在医疗领域帮助自闭症患者更好地融入社会.

人的脸部表情是自然情感的对外表达方式，可以分为开始、顶峰、结束3个阶段.通常情况下，表情仅仅会持续很短的时间，并且有时只包含脸部肌肉的微小变化，这使脸部表情的识别问题更加具有挑战性.

现代科学针对人脸基本表情的识别始于1978 年，ESSA I A 和 PENTLAND A［1］开发了面部运动编码系统(Facial Action Coding System)，将脸部区域划分为46个运动单元进行分析，该系统针对高兴、悲伤、惊讶、恐惧、愤怒、厌恶6种常见人脸表情进行识别.其后的代表性研究主要有:CALDER A J等人［2］针对PCA在面部表情识别中的应用进行了分析;BARTLETT M S等人［3］提出了基于独立分量分析算法(Independent Component Analysis，ICA)的人脸表情识别方法;COHEN I等人［4］将隐马尔可夫模型(Hidden Malcov Models，HMMs)应用于基于动态信息的面部表情识别;LYONS M J等人［5］通过提取二维小波变换特征，实现了面部表情识别算法等.

本文提出了一种新的基于人脸三维特征点建模，实现自然表现的6种常见表情(高兴、悲伤、惊讶、恐惧、愤怒、厌恶)快速识别的算法.算法流程包括特征点提取、特征模型归一化、基于支持向量机(Support Vector Machine，SVM)的人脸表情识别3部分.

算法的创新点在于:一是建立了脸部的三维特征点模型;二是实验数据库中包含中西方各种肤色、人种、年龄，且均为最接近自然状态的表情图像.实验结果表明，本算法能够实时处理数据，实现常见表情的快速识别，具有进一步投入实践的应用价值.

1 脸部特征点定位

脸部表情识别通常包含基于特征点模型的分析方法和基于外表特征的分析方法两种不同的分析角度.本文的算法属于第一类.基于特征点模型的人脸表情识别方法的第一步是脸部区域的特征点定位，一般采用模型匹配的方式实现，传统的脸部特征点模型中最常见的是动态外貌模型(Active Appearance Model，AAM)和有限局部模型(Constrained Local Model，CLM).［6-7］然而在脸部姿态多变、形状差异较大的情况下，这两类模型的鲁棒性仍有不足.因此，本文采用了一种新的基于混合树模型的脸部特征点定位算法.［8］这一算法将脸部特征点表示为以其为中心的特征模块，并采用基于特征模块组合的全局混合树模型表示不同视角的脸部拓扑结构，每一个视角的脸部拓扑结构与一组全局混合树模型相对应.由此，将特征点的检测过程转化为全局混合模型的模块全局匹配过程.

以某一全局混合树模型m为例，将其表示为线性树结构Tm=(Vm，Em)，Vm和 Em分别对应该混合模型m的模块组合方式和边缘结构.将所有可能的特征点模块组合表示为V，则有Vm⊆V.针对某脸部图像 I，采用 li=(xi，yi)表示图像I中第i个模块的位置信息，则I中脸部的最优模块组合L={li:i∈V}可以通过下列公式计算得出:

由式(1)可知，最优模块组合方式L由外表特征Appm(I，L)和形状特征Shapem(L)共同决定.φ(I，li)是图像I在li位置的梯度特征描述，这里采用HOG算子实现.ωmi为混合模型m中在li处出现模块i的概率权值，Shapem(L)表示模块组合L的空间分布，其中dx=xi-xj和dy=yi-yj分别表示第i个模块和第j个模块间的位移，采用(a，b，c，d)分别表示每一项的权值参数.因此，Shapem(L)统计实现了L中任意两个模块间的中心点距离的加权和，由此体现任意模块间相对位置的空间信息.

算法采用监督学习的方法计算上述公式中的未知参数.正样本为标注了特征点位置和混合树模型标号的脸部图像，负样本采用没有人脸的图像.在首先估计得到各混合模型的边缘结构Em的前提下，假设特征点符合高斯分布，采用CHOW C和LIU C［9］的算法确定混合模型中最优特征点定位对应的最大似然树结构.图1为12种不同姿态的人脸特征点模型.其中每一幅图像对应一个脸部姿态，其中包含梯度特征的矩形框为特征点对应模块，矩形框中心连线勾勒出脸部轮廓.

图1 不同角度人脸特征点模型

获得脸部特征点位置后，需要建立脸部几何特征模型.基准脸部模型中包含83个特征点，分布于眉毛、眼睛、鼻子、嘴和脸部外侧的轮廓上.脸部模型中的特征点位置如图2所示.

图2 脸部模型中的83个特征点位置示意

2 脸部特征模型及人脸表情数据库

2.1 特征模型的建立及识别

为了针对不同人的表情建立鲁棒的匹配模型，需要在去除脸部大小、旋转角度等几何形变的基础上提取归一化形状特征.本文采用广义普鲁克分析算法(Generalized Procrustes Analysis，GPA)来实现各测试模型的对应特征点间的L2距离最小化.

假设第一个脸部模型为均值模型，以均值模型为参照，分别计算每个脸部模型与该参照的相对距离，并将该距离作为其新坐标以实现校准;计算所有脸部模型的平均坐标，得到一个新的均值模型为参照值;重复计算各脸部距离与参照间的相对距离，并确定新的均值模型，直到相邻两次计算得到的均值模型差足够小.

图3显示了采用GPA算法进行脸部模型校准后得到的6种表情的均值模型.由图3可以看出，惊讶的表情模型与其他模型有明显的区别，而厌恶与恐惧的脸部模型却非常相似.由于每个脸部模型有83个特征点，每个特征点为3维坐标，因此最终对应每一个脸部模型的特征维数为83×3=249维.

采用主成分分析算法(Principal Component Analysis，PCA)对特征降维.在实际应用中，需要考虑无表情状态，因此在进行表情识别前，要将无表情的面部状态作为一种表情类型加入特征模型中.由于人在愤怒或悲伤时可能仅有细微的脸部肌肉变化，使其与无表情类型难以区分，因此增加了最终的识别难度.

最终的识别过程采用一对多径向基函数核(Radial Basis Function Kernel，RBF)的支持向量机算法完成.对应的核函数公式为:

训练过程中，以某一表情特征样本为正样本，其他所有表情样本为负样本.

2.2 人脸表情数据库

验证算法时采用纽约州Binghamton大学建立的BU-3DFE数据库，［10］该数据库中包含100个人的2 500个脸部表情样本，其中有56名女性、44名男性、年龄为18～70岁，以及多个种族，如白人、黑人、东亚、中亚、印度和拉丁人种.数据库中收集了每个人的7种不同表情，包括无表情、高兴、厌恶、恐惧、愤怒、惊讶和悲伤.后面6种典型表情提供了4种不同表现程度的图像，因此每个人有25个不同的表情样本，每一个表情样本对应一张高清RGB图像和一张3D网状图.样本图像如图4所示.

图3 6种表情的均值模型

图4中，第1行图像为数据库中一组女性的表情样本，第2行为与女性表情列对应的一组男性样本，图4中从左到右依次为愤怒、厌恶、恐惧、高兴、悲伤、惊讶6种表情.

由图4可以看出，厌恶、高兴和惊讶3种表情相对较易辨认，而另外3种表情不同的人会产生差距较大的表现形式.如第2行男性的生气表情仅伴随细微的皱眉和抿嘴，与无表情状态非常接近.此外，图4中男性的伤心表情和女性的恐惧表情也并没有明显的脸部特征变化.因此，该数据库中的图像可以被认为非常接近人的自然状态表情.

图4 BU-3DFE数据库中的样本图像

3 实验结果与分析

实验中共使用了100个人的600张样本图像，为了更加客观地验证本算法的有效性，在每次实验中依次取所有样本的其中5人为测试样本，其他为训练样本，在所有样本均测试过一次后，取平均值为最终识别率，结果如表1所示.表1中，第1列为测试样本实际表情，第2至第7列分别为实验中该表情实际被识别为每一种表情的概率.由表1可以看出，害怕和惊讶是识别率最高的两种表情.识别率最低的为生气，这是因为在很多男性样本中，愤怒的表情仅仅表现为皱眉头或垂下眼帘，这与悲伤的表情很相近，也非常容易与其他的表情混淆.

表1 6种表情的最终识别率 %

与已有的三维脸部表情识别研究结果相比，本文提出的算法不仅能够针对多种不同姿态的脸部表情进行识别，识别算法简单且快速.

4 结语

本文提出了一种基于脸部3D特征点模型匹配的人脸自然表情识别算法.区别于大量已有的研究成果，本算法不仅能够针对不同角度脸部姿态中有鲁棒性的特征点提取结果，还能够针对自然表现的人脸表情进行实时识别.算法通过混合树模型提取脸部特征点，建立基于GPA算法的脸部特征归一化模型，采用SVM实现脸部表情匹配识别.通过对BU-3DFE数据库中的6种常见表情图像样本进行测试，结果表明，该算法能够有效识别各种年龄、种族、性别的人脸表情.但是算法在某些表情的识别上还有所欠缺，因此在今后的研究中将加入纹理特征，采用特征融合的方式进一步提高识别精度.

［1］ ESSA I A，PENTLAND A.Coding，analysis，interpretation，and recognition of facial expressions［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(7):757-763.

［2］ CALDER A J，BURTON A M，MILLER P，et al.A principal component analysis offacialexpressions［J］.Vision Research，2001，41(9):1 179-1 208.

［3］ BARTLETT M S，LADES H M，SEJNOWSKIT J.Independent component representations for face recognition［C］.Proceedings of the SPIE Symposium on Electronic Imaging:Science and Technology，1998:528-539.

［4］ COHEN I，GARG A，HUANG T S.Emotion recognition from facial expressions using multilevel HMM［C］.NIPS Workshop on Affective Computing，2000:240-247.

［5］ LYONS M J，BUDYNEK J，AUKAMATSU S.Automatic classification of single facial images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21(12):1 357-1 362.

［6］ COOTES T F，EDWARDSGJ，TAYLOR CJ.Active appearance models［J］.IEEE Transactionson Pattern Analysis and Machine Intelligence，2001，23(6):681-685.

［7］ CRISTINACCE D，COOTES T.Featuredetection and tracking with constrained local models［C］.BMVC，2006:929-938.

［8］ ZHU X X，RAMANAN D.Face detection，pose estimation，and landmark localization in the wild［C］.CVPR，2012:2 879-2 886.

［9］ CHOW C，LIU C.Approximating discrete probability distributions with dependence trees［J］.IEEE Transactions on Information Theory，1968，14(3):462-467.

［10］ YIN L J，CHEN X C，SUN Y，et al.A high-resolution 3D dynamic facial expression database［C］.The 8th International Conference on Automatic Face and Gesture Recognition，2008:1-6.