人脸表情识别概述

韦妍

广东女子职业技术学院 广东 511450

0 引言

人脸表情是人们之间非语言交流时的最丰富的资源和最容易表达人们感情的一种有效方式，在人们的交流中起着非常重要的作用。表情含有丰富的人体行为信息，是情感的主载体，通过脸部表情能够表达人的微妙的情绪反应以及人类对应的心理状态，由此可见表情信息在人与人之间交流中的重要性。人脸表情识别技术随着人们对表情信息的日益重视而受到关注，成为目前一个研究的热点。所谓人脸表情识别，就是利用计算机进行人脸表情图像获取、表情图像预处理、表情特征提取和表情分类的过程，它通过计算机分析人的表情信息，从而推断人的心理状态，最后达到实现人机之间的智能交互。表情识别技术是情感计算机研究的内容之一，是心理学、生理学、计算机视觉、生物特征识别、情感计算、人工心理理论等多学科交叉的一个极富挑战性的课题，它的研究对于自然和谐的人机交互、远程教育、安全驾驶等都有重要的作用和意义。

1 国内外研究的发展与现状

国际上对人脸表情的分析与识别的研究工作可分为基于心理学和计算机两类。早在 1872年，生物学家达尔文所做的心理实验就表明，面部表情的含义不会随着国家、种族、性别的不同而不同。1978年美国心理学家Ekman和Friesen开发了面部动作编码系统(Facial Action coding system，FACS)，以此来检测面部表情的细微变化。在这个系统中，他将表情分为六个基本类别：悲伤、高兴、恐惧、厌恶、愤怒和惊奇，说明了与无表情人脸特征相比，这六种表情的人脸特征具有相对独特的肌肉运动规律。后来大多数学者的研究都是建立在FACS系统的基础上的，所以说这一系统的提出具有里程碑的意义。

计算机方面，最初对表情识别做了尝试的是 Suwa和Sugie等人。1978年，他们对选定的连续图像序列中脸部固定的20个点进行跟踪识别，并与原型模式((Prototype patterns)进行比较以实现识别。同年，Terzopoulous和Waters运用了简化的 Ekman-Friesen模型，用计算机产生人脸动画，同时也做了人脸视频序列的表情分析。直到1981年才有学者从肌肉角度的观点出发，用仿生学方法为面部表情建立模型。

到目前为止，人脸表情识别已经经过了四十多年的发展。尤其是近些年来，随着计算机软件技术的发展和硬件性能的提高，它更成为一个热门的研究课题。英国、美国、日本等经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的研究。其中美国的麻省理工学院(MIT)的多媒体实验室的感知计算组、斯坦福大学、卡耐基梅隆大学(CMU)机器人研究所、东京大学、大阪大学的贡献尤为突出。

到目前为止，国外的人脸表情识别的方法大致可以分为五类：

(1) 基于几何特征提取的方法

基于几何特征的表情识别是指对嘴、眉毛、鼻子、眼睛等这些人脸表情的显著特征的形状和位置变化进行定位和测量，确定它的形状、大小、距离及相互比例，进行表情识别的方法。Bourel等人定义了面部特征点之间的九个距离并通过它们构建了表情特征向量进行表情分析。Chibelushi等人也采用了面部几何特征点并采用 Kanade-Tucas-Tomasi特征点跟踪算法实现特征点跟踪，然后通过计算得到九个特征系数，而这九个系数构成了特征流，描述了由于表情的发生而引起的面部特征点的几何关系的变化。Pantic等人进行面部特征检测并确定面部几何关系，然后他们通过规则推理系统将这种面部几何关系转化为面部动作单元的活动，最终通过专家系统实现表情识别。Ying-li Tian等人采用几何特征提取与神经网络相结合的方法对正面或接近正面的面部图像进行表情识别，其中提取几何特征主要包括对于关键部位的定位特征和表情区的形状特征。

(2) 基于统计特征提取的方法

与提取图像的几何特征相比，这种统计特征是基于图像的整体灰度特征，它强调尽可能多的保留原始人脸表情图像中的信息，通过对整幅人脸表情图像或其中特别的区域进行变换，以此获取人脸各种表情的特征来进行识别。这方面比较有代表的方法是主成分分析法(PCA)，它曾经是人脸识别中最常用的方法。1999年，Ginalucal等人在以前人脸识别算法的基础上，将PCA算法应用到人脸表情识别上，实验结果表明，当取前 30个主分量并使用欧氏距离时，达到了最好的79.3%的识别率。2001年，Andrew J.Calder等人分别从社会科学和识别理论两个方面说明了主成分分析的有效性和可行性。PCA现在己经成功地应用于人脸识别和表情识别，但是由于在PCA中，只有图像数据当中的二阶统计信息被考虑到了，而高阶统计信息并没有利用到，在1998年Bartlett提出了基于独立分量分析ICA的算法。ICA把n幅原始图像看成是m幅特征图像的线性组合，对这m幅特征图像进行独立分量，然后就可以得到特征图像。C.Havran等也是采用了相似的方法，首先对图像进行PCA特征提取，然后进行独立分量分析，试验表明，与单独使用主分量分析的表情提取方法相比，这种表情提取方法更加有效，而且对主分量的特征空间维数的选择具有更低的敏感度。Buciu等利用ICA进行了表情识别，该方法将ICA与支持向量机(SVM)联合使用，达到了分类的目的并取得了很好的效果。

(3) 基于频率域特征提取的方法

近来，越来越多的人关注Gabor小波并进行深入研究，把它应用于面部表情识别，也取得了不错的识别结果。Gabor小波核函数具有与人类大脑皮层简单细胞的二维反射区相同的特性，它相当于一组窄带带通滤波器，其方向、基频带宽及中心频率均可以调节，具有明显的方向选择和频率选择特性。TianYing-li 等人将人脸分成上下两个部分，再标成一个个的运动单元，运用Gabor小波对脸部运动单元进行识别，最后结合几何特征进行表情的识别，达到了92.7%的识别率。Wen在一系列手工标定的局部小区域提取平均Gabor小波系数作为纹理特征，同时引入了一种在人脸合成中使用的基于比例图的方法来对纹理提取区域进行预处理，以降低不同人脸差异和光照变化引起的人脸光照度不均的影响。Littlewort等采用Boosting方法选取Gabor特征，采用SVM进行分类，识别率达93.3%。Kyperountas M等人以Gabor小波等多种特征提取算法为手段，结合新的分类器对静态图像进行试验，取得了较好的识别率。

(4) 基于运动和形变特征提取的方法

基于运动和形变的特征提取方法关注由面部表情引起的面部变化。它们以中性脸作为参考面，首先分析各个面部特征区域内的形变或运动信息，然后通过这些信息构建特征向量进行表情识别。基于梯度的光流场计算法最早是由Horn和schunk提出来的，随后Mase首次利用光流来进行人脸运动跟踪，在FACS系统中的44个运动单元中，他利用光流检测到了其中的12个。Essa和Pentland扩展了这种方法，使用光流来估计面部解剖学和物理学模型中的面部运动。Tian等人把颧骨、眉毛、眼睛和嘴唇等作为特征点进行跟踪，通过隐藏的面部特征的变形获得模型的轮廓，提出了一种不同的元素模型。Anderson使用光流法计算人脸的多渠道灰度模型，完成对人脸区域的跟踪，最后用 SVM算法实现了表情分类。Irene Kotsia等人主要利用网格跟踪算法跟踪由于表情发生而产生变化的网格，并构建变形系统进行识别。实验结果表明，识别六种表情的识别率达到了99.7%，而AU的识别率则达到95.1%。

(5) 基于模型的方法

基于模型的方法以图像中人脸对象的形状和纹理结构为基础建立二维或三维模型，以此模型的参数化变形来适配人脸图像中的人脸部分，这些模型的参数就是所提取的特征。Huang等人提出了一种点分布模型PDM，模型由面部的90个特征点构成，通过它能够获得10个运动参数，最后根据这些动参数来实现表情识别。活动外观模型AAM也是一种模型的方法，是由Cootes等人在1998年提出的。它以目标对象变化的程度作为参数描述，是一种图像特征定位方法。CriStinacce等人结合 AAM 和特征响应成对增强算法(PRFR)，用来检测面部边缘的一些特征以及嘴角、眼眶、鼻尖等局部区域的特征点。Jaewon Sung等人于2007年提出了一种新的结合两种模型的匹配方法，这种方法将 ASM转变为类似于AAM的以梯度为基础的搜索算法，并将AAM和ASM 的误差项结合在一个以梯度为基础的最优模型中。Cheon和Kim提出了Differential-AAM和流形学习相结合的人脸表情识别算法，实验证明该算法比AAM算法的识别率提高了20%。

国内对人脸表情识别的研究比较晚，但发展却是非常快速。清华大学、哈尔滨工业大学、中科院自动化所、中科院计算所、联合实验室、浙江大学等多所著名大学和研究机构都投入相当的人力和物力进行人脸表情识别的研究。

哈尔滨工业大学高文教授领导的团队是我国最早进行计算机表情分析、编码与识别研究的团队。高文和金辉等通过对若干类面部表情图像的分析，建立了基于部件分解组合的人脸图像模型，在他们的另一篇文献中，在对动态表情图像序列的时序分析的基础上，提出了对混合表情的识别系统。中国科技大学的尹星云等用隐马尔科夫模型(HMM)的基本理论和方法设计了人脸表情识别系统。余棉水等提出了一种基于光流的方法，利用光流技术跟踪人脸表情图像序列中的特征点，然后提取特征向量，最后利用神经网络对六种基本表情进行分类识别。邓洪波和金连文提出了一个基于Gabor特征的人脸表情识别系统。该系统首先对表情图像进行预处理，并提取Gabor特征，然后用PCA+LDA方法进行特征选择，最后采用K近邻分类方法识别人脸表情。赵浩和吴小俊在联合主动表观模型和主动形状模型的基础上，充分挖掘标定点之间的联系，提出一种局部纹理模型构建方法。通过改进匹配算法提高特征点的定位精度和匹配速度，结果表明其识别率较高。周书仁和梁昔明提出了融合独立分量分析(ICA)与支持向量聚类(SVC)的人脸表情识别方法。

2 存在的问题

人脸表情识别是一个具有重要意义而又富有挑战性的课题，目前还处于研究阶段，各种算法还在探索和验证中，还不十分成熟。归总来看，目前人脸表情识别的主要难点是：(1)对各种表情的体验。人的情绪是细微多变的，随之的表情变化也显得非常复杂，如有轻松的和紧张的、缓和的和激动的、细微的和强烈的等诸多形式，而现在的识别方法对比较夸张和明显的表情能够有较好的识别率，但是对变化不太明显的表情识别率是较低的。(2)受不同年龄、种族、性别、头发、饰物等的影响较大。(3)光照和人脸姿态对识别结果影响较大。(4)建立一个理想的人脸表情模型并不容易。因为人脸不是一个刚体，而是一个柔性体，很难用模型来准确描述。

总之，人脸表情识别技术作为一种高端生物特征识别技术，有着极其广阔的应用前景，将会涉及到人们日常生活的许多方面，对改善和提高人们的生活质量以及生活方式都有极其重要的作用和意义。

[1]张翠平,苏光大.人脸识别技术综述.中国图象图形学报.2000.

[2]高文,金辉.面部表情图像的分析与识别.计算机学报.2005.

[3]尹星云,王洵,董兰芳,万寿红.用隐马尔可夫模型设计人脸表情识别系统.电子科技大学学报.2003.

[4]余棉水,黎绍发.基于光流的动态人脸表情识别[J].微电子学与计算机.2005.

[5]邓洪波,金连文.一种基于局部 Gabor滤波器组及 PCA+LDA的人脸表情识别方法[J].中国图象图形学报.2007.

[6]赵浩,吴小俊.基于改进联合模型的人脸表情识别.计算机工程.2010.

[7]周书仁,梁昔明.融合独立分量分析与支持向量聚类的人脸表情识别方法.计算机应用.2011.