混合表情的稀疏表达分析

宋彩风，刘伟锋，王延江

中国石油大学（华东）信息与控制工程学院，山东 青岛 266555

混合表情的稀疏表达分析

宋彩风，刘伟锋，王延江

中国石油大学（华东）信息与控制工程学院，山东 青岛 266555

1 引言

表情在日常人际交流以及人机交互中起着重要的作用。人脸表情分析是一种有效地理解人类情感的方式。研究人员大都是把表情归为单一的某种表情，如高兴、悲伤、生气等[1-4]；P.Ekman[5]把人脸表情分为了六类（生气、厌恶、恐惧、高兴、悲伤、惊讶），但是，由于人类的情感和表情具有模糊性，日常的表情往往表现为多种基本表情的混合表情，例如惊喜、惊恐等；因此，混合表情的分析更符合日常表情的表现，混合表情的有效分析能使人和机器更加友好地交流，使机器更好地理解人类情感。对混合表情的研究已引起研究人员的注意，Dr.R.Parthasarathi[6]等利用神经网络算法对经过PCA降维处理后的混合表情特征进行识别，提高了混合表情的识别率，但未给出各类基本表情在混合表情中所占的比重；左坤隆[7]等采用AAM提取表情特征，并用人工神经网络方法对提取的特征进行混合表情的分类，取得了不错的识别结果，但也只是对混合表情图像进行了表情识别，并没有给出表情图像中各基本表情的定量描述。

基于压缩感知理论，本文提出了一种混合表情的定量描述方法。以面部特征点的Gabor小波系数作为表情特征，基于压缩感知理论框架分析表情中各基本表情的混合成分，结合模糊数学理论，利用隶属度函数对混合表情的各基本表情进行定量的描述，实验结果表明此方法对于描述混合表情简单有效。

2 混合表情分析

如图1为混合表情分析系统框架。首先是对经过预处理的表情图像（主要是对图像进行标准化处理，统一图像的几何尺寸和灰度对比度等）提取面部特征点的Gabor特征；然后基于压缩感知理论对表情进行分析；最后依据模糊数学理论对混合表情中各基本表情的组成进行分析。

图1 混合表情分析框架

2.1 Gabor小波特征

二维Gabor小波核函数[8-9]具有与人类大脑皮层简单细胞的二维反射区相同的特性，对人类视觉系统的较好模拟和其自身优于其余方法的计算特性。因此，在人脸表情识别中具有广泛的应用。

二维Gabor小波核定义：

一方面考虑到计算复杂度以及人脸表情信息主要集中在眉毛、眼睛、嘴巴区域，则只需提取这些区域的特征即可；另一方面由于本文的表情图像都是已经配准好的，面部各个器官的位置大致是相同的，则对面部关键点的提取手工标注比自动检测更加精确以及更加具有灵活性。因此，本文手工定位了如图2所示的122个面部特征点（主要包含眉毛、眼睛以及嘴巴部分）并对这些特征点进行了Gabor特征提取。

图2 提取特征点示意图

2.2 基于压缩感知的表情分析

假设存在一个完备表情样本矩阵A，A中包含k类基本表情，即A=[A1，A2，…，Ak]，其中，Ai=[vi，1，vi，2，…，vi，ni]∈Rm×ni，是每个表情类充足的表情样本；m=w×h，其中，w为图像的宽度，h为图像的高度；vi，j表示每一幅表情图像。若测试表情 y属于第i类基本表情，则 y可表示成第i类所有表情图像的线性组合，即

其中系数xi，j⊂R，j=1，2，…，ni。

若 A表示所有训练样本的矩阵 A=[A1，A2，…，Ak]= [v1，1，v1，2，…，vk，1，…，vk，nk]，则公式（2）即

图3 表情识别示意图

由图3可以看出，y被分解为不同表情的组合，系数矩阵X对应于各表情的分量，则表情分析问题转化为求解线性方程y=AX的问题。X中非0系数越少越稀疏，y的组成越明晰，所以，需要找到满足方程 y=AX的最稀疏解X。由压缩感知理论可知这个问题可以转化为求解最小l0范数问题，即

‖•‖0表示零范数，用来表示一个矢量中非零系数的个数。然而由于X解的不确定性，该算法成为NP难题。已经证明，l1最小范数在一定条件下和l0最小范数具有等价性，l0范数最小化问题就等效为如下的l1范数最小化问题：

因此，通过求解l1范数最小化问题即可得到特征向量近似解X。

2.3 基于隶属度的混合表情表示

模糊数学[10]能够对模糊现象进行定量分析处理。

设在论域U上给定了一个映射：

则F为U上模糊集，F(u)为F的隶属函数（或称u对F的隶属度）。

设某混合表情 y包含多种基本表情，y对基本表情i的隶属度为Fi(y)，则可以用：

表示表情y的基本表情组成情况。

考虑公式（3）、（5）、（6），X反映了测试表情 y中每一类基本表情的组成，可定义表情y对每一类基本表情的隶属度：

其中，xij为第i类基本表情中第 j个表情样本的系数。这样，得到了混合表情的一种定量描述。

表情分析中，往往只需要分析混合表情的主要基本表情，因此引入模糊数学中的截集的概念：

设定某表情阈值λ，可以获得表情y的主要基本表情分析：

则此问题转化为传统的表情识别问题。因此，结合文献[11]，基于稀疏表达的混合表情的分析算法如下：

（1）对JAFFE表情数据库中经过预处理的表情图像，提取122个面部特征点的Gabor系数；每一幅表情样本图像的系数值ai，j作为表情样本矩阵A中的一列，即

（3）求解l1范数最小化问题：

（4）输出：F(y)={F1(y)，F2(y)，…，F7(y)}。其中，Fi(y)=为第i类基本表情在该表情图像中所占的比例（或测试表情样本 y隶属于第i类的概率）；xij为第i类表情中第 j个样本的系数。

3 实验与分析

本文在日本ATR的女性表情数据库（JAFFE）[8]中进行了实验分析。JAFFE是以7类基本表情（6种基本表情和中性表情）为基础的数据库，包含10位日本女性，每种表情大约2～4幅图像，总共约213幅表情图像，每幅图像大小为256×256。

3.1 基于压缩感知的混合表情定量分析

图4所示为表情图像KA_AN3的特征系数（本文特征系数求解采用文献[12]的L1-magic范数包）。由图4可见，特征系数x在各基本表情都存在，某类基本表情对应的特征系数越大，表明包含该表情类别成分越多。

图4 表情图像KA_AN3及特征系数x的值

图5 各类基本表情所占的比例

图6 不同人的表情差异

图6为不同表情图像的隶属度表示。其中（a）（b）是同一个人做出同一种表情时，该表情所包含的各类基本表情所占的比重；（c）（d）为不同的人做出同一种表情时，该表情所包含的各类基本表情所占的比重。可见，同一个体在表现同一表情时各基本表情的分布基本相同，而不同的人表现同一基本表情时，该基本表情相对其他类基本表情比较突出，但由于个体差异，即使表现同一表情，各基本表情的分布也是不同的。根据最大隶属度原则，（a）（b）均识别为厌恶表情，但厌恶在两幅表情图像中所占的比重不同，则表现出厌恶的程度也有所差异；（c）（d）均识别为悲伤表情，但表现出悲伤的程度也不一样。

图7 不同方法对混合表情的分析结果

3.2 不同方法对混合表情的分析结果比较

如图7为本文方法与SLAP-CGBP[13]方法对混合表情的分析。（a）为表情图像样本NA_SU1；（b）为SLAP-CGBP方法对该表情所包含的各类表情成分的分析结果，该方法把该表情判为惊讶和高兴的混合表情；（c）为本文的方法。根据截集的概念，若取λ=0.2，则该表情也为惊讶和高兴的混合表情，但本文方法包含其他基本表情成分相对于SLAP-CGBP方法要少；（d）为表情样本MK_SU1；（e）为SLAP-CGBP方法对该表情所包含的各表情成分的分析结果，该方法把该表情判为惊讶和恐惧的混合表情；（f）为本文方法对该表情成分的分析，取λ=0.2，则本文方法也是把该表情判为惊讶和恐惧的混合表情。由此看出，两种方法对混合表情判断基本相同，只是包含基本表情的成分的大小不同；但本文算法分析得到的主要表情成分相对于其他表情成分要突出，更适合于用截集判断混合表情中的主要成分。

3.3 不同光照下的人脸表情的分析

为研究本文算法的鲁棒性，对JAFFE表情库中的表情进行不同光照的处理，并采用最大隶属度函数分析各表情中最主要的表情成分。如图8为强光照和微弱光照下的表情图像。在强光、弱光以及正常光照下的表情图像中分别选取70幅图像作为测试表情图像，其余的143幅正常情况下的图像作为训练表情样本。测试结果如表1，表2，表3。

由表1，表2，表3可看出即使光照变化很大，本文方法仍能取得不错的表情识别率，在正常光照、强光和弱光下的识别率分别达到了94.3%、80%以及75.7%；可见，利用Gabor算子提取表情特征，基于压缩感知的分类器对表情分析具有一定的鲁棒性，可用于人脸表情识别以及人脸表情的混合分析中。

图8 不同光照下的人脸表情图像（上面为强光照，下面为弱光照）

表1 正常情况下的表情识别结果

表2 强光照下的表情识别结果

综上，基于压缩感知和Gabor特征能够提取表情特征，结合隶属度和模糊截集，可以实现混合表情分析和表情识别。实验结果表明，本文方法能够简单有效地对混合表情进行定量表示；另一方面，不同个体的表情表现是有差异的（即使是表现同一基本表情），表情分析需要考虑个体差异；第三，表情往往是混合的，现实中很少有单一的基本表情，究其原因是表情源于人类情感，而情感复杂多变，因此结合情感理论的表情将会更符合实际。

表3 弱光照下的表情识别结果

4 结论与展望

本文基于压缩感知的理论框架，以面部特征点的Gabor小波系数为表情特征对混合表情进行了分析；利用隶属度函数对表情所包含的基本表情成分进行定量描述，并分析了不同情况下人脸表情的混合表情成分以及在光照有较大变化时人脸表情的识别情况。实验结果表明，本文方法能够简单有效地对日常混合表情进行定量表示。

表情源于情感，亦与个体相关，探索表情与情感的内在联系以及表情与个体的表现规律是本文的后续工作。

[1]Jabid T，Kabir M H，Chae O.Facial expression recognition using Local Directional Pattern（LDP）[C]//IEEE International Conference on Image Processing，2010：1605-1608.

[2]Li Xiaoli，Ruan Qiuqi，Ruan Chengxiong.Facial expression recognition with local Gabor filters[C]//IEEE International Conference on Signal Processing，2010：1013-1016.

[3]Ahmed F，Hossain E，Bari A S M H，et al.Compound Local Binary Pattern（CLBP）for robust facial expression recognition[C]//IEEE International Symposium on Computational Intelligence and Informatics（CINTI），2011：391-395.

[4]Jain S，Hu Changbo，Aggarwal J K.Facial expression recognition with temporal modeling of shapes[C]//IEEE International Conference on Computer Vision Workshops，2011：1642-1649.

[5]Ekman P，Friesen W V.Unmasking the face：a guide to recognizing emotions from facial clues[M].[S.l.]：Consulting Psychologists Press，1975.

[6]Parthasarathi D R，Reddy V L，Vishnuthej K，et al.Facial expressions with some mixed expressions recognition using neuralnetworks[J].InternationalJournalon ComputerScience and Engineering（IJCSE），2011，3（1）：173-176.

[7]左坤隆.人脸表情自动分析与识别系统的研究[D].天津：天津大学，2004.

[8]Lyons M，Akamatsu S.Coding facial expressions with Gabor wavelets[C]//Proceedings of the 3rd IEEE International Conference on Automatic Face and Gesture Recognition，Nara，Japan，1998：200-205.

[9]Zhang Baochang，Gao Yongsheng，Qiao Yu.Face recognition based on Gradient gabor feature[C]//IEEE International Conference on Image Processing，2008：1904-1907.

[10]杨纶标，高英仪.模糊数学原理及其应用[M].广州：华南理工大学出版社，2005.

[11]Wright J，Yang A，Ganesh A，et al.Robust face recognition via sparse representation[J].IEEE Trans on PAMI，2009，31（2）：210-227.

[12]Candes E，Romberg J.L1-magic：recovery of sparse signals via convex programming[R].[S.l.]：Caltech，2005.

[13]付晓峰.基于二元模式的人脸识别与表情识别研究[D].杭州：浙江大学，2008：112-114.

SONG Caifeng,LIU Weifeng,WANG Yanjiang

College of Information and Control Engineering,China University of Petroleum（East China）,Qingdao,Shandong 266555,China

A quantitative description method of mixed facial expression is proposed.Based on compressive sensing,mixed facial expression is analyzed using Gabor features.Different components of mixed expression are quantitatively represented by employing membership function.Experimental results show that this method can express the composition of each basic expression in mixed expression simply and effectively.

expression analysis;compressive sensing;mixed expression;Gabor;membership function;cut set

提出了一种混合表情的定量描述方法。基于压缩感知的理论框架，以面部特征点的Gabor小波系数为表情特征对混合表情进行了分析；利用隶属度函数定量表示混合表情中的不同组成。实验结果表明，该方法可以简单有效地表示混合表情中各基本表情的组成。

表情分析；压缩感知；混合表情；Gabor；隶属度；截集

A

TP391.41

10.3778/j.issn.1002-8331.1203-0425

SONG Caifeng,LIU Weifeng,WANG Yanjiang.Mixture facial expression analysis using sparse representation.Computer Engineering and Applications,2013,49（23）：122-126.

国家自然科学基金（No.61271407）；山东省自然科学基金青年基金（No.ZR2011FQ016）。

宋彩风（1988—），女，硕士研究生，主要研究方向为智能信息处理；刘伟锋（1979—），男，副教授，研究领域：表情识别、图像处理、模式识别；王延江（1966—），男，教授，研究领域：智能信息处理、仿生智能、模式识别与图像处理。E-mail：liuwfxy@gmail.com

2012-03-19

2012-05-17

1002-8331（2013）23-0122-05