论表情分析中的基本口型分类方法

杨颖娴尹方平

（1.广东司法警官职业学院，广东 广州 510520；2.广东省机电职业技术学院基础部，广东 广州 510515）

1.引言

眼睛与嘴巴状态的检测算法在人脸表情分析中具有广泛的运用，而目前人们对眼睛的状态分析较多，但针对嘴巴状态的研究相对较少。尽管眼睛的状态能够在很大的程度上反映人的表情，但嘴巴所提供的信息也不容忽视，例如大笑、大哭、张大嘴、闭嘴等，都在人脸表情分析当中提供了非常丰富的信息。

王湘平等[1]用Gabor小波的方法变换及变形模板方法抽取眼睛特征，张百振等[2]通过积分投影和可变形模板的方法检测嘴巴的位置，李英[3]等采用改进的活动轮廓模型方法提取嘴巴的轮廓。他们都只是将工作停留在嘴巴位置的检测以及轮廓的提取，并未进一步对嘴巴的不同状态进行分类。

基于现实应用，可将嘴巴大体上分为开与闭两种状态，而张嘴可分为为张大、O型（惊讶时），闭嘴可分为微笑和紧闭这几种不同类型。本文在已有文献的工作基础上，针对不同类型的分类检测问题展开研究，提出了一套基于小波变换与支持向量机（SVM）的分类方法，并且采用Mallet金字塔算法，降低了运算复杂度。

2.小波变换预处理

2.1 Gabor小波变换

Gabor小波核函数具有与人类大脑皮层简单细胞的2维反射区相同的特性，能够捕捉对应的频率(尺度)、空间位置及方向选择性的局部结构信息；由于上述特点，在人脸表情识别中得到了广泛的应用。Gabor滤波器的构造是基于高斯函数的，而且它的积分为0。

二维Gabor小波核的定义为：

设人脸图象为I(x，y)，通过图像矩阵与Gobor小波核进行卷积，实现图像的Gobor小波变换，变换后得到的图像为：

将得到Gabor小波特征的行向量连接成一个向量就得到了一幅人脸图像的特征矢量。考虑到算法的复杂性，在人脸图像的特征提取过程中，为了减少运算中花费的时间，在Gabor小波变换过程中采用Mallet金字塔算法。

2.2 Gabor嘴巴特征提取

在上述Gabor小波的变换中，得到的特征维数是原始图像的40倍。如果原始输入图像大小为100×100，那么Gabor特征维数将会是400000维，直接把这样一个高维的特征向量送入分类器进行识别，显然计算量非常大，因此有必要对通过Gabor小波变换得到的特征进行选取，选取的目的是为了对数据进行预处理，降维得到一个较小的子集。本文利用AdaBoost[5]算法挑选最优的特征。

AdaBoost算法如下：通过每一个特征建立一个弱分类器，在每轮迭代过程中，从所有可能的特征空间中搜索出加权分类误差最小的弱分类器，该分类误差随后用来更新权值，以使得错分类的样本值增加。弱分类器的定义如下：

其中x表示一个样本，pj表示从x中抽取一个特征，φj是阈值，pj为表示不等号方向的正负号。选择一个弱分类器就意味着对应选择了一个特征，这样选出的特征维数会大大降低。

3.分类器设计

3.1 支持向量机实现多分类常用方法

支持向量机是Vapnik[6]提出基于统计学理论的学习方法，从最优分类问题提出了支持向量机，其基本思想为：通过构造最优分类超平面，使得对未知样本的分类具有推广能力。目前支持向量机用于多分类问题[7]，可分为两种：一种是将多类问题分解为一系列SVM可直接求解的两类问题，基于这一系列SVM求解结果得出最终判别结果；另一种是通过对前面所述支持向量机中的原始最优化问题进行适当改变，使得它能同时计算出所有多类分类决策函数，从而“一次性”地实现多类分类。

“一对多”是指将n类问题转化为n个两类问题，每个类和剩余类形成两类进行学习，假设线性可分样本集为xi，i=1，2，…，n，x∈Rd。则第i类和其它类相区分开的第i个判别函数为：

Di(x)=0意味着样本集xi能被某已超平面正确划分，形成最优分类超平面。sgn(·)是符号函数，属于第i类的支持向量满足Di(x)=1，而属于其它类的支持向量满足Di(x)=-1。对于向量x，若只满足其中一个i，则被划分为i类别。满足多个i或没有一个满足的时候，则x是不可分的。

判别的过程如下：假设第i类对第j类的包含最大边缘的最优分类函数为

其中：bij为标量，wij是n维向量；并且Dij(x)=-Dji(x)

在测试阶段，每个SVM对类别进行投票，票数最多的那个类别就是最终的识别结果。

4.实验结果与结论

图1 四种类型图像

本文利用日本ormon数据库中的人脸图像进行训练和检测，分别选取如图1所示的图像中截取的四种不同类型嘴巴各40幅，尺度标准化后通过gabor变换得到特征图像做训练，然后对200个嘴巴状态进行分类测试。结果如表1所示。

表1 四类嘴巴测试结果数据

如果将张大嘴与O型嘴都归为张嘴一个大类，紧闭与微笑都归为闭嘴一个大类进行识别，可得结果如表2所示。

表2 两种类别实验结果数据

实验表明，所提出的方法具有实时性好、抗光照等优点，具有较好的应用前景。而该方法的局限性主要有以下几个方面：

(1)人脸的姿势变化太大。

(2)嘴巴张开但幅度不大。

(3)有胡子等遮掩物的影响。

(4)由于个体的差异，有时长大嘴和O型嘴会比较相似，紧闭与微笑也会比较相似，容易导致相互之间的错误识别。

对以上问题，还需加以研究和讨论。

[1]王湘平，张星明.基于gabor小波的眼睛和嘴巴检测算法[J].计算机工程，2005，(22)；169-171.

[2]张百振，阮秋琦.积分投影预定位的变形模板提取嘴巴轮廓[J].计算机工程与应用，2006，(35)：178-180.

[3]李英，赖剑煌，阮邦志，黄琼燕.非均匀光照下的人脸表情多状态检测与分类[J].中山大学学报(自然科学版)，2006，(5)：17-21.

[4]尹方平，阮邦志.基于谷算子的人眼特征点检测方法[J].计算机应用研究，2006，(8)：180-185.

[5]Freund Yoav，Schapire Robert E.A decision—theoretic generalization of on—line learning and an application to boosting[J].Journal of Computer and System Sciences，1997，55(1)：119-139

[6]Nello Cristianini，John Shawe-Taylor.An Introduction to Support Vector Machines and Other Kernel-based Learning Methods[M].Cambridge，England，Cambridge University Press，2000.

[7]JWeston，C Watkins.Multi-class support vector machines[R].Technical Report CSD-TR-98-04 in Royal Holloway University of London，1998.