时间尺度自适应人脸表情识别

邢延超 张传强 孙恩情

摘 要：当前隐马尔科夫模型表情识别中一般采用固定状态数及间隔，与真实表情状态之间往往是失配的，无法适应不同时间尺度上的表情。文章分析面部运动自动确定表情的起止帧，自动提取有代表性帧作为HMM的状态，使不同节奏的表情状态都能准确定位到对应的图像帧，提高了模型的有效性。试验结果表明，该方法获得的HMM模型状态更符合主观认识，识别速度有所提高，识别准确性也有明显提高。

关键词：表情识别；表情边界检测；表情状态帧；隐马尔可夫模型

1 概述

人脸表情识别方法可以分为两大类：一是静态表情识别方法，一是基于动态视频序列的表情识别。两种识别方法都必须经过三个过程，即人脸检测，特征提取，表情识别。人脸检测技术已基本成熟，如基于哈尔特征检测[1]的方法。隐形马尔科夫（HMM）[2]因具有时空域动态性被广泛认可。用HMM识别要确定状态数，并将图像序列与状态数对应。传统方法采取平均方式，输入视频按时间顺序均分成N个序列，按时间序列与状态对应。由于表情时间上尺度差异明显，因而不能体现出表情阶段的不同特征。文章根据面部运动能量变化确定表情起止帧，即表情变化区间。再通过变化规律统计分析确定表情对应的不同状态，建立更加符合真实表情的HMM模型。

2 系统设计

首先要确定每种表情对应的状态数；然后确定每种状态对应于视频序列的哪一帧或哪几帧图像，即图像序列中状态点的确定；三是选择什么样的属性作为状态的特征向量。另外，还要确定每个表情开始和结束时间。围绕这几个问题，整个识别系统设计如下。首先，采用自适应布斯特算法实现人脸检测。接着利用Haar滤波器确定眼睛位置，并用特征投影法确定眉毛和嘴巴区域，再利用角点检測方法确定最重要特征点。这些特征点能反映表情变化强度，又易于跟踪。特征点运动情况反映表情变化程度，分析特征点运动能量变化曲线，可确定表情状态数、每表情起止帧及每表情状态对应图像帧。最后对每个表情状态提取几何特征进行HMM模型的训练与识别。

3 运动能量曲线

检测出眼睛中心点的位置坐标，进行图像抖动对光流矢量的误差矫正。确定脸部表情变化关键点，得到坐标变化，计算出运动能量变化，将所有特征点的运动能量做加权平均，得到运动能量曲线。通过分析该曲线，就可以定位表情状态及其对应的图像帧，如图1所示。

从图1中可以看出表情变化趋势，有的在前半阶段发生明显改变，足够判断表情类别；有的则在后半段发生明显变化；大多数则发生在中间。

4 状态数及状态图像帧的提取

接下来再分别对眉毛和嘴巴附近的特征角点，分别作能量图，和图1类似，以观察眉毛及嘴巴附近特征角点变化情况。通过分析角点能量图可得知：表情从中性逐渐发生变化时，最先开始的人脸部位是嘴巴附近，其次眉毛等部位紧随其后开始发生形变，直至表情达到最饱满时刻。根据分析将表情变化过程分为五个阶段：中性表情、嘴巴变化、整体变化、眉毛变化、表情最大化。通过对角点能量曲线的分析，提取曲线峰、谷对应的位置，即可确定HMM模型的五个表情状态对应的图像帧。以高兴表情为例，视频总共28帧，其中5个状态帧分别是2、6、8、10、20。

5 模型训练与表情识别

共选用5个参数：D1～D5是双眼、嘴角之间的距离，此外还有左、下嘴角角度，以及嘴巴宽度高比。过程如下：（1）样本归一化，得特征向量Oi= ，1？燮i？燮5。（2）初始化HMM参数？姿，求Oi均值uj和方差矩阵？撞j。（3）用前向后向算法得到模型概率P（O|？姿）。（4）重估HMM参数，及新模型下的概率P（O|？姿'）。P（O| ）收敛时停止。（5）将新测试序列输入系统，求出每种模型的概率，概率最大对应模型对应识别出的人脸表情。

6 实验结果

采用USTC-NVIE数据库，其自发表情是通过视频诱发的方式采集的，更加接近自然表情，数据库中含有佩戴眼镜和无眼镜两种，这里选择不佩戴眼镜的视频作为训练样本和测试样本。本实验中一共采用了42个视频作为训练样本。文章方法比传统HMM方法对惊奇、悲伤、恐惧、厌恶、愤怒、高兴的识别准确率分别提高了13.2%、6.67%、21%、8.7%、6.67%和9.43%。

参考文献

[1]D. H. Kim， S. U. Jung and M. J. Chung，"Extension of cascaded simple feature based face detection to facial expression recognition，"Pattern Recognition Letters，vol.29，pp. 1621-1631，August 2008.

[2]Otsuka T，Ohya J. Recognizing multiple persons' facial expressions using HMM based on automatic extraction of significant frames from image sequences [C] // Proc. Int. Conf. on Image Processing （ICIP-97），p546-549， Sabta BarbaramCA，USA，1997：26-29.

[3]张发光，赵晖.基于扩展C型HMM人脸表情识别[J].计算机应用与软件，2011，4：60-62.