基于区域块LBP特征的人脸表情识别

齐 兴，苏本跃

(1.安徽理工学校, 安徽 安庆 246003;2.安庆师范学院 计算机与信息学院，安徽 安庆 246133)

基于区域块LBP特征的人脸表情识别

齐 兴1，苏本跃2

(1.安徽理工学校, 安徽 安庆 246003;2.安庆师范学院 计算机与信息学院，安徽 安庆 246133)

人脸表情识别是模式识别与人工智能领域的研究热点之一，针对传统LBP方法的不足，提出了一种基于区域块LBP的人脸表情识别方法：先在人脸面部分割出与表情相关的眉毛、眼睛、鼻子和嘴巴等关键区域；再从这些关键表情区域提取表情特征，避免了在整个面部提取特征耗时的缺陷，同时有效地降低了特征维数；最后利用最近邻分类器给出识别结果，通过实验验证了本文算法在识别性能和时间性能上的优势。

计算机技术；表情识别；局部二值模式；特征提取

作为非口头沟通中最有效的形式，人脸表情广泛应用于人机情感交互领域[1-3]。人们一方面提取描述能力强、鲁棒性好的表情特征，如Gabor小波变换、主动外观模型(AAM，Active Appearance Model)、局部二值模式(LBP，Local Binary Pattern)等，一方面探索稳定性好的表情特征分类器，如最近邻、支持向量机、反向传播(BP，Back Propagation)、神经网络等。然而，表情细节更多集中于眼睛、眉毛、嘴巴等区域，如何融合各区域的表情特征在减少特征维数的同时进一步提高分类识别率，已成为表情识别领域新的研究热点。

LBP特征能够较好地反映表情局部细节，并且具有计算简单、尺度变换不变性等优点，备受人们关注。姜锐、许建龙等人提出多重中心化二值模式(MLBP，Multiple Local Binary Patterns)；程雪峰在传统LBP的基础上，结合多尺度、多方向的Gabor分解，提出了LGBP方法；袁宝华等人提出了基于完整局部二值模式(CLBP)。但是，传统的LBP提取方法是基于图像像素点的，需要逐个统计像素点的规律分布，得到的图像统计直方图过多，且比较稀疏，影响识别效果。另外，LBP计算主要是通过比较中心像素与周围像素之间的对比关系，进而描述图像的灰度分布特征，这完全忽略了中心像素的规律分布。针对传统LBP的不足以及表情细节更多分布在眼睛、眉毛、嘴巴等区域的特点，本文提出了一种基于区域块LBP特征提取方法，具体过程如下：首先，根据积分投影法将人脸表情图像分割出若干表情关键区域；然后，在各关键区域中，以4×4为窗口，计算2×2领域的均值，提取3×3均值模板的LBP特征并采用直方图统计各关键区域的特征值； 最后，通过特征级联方式形成特征向量，并利用最近邻分类器实现分类。

1 LBP表情特征提取

1.1 LBP特征

LBP[4]是一种典型的图像纹理特征的计算方法，同时称为局部二值模式。它计算的是周围像素点与中心像素点的灰度值大小，得到一组能表现图像局部纹理特征的描述数据。LBP计算方法简单，选取一个3×3大小的邻域共9个灰度值，如图1所示。分别将g0,g1,g2,g3,g4,g5,g6,g7与中心点gt的灰度值逐个进行比较，若该位置的灰度值大于中心点gt像素值，就将该点记录为1；反之记录为0。按照图1所示的数据计算得出的LBP算子为二进制数10101001，即中心像素点gt的像素值为169。

由上述LBP算子的计算方法，能够明显看出，LBP算子计算方法非常简单省时。目前在人脸识别与表情识别中有着良好的应用，并取得了令人满意的效果。

1.2 LBP特征提取

LBP特征主要是对图像的灰度分布特征进行描述，其优越性表现在纹理特征提取方面。图2给出了人脸表情LBP特征提取结果。以中心像素为基点，联合周围的像素点，能相对精确并有效地统计区域内的纹理特征。计算方法理解简单，实现起来也比较方便。

但是LBP统计纹理特征的时候完全忽略了中心像素点，这是需要解决的至关重要的问题，因为中心像素点的影响往往要大于周边像素点，这类似于最为吸引人类注意力的往往是中间位置而不是旁边位置。另外传统LBP特征是基于逐个像素点进行统计的，这样反复计算降低了效率。针对传统LBP的不足，本文提出了基于区域块LBP表情特征提取方法。

2 区域块LBP表情特征提取

2.1 表情关键区域划分

在实际的表情图像采集过程中，表情图像或多或少会受到旋转偏移、尺度大小变化等因素的影响，本文采用三庭五眼[5]这样的定位方法来划分表情区域，如图3所示。

按照一定的比例分割出表情子区域，规定眉毛到眼睛的距离为D1，眼睛到鼻翼的距离为D2，鼻翼到嘴巴的距离为D3，如图4所示。分割左眉毛区域：选取眉毛中心点为眉毛区域中心，高度为D1，宽度为眉毛中心点的横坐标值。分割左眼区域的方法为：以左眼瞳孔所在位置为基准点，区域上界为D1的1/2，下界为D2的1/2，左右两侧边界和左眉区域一致。依据同样的方法，分割出与这两个子区域分别对称的右眉区域和右眼区域。分割鼻子区域的方法为：以鼻唇中心点为基准点，鼻子区域上边界为D2的2/3，鼻子下边界为D3的1/3，双眼瞳孔之间的距离为宽度。嘴巴区域分割方法为：嘴巴区域上边界为D3的1/3,嘴巴区域下边界为D3的3/4。

2.2 区域块LBP特征提取

在表情区域，将每一大小为4×4像素的模板划分为一个子块，然后将大小4×4的模板统计退化为大小3×3模板，如图5所示。

计算过程：

(1)将4×4像素的模板设为一个二维数组，记为a[4][4]={(a00,a01,a02,a03),(a10,a11,a12,a13),(a20,a21,a22,a23),(a30,a31,a32,a33)},以 ，g0=(a00+a01+a10+a11)/4,g1=(a01+a02+a11+a12)/4，……的方法分别计算出g0,g1,g2,g3,g4,g5,g6,g7,gc的值。

(2)在实际操作中在gc与g0,g1,g2,g3,g4,g5,g6,g7比较的过程中，有可能出现gc大于gi(i=0,1,…,7)的情况，那么八进制的值全为0没有意义。于是进行重新定义中心点gT=(g0+g1+…+g7+gc)/9，然后再用比较的方法计算。

(3)比较过程中令fi为gT-gi的值，当gT大于gi(i=0,1,…,7)时fi为0，否则为1，则坐标为(x,y)点的LBP值表示为

(1)

(4)因为表情关键区域如眉毛和嘴巴的大小是不一样的，将子区域再一次划分成小块，眉毛分左右共4块，眼睛分为左右共8块，鼻子总体划分成6块，嘴巴区域分成8块，则对于每一块的直方图可以表示为

(2)

其中m表示关键区域分块的数量，即眉毛为4，眼睛为8，鼻子为6，嘴巴为8；Rk表示表情子区域，k分别表示眉毛、眼睛、鼻子和嘴巴。

(5)每个表情子区域的直方图可以表示为

其中m的值是不一样的，具体值是眉毛为4，眼睛为8，鼻子为6，嘴巴为8。

(6)将每个表情区域按眉毛、眼睛、鼻子和嘴巴的顺序连接到一起，脸部特征向量即可表示为

H={HR0,HR1,HR2,HR3}

相对于传统的基于逐个像素计算的方法，本文方法有效统计了4×4范围内的像素分布特征，充分考虑到像素模板内每个像素的值。通过简单计算能够看出这样的模板划分，避免了大量逐一扫描，这样的计算方法使得特征值数量减少到原LBP特征的1/16。

3 实验与分析

为充分验证算法的有效性，实验分别在国际认可的公共人脸表情库JAFFE和Cohn-Kanade上进行，具体实验步骤为，

(1) 对图像进行预处理操作。实验中为了避免光照的影响，对表情图像使用灰度规范化，划分获得表情关键区域，如眉毛、嘴巴、眼睛、鼻子。划分后获得的不同表情图像的关键区域都发生了各种变化。

(2) 对表情区域进行块LBP特征提取，按照前面所述的眉毛、嘴巴、眼睛、鼻子的顺序，将在表情区域提取的特征级联起来，作为人脸表情待识别的特征。

(3) 采用最近邻分类器完成表情识别任务。

表1列出了本算法在识别性能和时间性能上与其他同类算法的比较。

表1 算法性能比较

从实验结果可以看出，本算法在JAFFE和Cohn-Kanade库上都取得了93%以上的识别率，只比文献[6]的识别率低，而优于同类算法的识别效果。从时间性能来看，本算法的特征提取时间和总识别时间都是最少的，明显优于其他同类算法，也优于识别率高于本文算法的文献[6]，这依赖于本文算法特征提取的简单省时，从而克服了Gabor特征耗时的特点。

4 结束语

采用区域块LBP特征提取方法能有效弥补传统的中心像素点缺失的不足，以4×4大小的块基元为单位提取特征，大大降低了算法计算量。实验比较证明表情识别率有了较大的提高，在JAFFE和Cohn-Kanade表情数据库上取得了良好的效果。但同时也存在不足，在相似度较高的表情识别效果上还不尽如人意，有待进一步完善。

[1]S. Zhang, L. Li, Z. Zhao. Facial expression recognition based on Gabor wavelets and sparse representation[C]. 2012 IEEE 11th International Conference on IEEE, 2012, 2: 816-819.

[2] 胡敏, 朱弘, 王晓华, 等. 基于梯度Gabor直方图特征的表情识别方法[J]. 计算机辅助设计与图形学学报, 2013, 25(12): 1856-1861.

[3] Y. Kami, D. Hasan. Feature selection for improved 3D facial expression recognition [J]. Pattern Recognition Letters, 2014, 38(1): 26-33.

[4] 郑永斌, 黄新生, 丰松江. SIFT和旋转不变LBP相结合的图像匹配算法[J]. 计算机辅助设计与图形学学报, 2010, 22(2): 286-292.

[5] 顾令飞. 基于多类LDA的人脸表情识别研究[D]. 厦门: 厦门大学, 2014.

[6] Sun Xinghua, Xu Hongxia, Zhao Chunxia, et al.. Facial expression recognition based on histogram sequence of local Gabor binary patterns[C]. Proceedings of 2008 IEEE Conference on Cybernetics and Intelligent Systems, 2008: 384-389.

[7] T. Ojala, M. Pietikainen, T. Maenpaa. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[8] 刘伟锋, 李树娟, 王延江. 基于LBP特征的人脸表情分析[D]. 北京: 中国石油大学, 2010.

[9] Xue Weimin. Facial expression recognition based on Gabor filter and SVM[J]. Chinese Journal of Electronics, 2006, 15(4A): 809-812.

Human Face Recognition Based on the Regional Block LBP

QI Xing1，SU Ben-yue2

(1.Anhui Science and Technology School,Anqing 246003，China; 2.College of Computer and Information,Anqing Teachers College, Anqing 246133, China)

Facial expression describes human emotion by obviously and embody in facial features. Facial expression recognition has attracted more and more attention of researchers, and it has become a hot research topic in the fields of pattern recognition and artificial intelligence in recent years. Aiming at the shortage of the traditional LBP method, this paper proposes a new method of facial expression recognition based on block LBP. First, we divide the expression regions on the whole face, such as eyebrows, eye, nose and mouth, then extract the facial expression feature in the key regions, so avoid time-consuming defects in the entire face extraction and reduce the feature dimension effectively. Last, this paper gives the recognition results by the nearest neighbor classifier. The relevant experiments indicate that this algorithm achieves good results in recognition performance and time performance.

computer technology, facial expression recognition, local binary pattern, feature extraction

2015-03-25

齐兴，女，安徽安庆人，硕士，安徽理工学校中级讲师，研究方向为计算机科学与技术。

时间：2016-1-5 13:01 网络出版地址：http://www.cnki.net/kcms/detail/34.1150.N.20160105.1301.012.html

TP311.52

A

1007-4260(2015)04-0048-04

10.13757/j.cnki.cn34-1150/n.2015.04.012