基于LBP与CS-LDP自适应特征融合的人脸识别

李 闻, 陈 熙, 刘增力, 黄青松

(昆明理工大学 信息工程与自动化学院, 云南 昆明 650500)

基于LBP与CS-LDP自适应特征融合的人脸识别

李 闻, 陈 熙*, 刘增力, 黄青松

(昆明理工大学 信息工程与自动化学院, 云南 昆明 650500)

为了提取更丰富的人脸纹理特征以提高人脸识别率，提出了局部二值模式LBP(Local Binary Pattern)与中心对称局部微分模式CS-LDP (Center-Symmetric Local Derivative Pattern)自适应特征融合算法。识别过程中首先用LBP算法对原始图像进行特征提取，然后用二阶微分CS-LDP算法对图像进行特征提取，并将LBP与CS-LDP的特征向量融合得到最终的模板向量，通过直方图交叉距离计算模板向量的相似度。结果表明：LBP提取图像的一阶微分特征，而CS-LDP提取图像的二阶微分特征，融合两种特征获得更丰富的图像纹理信息。该方法在ORL、YaleB和FERET人脸库中的人脸识别率均达到了90%以上，为人脸识别技术提供了一种切实可行方案。

LBP；CS-LDP；特征融合；人脸识别

人脸识别是人机交互中一个非常重要的研究内容。它具有采集方便、非接触性等优势，在国家安全和生活中有广泛的应用前景，所以成为生物特征识别领域的研究热点[1-2]，受到各个领域的关注。

经过几十年的发展，人脸识别研究也取得了较大进展。特征提取是人脸识别的关键步骤，研究人员提出了多种特征提取算法。用于人脸识别的方法归纳起来大概分为三类：第一类基于人脸整体特征[3]的识别方法，如PCA[4](PrincipleComponentAnalysis)和LDA[5](LinerDiscriminantAnalysis)。由于人脸的局部特征更具有鉴别能力，因此第二类是基于人脸局部特征[6]的识别方法，如LBP[7](LocalBinaryPattern)及LDP[8](LocalDerivativePattern)算法抗干扰能力强、对旋转及光照变化识别性强。 第三类基于人脸整体和局部特征融合的识别方法，如基于特征脸，特征鼻，眼融合的方法。

由于LBP只能提取图像的一阶微分特征，不能描述图像二阶微分特征[9]，而采用CS-LDP(Center-SymmetricLocalDerivativePattern)能够提取图像的二阶微分特征。考虑到LBP提取的人脸纹理不够丰富，本文提出了LBP与CS-LDP自适应特征融合算法，并在人脸库ORL、YaleB、FERET上进行了测试。

1 基于LBP与二阶微分CS-LDP 特征融合的人脸识别算法

1.1 LBP及CS-LBP算法

LBP方法定义为无方向性的灰度纹理特征提取方法，LBP将像素分布于Zc中心像素的8邻域内，8邻域内像素分别与中心像素Zc进行比较，若大于中心像素则相应位置为1，否则为0。然后按照顺序得到一个8位二进制串，转换为十进制为中心像素的编码值，如图1a和图1b分别为LBP和CS-LBP编码的示意图。

图1 LBP及CS-LBP算法8邻域编码Fig.1 The algorithms of LBP and CS-LBP coding operator with 8 neighbors

CS-LBP是传统LBP基础上引入中心对称思想的图像编码。在定义的邻域内，从新定义了规则。比较邻域内中心像素值为中心对称的像素值对，大于等于为1，其他为0。然后按照顺序得到一个二进制串，转换成十进制，作为中心像素点的编码值。如图1b表示的定义8邻域，Zc分别与邻域所在像素比较，计算公式如表1所示。

表1 LBP及CS-LBP算法计算公式Tab.1 The algorithms of CS-LDP and LBP method

注：式中(R,N)表示圆邻域，R是圆周半径，N是圆周上像素点的个数，x为相应zi-zc的取值，LBPR,N是LBP算法中心像素值，CS-LBPR,N是CS-LBP算法中心像素值。

1.2 二阶微分CS-LDP算法

CS-LDP是一种灰度范围内的纹理度量(定义在中心像素的8邻域内)，将像素分布于Zc中心像素的8邻域内，假设Z0位于中心像素的水平方向。从Z0开始沿对称方向与中心像素Zc比较，乘积大于等于0结果为1，反之为0。然后按照顺序得到一个4位二进制串，转换为十进制数为中心像素的编码值(图2)，其算法如表2所示。

图2 CS-LDP算法8邻域编码Fig.2 The algorithms of CS-LDP coding with 8 neighbors

表2 CS-LDP算法计算公式Tab.2 The algorithms of CS-LDP method

注：式中(R,N)表示圆邻域，R是圆周半径，N是圆周上像素点的个数，CS-LDPα°是算法4个方向的判定值，CS-LDPR,N是CS-LDP算法的中心像素值。

在CS-LDP算法中，邻域上的像素点分别与中心像素比较，得到一个长度为N/2的二进制串，转换成十进制。CS-LDP与其他种类局部特征提取算法(如LBP)相比，减少了特征向量的长度，同时提取了二阶微分特征。

1.3 LBP与二阶微分自适应特征融合算法

CS-LDP算法计算简单，提取特征快，并且能明显反映人脸面部特征变化情况；但CS-LDP所提取的人脸纹理不够丰富[10]。为了提取更丰富的图像纹理细节信息，提出了LBP与CS-LDP特征融合算法。

第一步：用LBP方法提取原始图像特征，如图3b所示人脸五官表征明显。CS-LDP算法对原始图像进行第二次特征提取如图3c所示，可以发现人脸五官表征下降，纹理特征丰富。由此可见，LBP提取图像五官表征明显，而CS-LDP图像纹理特征明显，提取特征相互补充，可以进一步提高算法的有效性[11]。对于图3d、3e分析可得：二级CS-LDP特征提取后图像黑白表征明显，但纹理特征明显下降。三级CS-LDP特征提取后，图像重要信息丢失明显；同时多阶微分运算量增大，而识别率并没有明显提高，所以不采用多阶微分融合方法。

图3 原始图像、LBP、CS-LDP和多级CS-LDP纹理特征图像Fig.3 Origin image，LBP，CS-LDP and fusion of multi-level CS-LDP texture feature images

第二步：将每个子图像的统计直方图拼接成一个直方图模板向量，其中定义符号“_”为连接操作，如式(1)。融合方法如图4所示，其中HLBP表示LBP的特征向量，HCS-LDP表示CS-LDP的特征向量，Hhybrid表示融合后的特征向量：

Hhybrid=HLBP_HCS_LDP。

(1)

图4 特征向量的融合Fig.4 The illustration of fusing characteristic vector

经过上述步骤的特征提取，可得到融合后的特征模板向量[12]。在人脸识别阶段，实验采用χ2算法计算训练样本和测试样本的最小距离，公式为

(2)

其中：α表示训练样本的特征模板向量，β表示测试样本的特征向量，P表示子图像的个数，Q表示特征向量的维数。测试过程中，采用最近邻分类器进行分类。由此可见，LBP与CS-LDP特征融合算法就是将多次处理的人脸纹理特征融合为特征模板向量，用来作为测试模板，使测试结果更加准确，识别率更高。

第三步：为了进一步提高算法的有效性，采用自适应加权算法，融合LBP和CS-LDP两个纹理模板向量之间的距离。

首先定义D表示特征融合后α和β两个特征模板向量之间整的距离：

D=a×DLPB+(2-a)×DCS_LDP。

(3)

其中DLPB表示α和β两个模板向量中LBP特征之间的距离，DCS_LDP表示α和β两个模板向量中CS-LDP特征之间的距离，这实际上是自适应融合了LBP和CS-LDP的特征。参数a代表权值，得到最佳权值的方法如下:将参数a初始值设为0.05,每隔0.05取值一次，取得一次的距离,直到a=1.95停止取值，比较后得出最适合结果，得到最佳识别率，此时为最佳的a值。

2 实验结果

为了验证本文提出的LBP与CS-LDP特征融合算法的有效性，我们在ORL、YaleB和FERET标准人脸库上进行了实验，对LBP与CS-LDP特征融合算法、LBP算法、CS-LBP算法在识别率方面进行了比较。在实验中将所有实验图片采用双线性插值调整为64×64。ORL人脸数据库中含有40个人组成的400张人脸图像，每个人有10张图像，其中一些个体的人脸图像由于光照、姿态、表情和遮挡等存在个体差异。YaleB是Yale人脸数据库的扩展，库中有38个人组成的16 128 幅图像，每个人有64幅人脸图像，包括9种姿态，64种光照条件下的图像，同样调整为大小64×64用于实验。FERET人脸数据子库中有200个人组成的1 400幅图像，每个人有7幅人脸图像，分别为不同表情、光照、姿态和年龄的照片。

2.1 ORL人脸数据库

实验中，分块子图像对识别效果有一定影响：分块过大，与原图类似，将无法体现局部微分算法优势；分块过小，增加了计算复杂度，同时容易引人不必要的噪声[13]。所以，将人脸图像分为K×K(K=4、8、16)像素大小的图像块。选择n=5作为训练样本数，选取合适的分块子图像。

图5为3种算法在不同分块时的平均识别率，3种算法的识别率曲线都在分块子图像大小为8×8时达到了峰值且a=1.15，所以选取分块子图像大小为8×8时进行实验。

在ORL人脸识别库中，每人选择n(n=2、3、4、5、6)个人脸图像作为训练样本，剩余图像作为测试样本进行实验。每个训练样本随机抽取10次，得到的识别率取平均值，作为最终识别率，如图6所示。

由图6可知，在ORL数据库中LBP与二阶微分CS-LDP特征融合算法的识别率优于其他两种方法。

图5 ORL分块实验结果Fig.5 Experiments results of partition images in ORL

图6 不同算法在ORL库中的平均识别率Fig.6 The average recognition rates in ORL with different method

2.2 YaleB数据库

YaleB数据库是研究光照对人脸识别算法影响的一个最常用的数据库，总共10人，每人64张，共640张图片。采用与ORL实验相同的方式：首先判断采用哪种图像分块，所以将人脸图像分为K×K(K=2、4、8、16)像素大小的图像块。随机选取训练样本n=5进行实验选取合适的分块子图像。重复实验10次，计算平均识别率，如图7所示。

由于3种算法的识别率曲线都在分块子图像大小为16×16(a=1.35)时达到峰值，但考虑到运算速度的原因，选取分块子图像大小为8×8(a=1.05)时进行实验。在YaleB人脸识别库中，每人选择n(n=3、4、5、6、7)个人脸图像作为训练样本，剩余图像作为测试样本进行实验。每个训练样本随机抽取10次，得到的识别率取平均值，作为最终识别率，如图8所示。

图7 YaleB分块实验结果Fig.7 Experiments results of partition images in YaleB

图8 不同算法在YaleB库中的平均识别率Fig.8 The average recognition rates in YaleB with different method

由图8可知，LBP与二阶微分CS-LDP特征融合算法的识别率在光照明显变化的条件下优于其他两种方法。

2.3 FERET数据库

为了促进人脸识别算法的研究和实用化，美国国防部发起了一个人脸识别技术(Face Recognition Technology,FERET)工程，它包括了一个通用人脸库以及通用测试标准，其包括同一人不同表情、光照、姿态和年龄的照片。我们从FERET数据库中选择200个样本图像进行分类，每个样本有7张不同形态、光照变化的图片。采用与前两种实验相同的方式，首先判断采用图像分块，将人脸图像分为K×K(K=2、4、8、16)像素大小的图像块。选择随机选取训练样本n=3进行实验，选取合适的分块子图像。重复实验10次，计算平均识别率，如图9所示。

由实验可知，特征融合算法识别率随分块数目变化而变化，分别在分块子图像大小为4×4时达到峰值。此时，参数a=1.4。

由于3种算法的识别率曲线都在分块子图像大小为4×4时达到峰值，选取分块子图像大小为4×4时进行实验。在FERET人脸识别库中，每人选择n(n=2、3、4、5、6)个人脸图像作为训练样本，剩余图像作为测试样本进行实验。每个训练样本随机抽取10次，得到的识别率取平均值，作为最终识别率，如图10所示。

图9 FERET分块实验结果Fig.9 Experiments results of partition images in FERET

图10 不同算法在FERET库中的平均识别率Fig.10 The average recognition rates in FERET with different method

由图10可知，LBP与二阶微分CS-LDP特征融合算法的识别率在表情、光照、姿态和年龄变化明显的条件下优于其他两种方法。

3 结论

由实验可知，LBP只能提取图像的一阶微分特征，不能描述图像二阶微分特征。在LBP与CS-LDP特征融合算法中，加入了二阶微分纹理特征，所以融合算法特征提取更加完整。与LBP算法比较，本文提出的方法可以得到更为丰富的特征信息，因此更具有鉴别性，在3种不同的数据库中,比其他两种算法有更高的识别率。然而算法的计算复杂度和所需存储空间略有增加，需要我们进一步讨论研究。

[1] Pantic M, Rothkrantz L. Automatic analysis of facial expressions: the state of the art[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000,22(12):1424-1445.

[2] Fasel B, Luettin J. Automatic facial expression analysis:a survey[J].Pattern Recognition,2003,36(1):259-275.

[3] 王蕴红,范伟,谭铁牛.融合全局与局部特征的子空间人脸识别算法[J]. 计算机学报,2005,28(11):1657-1663.

[4] Nhat V, Lee S.Line-based PCA and LDA approaches for face recognition[C]∥Wang L. First International Conference on Natural Computation.Changsha:Springer Verlag, 2005: 101-104.

[5] Zhou Dake, Yang Xin, Peng Ningsong.Face recognition using improved-LDA with facial combined feature[J]. Chinese Optics Letters,2005,3(6): 330-332.

[6] Yang Qiong, Ding Xiaoqing. Discriminant local feature analysis with applications to face recognition[J].Journal of Tsinghua University: Science and Technology, 2004,44(4):530-533.

[7] Pu Xiaorong, Zhou Yi, Zhou Ruiyi. Face Recognition on partial and holistic LBP features[J]. Journal of Electronic Science and Technology, 2012,10(1):56-60.

[8] Zhang Baochang, Gao Yongsheng, Zhao Sanqia, et al.Local derivative pattern versus local binary pattern: face recognition with high-order local pattern descriptor[J].IEEE Transactions on Image Processing, 2010,19(2):533-544.

[9] 兰利彬.分数阶微分数字图像处理及支持向量机在人脸识别中的应用研究[D]. 重庆:重庆大学计算机应用技术学院,2011.

[10] 齐永峰,火元莲. 基于局部三值微分的人脸识别方法[J] .红外与激光工程, 2014,43(2):640-646.

[11] 卢建云,何中市,余磊.基于多级CS-LBP特征融合的人脸识别方法[J]. 计算机工程与科学,2010,32(6):48-51.

[12] Yu Weiwei, Teng Xiaolong, Liu Chongqing. Feature fusing in face recognition[J]. Journal of Southeast University:English Edition, 2005, 21(4):427-431.

[13] Zhang Wenchao,Shan Shiguang,Gao Wen,et a1.Local Gabor binary pattern histogram sequence(LGBPHS):A novel non-statistical model for face representation and recognition[C]∥Beijing: Proceedings of the Tenth IEEE International Conference on Computer Vision, 2005:786-791.

〔责任编辑 李 博〕

Face recognition based on self-adaptive fusion of LBP and CS-LDP

LI Wen, CHEN Xi*, LIU Zengli, HUANG Qingsong

(School of Information Engineering and Automation, Kunming Science and Technology University, Kunming 650500, Yunnan, China)

In order to extract richer facial texture feature and improve the accuracy of face recognition, a hybrid method of local binary pattern (LBP) and center-symmetric local derivative pattern(CS-LDP) algorithm is proposed. The LBP is utilized to extract the first level features from the original face image. Then using CS-LDP method, the features are extracted from images processed by LBP.Furthermore, the features calculated by LBP and CS-LDP are combined to obtain the final texture features. The Histogram intersection distance is calculated to find the similarity degree between two texture features vectors.The results show that LBP extracts the first-order differential features of image, while CS-LDP extracts the second order differential feature. Fusing such two features can obtain richer texture information. The mean recognition accuracy reaches above 90% on ORL, YaleB and FERET face databases, which provides a feasible scheme for practical face recognition.

LBP; CS-LDP; feature fusing; face recognition

1672-4291(2015)04-0048-06

10.15983/j.cnki.jsnu.2015.04.245

2014-12-08

国家自然科学基金(61262040,81360230)；云南省应用基础研究计划(KKSY201203062)

李闻，女，硕士研究生，研究方向为图像处理。E-mail：253188536@qq.com

*通信作者：陈熙，男，副教授，博士。E-mail：xcbiometrics@126.com

TP391.41

A