LBP和MB-LBP加权融合的人脸识别

刘 斌，米 强，徐 岩

(山东科技大学 电子通信与物理学院，山东 青岛 266590)

0 引 言

人脸识别[1,2]技术主要包含3部分，分别是人脸检测、特征提取以及分类器设计。能否提取有差异性的人脸特征对系统而言十分重要，在近几年里，许多高效和新颖的人脸识别算法被提出来，这极大提高了人脸识别系统的性能[3]，比如基于子空间的特征降维方法[4]、流形学习方法等[5]。主流的特征降维方法有线性判别分析(LDA)[6]和独立成分分析(ICA)[7,8]，其在模式识别领域被广泛应用。如今人脸识别技术已经非常先进，在理想的没有干扰的环境中可以取得很高的正确识别率，但是传统人脸识别技术的性能在人脸图像的姿态、表情及光照变化较大的环境中会急剧下降，为了在光照变化较大的环境中提高人脸识别系统的性能，很多学者对此进行了深入的研究并取得了不错的成果。比如为了抵消光照变化的影响，可以通过光照归一化算法对光照变化进行补偿，其中常见的光照归一化方法有直方图均衡化以及Gamma校正。除此之外，也可以提取一些对光照变化具有不变性的特征，比如Gabor特征[9]、LBP特征[10]。在文献[11]中作者把深度学习算法融入到人脸识别系统当中，在光照变化的环境中提取人脸图像的LBP特征，并将提取到的人脸特征输入到由深度学习算法建立的分类器中，取得了很高的人脸识别率。

本文则提出了一种基于LBP特征和MB-LBP加权融合的特征提取方法，首先分别提取每幅人脸图像的标准LBP分块直方图特征、圆形邻域LBP分块直方图特征以及MB-LBP分块直方图特征，采用一定的权重系数将3种特征加权融合，最终的实验结果表明这种方法可以进一步提高人脸识别系统的性能。

1 人脸LBP特征提取

局部二进制模式(local binary patterns，LBP)最初是由Ojala提出的，它是一种有效的图像纹理特征描述子，在图像识别领域中，同其它图像特征相比，LBP特征对光照变化具有不变性，因此在光照不均的应用场景中也能取得不错的识别效果。又因为LBP的基本原理是以图像中任意一点像素的灰度值为阈值，用它与周围邻域像素的相对灰度变化值作为响应，使得它对于单调的灰度变化也具有不变性。作为一种强大的纹理运算符，LBP算子已经在不同的场景下得到了广泛的应用。

1.1 基本的LBP算子

基本LBP算子对图像中的每个像素，通过计算以其为中心的3*3邻域内各像素和中心像素的大小关系，把像素的灰度值转化为一个八位二进制序列。LBP特征的提取方法可以用式(1)来表示

(1)

式中：gc表示中心像素的灰度值，gp(p=0,1,2,…,p-1)表示距离中心像素3*3邻域上像素的灰度值，s(x)是符号函数。它的实现过程如图1所示。

图1 LBP算子基本思想

1.2 圆形邻域的LBP算子

基本的LBP算子不能适应不同尺度的纹理特征，为此需要将其进行拓展，可以使用不同大小的圆来对邻域像素进行编码，并结合双线性差值算法来得到不在像素中心位置的邻域点的值，以满足不同尺寸和频率纹理的需要。Ojala等首先用圆形邻域取代了基本LBP算子的3×3正方形邻域，改进之后的LBP算子可以用符号LBPP,R来表示，此符号的含义是指在半径为R的圆形区域中包含P个采样像素点，圆形邻域的LBP算子如图2所示。

图2 几种圆形LBP算子

图2(a)表示圆形(8,1)邻域的LBP8,1算子，图2(b)表示圆形(16,2)邻域的LBP16,2算子，图2(c)表示圆形(8,2)邻域的LBP8,2算子。设(x，y)表示不再像素中心位置的邻域点的坐标，通过双线性差值方法获得其响应值的公式如下

(2)

1.3 MB-LBP算子

图3 MB-LBP算子

由于标准LBP算子得到的直方图比较稀疏从而使其失去统计意义，为此LBP算子在实际应用中都会采用统一化的模式[13]，也就是把所有的经LBP算子处理后的图像像素划分为统一化模式以及非统一化模式，将统一化模式的图像像素分配在一个收集箱,非统一化模式的图像像素都被放在一个公用收集箱。这样不仅使特征数目减少，而且使得到的LBP直方图更具有统计意义。

1.4 LBP分块直方图特征

传统的LBP算子仅能描述图像的局部信息，而丢失了全局信息。在文献[14]中指出两个不同结构的中心像素可能会得到相同的LBP特征。虽然能够描述图像整体结构信息的MB-LBP特征能够避免这种情况，但是MB-LBP往往会忽略一些有用的局部信息。为此本文采用特征加权融合的方法，将LBP算子和MB-LBP算子的优点结合起来，互相补充，从而提高系统的整体性能。

在本文对人脸识别系统的研究当中，无论是提取图像的LBP特征，还是提取图像的MB-LBP特征，都是采用图像分区的思想来实现的，分区的LBP特征能够解决单个LBP直方图存在的局部差异信息丢失的问题。它的实现过程如下：

(1)首先将一幅人脸图像划分为若干块区域；

(2)分别提取每个块区域的LBP直方图特征；

(3)把所有块区域的直方图特征联合起来作为整幅图像的直方图特征。

图4分别为用传统LBP算子和MB-LBP算子处理后的人脸图像及其分块直方图，上述LBP分块直方图是将人脸图像按8×6分区得到的，而MB-LBP分块直方图是将人脸图像放大5倍之后按照8×6分区得到的。本文提取的是人脸图像的MB3-LBP特征，研究表明要想提取图像分区的MB3-LBP特征，分区的大小应该为54×63的像素块，将原始图像通过最近邻插值法放大5倍以后，再按照8×6的大小分区，此时每个分区的大小接近54×63，只有这样得到的MB-LBP分块直方图特征才有意义。

图4 传统LBP算子和MB-LBP算子处理后的人脸图像

2 主成分分析(PCA)

上述人脸图像经LBP算子处理后得到的分块直方图特征向量维数非常高，计算起来比较麻烦，因此需要经过PCA技术降维处理。主成分分析[15]是90年代初由Pearcon提出的理论，其核心思想是对样本数据降低维度，减小原始特征各维之间的相关性，从而使它投影到低维空间的同时又能保留住那些差异性较大的数据，因此经PCA方法处理后的样本数据也能取到较高的识别率。PCA方法的实现过程如下：

(3)

设样本数据X对应的散布矩阵为St，则其本征方程如下式

(4)

求解上式的本征方程可得到其本征值和本征向量，通过求解得到的矩阵St的本征值为λ1,λ2,λ3,…,λk，全部为实数，且λ1≥λ2≥λ3≥…≥λk;ωi，i=1,2,…,k为对应的本征向量。则λi和ωi的关系为

Stωi=λωi

(5)

为了使样本数据经过投影变换后的均方误差最小，通常都会使n个样本向着最大本征值对应的本征向量方向投影，设矩阵W=[ω1,ω2,ω3,…ωd]由这组样本前d个最大的本征值对应的本征向量组合而成，则矩阵W被称作主成分矩阵。

3 特征融合及分类识别

本文的人脸识别算法采用支持向量机(SVM)[16]作为融合特征的分类器。支持向量机不仅可以将两类样本分开，还能够使分类间隔最大，在其处理的问题当中主要包含两种情形，一种是线性可分问题，另一种则是需要引进映射函数的线性不可分问题。

在线性可分的情况下，要使得两种类别的样本完全分开从而保证经验风险最小的话，只要用一个最优分类面就可以了，这个最优分类面通常被叫做“最佳分割超平面”，其函数表达式为：w·x+v=0。为使两类的分类间隔最大，则要求下式(6)实现最小化，公式如下

(6)

式(6)的约束条件为：yi(w·x+b)≥1,∀i∈{1,2,3,…,n}引入Lagrange乘子αi，从而得到下式

(7)

(8)

传统的SVM只可以对两种类别的样本进行分类，本文采用“一对一的投票策略”，使得SVM能够识别多个类别的样本。为了把传统LBP算子能够有效描述局部纹理特征的优点以及MB-LBP算子能够有效描述图像的整体信息的优点结合起来，本文采用一种简单的加权融合方法[17]。具体的实现步骤如下：

(9)

(10)

(11)

(3)人脸图像加权融合特征的投票结果矩阵可以用下式表示

(12)

式中：θ1+θ2+θ3=1，最终取MAX(vote)作为最终的投票结果。

4 实验仿真和分析

4.1 人脸数据集

为了测试算法的有效性，本文分别在AR、ORL这两个人脸库上进行实验仿真。ORL人脸库诞生于英国剑桥Olivetti实验室，共有40个不同年龄、不同性别和不同种族的对象，每个人10幅图像共计400幅灰度图像组成，图像尺寸是92×112，图像背景为黑色，其部分人脸图像如图5所示。AR人脸数据库包含50位男性和50位女性每人26张人脸共2600张人脸图片，本次实验将所有图像统一归一化为43×60的大小，因为本文是研究光照的变化对人脸识别的影响，去掉其中戴围巾和墨镜的12幅人脸图像，在每个人中用剩下的14幅图像进行仿真实验，其部分人脸图像如图6所示。

图5 ORL人脸数据库部分人脸图例

图6 AR人脸数据库部分人脸图例

4.2 实验结果与分析

在ORL人脸库上，每个人的10幅图像中光照变化差别不大，而在AR人脸库中，每个人的14幅图像中光照变化差别很大，因此除了本文所讲述的3种LBP分块直方图特征以及它们的加权融合特征外，还分别把传统的PCA-SVM技术以及LPQ特征用于人脸识别，分别在两个人脸库上实验，以便和本文提出的加权融合特征进行对比，从而更好体现出在光照变化较大的环境中加权融合特征相对于其它方法的优越性。在ORL人脸库上分别选取3幅和5幅人脸图像作为训练集，剩下的作为测试集。3种LBP分块直方图特征分块的大小均为8×6。实验结果见表1。

表1 ORL人脸库不同算法的人脸识别率

在AR人脸数据库上分别选取5幅和9幅人脸图像作为训练集，剩下的作为测试集。实验结果见表2。

表2 AR人脸库不同算法的人脸识别率

在AR人脸库上，利用本文提出的特征加权融合方法，分别测试了在不同权重分配情况下人脸识别率的变化情况，其中训练集共有9幅图像，结果见表3。

从表1可以看出，在ORL人脸库上无论是传统的PCA-SVM方法，LPQ特征提取方法，还是LBP纹理特征描述子都能够取得不错的识别率。因为ORL库的每幅图像光照变化差别不大，所以上述的几种特征提取方法都可以取得不错的识别效果，从这里还看不到LBP分块直方图特

表3 AR人脸库不同权重的人脸识别率

征的优势。但是从表2中可以看到，在AR人脸库上传统的PCA-SVM方法在训练集图像为5幅时识别率仅有28.5%,在训练集图像为9幅时识别率也只有39.5%，识别效果非常不理想。LPQ特征提取方法也是如此，在训练集图像为9幅时识别率为40%。但是无论是单独的标准LBP分块直方图特征，还是圆形邻域LBP特征以及MB-LBP特征此时仍能取到很好的识别效果。在训练集图像为9幅时，圆形邻域LBP特征的正确识别率为90.7%。因此可以看到传统的特征提取方法在光照变化差别较大的情景中识别效果非常差，而LBP特征却对光照变化具有鲁棒性。

从表3中可以看到，相对于单独的LBP分块直方图特征，3种类型的LBP特征加权融合以后又可以使人脸识别率进一步提高。而当3种特征的权重比为(0.3∶0.4∶0.3)时识别率最高为94.1%，其它权重比所取得的识别率平均为93%。因此加权融合以后的特征可以使人脸识别率提高大约3到4个百分点，可以有效地改善人脸识别系统的性能。

5 结束语

为了提高在光照变化较大情形下的人脸识别率，提出了一种基于LBP特征和MB-LBP加权融合的特征提取方法。首先分别提取每幅人脸图像的标准LBP分块直方图特征、圆形邻域LBP分块直方图特征以及MB-LBP分块直方图特征，然后采用一定的方式将3种特征进行加权融合，加权融合后的特征兼具LBP特征能够有效描述局部纹理信息以及MB-LBP特征能够有效描述图像全局信息的优点，在ORL和AR人脸库上进行测试，结果表明：相对于传统的PCA-SVM方法以及单独的LBP特征，人脸识别率提高了很多。

[1]ZOU Guofeng,FU Guixia,LI Haitao,et al.A survey of multi-pose face recognition[J].Pattern Recognition and Artificial Intelligence,2015,28(7):613-625(in Chinese).[邹国锋,傅桂霞,李海涛,等.多姿态人脸识别综述[J].模式识别与人工智能,2015,28(7):613-625.]

[2]Singh A,Tiwari S,Singh SK.Performance of face recognition algorithms on dummy faces[J].Springer Berlin Heidelberg,2012,166(4):211-222.

[3]Günther M,Wallace R,Marcel S.An open source framework for standardized comparisons of face recognition algorithms[J].Springer Berlin Heidelberg,2012,27(6):59-65.

[4]Duan F,Yang S,Huang D,et al.Craniofacial reconstruction based on multi-linear subspace analysis[J].Multimedia Tools and Applications,2014,73(2):809-823.

[5]Feng B,Lin Y.Radar signal recognition based on manifold learning method[J].International Journal of Control & Automation,2014,7(12):399-406.

[6]Martis RJ,Acharya UR,Min LC.ECG beat classification using PCA,LDA,ICA and discrete wavelet transform[J].Biomedical Signal Processing & Control,2013,8(5):437-448.

[7]GUO Yanan,LI Hongyan.Face recognition based on ICA and GSPSO-SVM[J].Computer Engineering and Design,2014,35(12):4302-4305(in Chinese).[郭雅楠,李鸿燕.基于ICA和GSPSO-SVM的人脸识别方法[J].计算机工程与设计,2014,35(12):4302-4305.]

[8]WU Yan-Hai,WL Liang.Research on ICA face recognition algorithm based on Gabor wavelet transform[J].Microelectro-nics & Computer, 2013, 30(7):141-144.

[9]Xie X,Liu W.Pseudo-Gabor wavelet for face recognition[J].Pseudo-Gabor Wavelet for Face Recognition,2013,22(2):57-61.

[10]WAN Yuan,LI Huanhuan,WU Kefeng,et al.Fusion with Layered fertures of LBP and HOG for face recognition[J].Journal of Computer-Aided Design and Computer Graphics,

2015,27(4):640-650(in Chinese).[万源,李欢欢,吴克风,等.LBP和HOG的分层特征融合的人脸识别[J].计算机辅助设计与图形学学报,2015,27(4):640-650.]

[11]LIANG Shufen,LIU Yinhua,LI Lichen.Face recognition under unconstrained based on LBP and deep learning[J].Journal on Communications,2014,35(6):154-160(in Chinese).[梁淑芬,刘银华,李立琛.基于LBP和深度学习的非限制条件下人脸识别算法[J].通信学报,2014,35(6):154-160.]

[12]Cai CH,Cui XL,Zhu JQ.CAM Shift face tracking with adaptive MB-LBP pre-filter[J].Journal of Signal Processing,2013,29(11):1540-1546.

[13]Mo K,Xu L.Defect detection of solar cell based on threshold uniform LBP and BP neural network[J].Taiyangneng Xuebao/acta Energiae Solaris Sinica,2014,35(12):2448-2454.

[14]GUO Hefei,LU Jianfeng,DONG Zhongwen.Face recognition method based on improved LBP algorithm[J].Modern Electronics Technique,2015,38(4):99-105(in Chinese).[郭贺飞,陆建峰,董忠汶.一种基于改进LBP特征的人脸识别[J].现代电子技术,2015,38(4):99-105.]

[15]HU Jialiang,GAO Yuchao,YU Jifeng,et al.Lithology identification of unconventional reservoirs based on PCA-BP neural network[J].Journal of Shandong University of Science & Technology,2016,35(5):9-16(in Chinese).[胡嘉良,高玉超,余继峰,等.基于PCA-BP神经网络的非常规储层岩性识别研究[J].山东科技大学学报(自然科学版),2016, 35(5):9-16.]

[16]Gao Y,Zhou CH,SU Fenzhen.Study on SVM classifications with multi-features of OLI images[J].Engineering of Surveying & Mapping,2014,47(11):3084-3086.

[17]HAN Xiaocui.Face recognition method based on DCT and MMC[J].Computer Engineering and Design,2010,31(14):3284-3286(in Chinese).[韩晓翠.基于DCT和MMC的人脸识别方法[J].计算机工程与设计,2010,31(14):3284-3286.]