基于HOG与LBP特征的人脸识别方法

孙 玉，刘贵全

（1.安徽职业技术学院信息工程系，合肥230051；2.中国科学技术大学计算机科学与技术学院，合肥230011）

基于HOG与LBP特征的人脸识别方法

孙 玉1，刘贵全2

（1.安徽职业技术学院信息工程系，合肥230051；2.中国科学技术大学计算机科学与技术学院，合肥230011）

针对人脸识别方法在复杂环境下识别性能下降、单一特征表述能力有限的问题，基于梯度方向直方图（HOG）和局部二值模式（LBP）特征，提出一种人脸识别方法。通过提取人脸的HOG特征和LBP特征，利用主成分分析和线性判别分析方法进行线性降维，给出基于加权的特征融合策略。在环境复杂的人脸数据库上进行实验，结果表明，相比于单一的局部特征，该特征融合方法能提高人脸识别的精度与速度。

人脸识别；梯度方向直方图特征；局部二值模式特征；特征融合；识别率

1 概述

人脸识别是一种主要的生物特征识别技术，应用前景广泛，可用于公共安全、企业、教育、金融等领域。随着人脸识别研究的深入和技术的进步，近年来，已有很多产品成功地应用到实际生活中。然而，人脸识别的研究和应用面临了诸多挑战，人脸识别的性能受到各种因素的影响，如图像分辨率低、模态多样性、光照姿态遮挡等。

传统的人脸识别方法主要采用特征提取和分类器的结构，并且取得成功应用。经典的人脸识别方法采用主成分分析（Principal Com ponent Analysis，PCA）［1］和线性判别分析（Linear Discrim inant Analysis，LDA）［2］进行人脸识别。另外，特征提取方面包括全局特征和局部特征。针对不同特征，学者提出各种特征表示方法，如Gabor特征［3］、LBP特征［4］、尺度不变特征转换（Scale-invariant Feature Transform，SIFT）特征［5］、HOG特征［6］等。HOG特征最早被Navneet DA lal等［7］提出并应用于行人检测，随后在静态图像的目标识别中取得广泛应用。HOG特征与SIFT特征具有很多相似之处，不同在于HOG特征在一个大小统一的细胞单元上计算，具有更快的计算速度，且具有良好的检测性能。同时，各种分类器被使用，如贝叶斯方法［8］、AdaBoost方法［9］、线性支持向量机（Support Vector Machine，SVM）［10］等。

基于多特征及特征融合方面的考虑，文献［11］将LBP特征和Gabor特征相结合并在表情识别上取得较优的识别性能。文献［12］提出一种利用串并行结合的方式将全局特征和局部特征进行集成，在大规模人脸库上验证其精度和速度。文献［13］提出一种基于特征采样和特征融合的子图像人脸识别方法，在多个人脸数据集上的测试结果表明该方法是单纯的特征融合方法和特征采样方法。文献［14］提出基于子模式的Gabor特征融合方法，对单样本人脸识别具有较优的性能。文献［15］将Gabor-like复数小波变换和原始图像进行特征融合，进一步提高人脸识别的识别率。

HOG特征在目标检测和跟踪领域用于描述物体的关键点特征，而LBP特征在纹理分析领域也取得成功应用，这2种特征的表述能力都很强，但不能适用较多复杂的人脸环境。在复杂的人脸环境中，单一特征的表述能力有限，因此需要多个不同的特征进行融合，期望得到准确的人脸特征表示。

针对上述问题，本文提出基于HOG和LBP特征融合的人脸识别方法。首先分别提取HOG特征和LBP特征，然后利用PCA和LDA方法进行降维，最终采用特征融合策略进行识别，并在标准人脸库LFW和FRET上进行实验。

2 人脸识别方法

2.1 特征表示

2.1.1 HOG特征

梯度直方图特征在模式识别领域得到成功应用，如人脸识别、行人检测、目标跟踪等。HOG特征与SIFT特征类似，其计算量较小。另外，HOG特征的计算是基于一致空间的密度矩阵来提高准确率。HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。HOG特征主要包括图像归一化、计算梯度、基于梯度幅度的方向权重投影、特征向量归一化等几个部分，具体计算过程如下：

（1）假定人脸图片的大小为80×64，设置block块的大小8×8，则人脸图片共包含80个不重叠的block。

（2）在每个block上计算其梯度方向和幅值。本文采用简单的中心对称算子［-1，0，1］计算梯度，如下式所示：

其中，I（χ，y）是图片（χ，y）的像素值；θ（χ，y）为该点的梯度方向；m（χ，y）对应为该点的幅度值。

（3）设置cell大小为4×4，在每个block内按cell大小统计梯度直方图，应用梯度的幅值进行规定权重投影。

（4）对于每个重叠block内的cell进行对比度归一化，以消除光照的影响。

（5）将所有block内的直方图向量组合得到最终的HOG特征向量。

通常HOG结构包括矩形HOG、圆形HOG和中心环绕HOG。通过实验得出矩形HOG的检测结果更好，故本文采用矩形HOG结构。对于梯度模板，采用一阶模板计算梯度和方向，优点是计算速度快且不会削弱人脸的边缘特征。

HOG特征表示的是边缘结构特征，能够有效表述目标的局部信息，属于局部特征范畴。HOG特征对图像几何和光学的形变都能保持很好的不变性。另外，在局部区域进行归一化直方图，具有光照不变性。

2.1.2 LBP特征

LBP算子最初用来描述纹理特征，其基本思想是根据中心像素点与其圆形领域内的像素点比较得到的二进制码来描述局部纹理特征。LBP算子具有高鉴别性、复杂度低、旋转不变性和灰度不变性等显著特点。LBP算子通常由（P，R）来表示，其中，P表示领域内包含的像素个数；R表示领域半径。基本的LBP算子是（8，1）领域。将3×3领域像素值Pi（i=1，2，…，8）与中心像素值P0进行比较，进行阈值化处理，其计算公式为：

将bi（i=1，2，…，8）按顺时针方向排列得到一个8位的二进制编码，再转换为十进制数，则得到LBP算子对中心像素计算得到后的结果。人脸图像经过LBP算子运算后，对其做直方图统计，得到直方图特征向量，具体可以定义为：

其中，n为LBP算子产生不同标记的数据。本文采用人脸识别大多文献采用的3×3领域的一致模式算子，即n=256。另外，当χ为真时，I（χ）=1；当χ为真时，I（χ）=0。

为了更好地表示人脸特征，保留人脸的空间结构信息，将图像分为区域R0，R1，…，Rm-1，各个区域的直方图可定义为：

将这些子区域直方图连接起来构成最终的人脸特征向量，采用χ2统计来度量LBP特征之间的距离。

2.2 降维方法

2.2.1 PCA方法

PCA方法的基本思想是从人脸图像中找出最能代表人脸的特征空间，去除一些不能代表人脸特征的属性。假定有N个人脸样本｛χ1，χ2，…，χN｝属于c个类别｛X1，X2，…，Xc｝，每个样本的图像规格为w ×h，则每个样本图像的维数为n=w×h。这样得到所有人脸样本的N个n维列向量，对训练样本求协方差矩阵得到：

PCA的目的是寻找一个最优投影矩阵Wopt，使得：

其中，wi是散度矩阵ST的特征向量，特征值从大到小排列，取前m个最大特征值对应的特征向量来近似表示原来的数据。这样，人脸样本经过投影后得到了线性降维，即从n维降到m维，且满足m＜＜n。

2.2.2 LDA方法

PCA方法是以样本的最小重建误差来提取人脸最优特征表示，而LDA方法是以样本类别可分性来提取人脸最优特征。

LDA方法主要考虑类间散度矩阵和类内散度矩阵。根据2.2.1节的定义，类间散度矩阵和类内散度矩阵的公式分别如下：

其中，μ是样本的均值。

其中，μi是第i类的均值；Ni是类Xi的样本数。如果Sw非奇异，可以得到最优正交矩阵，使得投影后的类间散度矩阵和类内散度矩阵之比最大，即：

式（10）可以用下式来计算：

其中，i=1，2，…，m；wi是矩阵SWSb从大到小排列的特征值λi对应的特征向量。

2.3 特征融合

由于单一特征表述能力有限，因此采用加权的方式进行特征融合，融合公式如下：

其中，m表示分类器的数目；wi和ci分别表示第i个分类器的权重和输出分数；f（C）为特征融合后输出的分数。权重计算公式如下：

其中，Ei为第i个分类器的等错误率。

假定有m个不同的分类器，其人脸图像特征为χ，在对真实分类判别函数进行估计时，有m个不同的判别函数：

其中，h（χ）表示真实的分类判别函数；gi（χ）表示第i个分类器的判别函数；而εi（χ）则表示为gi（χ）与真实函数之间的误差函数。

在进行特征融合之后，整个特征融合系统的均方差可以表示为：

加权系数满足αi＞0

2.4 融合框架

上文分别给出了HOG特征、LBP特征和特征融合的具体过程，本文所提方法的框架如图1所示。

图1 基于HOG和LBP特征的融合

从图1可以看出，融合后的特征可以保留原有特征的优点，人脸的结构信息和关键部位可以得到很好的表征。为了加快计算速度，采用经典的PCA和LDA方法进行降维，最终进行特征融合。因此，本文方法充分考虑不同特征之间的特点，利用特征融合策略，且计算速度高效。

3 仿真实验与分析

3.1 LFW数据集

LFW数据库［16］是一个最接近真实的大型人脸数据库，由5 749个人的13 233幅图像组成。其中，1 680人有2幅及以上的图像，4 069人只有1幅图像。图像大小为250×250，绝大多数为彩色图，少数为灰度图。图2给出LFW人脸库的人脸示例。

图2 LFW人脸库示例

表1给出不同特征在LFW数据集上的识别率，从表中可以看出经过LBP和HOG融合以后的特征识别率有了较大的提升。另外，由于融合特征前进行了降维，因此融合特征的时间性能与单一特征基本一致。

表1 LFW数据集上不同特征的性能比较%

3.2 FRET数据集

FRET人脸数据库包括14 051个不同光照、姿态、表情、摄像机下的灰度人脸图片，分为训练集fa和测试集（fb，fc，dup1，dup2），具体的图片参数如表2所示。图3给出FRET人脸库的人脸示例。

表2 FRET数据库参数识别说明

图3 FRET人脸库图片

为了验证本文所提方法的有效性，给出HOG特征［6］、LBP特征［4］和融合特征在FRET测试集上的识别性能，如表3所示，其中，HOG特征和LBP特征的具体参数与相应的参考文献一致。从表3可以看出，虽然HOG特征和LBP特征适用于不同的测试集合，但融合特征兼顾2种特征的优点，在4个测试集上均取得较优的结果，且明显优于单一特征。

表3 FRET数据集上不同特征的识别性能比较%

表4给出LBP、HOG、融合特征的特征提取时间性能对比，图像分辨率为80×64。从表中可以看出，LBP和HOG的特征提取时间基本在相同量级，但是融合特征经过PCA和LDA降维以后，计算复杂度下降，时间性能也略微提升。

表4 FRET数据集上的时间性能对比m s

4 结束语

本文提出基于HOG和LBP特征融合的人脸识别方法，给出了2种特征提取方法及特征融合策略，充分考虑了不同特征之间的特点，计算速度较快。经降维后，计算复杂度下降，时间性能也有所提升，2个大规模人脸数据集上取得了良好的识别性能。后续工作将考虑更多的特征融合，以改进融合策略，并更好地应用于复杂人脸识别问题上。

［1］ Mohammed A A，Minhas R，Wu J，et al.Hum an Face Recognition Based on Multidimensional PCA and Extrem e Learning Machine［J］.Pattern Recognition，2011，44（10）：2588-2597.

［2］ Lu Guifu，Zou Jian，Wang Yong.Incremental Complete LDA for Face Recognition［J］.Pattern Recognition，2012，45（7）：2510-2521.

［3］ Perez C A，Cament L A，Castillo L E.Methodological Improvement on Local Gabor Face Recognition Based on Feature Selection and Enhanced Borda Count［J］.Pattern Recognition，2011，44（4）：951-963.

［4］ Ahonen T，Hadid A，Pietikäinen M.Face Recognition with Local Binary Patterns［M］.Berlin，Germany：Springer，2004：469-481.

［5］ Krizˇaj J，Sˇtruc V，Pavesˇic′N.Adaptation of SIFT Features for Robust Face Recognition［C］//Proceedings of the 7th International Conference on Image Analysis and Recognition.Berlin，Germany：Springer，2010：394-404.

［6］ M eyers E，W olf L.Using Biologically Inspired Features for Face Processing［J］.International Journal of Computer Vision，2008，76（1）：93-104.

［7］ Dalal N，Triggs B.Histograms of Oriented Gradients for Human Detection［C］//Proceedings of International Conference on Computer Vision and Pattern Recognition. Washington D.C.，USA：IEEE Press，2005：886-893.

［8］ Chen Dong，Cao Xudong，W ang Liwei，et al.Bayesian Face Revisited：A Joint Formulation［C］//Proceedings of European Conference on Computer Vision.Berlin，Germ any：Springer，2012：566-579.

［9］ Martínez-Contreras F，Orrite-Urun～uela C，Martínez-del-Rincón J.Adaboost Multiple Feature Selection and Combination for Face Recognition［C］//Proceedings of the 4th Iberian Conference on Pattern Recognition and Im age Analysis.Berlin，Germany：Springer，2009：338-345.

［10］ Wolf L，Hassner T，Taigman Y.Similarity Scores Based on Background Sam p les［C］//Proceedings of Asian Conference on Computer Vision.Berlin，Germany：Springer，2010：88-97.

［11］ Zhao Quanyou，Pan Baochang，Pan Jianjian，et al.Facial Expression Recognition Based on Fusion of Gabor and LBP Features［C］//Proceedings of International Conference on Wavelet Analysis and Pattern Recognition.Washington D.C.，USA：IEEE Press，2008：362-367.

［12］ 苏 煜，山世光，陈熙霖，等.基于全局和局部特征集成的人脸识别［J］.软件学报，2010，21（8）：1849-1862.

［13］ 朱玉莲，陈松灿.特征采样和特征融合的子图像人脸识别方法［J］.软件学报，2012，23（12）：3209-3220.

［14］ 王科俊，邹国锋.基于子模式的Gabor特征融合的单样本人脸识别［J］.模式识别与人工智能，2013，26（1）：50-56.

［15］ 张 强，戚 春，蔡云泽.基于判别改进局部切空间排列特征融合的人脸识别方法［J］.电子与信息学报，2012，34（10）：2396-2401.

［16］ Cao Zhim in，Yin Qi，Tang Xiaoou，et al.Face Recognition with Learning-based Descriptor［C］//Proceedings of International Conference on Computer Vision and Pattern Recognition.Washington D.C.，USA：IEEE Press，2010：2707-2714.

编辑 顾逸斐

Face Recognition Method Based on HOG and LBP Feature

SUN Yu1，LIU Guiquan2
（1.Department of Inform ation Engineering，Anhui Vocational and Technical College，Hefei 230051，China；2.College of Computer Science and Technology，University of Science and Technology of China，Hefei230011，China）

Due to complex environment of face recognition and limited express ability of single feature，a face recognition method based on Histogram of Oriented Gradient（HOG）and Local Binary Pattern（LBP）feature fusion is proposed.HOG and LBP features are extracted，and Principal Component Analysis（PCA）and Linear Discriminant Analysis（LDA）method is used to dimensionality reduction.Detection results are captured by feature fusion strategies. Experimental results on the face database show that the feature fusion method can not only get better recognition performance but also im prove recognition speed compared with single feature.

face recognition；Histogram of Oriented Gradient（HOG）feature；Local Binary Pattern（LBP）feature；feature fusion；recognition rate

孙 玉，刘贵全.基于HOG与LBP特征的人脸识别方法［J］.计算机工程，2015，41（9）：205-208，214.

英文引用格式：Sun Yu，Liu Guiquan.Face Recognition Method Based on HOG and LBP Feature［J］.Computer Engineering，2015，41（9）：205-208，214.

1000-3428（2015）09-0205-04

A

TP391.41

10.3969/j.issn.1000-3428.2015.09.038

国家自然科学基金资助项目（61073110）；安徽省教育厅重点教研基金资助项目（2012 jyxm722）。

孙 玉（1984-），男，副教授、硕士，主研方向：数据挖掘，人工智能；刘贵全，副教授、博士研究生。

2014-09-23

2014-10-22 E-m ail：sunyu127@163.com