基于综合特征的单样本人脸特征提取

高　涛，薛国伟，倪　策，冯兴乐

(长安大学　信息工程学院，陕西　西安　710072)

基于综合特征的单样本人脸特征提取

高涛，薛国伟，倪策，冯兴乐

(长安大学信息工程学院，陕西西安710072)

摘要：为了有效地提取单训练人脸样本的特征，提出了一种新的人脸局部特征描述方法，改进了局部二进制模式的方向性描述单一的问题，并且加入了像素间变化趋势幅度的描述，称之为局部综合模式(Local Comprehensive Patterns, LCP)。首先对人脸样本图像进行分块，然后每个的分块子图像进行改进LCP算子运算；其次考虑到每个子块的特征对整幅人脸图像的贡献度不一致，提出了贡献度图谱(Contribution Map, CM)；最后根据贡献度图谱对每个子块的改进LCP描述进行自适应加权融合形成最终的人脸描述特征，最后在ORL和Yale B库上进行了有效性的测试，与现有的多种算法进行比对，所提出的算法对于非限定环境下人脸的识别有良好的效果。

关键词：人脸识别；局部二进制模式；局部综合模式；自适应加权局部模式

人脸特征提取方法已经取得非常好的成果，综合起来可以分为局部和全局描述方法。全局特征提取方法包括主分量法[1]、独立分量法[2]、线性判别分析[3]等，本类方法容易受光照和表情变化等影响，尤其对单样本人脸的描述效果更差，针对以上问题，局部特征提取方法开始收到关注，其中具有代表性的有SIFT[4]、LBP[5-11]、LDP[12]和Gabor[13]等。OjalaT在2001年提出局部二进模式LBP[5]后，LBP已广泛应用于纹理分类[6]、人脸图像分析[7-10]和医学图像等领域[12]。为了解决LBP算子不能描述较大尺度的特征以及对噪声敏感等问题，Ojala给出了LBP改进算法均匀模式LBP[6]，X.Tan进一步提出了一种LBP的扩展模型LTP[11]，该模型对于每个像素的描述不局限于二进制，而是引入了三进制。以上的局部算法并没有考虑到计算多进制模式的方向性，Zhang于2010年提出了具有方向性的二进制模式LDP[12]，取得了比以往的LBP改进算法更优良的描述性能，但是该算法仅仅考虑到了0°、45°、90°和135°四个方向，没有进行全方向的描述，并且没有考虑每个方向的变化幅度。基于以上的分析，本文给出一种新的单样本人脸特征提取方法，该方法是对LBP算法的改进，能够更加细节的描述人脸的纹理信息，并且考虑到了每个分块的重要程度。

1基于自适应加权扩展LCP的单样本

人脸描述

1.1图像分块

设样本图像为M，维数为M×N，考虑到眼睛、鼻子、嘴巴等等对人脸识别起到重要作用的部位是横向分布的，采用横向分块。设块数为q，则

(1)

设Q=M/q,Xi1(i=1,2，…，q)的维数是Q×N。

1.2LCP模式描述

LCP模式包括方向导数模式(DirectionsDerivativePatterns，DDP)和方向变化幅度模式DMP，下面分别给出具体定义。

定义1：n次方向导数模式(norderDDP)DDP(n)(X0)：表征中心像素点和具各个方向相邻像素n次方向导数模式，DDP(1)(X0)表示像素点X0的1次DDP。

如图2所示，设样本图像为X，X0是样本图像局部子块的中心像素，Xa(a=1,2,3,…,8)表示中心像素点X0的邻域像素。

(2)

θ=0°,45°,…，315°

(3)

DDP(1)(X0)则表示为

(4)

f(x,y)的定义为

(5)

显而易见，DDP(0)(X0)是基础的LBP算子。

i=1,2,…，8，θ=0°,45°,…，315°

(6)

(7)

定义3：n次方向变化幅度模式(DMP)DDP(n)(X0)：表征中心像素点和它各个方向相邻像素n次变化幅度的趋势。

θ=0°,45°,…,315°

(8)

式中：|·|表示绝对值计算符号。

DDP(1)(X0)定义为

(9)

i=1,2,…，8

(10)

于是就得到了DDP(n)(X0)的表示

(11)

定义5：n次局部综合模式(LCP)LCP(n)(X0)：n次方向导数模式和n次方向变化幅度模式的融合，具体的表示如下

LCP(n)(X0)={DDP(n)(X0),DMP(n)(X0)}

(12)

1次LCP运算示例如图1所示。

图1　1次LCP运算示例

1.3基于局部纹理贡献度的自适应加权

对于一个维数为M×N，灰度级别为m的数字图像f(x,y)，图像的熵定义为

(13)

如果将图像分块，每个字块图像的信息熵不仅可以表示该字块的信息量还可以表示该字块细节纹理的丰富程度。基于L.Nanni[14]图像信息熵模式，局部信息熵定义为

LH(i,j)=H(F(i,j)w)

(14)

H(·)为图像熵；w是滑动窗口尺寸；F(i,j)是以(i,j)为中心的块，F(i,j)w定义为

F(i,j)w={f(x,y)|x∈[i-w/2,i+w/2-1],

y∈[i-w/2,i+w/2-1]}

(15)

定义6：局部纹理贡献度CM：表征子块图像对整幅的图像的纹理贡献程度。

分块后子图像的纹理贡献度可定义为

(16)

(x+(i-1)×q,y)是第i个子块中(x,y)的值，q是总的分块数目。

2试验结果和分析

主要将算法应用于ORL、YALEB库，ORL主要测试表情变化和部分遮挡，YALEB库测试对于光照的不变性。试验中主要对比的算法如表1所示。

表1比较的算法及缩写 %

AbbreviationFullNameLBPBasicLBPfeatureLBP1LBP(8,1)featureLBP2LBP(16,2)featureLTPLTPfeatureLDP2the2orderLDPsfeatureLDP3the3orderLDPsfeatureLCP1the1orderLCPsfeatureLCP2the2orderLCPsfeatureAWLCP1theadaptivelyweighted1orderLCPsfeatureAWLCP2theadaptivelyweighted2orderLCPsfeatures

2.1ORL库上试验

ORL人脸库包括40个人，每个人10幅人脸，具有不同的表情、有无眼镜等变化。从每人的10幅图像中取1幅作为训练样本测试的结果如表2和图2所示。显而易见，AWELB方法的识别率要高于其他几种方法，基本的LBP方法的识别率最低，主要原因在于基本的LBP算子不能很好地描述较大尺度的特征并且对表情的变化非常敏感；LBP1、LBP2和LTP识别率比LDP和LCP低，主要原因可以归结为LDP和LCP算子考虑到了局部特征的方向性，能够多方位地描述局部特征；AWLCP的识别率高于两种LDP方法，主要因为一方面LCP比LDP的方向描述更加全面，并且考虑到了方向幅度变化的趋势，另一方面每个子块给出了重要程度的描述。分块试验中16块时识别率最高，因为分块过多或者过少，都会陷于细节或者失去细节。图2所示为1次AWLCP和2次AWLCP模式随分块变化的示意图。

表2　ORL库表情变化状况下识别率　%

图2　ORL库表情变化下AWLCP识别率随分块变化图

2.2Yale B库上试验

测试为YaleB库的部分数据，共10个人，每人100张照片，每人随机取1幅图像作为训练，试验的结果如表3和图3所示。通过表3，AWLCP方法的识别率要高于其他几种方法，主要原因和上述ORL库类似，总体识别率都比ORL库要低，主要是复杂光照会对识别率有影响。图3所示为1次AWLCP和2次AWLCP模式随分块变化的示意图，当块数为16时，识别率能达到最高。

表3　YALE B库复杂光照状况下识别率　%

图3　YALE B库复杂光照下AWELBP识别率随分块变化图

3总结

针对目前缺乏训练样本时大多数现有的算法无法达到很好效果的问题，提出了自适应局部综合特征加权的单样本人脸特征提取方法，该算法在ORL和YaleB人脸库上对部分遮挡、表情变化、光照变化等环境进行测试，并且与LBP、LBP1、LBP2、LTP、LDP1和LDP2进行比较，结果如下：

1)LCP在分块为4、8、16、32和64的条件下，以ORL库表情变化人脸为测试集，平均识别率比LBP、LTP和LDP分别提高21.39%、19.18%和8.95%；以ORL库部分遮挡人脸为测试集，平均识别率比LBP、LTP和LDP分别提高10.2%、15.9%和5.18%。

2)LCP在分块为4、8、16、32和64的条件下，以YALE库表情变化人脸为测试集，平均识别率比LBP、LTP和LDP分别提高27.07%、21.82%和15.94%；以YALE库部分遮挡人脸为测试集，平均识别率比LBP、LTP和LDP分别提高23.23%、14.91%和10%。

3)LCP在分块为4、8、16、32和64的条件下，以YALEB库复杂光照人脸为测试集，平均识别率比LBP、LTP和LDP分别提高24.48%、23.61%和0.98%。

结果表明该算法对于单样本人脸的描述取得了良好的效果。

参考文献：

[1]KUSUMAGP，CHUAC-S.PCA-basedimagerecombinationformultimodal2D+3Dfacesrecognition[J].Imageandvisioncomputing， 2011， 29(5)： 306-316.

[2]KUOS-C，LINC-J，LIAOJ-R. 3Dreconstructionandfacerecognitionusingkernel-basedICAandneuralnetworks[J].Expertsystemswithapplications， 2011， 38(5)： 5406-5415.

[3]KOM，BARKANAA.AnewsolutiontoonesampleprobleminfacerecognitionusingFLDA[J].Appliedmathematicsandcomputation， 2011， 217： 10368-10376.

[4]GENGCong，JIANGXudong.Facerecognitionbasedonthemulti-scalelocalimagestructures[J].Patternrecognition， 2011， 44(11)： 2565-2575.

[5]OJALAT，PIETIKAINENM，MAENPAAT.Lecturenotesincomputerscience[M].Heidelberg：Springer， 2001.

[6]OJALAT，PIETIKAINENM，MAENPAAT.Multiresolutiongray-scaleandrotationinvarianttextureclassificationwithlocalbinarypatterns[J].IEEEtransactionsonpatternanalysisandmachineintelligence， 2002， 24(7)： 971-987.

[7]WANGWei，HUANGFeifei.FacedescriptionandrecognitionbyLBPpyramid[J].Journalofcomputeraideddesign&computergraphics， 2009， 21(1)： 94-100.

[8]QIANXM，HUAXS，CHENP，etal.Aneffectivelocalbinarypatternstexturedescriptorwithpyramidrepresentationpatternrecognition[J].Patternrecognition，2011(44)： 2502-2515.

[9]GAOZS.FacerecognitionusingfusionofCartesiandifferentialinvariantandLBP[J].Journalofoptoelectronics·laser， 2010， 21(1)： 112-115.

[10]BONGJJ，KIMT，KIMD.Acompactlocalbinarypatternusingmaximizationofmutualinformationforfaceanalysis[J].Patternrecognition， 2011(44)： 532-543.

[11]TANX，TRIGGSB.Enhancedlocaltexturefeaturesetsforfacerecognitionunderdifficultlightingconditions[J].IEEEtransactionsonimageprocess， 2010， 19(6)： 1635-1650.

[12]ZHANGB，GAOY，ZHAOS，etal.Localderivativepatternversuslocalbinarypattern：facerecognitionwithhigher-orderlocalpatterndescriptor[J].IEEEtransactionsonimageprocess， 2010， 19(2)： 533-544.

[13]KANANHR，FAEZK.Recognizingfacesusingadaptivelyweightedsub-gaborarrayfromasinglesampleimageperenrolledsubject[J].Imageandvisioncomputing， 2010(28)： 438-448.

Singlesamplefacerecognitionusingadaptivelyweightedlocalcomprehensivepatterns

GAOTao，XUEGuowei,NICe，FENGXingle

(School of Information Engineering, Chang’an University, Xi’an, 710072，China)

Abstract：It is urgent to deal with single sample problem in the real-world application. A novel method for face description with single sample by adaptively weighted local comprehensive patterns (AWLCP) is presented. It computes the relationship between the referenced pixel and its neighbors by encoding gray-level difference based on high orders direction derivatives patterns and the direction magnitude patterns, which can extract more detailed discriminating information. The proposed algorithm utilizes local comprehensive patterns to represent faces partitioned into sub-patterns. Especially, in order to perform matching in the sense of the richness of identity information and to handle the partial occlusion problem, the proposed algorithm employs an adaptively weighting map to weight the Sub-LCP (SELCP) extracted from local areas based on the contribution of each sub-pattern to the final similarity measurement. Simulated experiments and comparisons on a subset of Yale face databases, a subset of Yale B face databases and ORL face databases under ideal condition, different illumination condition, different facial expression and partial occlusion show that the proposed algorithm is an outstanding method for single sample face recognition.

Key words：face recognition; local binary patterns; local comprehensive patterns; adaptively weighted extended local comprehensive pattern

基金项目：国家自然科学基金项目(61302150)；中国博士后科学基金项目(2014M562356)；陕西省协同创新计划项目(2014XT-03)

中图分类号：TP391

文献标志码：A

DOI：10.16280/j.videoe.2016.04.024

作者简介：

高涛(1980— )，副教授，硕士生导师，本文通讯作者，主要研究方向为图像处理、传感器测试、模式识别。

责任编辑：闫雯雯

收稿日期：2015-07-24

文献引用格式：高涛，薛国伟，倪策，等.基于综合特征的单样本人脸特征提取[J].电视技术，2016，40(4)：115-120.

GAOT，XUEGW,NIC，etal.Singlesamplefacerecognitionusingadaptivelyweightedlocalcomprehensivepatterns[J].Videoengineering，2016，40(4)：115-120.