基于光照归一化分块自适应LTP特征的人脸识别

白小叶，程 勇，曹雪虹,

(1.南京邮电大学 通信与信息工程学院，江苏 南京 210003；2.南京工程学院 通信工程学院，江苏 南京 211167)

基于光照归一化分块自适应LTP特征的人脸识别

白小叶1，程 勇2，曹雪虹1,2

(1.南京邮电大学 通信与信息工程学院，江苏 南京 210003；2.南京工程学院 通信工程学院，江苏 南京 211167)

针对复杂光照人脸识别的问题，文中提出一种基于光照归一化分块自适应阈值局部三值模式(Adaptive Threshold Local Ternary Pattern，ATLTP)的人脸识别算法。该方法首先对人脸图像进行光照归一化预处理，消除大部分光照影响；然后对处理后的人脸图像进行ATLTP特征提取。为了更有效地表征人脸特征，进一步将ATLTP特征矩阵划分为大小相等的子块，并对各个子块进行ATLTP特征直方图统计，最后将所有子块的直方图连接起来，构成整幅人脸图像的鉴别特征。根据最近邻准则进行分类识别，在Extended Yale B人脸库和CMU PIE人脸库上的实验结果表明，所提算法可以有效提高复杂光照人脸识别的性能。

人脸识别；光照归一化；自适应阈值；局部三值模式；分块直方图

0 引 言

人脸识别技术已经被广泛应用于智能监控、身份验证、人机交互等领域。在实际应用系统中，光照变化是影响人脸识别系统性能的一个关键因素，光照的变化使面部特征成像存在差异。当前技术条件下即使最好的人脸识别系统，其识别性能也会随着光照变化急剧下降[1]。国内外研究者们一直在寻求解决光照变化下的人脸识别问题，提出了很多方法，大致分为光照归一化方法以及光照不变量提取方法[2]。

光照归一化方法是指利用基本的图像处理技术对图像进行预处理，以获取鲁棒的光照图像。典型的人脸光照归一化方法包括基于视网膜模型[3]、同态滤波及有向局部直方图均衡化[4]等。这些方法的共同特点是通过灰度变换调整图像中灰度的分布，从而间接地校正人脸图像中不均匀的光照分布，消除大部分光照影响，保留更多的人脸细节特征。

光照不变量提取方法是指从人脸图像中提取出不随光照变化或变化较小的图像特征[5]。主要方法包括自商图像[6]、梯度脸[7]、对数全变差模型(Logarithm Total Variation，LTV)[8-9]和局部二值模式(Local Binary Pattern，LBP)[10]等。2006年，Ahonen等[11]将LBP应用于人脸识别中，并取得了不错的效果。2010年，Tan[12]等在LBP算法的基础上，提出了LTP算法，取得了比LBP算法更好的效果。

文中提出一种基于光照归一化ATLTP特征与分块直方图统计相结合的方法。该方法首先对人脸图像进行对比度增强处理。由于LTP算子阈值是经验值，不适用于所有人脸库，因此引入自适应阈值计算方法，对处理后的图像提取ATLTP特征。为了能够有效地表征图像全局特征，将ATLTP特征矩阵分为大小相等的子块，分别统计每个子块特征的直方图分布。最后将所有子块直方图连接起来，并根据最近邻准则分类识别。ATLTP特征包含了更准确的纹理信息，而分块直方图统计特征能够有效描述人脸特征结构信息，二者互补可以更全面地表示人脸特征。

1 光照归一化

2007年，Tan等[13]提出了一个简单高效的光照预处理链，消除一部分光照影响以便于后续特征提取。

1.1 伽玛校正

伽玛校正就是对图像的伽玛曲线进行编辑，以对图像进行非线性色调编辑，检出图像信号中的深色部分和浅色部分，使用伽玛变换来压缩高灰度值，同时扩展低灰度值，从而提高图像对比度效果，减小光照对人脸图像的影响。伽玛校正公式如下：

(1)

其中：Iin为输入图像的原始灰度值；Iout为校正后的灰度值；maxgray为输入图像的最大灰度值；系数γ的值决定了变换后图像的灰度值范围，系数γ默认情况下取值为0.2。

1.2 高斯差分滤波

伽玛校正能在一定程度上改善对比度效果，但是对于人脸边缘阴影区域的处理仍不理想。高斯差分滤波器作为一种带通滤波器，可以用来提取人脸边缘信息，进一步消除光照对人脸边缘区域的影响。高斯差分滤波器对图像I(x,y)滤波结果如下所示：

(2)

(3)

其中，式(2)表示高斯差分滤波器，式(3)表示用高斯差分滤波器对图像做滤波处理的结果。其中，当σ1大于σ2时，高斯差分滤波器就相当于一个带通滤波器。σ1和σ2默认情况下分别取值为2和1。

1.3 对比度均衡

在经过伽玛校正与高斯差分滤波后，人脸图像中仍然会存在少量突出亮点。为了减少这些亮点对人脸识别的影响，对图像的对比度进行均衡化处理。对比度均衡处理主要包括两个步骤：首先对伽玛校正后的图像进行灰度值压缩，减少高灰度值的影响；然后进一步对归一化后图像的高灰度值进行截断操作。相应处理公式如下所示：

(4)

其中：α是图像灰度值的压缩系数；τ是阈值，用式(4)进行灰度值变换后的截断值；mean(·)为均值函数。文中默认α=0.1，τ=10。

图1给出了预处理链处理后的效果图。

图1 光照归一化效果图

从图中可见，相比原始图像，使用预处理链处理后，消除了大部分光照影响，保留了更多的人脸细节。

2 分块ATLTP

2.1 ATLTP特征提取

2.1.1 LTP算子

LTP继承了LBP对光照不敏感的优点，并且本身算子自定义的一个阈值在一定程度上能够均衡复杂光照引起的亮光、高光的灰度值。LTP算子在LBP算子0、1二值模式的基础上增加一个-1值构成三值模式，并且设置一个宽度为t的邻域范围。邻域像素gp与中心像素gc的差值若大于t，则被量化为1；若小于-t则被量化为-1；在[-t,t]范围内则被量化为0。如果三值模式由s(u)表示，则LTP的定义如下：

(5)

其中：gc表示区域内中心位置处的灰度值；gp表示均匀分布在中心处半径为R的圆周上P个采样点的灰度值。

LTP编码的计算公式为：

(6)

2.1.2 自适应阈值

根据LTP定义可知，其三值模式是由邻域内不同像素点与中心像素点的对比度值(gp-gc)与阈值t作比较得出的。但是由于对比度值(gp-gc)不同，因此，可以根据对比度值之间的离散程度确定一个合适的阈值，增强LTP特征对剧烈光照变化等因素的不敏感性。

标准差反映了整个样本变量的分散程度。样本标准差小，说明样本变量的分布比较密集，在平均数附近，否则，表明样本的分布比较离散[14]。一个邻域内对比度值的离散程度可以用标准差反映，因此，可将邻域内对比度值的标准差作为该邻域的阈值。在(P,R)邻域内，计算每个邻域像素点与中心像素点的对比度值以及这些对比度值的标准差σ，并将σ作为该邻域LTP算子的阈值。阈值公式为[14]：

(7)

其中:

Δgp=gp-gc

(8)

(9)

式(8)表示对比度值，式(9)表示邻域内P个对比度值的平均值。

2.1.3ATLTP特征编码

不同邻域有不同的阈值t,对比度值在区域[-t，t]之间为0,在区域[t，∞]为1，在区域[-∞，t]内为-1，则三值化操作过程如图2所示。

图2 图像三值化

为了消除LTP编码过程中生成的负数部分，将LTP编码计算过程分解为上半部分(LocalTernaryUpperPattern，LTUP)和下半部分(LocalTernaryLowerPattern，LTLP)。LTUP的编码中-1部分由0代替，LTLP的编码中1的部分由0代替并且-1部分由1代替。接下来，每个部分的0和1编码再利用LBP进行单独编码即加权处理，得到两幅加强不同属性的纹理图像。编码过程如图3所示[15]。

图3 LTUP和LTLP编码过程

基于阈值为5的LTP特征提取后的纹理图像和基于ATLTP特征提取后的纹理图像如图4所示。从图中可看出，图(c)相对于图(b)具有更多的、更加精细的纹理分布。

图4 纹理图像

2.2 分块直方图

ATLTP特征对于图像局部纹理变化具有较高的鉴别性，而直方图能够有效描述图像特征的结构信息，但直接对整个图像的特征矩阵统计直方图分布会丢失很多结构上的细节。为了能够有效地表征图像全局特征，将ATLTP特征矩阵进一步划分为若干不重叠且大小相等的矩形子块，分别计算每个子块区域内特征的直方图分布，最后将所有直方图分布联合起来构成人脸鉴别特征。直方图每个条柱代表相应特征在子块中出现的次数，一个子块所对应的直方图，反映了这一局部区域内整体灰度变化。

2.3 算法步骤

针对复杂光照条件下的人脸识别，文中提出了一种ATLTP特征提取与分块直方图统计特征相结合的人脸识别算法。具体步骤如下：

步骤1：对人脸图像进行光照归一化；

步骤2：提取人脸图像的ATLTP特征；

步骤3：将ATLTP特征矩阵分块并统计每块直方图分布；

步骤4：将每块直方图特征进行串联融合；

步骤5：通过最近邻分类器的判别，统计识别率。

3 实验结果及分析

3.1 在Extended Yale B人脸库上的实验

为了验证文中算法的性能，接下来在Extended Yale B人脸库中进行了人脸识别实验。Extended Yale B人脸库是光照和姿态变化的典型人脸库，共包括38人，每人576种条件(9种姿态×64种光照)下的共计21 888幅图像。由于文中只研究人脸的光照问题，因此在实验中，仅仅使用正面姿态下的人脸图像。根据光照入射角度的不同，人脸库可分为5个子集：子集1为入射光线角度≤12°；子集2为入射光线角度13°～25°；子集3为入射光线角度26°～50°；子集4为入射光线角度51°～77°；子集5为入射光线角度>77°。

在Extended Yale B人脸库上做两组实验。首先测试ATLTP特征矩阵的分块数目对实验结果的影响。实验过程中，图像ATLTP特征矩阵大小为128×128，分别分成1×1、2×2、4×4、8×8、16×16、32×16、32×32、64×64子块；然后分别统计特征矩阵每个子块的直方图特征，并将统计的各子块直方图特征串联融合成图像整体直方图特征；最后根据最近邻准则进行分类识别。经实验验证，当分块数目为32×16时，识别率最高。

为了测试所提算法的识别性能，在Extended Yale B人脸库上，子集1和子集5分别作为训练集，相应的其他4个子集作为测试集。此时，将文中ATLTP特征矩阵的分块数目都设置为32×16，在Extended Yale B人脸库中各种方法的实验结果如表1和表2所示。

表1 子集1作训练集的识别率 %

表2 子集5作训练集的识别率 %

由实验结果可以看出，在各个子集上文中方法识别率高于LTP、ATLTP、Gradientfaces方法的识别率，且ATLTP识别率高于LTP识别率，从而证明了文中方法特征提取的全面性和有效性。尤其当光照变化大的子集5作为训练集时，更能体现出文中算法的强鲁棒性。

3.2 在CMU PIE人脸库上的实验

CMU PIE人脸库包含68个人共计41 368张含有姿态变化、光照变化和表情变化的人脸图像。CMU PIE人脸库已成为测试姿态问题、光照问题的人脸识别算法性能的重要人脸库。CMU PIE人脸库的人脸图像大小为640×480，图像经裁剪图片大小调整为64×64。

文中为测试光照变化时的算法性能，选择正脸，无表情变化下不同光照情况的人脸图像做实验。在CMU PIE人脸库上，随机选取1幅，2幅，3幅，4幅和5幅人脸图像作训练，其余的20幅、19幅、18幅、17幅和16幅人脸图像用于测试，每种随机选择方法重复执行5次并取均值作为最后的识别率。在CMU PIE人脸库中各种方法的实验结果如表3所示。

表3 随机选取几幅图像作训练集的识别率 %

在CMU PIE人脸库的实验中可以看到，随着训练样本数量的增加，算法的识别率也趋于稳定，尤其在训练样本较少的情况下，更能体现出文中算法的优越性。

4 结束语

文中提出一种基于光照归一化ATLTP特征与分块直方图统计相结合的方法。采用的光照归一化方法能够很大程度上消除复杂光照变化对人脸识别的影响，利用ATLTP算法提取纹理细节特征，并结合分块直方图统计特征的方法，使所提取的ATLTP特征比较全面且具有较强的鉴别能力。在Extended Yale B人脸库和CMU PIE人脸库上的实验结果表明，与其他方法相比，所提算法可以有效提高复杂光照条件下的人脸识别准确率。

[1] Phillips P J,Scruggs W T,O’Toole A J,et al.FRVT 2006 and ICE 2006 large-scale experimental results[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(5):831-846.

[2] 范春年.人脸识别中光照处理算法研究[D].南京:南京大学,2011.

[3] Meylan L,Alleysson D,Susstrunk S.Model of retinal local adaptation for the tone mapping of color filter array images[J].Journal of Optical Society of America A,2007,24(9):2807-2816.

[4] Lee P H,Wu S W,Hung Y P.Illumination compensation using oriented local histogram equalization and its application to face recognition[J].IEEE Transactions on Image Processing,2012,21(9):4280-4289.

[5] 程 勇.人脸识别中光照不变量提取算法研究[D].南京:南京理工大学,2010.

[6] Shashua A,Riklin-Raviv T.The quotient image: class-based re-rendering and recognition with varying illumination[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(2):129-139.

[7] Zhang Taiping,Tang Yuanyan,Fang Bin,et al.Face recognition under varying illumination using gradientfaces[J].IEEE Transactions on Image Processing,2009,18(11):2599-2606.

[8] Chen T,Yin W,Zhou X S,et al.Total variation models for variable lighting face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(9):1519-1524.

[9] Zhang Taiping,Tang Yuanyan,Fang Bin,et al.Multiscale facial structure representation for face recognition under varying illumination[J].Pattern Recognition,2009,42(2):251-258.

[10] Ojala T,Pietikäinen M,Mäenpä T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[11] Ahonen T,Hadid A,Pietikäinen M.Face description with local binary patterns:application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(12):2037-2041.

[12] Tan X,Song S,Zhou Z H,et al.Enhanced local texture feature sets for face recognition under difficult lighting conditions[J].IEEE Transactions on Image Processing,2010,19(6):1621-1628.

[13] Tan Xiaoyang,Triggs B.Enhanced local texture feature sets for face recognition under difficult lighting conditions[J].Lecture Notes in Computer Science,2007,4778:168-182.

[14] 高连如,张 兵,张 霞.基于局部标准差的遥感图像噪声评估方法研究[J].遥感学报,2007,11(2):201-208.

[15] 李德宁.改进型LTP特征提取算法在人脸识别中的研究与应用[D].哈尔滨:哈尔滨理工大学,2012.

Face Recognition Based on Illumination Normalization and Block-based Adaptive Local Ternary Pattern

BAI Xiao-ye1,CHENG Yong2,CAO Xue-hong1,2

(1.College of Communications and Information Technology,Nanjing University of Posts and Telecommunications,Nanjing 210003，China；2.School of Communication Engineering,Nanjing Institute of Technology,Nanjing 211167,China)

To solve the problem of face recognition under complex illumination,an effective face recognition method based on illumination normalization and block-based Adaptive Threshold Local Ternary Pattern (ATLTP) is proposed.It first performs illumination normalization,and eliminates most of the light effects on face images.Then ATLTP features are extracted from the processed face images.To represent the face features effectively,the feature matrix is divided into several units,and the histogram of each unit is computed and combined as facial features.According to the nearest neighbor principle for face recognition,the experiment on Extended Yale B face databases and CMU PIE face databases demonstrates that significant recognition rate can be achieved under the complex illumination conditions by the proposed method.

face recognition;illumination normalization;adaptive threshold;local ternary pattern;block histogram

2015-07-25

2015-10-27

时间：2016-05-05

江苏省自然科学基金(BK20131342)

白小叶(1990-),女,硕士,研究方向为现代通信中的智能信号处理；程 勇,副教授,博士,研究方向为图像处理与模式识别；曹雪虹,教授,博导,研究方向为现代通信中的智能信号处理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160505.0817.052.html

TP391

A

1673-629X(2016)05-0056-05

10.3969/j.issn.1673-629X.2016.05.012