基于朗伯反射模型的光照估计及鲁棒人脸识别

韩袁琛，程 勇

(南京工程学院 通信工程学院，江苏 南京 211167)

基于朗伯反射模型的光照估计及鲁棒人脸识别

韩袁琛，程 勇

(南京工程学院 通信工程学院，江苏 南京 211167)

复杂光照下的人脸识别是模式识别领域一个具有挑战性的问题。通过光照估计提取光照不变量是解决该问题的一种有效方法。在研究朗伯图像获取模型的基础上，提出一种有效的光照估计模型。该模型能够从复杂光照图像中更准确地估计光照，提取光照不变量。Yale B+复杂光照人脸库的实验结果表明所提算法能够提取更为鲁棒的光照不变量，识别性能优于当前的先进方法。

光照估计模型；光照不变量；朗伯反射模型；人脸识别

在数字图像获取过程中，轻微的光照变化会导致同一目标的图像信号产生较大差异，增加了图像分析和模式识别的难度。自FERET 1996和FRVT 2000的测试结果表明光照变化严重影响人脸识别系统的性能后，复杂光照问题引起了国内外图像处理与模式识别研究机构的广泛关注，特别是最近几年，已成为人脸识别技术的一个研究热点。

目前，为了有效地消除复杂光照对人脸识别性能的影响，国内外学者已经提出了诸多方法。其中，从复杂光照人脸图像中提取光照不变量是一类经典、有效的方法。过去，为了从乘性模型中分离出光照不变量和成像光源，首先假设光照不变量快速变化，成像光源缓慢变化，然后采用低通滤波实施光照估计间接提取光照不变量。该类方法可以分为直接和间接两种模式提取光照不变量。直接模式是指从人脸图像中提取高频特征作为光照不变量，有效高频特征主要包括：梯度特征[1-2]、纹理特征[3-4]和变换域高频特征[5-8]。间接模式是指先从人脸图像中估计出光照，再实施光照和人脸本征的分离，提取光照不变量。有效的光照估计方法主要包括：高斯滤波[9]、加权各向异性高斯滤波[10]、对数全变差[11]和变换于平滑滤波[12]。

虽然这些方法在复杂光照人脸识别中已经取得了一定的进展，但仍具有局限性。一方面，假设人脸的光照不变特征快速变化具有一定的狭隘性。因为人脸大部分区域内的光照不变特征，如眉毛、瞳孔、痣和皮肤都是缓慢变化的，只有区域之间才存在光照不变特征快速变化。另一方面，当前的低通滤波、平滑滤波和去噪模型从获取图像低频信息的角度估计光照(模糊的图像)，包含了过多的人脸本征信息，仅能满足光照缓慢变化的特性，忽略了图像成像模型的特性，与图像光照没有直接的关联。为了弥补以往算法的不足，本文在研究朗伯反射模型的基础上，不再假设人脸本征的频率特性，提出了一种新的光照估计模型，能够更加准确地从人脸图像中估计光照，提取更加鲁棒的光照不变量。

1 本文算法

1.1 朗伯反射模型

图像是指目标物体表面反射到图像获取传感器上形成的光线强度的度量。朗伯反射模型作为经典的可见光图像成像模型，被广泛应用于复杂光照人脸识别中。式(1)给出了朗伯反射模型，描述了目标物体的成像原理。

F(x,y)=ρ(x,y)n(x,y)Ts

(1)

其中：ρ(x,y)和n(x,y)T分别表示目标物体表面的反射率和法向量；s表示成像光源；F(x,y)表示目标物体的图像。

物体表面的反射率和法向量与成像光源无关，是物体的内在特征(光照不变量)。因此，目标物体的成像原理可以用简单的朗伯反射模型进行描述，即一幅人脸图像F(x,y)可以表示为

F(x,y)=I(x,y)·R(x,y)

(2)

其中：R(x,y)表示人脸本征(光照不变量)，数值范围属于[0,1]；I(x,y)表示成像光源(图像光照)。

1.2 光照估计模型

鉴于以往光照估计方法都是假定在光照缓慢变化且人脸本征快速变化的基础上，通过平滑或去噪技术估计光照，因而包含了人脸本征的低频信息，不能从人脸图像中准确地估计光照。笔者从图像的复杂光照特征和朗伯成像模型出发，提出一种新的光照估计模型。图1给出了Yale B人脸库中一个人在不同光照条件下获取的4幅人脸图像。图1可以看出，图像中的光照情况可以分为3个部分：无遮挡区域、遮挡区域和过渡区域(无遮挡和遮挡区域之间的区域)。这些区域的光照分别呈现如下特征：光线无遮挡区域光照比较明亮且变化缓慢；光线遮挡区域光照比较灰暗且变化缓慢；光线过渡区域光照由亮到暗且快速变化。而且由朗伯反射模型可知：人脸图像是人脸本征和成像光照相乘的产物；人脸本征的数值范围属于[0,1]；人脸图像的强度低于成像光照的强度；人脸图像的最大值比以往任何的光照估计方法更接近于成像光照。

图1 复杂光照人脸图像

因此，结合复杂光照特征和朗伯成像模型，构建了一种新的人脸图像光照估计模型，人脸图像F对应的图像光照I定义为

I(x,y)=Ims(x,y)×(P(x,y,Ω2)·G(x,y,Ω2)/∑Ω2PG)

(3)

(4)

(5)

Im(x,y)=maxoi,j∈Ω1(F(oi,j))

(6)

Is(x,y)=minoi,j∈Ω1(Fa(oi,j))+F(x,y)

(7)

Fa(x,y)=Im(x,y)-F(x,y)

(8)

t=mean(Fg)+k×(max(Fg)-mean(Fg))

(9)

Fg(x,y)=Fa(x,y)/Im(x,y)

(10)其中：G为标准差为ρ、卷积核尺度为Ω2的高斯核；P(x,y,Ω2)是Ims(x,y)对应的各向异性模板；Ims(i,j)是Ims(x,y)在Ω2邻域中的像素点；oi,j是点(x,y)在Ω1邻域中的相邻点；max(·)，min(·)和mean(·)分别表示求取集合数据的最大值、最小值和平均值；k∈[0,1]是一个可调因子。本文参数k和ρ分别设置为0.6和1，Ω1和Ω2邻域窗口设置为3×3。

1.3 光照不变量

从人脸图像中估计出光照后，可以根据式(2)描述的朗伯反射模型，推导出人脸图像的光照不变量。图像F(x,y)的光照不变量可表示为

R(x,y)=F(x,y)/I(x,y)

(11)

图2给出了一幅人脸图像光照估计与光照不变量提取的示例。图2a为原始图像；图2b～2f分别是原始图像对应的Im，Is，Ims，I和R。从图2f中可以看出，本文算法可以有效地消除原始图像的光照差异。而且所提光照不变量R的数值范围介于0和1之间，与人脸本征的数值范围一致。

图2 光照估计与光照不变量

2 实验结果

为了验证算法的有效性，本文将Yale B[13]和扩展Yale B[14]组合成Yale B+人脸库进行实验。该库复杂照明模式对于鲁棒光照人脸识别算法依然是个具有挑战性的问题。识别阶段，主成份分析用于特征提取，基于欧氏距离的最近邻分类器用于识别分类。本文算法与当前先进算法MSR[8]，Gradientfaces[1]和Luo[4]进行了对比实验，给出相应的识别效果。

Yale B+人脸库包含38个人，64种光照模式，共计2 432幅图像。所有图像尺度被调整为100×100。根据光源与面部中心轴线夹角的不同，共将人脸库分为5个集合。图3给出了Yale B+人脸库中一个人每个集合1幅人脸图像及本文算法提取的光照不变量，可以看出本文算法能够有效消除不同光照对人脸本征的影响。

首先，从5个集合中依次选择一个集合为训练集，其他4个集合作为测试集，表1～5给出了不同算法的实验结果。可以看出本文算法性能稳定，总体识别率高于其他算法。然后，为了验证本文算法的鲁棒性和高效性，每个人任意选择一幅图像作为训练集(共计38幅人脸图像)，其他图像作为测试集(共计2 394幅人脸图像)，重复实验60次，不同算法的平均识别率如表6所示，可以看出本文算法的平均识别率明显高于著名的MSR和Gradientfaces算法，优于最新Luo的算法。

图3 Yale B+人脸库的光照不变量

表1 集合1作为训练集不同算法的识别结果 %

方法集合2识别率集合3识别率集合4识别率集合5识别率全部集合识别率MSR99.7895.4994.5294.0495.71Gradientfaces100.0098.8787.2894.7495.29Luo97.5999.0694.3095.4396.54本文算法100.0099.8198.9098.0699.08

表2 集合2作为训练集不同算法的识别结果 %

方法集合1识别率集合3识别率集合4识别率集合5识别率全部集合识别率MSR97.7494.1793.6490.3193.12Gradientfaces99.2595.3092.5493.9194.69Luo93.9991.5499.1392.9494.13本文算法100.0098.1299.5698.0298.74

表3 集合3作为训练集不同算法的识别结果 %

方法集合1识别率集合2识别率集合4识别率集合5识别率全部集合识别率MSR99.6298.2596.2797.6597.74Gradientfaces100.00100.0098.0399.0399.16Luo98.1293.2097.8198.2096.90本文算法99.2598.9099.3499.3199.21

表4 集合4作为训练集不同算法的识别结果 %

方法集合1识别率集合2识别率集合3识别率集合5识别率全部集合识别率MSR95.8796.7194.1799.3196.86Gradientfaces100.0099.5697.3799.7299.09Luo97.7499.1297.7498.7598.43本文算法98.50100.0099.2599.3199.34

表5 集合5作为训练集不同算法的识别结果 %

方法集合1识别率集合2识别率集合3识别率集合4识别率全部集合识别率MSR96.6291.4592.6799.3494.74Gradientfaces96.2491.6790.2399.5694.04Luo98.1293.8699.0699.5697.66本文算法100.0099.78100.00100.0099.94

表6 随机抽取每个人一张图像作为训练集不同算法的平均识别结果 %

方法集合1识别率集合2识别率集合3识别率集合4识别率集合5识别率全部集合识别率MSR84.1981.3674.3774.2180.2078.45Gradientfaces87.6580.1673.9482.1890.1982.95Luo91.7689.8590.6993.3293.6891.76本文算法94.4492.3591.4893.0195.0693.32

3 小结

本文从图像成像原理出发，在研究朗伯成像模型的基础上，提出了一种新的复杂光照人脸图像光照估计、光照不变量提取方法。该算法估计的光照不仅满足光照的缓慢变化特性，而且满足图像的成像原理，更接近于人脸图像获取时的真实光照；所提光照不变量不仅能够有效消除复杂光照的影响，而且数值范围介于0和1之间，符合人脸本征的取值范围。与当前有效的算法相比，本文算法在Yale B+复杂光照人脸数据库上能够获取更高的识别效果，具有更强的光照鲁棒性。

[1] ZHANG T， TANG Y Y， FANG B， et al. Face recognition under varying illumination using Gradientfaces[J]. IEEE transactions on image processing， 2009， 18 (11)： 2599-2606. DOI： 10.1109/TIP.2009.2028255.

[2] NIKAN S， AHMADI M. Local gradient-based illumination invariant face recognition using local phase quantisation and multi-resolution local binary pattern fusion[J]. IET image processing， 2015， 9 (1)： 12-21. DOI： 10.1049/iet-ipr.2013.0792.

[3] TAN X， TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions[J]. IEEE transactions on image processing， 2010， 19(6)： 1635-1650. DOI： 10.1007/978-3-540-75690-3_13.

[4] LUO Y， GUAN Y. Enhanced facial texture illumination normalization for face recognition[J]. Applied optics， 2015， 54(22)： 6887-6894. DOI： 10.1364/AO.54.006887.

[5] ZHANG T， FANG B， YUAN Y， et al. Multiscale facial structure representation for face recognition under varying illumination[J]. Pattern recognition， 2009， 42(2)： 251-258. DOI： 10.1016/j.patcog.2008.03.017.

[6] CAO X， SHEN W， YU L G， et al. Illumination invariant extraction for face recognition using neighboring wavelet coefficients[J]. Pattern recognition， 2012， 45(4)： 1299-1305. DOI： 10.1016/j.patcog.2011.09.010.

[7] 高涛. 基于小波域多尺度Retinex的复杂光照的人脸识别[J]. 电视技术， 2012， 36(5)： 122-125．DOI： 10.3969/j.issn.1002-8692.2012.05.035.

[8] HU H. Illumination invariant face recognition based on dual-tree complex wavelet transform[J]. IET computer vision， 2015， 9(2)： 163-173. DOI： 10.1049/iet-cvi.2013.0342.

[9] JOBSON D J， RAHMAN Z， WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE transactions on image processing， 1997， 6(7)： 965-976. DOI： 10.1109/83.597272.

[10] WANG H， LI S Z， WANG Y. Face recognition under varying lighting conditions using self quotient image[C]//Proc. IEEE International Conference on Automatic Face and Gesture Recognition. Seoul， Korea：IEEE Computer Society， 2004：819-824. DOI： 10.1109/AFGR.2004.1301635.

[11] CHEN T， YIN W， ZHOU X S， et al. Total variation models for variable illumination face recognition[J]. IEEE transactionsn pattern analysis and machine intelligence， 2006， 28(9)： 1519-1524. DOI： 10.1109/TPAMI.2006.195.

[12] 程勇， 赵春霞， 王欢， 等. 基于NSCT和SQI的光照不变量及人脸识别[J]. 南京理工大学学报(自然科学版)， 2010， 34(4) ： 425-430. DOI： 10.3969/j.issn.1005- 9830. 2010.04.004. [13] GEORGHIADES A S， BELHUMEUR P N， KRIEGMAN D J. From few to many： illumination cone models for face recognition under variable lighting and pose[J]. IEEE transactions on pattern analysis and machine intelligence， 2001， 23(6)： 643-660. DOI： 10.1109/34.927464.

[14] LEE K C， HO J， KRIEGMAN D. Acquiring linear subspaces for face recognition under variable lighting[J]. IEEE transactions on pattern analysis and machine intelligence，2005，27(5)：684-698.DOI： 10.1109/TPAMI.2005.92.

韩袁琛(1994— )，女，本科生，主研图像处理；

程 勇(1975— )，博士，本文通信作者，主研图像处理、模式识别、智能检测等。

责任编辑：闫雯雯

Illumination estimation and robust face recognition based on Lambertian reflectance model

HAN Yuanchen， CHENG Yong

(SchoolofCommunicationEngineering，NanjingInstituteofTechnology，Nanjing211167，China)

Face recognition under complex illumination is a challenging task in the field of pattern recognition. Extracting illumination invariants through illumination estimation is an effective way of solving this issue. Based on the research of Lambertian reflectance model， an effective illumination estimation model is proposed in this paper. This model can estimate the illumination and extract illumination invariants more accurately from the complex illumination images. Experimental results on the Yale B+database show that the proposed method extracts more robust illumination invariants and achieves higher recognition performance， compared with the-state-of-the-art methods.

illumination estimation model； illumination invariants； Lambertian reflectance model； face recognition

韩袁琛，程勇. 基于朗伯反射模型的光照估计及鲁棒人脸识别[J].电视技术，2017，41(1)：79-83. HAN Y C，CHENG Y. Illumination estimation and robust face recognition based on Lambertian reflectance model[J]. Video engineering，2017，41(1)：79-83.

TN911.73

A

10.16280/j.videoe.2017.01.016

国家自然科学基金青年基金项目(61305011)；江苏省自然科学基金面上项目(BK20131342)

2016-04-24