改进的单尺度Retinex和LBP结合的人脸识别

段红燕，何文思，李世杰

兰州理工大学 机电工程学院，兰州 730050

1 引言

人脸识别是通过提取人脸图像的特征信息从而进行分类识别的一种生物识别技术。因其具有方便性和友好性以及随着信息技术的发展，在安检、航天、医疗等领域有着广泛的应用。在理想环境下，人脸识别技术取得了很大的进步和应用，但在多变的光照环境下人脸识别技术的性能会受到严重影响[1]。复杂光照下的人脸识别已经成为计算机视觉领域的一个研究热点。

对于复杂光照的问题，国内外的研究者提出了很多的解决方案，这些方法可分为图像预处理、人脸建模和提取光照不变量三类[2]。图像预处理是通过图像处理技术对图像进行光照补偿，减小光照影响，代表方法有伽马校正（Gamma Correction，GC）[3]、直方图均衡化（Histogram Equalization，HE）[4]、同态滤波（Homomorphic Filtering，HF）[5]等。人脸建模是构建一个子空间表示不同光照的人脸图像[6]。提取光照不变量是在人脸图像中计算得出光照不变量或者不敏感的特征，以改善光照变化对人脸识别的影响。例如，梯度脸（Gradientfaces，GF）[7]、局部二值模式（Local Binary Pattern，LBP）[8]、局部方向模式（Local Directional Pattern，LDP）[9]等。20世纪70年代，美国学者Edwin Land提出了Retinex理论。经众多学者研究出现许多基于该理论的算法，如单尺度Retinex（SSR）、多尺度 Retinex（MSR）[10]以及带色彩恢复的多尺度Retinex（MSRCR）等。但Retinex算法本身存在缺点，在处理光照剧烈变化的图像时，易出现“光晕”现象，同时会丢失部分细节特征信息，影响分类识别效果。

为增强图像细节信息，减少光照影响，提高复杂光照人脸识别的准确率，利用双边滤波代替Retinex的高斯滤波处理人脸图像，减小传统Retinex带来的“光晕”现象，同时使用LoG算法并结合归一化处理提取图像的边缘细节特征，采用标准差的加权方法将两幅处理后的图像进行特征融合，在减少光照影响的同时增加图像细节特征，然后使用LBP对融合后的图像进行特征提取，并通过稀疏表示（SRC）[11]算法对数据样本进行判别归类。

2 单尺度Retinex算法改进

2.1 Retinex理论

Retinex是一种基于色彩恒常的计算理论，该理论指出图像可以看成照射图像分量和反射图像分量的乘积[12]，公式如下：

其中，L(x ,y)表示环境光的照射分量，它影响图像中像素能达到的动态范围，R(x ,y)表示体现物体本身色彩特征的反射分量，I(x ,y)表示原始图像信息。式（1）为乘积形式计算反射分量较为复杂，将式（1）转化到对数域空间，得：

根据Retinex理论，在已知原始图像信息I(x ,y)后，通过有效地估算算法描述出照射分量L(x ,y )，然后根据公式（2）求得R(x ,y)。

2.2 单尺度Retinex理论

单尺度Retinex是由Jobson等提出的，它在对数域公式如下：

其中，i代表RGB颜色模型的3个颜色通道，取值为1，2，3，∗表示卷积运算符，F(x ,y)表示高斯环绕函数，有：

2.3 Retinex与双边滤波结合

Retinex算法使用高斯函数对输入图像进行光照估计，并且假设图像在空间上的光照变化是平滑的，而实际受光照影响较大的图像在使用该算法时会产生“光晕”现象，双边滤波（Bilateral Filter）是一种非线性滤波器[13]，同时考虑像素点的空域信息和值域信息，能较好处理光照突变的图像。故选用双边滤波代替Retinex算法中的高斯滤波来进行光照估计。双边滤波公式表示如下：

其中f(x)为输入图像在x的亮度值，h(x)为输出图像在x的亮度值，c(ξ ,x )为ξ和x之间的距离为ξ和x之间的亮度相似度。k(x)为：

式（8）中，d(ξ ,x)表示欧式距离。

图1为SSR与双边滤波结合的对比图，其中图1（a）表示原始图像及其直方图、图1（b）表示SSR处理后的图像及其直方图、图1（c）表示SSR结合双边滤波处理后的图像及其直方图。

图1 SSR与双边滤波结合的对比图

2.4 拉普拉斯高斯算子

拉普拉斯高斯（Laplacian of Gaussian，LoG）是基于二阶导数的边缘检测算子，它融合了高斯滤波和拉普拉斯算子的优点[14]。由于一阶导数对噪声敏感，该算法中使用到的二阶导数会导致结果更不稳定。因此，在进行Laplacian变换前先使用高斯滤波器对原始图像作平滑处理，再使用Laplacian算子作卷积，可表示为：

根据卷积是可变换、可结合的定理，先作高斯卷积，即：

其中hl(x ,y)为输出，g(x,y)为原始图像，∗为卷积运算符，G(x ,y)为高斯滤波器的滤波函数，∇2为拉普拉斯算子。

则LoG算子为：

其中，σ为高斯函数的空间分布系数，本文中取值为1.8，同时，得到输出后对图像矩阵进行归一化操作，以便保留更多图像的细节信息。图2为LoG算法对比图，其中图2（a）表示原始图像、图2（b）表示Matlab图像处理工具箱中LoG算法（自动选择阈值）处理的图像、图2（c）表示LoG算法处理后再进行归一化处理的图像。

图2 LoG算法对比图

2.5 基于标准差的特征融合

使用双边滤波替换单尺度Retinex算法中的高斯滤波减轻了Retinex算法处理带来的“光晕”现象，但由于Retinex本身特性使处理后的图像像素值偏高减弱了部分细节特征。LoG算法虽然在消除图像光照影响方面效果不佳，但该算法能很好地提取图像的边缘信息和细节特征。为了提取图像的光照不变量并且使图像保留较多的细节特性，可以通过图像融合技术对所述两种图像信息进行特征融合。

图像融合可以将多张图像信息融合在一张图像中，保留融合前图像的优势，提高图像信息携带量。LoG算子属于边缘检测算子，通过计算二阶导数的零交叉点来寻找边缘信息。图像边缘和纹理区域由于灰度值变化较大，经LoG算法处理得到的值较大，在图像其他位置的处理结果值较小。如图2（c）所示，经LoG算法处理后虽能保留边缘及纹理特征，但在眼球、嘴唇等人脸特征提取的重要部位与原图以及图1（c）相比较呈现出较大的灰度值差异。如果直接将图1（c）和图2（c）进行融合会使各自携带的特征信息相互抵消，降低融合优势。因此，先对图2（c）进行图像灰度值取反，在进行融合操作。图像标准差体现了像素灰度值与平均灰度值的偏离程度，标准差越大图像携带的信息量越多，故可以用两幅图像标准差来确定各自的融合系数。设表示图像P点处的灰度值，图像大小为M×N，则图像P的标准差σ1为：

分别计算SSR结合双边滤波处理后的图像PSSRBF和LoG算法结合归一化处理并取反的图像PLoGIN的标准差为σS和σL，图像PSSRBF和图像PLoGIN融合系数分别为ωS和ωL：

则得到融合后的特征F为：

图3为特征融合的对比图。

图3 特征融合的对比图

3 LBP特征提取及稀疏表示

局部二进制模式（Local Binary Pattern，LBP）是一种用来描述图像局部纹理特征的算子，由Ojala等提出。该算法通过对比图像局部中心点与周围邻近像素点的灰度值来实现，因此对光照具有不变性，可用于光照变化的图像特征提取，同时还具有计算过程简单、平移和旋转不变性的优点。LBP算法被广泛应用在纹理分析、图像检测等领域。

经典的LBP算子以3×3像素块为检测区域，以区域中心像素点的灰度值为阈值，分别比较区域中心邻域的8个像素点的灰度值与阈值的大小关系，通过大小关系对图像进行重新编码。LBP算子用公式表示为：

稀疏表示分类是将测试图像样本表示为训练图像样本的线性组合，求解测试图像样本最稀疏的表示。假设实验训练样本有T类，第i类的训练样本为Ai=[ai1,ai2,…,aini]，第i类的训练样本数为ni，则整体训练样本A=[A1,A2,…,AT]，依据稀疏表示原理，测试样本y可以用A线性表示，表达式为y=Ax，x为y在整体训练样本下表示的系数向量。为了使系数向量最稀疏，把求解问题转化为l1范数最优化问题：

本文采用 Homotopy[15]算法，对式（22）求解，令δi(1)表示1中第i类样本空间的系数，则测试样本，分别计算T类的残差：

本文算法的主要流程为：

（1）使用双边滤波代替SSR算法中的高斯滤波对原始图像进行光照估计，得到特征图像PSSRBF。

（2）使用LoG算子对原图进行处理，并进行归一化处理和取反操作，得到特征图像PLoGIN。

（3）通过基于标准差的特征融合对两特征图像进行融合，融合系数ωS和ωL按照特征图像的标准差比例分配。

（4）使用LBP算法对融合后的特征图像进行最终的特征提取，建立图像的样本集，并且采用稀疏表示算法进行判别归类。

4 仿真实验

4.1 仿真实验环境和实验数据集

为了验证本文算法的有效性，在Intel Core I3，2.3 GHz CPU，8 GB RAM，Windows 7操作系统的计算机上，采用Matlab R2014a编程实现仿真测试，使用的人脸库为AR和Yale B+人脸数据库。

AR[16]人脸库包含126个人4 000多张图像，涵盖了不同表情、不同光照以及遮挡等要素。在本实验中选取部分图像作为实验数据，共100人包含50位男性和50位女性。因为本文研究的是光照变化对识别率的影响，所以每个人去掉有遮挡的12幅图像，选取每人14幅图像共1 400幅图像进行实验。为方便实验图像被裁剪成像素大小为120×165，图4为AR数据库部分图像。

图4 AR数据库部分图像

Yale B+人脸数据库由Yale B人脸库和扩展的Yale B人脸库组成[17]，包含38人，每个人的人脸有9种姿态，每种姿态包括64幅不同光照的图像。根据光照入射的角度不同，每种姿态下Yale B+人脸库可分为5个子集，子集 1（0°～12°）、子集 2（13°～25°）、子集 3（26°～50°），子集4（51°～77°）和子集5（＞77°）。每个人在每个子集中对应的人脸图像数目分别为，子集1为7、子集2为12、子集3为12，子集4为14以及子集5为19。本实验中选用正面姿态图像，同时因子集1和子集2在光照变化方面不明显，所以实验选取子集3、子集4和子集5作为实验数据。图像被裁剪成像素大小为168×192，图5为Yale B+数据库部分图像。

4.2 实验结果与分析

为验证本文提及的特征融合算法的有效性，将其与文献[18]的算法进行对比。在光照较为复杂的Yale B+人脸库中选取三个人脸图像进行对比实验，原图分别为图像1、图像2和图像3。原图经过文献[18]和本文特征融合算法处理效果图如图6所示。并分别计算各图像的信息熵作为客观评价标准，如表1所示。

根据表1的实验数据，原图经过文献[18]和本文特征融合算法的处理后，信息熵的值均有所提高。对比文献[18]的结果经过本文特征融合算法处理后信息熵的值均有一定程度的增加，表明本文特征融合算法处理后的人脸图像具有较高的信息量。

图5 Yale B+数据库部分图像

图6 文献[18]和本文特征融合算法处理效果图

表1 各图像的信息熵

为验证本文算法对变化光照的鲁棒性，将本文算法与SSR、MSR、LBP、HE以及LDP这几种经典的算法进行比较。此外，深度学习在机器视觉领域也得到广泛的研究和关注。在人脸识别研究方向，一些预先训练好的卷积神经网络可以表现出较好的性能。Parkhi等人[19]提出了Vgg-Face网络模型，该模型在LFW数据集上取得了较好的测试效果。本文基于matconvnet-1.0-beta19编写Matlab测试程序，并将本文算法与基于该模型的算法（V-F）做对比实验。以上实验分别在AR、Yale B+的子集3、Yale B+的子集4和Yale B+的子集5中随机选取每人1～6幅图像作为训练样本，其他图像作为测试样本，实验时均采用稀疏表示算法进行判别归类，每项测试分别进行5次实验，最后求得平均值作为最终实验数据。为了直观了解SSR、MSR、LBP、HE、LDP以及本文算法对图像的特征提取效果，分别在AR和Yale B+选取一人进行不同算法的特征提取，如图7所示。所有算法在不同训练样本下的人脸识别率如表2～5所示。

图7 各算法处理效果

表2 AR人脸库各种算法的人脸识别率%

表3 Yale B+的子集3人脸库各种算法的人脸识别率%

表4 Yale B+的子集4人脸库各种算法的人脸识别率%

表5 Yale B+的子集5人脸库各种算法的人脸识别率%

根据表2～5的实验数据，从整体上分析可以发现，各种算法以及原始图像的实验识别率都是随着训练样本的增加而增加。对于在光照变化方面，AR人脸库整体的光照变化程度要小于Yale B+人脸库整体的光照变化程度。对照表1和另外三个表的数据，在训练样本较少的情况下AR人脸库的整体实验结果要高于Yale B+人脸库。

具体而言无论在AR还是Yale B+人脸库，本文算法基本上在每组测试的结果都优于其他算法。在光照变化程度不剧烈的AR人脸库中本文算法和V-F算法数据相差不大，而在Yale B+人脸库中本文算法的数据要优于V-F算法的数据，尤其是Yale B+人脸库的子集5中的数据。对于光照变化十分剧烈的Yale B+人脸库的子集4和子集5而言，本算法的识别率明显高于其他算法，在训练样本数为3时就到达90%以上的识别率。对于光照入射的角度为26°～50°的子集3，本文算法达到了98%以上的识别率。本文算法经过前期处理后最终的特征提取是用的LBP算法，由实验数据可知识别率比单独使用SSR或者LBP有很大提高。由此说明本文算法对光照变化剧烈情况下的人脸图像具有良好的特征提取能力，提高了复杂光照环境下的人脸识别率。

5 结束语

为了改善复杂光照下人脸识别率，本文提出了一种SSR和LBP结合的人脸识别算法。对传统的单尺度Retinex算法进行改进，通过算法优化解决了传统单尺度Retinex处理图像出现“光晕”以及边缘细节缺失的问题，通过LBP处理后能够得到更多的人脸细节特征信息，更能表达原始图像的光照不变量。在AR和Yale B+人脸库对本文算法的有效性进行了仿真对比测试，结果表明在复杂的光照环境下以及训练样本数较少情况下的人脸识别率都有较大提升。