基于局部相位量化与多通道颜色的鲁棒人脸识别*

张妍琰， 段 娜

(河南城建学院计算机科学与工程学院，河南 平顶山 467036)

基于局部相位量化与多通道颜色的鲁棒人脸识别*

张妍琰， 段 娜

(河南城建学院计算机科学与工程学院，河南 平顶山 467036)

针对非可控条件下的人脸识别问题，提出了一种新的融合多颜色通道的局部相位量化方法。首先，在不同颜色空间的各颜色通道图像上计算局部相位量化响应图,然后对每幅响应图分块计算统计直方图，最后将特定颜色通道的相似度进行融合。该方法充分利用了图像不同颜色通道间的互补特性。实验结果表明，该方法实用性好，鲁棒性强，在大规模非可控人脸数据库上取得了较好的结果。

人脸识别；局部相位量化；颜色空间

人脸识别研究试图赋予计算机根据面孔辨别人物身份的能力。该研究具有重要的科学意义和巨大的应用价值。目前主流的特征描述子有Gabor描述子[1]、SIFT (Scale-Invariant Feature Transform)描述子[2]、HOG (Histograms of Oriented Gradients)描述子[3]以及局部二值模式描述子[4]。Gabor描述子在计算上只利用了其傅里叶变换后的幅值信息且二维图像卷积操作计算量极大，不适用于对实时性要求很高的人脸识别系统，而SIFT与HOG描述子表示人脸的能力远不及表示物体或行人，因而这两种描述子更多地被应用于物体检测或行人检测，局部二值模式描述子虽然计算量较小，但是表示能力有限。在上述描述子的实际使用中，往往只利用图像的灰度信息[5]而摒弃了信息量丰富的颜色信息。本文提出了一种新的融合多颜色通道的局部相位量化方法。其主要特点包括：(1)利用图像傅里叶变换后的相位信息提取高效的、具有判别性的人脸特征；(2)充分利用不同的颜色空间；(3)在FRGC人脸数据库上达到了较好的性能。

1 局部相位量化

局部相位量化(Local Phase Quantization,简称LPQ)最早用于图像的纹理分类问题[6]。它利用傅里叶变换相位的模糊不变性，提高了对模糊图像识别的鲁棒性。该描述子在图像中每个像素点的邻域内计算傅里叶变换后的相位信息，并在四组低频分量上进行量化进而形成直方图。该方法形式上有些类似局部二值模式[4]。

在数字图像处理领域，对原始图像进行空间不变的模糊可以用卷积的形式来表示，用f(x)表示原始图像，g(x)表示卷积后的图像，则模糊模型可以表示为

g(x)=(f*h)(x)，

式中：h(x)是描述模糊的点扩散方程(PointSpreadFunction，简称PSF);*表示空间内的二维卷积操作；x是坐标向量[x,y]T。模糊模型在傅里叶频域内对应于

G(u)=F(u)·H(u)，

式中：G(u)、F(u)和H(u)分别是模糊后图像g(x)、原始图像f(x)以及模糊的点扩散方程h(x)的离散傅里叶变换后的结果；u为频域内的坐标向量[u,v]T。将幅值和相位信息分开，则幅值部分可以表示为

而相位部分可以表示为

angle(G(u))=angle(F(u))+angle(H(u))。

如果假设模糊的点扩散方程(PSF)中h(x)是中心对称的，即h(x)=h(-x)，那么h(x)的傅里叶变换总是实数，并且它的相位部分只是一个二值函数

这就意味着

angle(G(u))=angle (F(u)), for all H(u)≥0。

(1)

在H(u)为正的频率下，模糊后图像的相位angle(G(u))对于具有中心对称性质的模糊具有不变性。在理想的由运动造成的模糊和由失焦造成的模糊情形下，h(x)的剖面图是矩形[7]，这就导致了该剖面图下的频谱H(u)是一个同样包含负值的辛格函数(sincfunction)。在满足条件的频率(blurlength/samplingfrequency)下，H(u)的值也总是正的。在点扩散方程(PSF)是高斯的情况下(模拟大气紊流造成的模糊)，H(u)也是一个只有正值的高斯分布，并且总是满足式1。

在实践中，由于最终观察到的模糊后图像的大小是有限的，所以不可能完全达到模糊不变性。由于对理想图像用模糊核(PSF)进行卷积后的图像超出了原始图像的边缘，而超出边缘的那部分信息则丢失了，所以当模糊的宽度相比于图像大小足够大时，边缘信息丢失的现象就会变得非常明显。

2 用于纹理分类的局部相位量化

2.1 短时傅里叶变换

局部相位量化这个方法是基于傅里叶相位谱对模糊的不变性设计出来的。它对通过二维离散傅里叶变换提取的局部相位信息进行量化，更精确地讲，是在图像f(x)的每一个像素点x周围M乘M的邻域x内计算短时傅里叶变换，可以将上述描述定义为：

(2)

式中：Wu是二维离散傅里叶变换在频率u下的基向量；fx为x区域的所有M2个采样像素点。从式2可以看出，一个高效的计算短时傅里叶变换的方式就是对所有u进行二维卷积操作f(x)*e-2πjuTx。由于基函数是分开的，所以可以分别对行和列进行一维卷积计算。在局部量化方法中，只考虑4个复数系数，它们对应于二维频率下的u1=[a,0]T、u2=[0,a]T、u3=[a,a]T和u4=[a,-a]T，其中a是低于满足式1的H(u)的第一个过零点的标量频率值，则

其中符号Re{·}和Im{·}分别表示复数值的实部和虚部。对应这4个参数下的8乘M2的转移矩阵为

W=[Re{wu1,wu2,wu3,wu4},Im{wu1,wu2,wu3,wu4}]T

进而有

Fx=Wfx。

2.2 对系数的统计学分析

因此，转换系数向量Fx的协方差矩阵为

D=WCWT

当ρ>0时D不是一个对角矩阵，这意味着系数之间存在着相关性，而信息只有在各系数统计独立的情况下才能最大范围地被保留，故在真正量化之前，需要对系数进行去相关操作。这里用高斯分布作为假设，独立性可以通过白化过程获得，即

Gx=VTFx

其中V是对矩阵D进行奇异值分解(SVD)后的正交矩阵

D=USVT

这里V在已知ρ的情况下可以提前计算获得。在所有图像的像素点上计算Gx，x∈{x1,x2,…,xN}，最终的结果使用一个简单的标量量化子进行量化

其中gj是Gx的第j个元素。使用二进制编码对量化后的系数进行编码，编码的结果为十进制整数。最终，可以在任何图像区域内提取统计直方图(256维)并用于后续的分类问题

3 跨颜色空间的通道组合

图1 橙子RGB图像、NTSC图像 与YIQ各分量图像

人脸识别领域中，许多方法只是利用图像的灰度信息，也有少部分利用了图像的彩色信息，本文提出了一种新的利用颜色信息的方法，即融合不同颜色空间的不同通道，进而更加高效地描述人脸信息。例如，实验中既在RGB颜色空间的R、G、B三个通道图像上进行特征抽取(以本文为例，提取局部相位量化特征)，也在YIQ、YCbCr颜色空间的相应通道上进行特征抽取，最后从每个颜色空间中选取性能最好的通道进行相似度级别的融合。

4 实验

4.1 实验数据库一

Face Recognition Grand Challenge (简称FRGC) 2.0人脸数据库是一个由美国政府出资赞助并在圣母诺特丹大学采集的大规模人脸数据集。FRGC 2.0人脸数据库是目前已公开的最大规模的人脸数据库，包含了在可控与非可控条件下采集的三维扫描图像和高分辨率的二维图像，图像数目超过50 000幅。FRGC 2.0数据分为训练集和校验集两个部分。训练集是在2002—2003年之间采集的，包括两部分：一部分是大规模静态图像训练集，包含了222个对象的12 776幅图像(可控条件下6 388幅图像与非可控条件下6 388幅图像)；另一部分是三维图像训练集，包括三维扫描图像和来自943个时期的可控与非可控条件下采集的图像。校验集是在2003—2004年之间采集的，包含了466个对象、来自4 007个时期的图像。

FRGC 2.0测试协议中提供了6个实验：实验1、2、4是针对二维图像上识别算法的评测，实验3、5、6是针对三维图像上识别算法的评测。在每个实验中，算法的输入包括两个集合：目标集和查询集。其中，目标集中的图像身份是已知的，查询集中的图像身份是未知的。识别算法的输出是一个相似度矩阵，该矩阵包含了查询集与目标集中的所有图像对。

图2 FRGC数据集样例(其中第一行 为目标集，第二行、第三行为查询集)

4.2 实验数据库二

FERET人脸识别数据库是由美国国防部通过DARPA(Defense Advanced Research Products Agency)资助的FERET计划构建，用来测试不同识别方法的性能[14]。该人脸识别库总共包含了14 051幅多姿态的人脸图像。1998年到2001年间发布的数据包含了3 737幅图像，也被称为训练图像。该数据库严格划分了人脸的注册图像集合和测试图像集合。图3给出了FERET人脸数据库的部分示例图像。

4.3 实验设置

图3 FERET人脸库的示例

实验中使用的局部相位量化描述子窗口半径为3个像素，每个子块大小为8×8个像素，在每个子块提取统计直方图，并将各子块直方图串接起来进行主成分分析(Principal Component Analysis，简称PCA)和线性判别分析(Linear Discriminant Analysis，简称LDA)。PCA保留的维数依据能量准则(保持95%的能量)，LDA降维后的特征维数统一设置为300，其后特征向量之间的距离度量采用向量间的余弦夹角。最后，进行人脸确认实验时需对计算出来的相似度矩阵按列进行零均值一方差的归一化操作，进而计算在错误接受率为千分之一(FAR=0.1%)情形下的验证率，人脸识别实验采用的分类器为最近邻分类器。

4.4 实验结果及分析

表1、2列出了FRGC数据库和FERET数据库上各个方法的性能汇总，可以看到本文方法达到了目前已知的最好效果。即使只是用单个颜色通道，局部相位量化描述子也可以达到与表1、表2中最佳性能比的效果，一旦融合多个颜色空间性能将进一步提升，这也表明按照本文方法选择的颜色通道具有很好的互补性能。

表1 FRGC数据库实验四方法性能汇总

表2 FERET数据库方法性能汇总

5 结束语

本文提出了一种基于局部相位量化与跨颜色空间的多通道颜色相结合的鲁棒人脸识别算法，该算法充分利用了人脸图像的颜色信息及傅里叶变换后的相位信息，从而在人脸区域提取了有效的判别性信息，最终在大规模非可控人脸数据库上达到目前最好的结果。

[1] Liu Chengjun, Wechsler H. Independent component analysis of Gabor features for face recognition[J]. Neural Networks,2003,14(4):919- 928.

[2] Lowe D G. Object recognition from local scale-invariant features: Computer vision[C]// The proceedings of the seventh IEEE international conference, 1999: 1150-1157.

[3] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego: USA(IEEE), 2005:886-893.

[4] Ahonen T, Hadid A, Pietikainen M. Face recognition with local binary patterns: Computer Vision[C]//ECCV 2004. Springer Berlin Heidelberg, 2004: 469-481.

[5] Brunelli R, Poggio T. Face recognition: features versus templates[J]. Pattern Analysis and Machine Intelligence, 1993, 15(10):1042-1052.

[6] Ojansivu V, Heikkil J. Blur insensitive texture classification using local phase quantization[C]//Image and Signal Processing.France: Springer Berlin Heidelberg,2008:236-243.

[7] Banham M R, Katsaggelos A K. Digital image restoration[J]. IEEE Signal Processing,1997,14(2): 24-41.

[8] Phillips P, Flynn P, Scruggs T, et al. Overview of the face recognition grand challenge[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego：IEEE, 2005:947-954.

[9] Liu Chengjun. The bayes decision rule induced similarity measures[J].Pattern Analysis and Machine Intelligence, 2007,29(6):1086-1090.

[10]Yang J, Liu C. Color image discriminant models and algorithms for face recognition[J]. Neural Networks,2008,19(12):2088-2098.

[11]Hwang W, Park G, Lee J, et al. Multiple face model of hybrid fourier feature for large face image set[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2006: 1574-1581.

[12]Liu C. Capitalize on dimensionality increasing techniques for improving face recognition grand challenge performance[J]. Pattern Analysis and Machine Intelligence,2006,28(5):725-737.

[13]Yang J, Liu C. Horizontal and vertical 2dpca-based discriminant analysis for face verification on a large-scale database[J]. Information Forensics and Security,2007,2(4):781-792.

[14]Phillips P J, Moon H, Rizvi S A,et al. The FERET Evaluation Methodology for Face-Recognition Algorithms[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence.USA：IEEE，2000：1090-1104.

Local phase quantization and multi-color channel based robust face recognition

ZHANG Yan-yan, DUAN Na

(1.DepartmentofComputerScienceandEngineering,HenanUniversityofUrbanConstruction,Pingdingshan467036,China)

In order to solve the problems that exist in uncontrolled condition face recognition, a variational method based on fusion of local phase quantization information with multi-color channel was proposed. First，compute the local phase quantization image on every color channel of different color spaces. Then，extract the statistic histograms on the local phase quantization images. And finally, fuse the similarity scores from different color channels. The proposed method utilizes the complementarity of different color channels. The experimental results show that the proposed method has effectiveness and better robustness, and it achieves state-of-the-art performance on large scale uncontrolled condition face database (FRGC).

face recognition; local phase quantization; color space

河南省教育厅科学技术研究重点项目(12A520006)。

2013-10-12

张妍琰(1981-),女,河南平顶山人,硕士,河南城建学院计算机科学与工程学院讲师。

1674-7046(2014)01-0067-06

TP391.41

A