基于相位测量轮廓术的人脸识别

余 祥，刘 凯



基于相位测量轮廓术的人脸识别

余 祥，刘 凯

( 四川大学 电气信息学院，成都 610065 )

为了解决二维人脸识别受环境光干扰，三维人脸识别依赖标定数据的问题，提出了一种基于相位测量轮廓术的人脸识别方法。首先使用相位测量轮廓术获得人脸的相位和反射率数据，相位图中暗含了人脸区域的三维信息，反射率图也排除了环境光的干扰，它们经过规范化后均可以直接使用传统二维识别方法进行人脸识别。在实验中，使用了主成分分析法和最近邻分类器进行人脸识别。实验结果表明，这种方法对人脸识别是有效的，对比二维灰度图和三维深度图有更好的识别效果。

人脸识别；相位图；反射率图；环境光；标定数据

0 引 言

人脸识别是生物识别领域中的一个重要研究方向，经过最近几十年的研究，已经获得了较大的发展。这是一种利用电子设备进行人脸数据采集和识别的技术，具有非接触、方便快捷和友好的优点，现在已经在罪犯身份识别、出入境身份识别、大型活动安保以及门禁系统等安全领域获得广泛应用。

人脸识别技术的研究前期主要集中在二维人脸识别领域，很多识别方法相继被提出。经典的二维人脸识别方法主要有基于几何特征、基于代数特征和基于机器学习的方法[1]。其中，特征脸(Eigenface)方法是一种基于统计特征的、较为成功的人脸识别方法，最早是由M.Turk 和A.Pentland在1991年提出的[2]。Eigenface是由主成分分析(Principal Component Analysis, PCA)导出的一种人脸识别方法，它的核心步骤是对人脸图像进行K-L变换以获得特征脸矩阵数据，然后将原始人脸图像投影到特征脸矩阵上以实现降维和特征提取，最后使用最近邻分类器进行人脸的分类识别[2-3]。

二维人脸识别技术已经比较成熟，也进入了商业应用。但是二维人脸识别的发展仍然遇到了瓶颈，它容易受到环境光、姿态以及表情等因素的影响，识别效果很难再得到进一步提高[3]。最近十多年，随着计算机技术和测量仪器的发展，三维数据越来越容易被获得，很多的研究人员开始从二维人脸识别研究转向了三维人脸识别研究[4]。机器视觉领域的三维数据测量目前主要有被动立体测量和主动立体测量两种技术。其中相位测量轮廓术(Phase Measuring Profilometry, PMP)是一种结构光测量，属于非常成功的三维测量技术，其数据精度高[5]。现有的三维人脸识别方法主要有基于空域匹配、基于整体特征匹配和基于3D+2D双模态的识别算法[6-8]。由于三维人脸数据相对于二维人脸数据受光照影响较小，因此获得比二维人脸识别更好的识别效果。其中，利用深度图的三维人脸识别方法属于基于整体特征匹配的方法，它将三维人脸识别转化为二维人脸识别，这样大大简化了算法[9-10]。不过在结构光测量中，三维数据的获得需要依赖标定数据，而且在三维人脸识别之前需要进行三维点云的计算，计算量很大。针对以上三维人脸识别的不足，本文提出了利用相位测量轮廓术计算出的相位信息和反射率，使用主成分分析法和最近邻分类器进行人脸识别，这样识别结果不仅相对于二维人脸识别受环境光照影响更小，也具有比三维深度人脸识别有更好的识别效果。本文方法中用到的相位和反射率数据同样可由其它结构光测量技术，比如线扫描和二进制图案编码扫描技术等获得。

1 相位测量轮廓术

相位测量轮廓术是一种结构光三维测量技术，利用带相移的正弦投影图案，计算出相位信息，再结合标定数据来计算三维数据。PMP基本原理[11]如下：

首先投影机投出一组帧包含多次相移的正弦图案到被测物体表面，投影机投出的图像可以表示为

图1 PMP图案

在投影机投影正弦图案的同时，摄像头同步捕捉被物体表面调制的正弦图案，并对捕获的图像进行计算得到相位和亮度调制[12]，相位和亮度调制的计算公式如下[5]：

2 基于PMP的人脸识别方法

本文使用了PCA算法(或者叫做特征脸算法[2])。PCA算法被广泛用于数据降维以及人脸识别领域。设一张×的人脸图像，将其每列依次相连构成一个=×维大小的列向量，就是数据空间的维数。设为训练样本的数目，表示第张人脸图像对应的列向量，为训练样本的平均人脸图像列向量，其计算式为

令=[1-,2-, …,-]，则样本的协方差矩阵r=T，其维数为×。根据Karhunen-Loeve正交变换原理，特征脸空间由协方差矩阵r的正交特征向量组成，不过由于其维数太高，计算量太大，直接对它求解特征值和特征向量是非常困难的[13]。因此，减小计算量就很有必要，所以我们使用了奇异值分解(Singular Value Decomposition, SVD)方法。根据奇异值分解定理，可以通过求T的特征值和特征向量来获得r的特征值和特征向量[13]。令k为T矩阵的个非零特征值，是T对应于k的特征向量，则T正交归一特征向量为[13]

就是人脸图像数据的特征向量，所以，奇异值分解原理就是通过计算×低维矩阵(远小于)T的特征值以及特征向量而间接计算出T的特征值以及特征向量[13]。

接着，我们将k按从大到小顺序排列，则其对应的特征向量为。为了进一步减少维数，可以仅选取前面最大个特征值对应的特征向量作为子空间，由此得到特征脸子空间为=(1,2,…,)。最后将训练样本投影到特征脸子空间，计算得到一组投影向量组成人脸数据库[14]，投影向量的计算式如下：

识别过程中，先将每张待识别人脸图像投影到特征人脸子空间中，再使用最近邻分类器进行人脸识别。

本文方法使用的是经过PMP计算出的人脸相位图以及反射率图。在识别前，我们对相位图数据进行了归一化处理。具体归一化步骤：

表示原相位图中的最大值。这样操作就可以使相位信息值归一化到0到255区间内，而深度图和灰度图同样依此进行归一化处理。本文方法的步骤可总结如下：

1) 使用PMP方法对人脸进行扫描并计算出人脸的相位数据和反射率数据；

2) 对人脸区域的相位数据进行归一化处理；

3) 使用PCA方法分别对人脸的相位图和反射率图进行降维处理，用最近邻分类器对人脸进行分类识别。

3 实验与分析

3.1 数据获取

据我们所知，由于本文方法是首次利用相位图和反射率图进行识别，没有公开数据库，所以使用了自建数据库。我们的数据库包含20个人，每个人采集了15次不同表情、姿态和环境光的人脸数据，总计300张人脸图。本文采用的是多频PMP方法计算相位与反射率，所用到的PMP图案频率分别为1、4、8、16，各频率相移数是16，先计算出四个不同频率的包裹相位，再利用相位展开法算出未包裹的展开相位[5]。为了与传统二维人脸识别及三维深度人脸识别相比较，本文同步采集了灰度图、深度图、反射率图和相位图，分别如图2所示。

图2 同一人脸的四种不同数据

其中，图2(a)是摄像头捕获的灰度图，图2(b)是经过PMP方法进行三维重建计算出的深度图(即三维坐标中的坐标)，图2(c)是经过PMP方法计算出的反射率图，图2(d)是经过PMP方法计算出的相位图。图2中的所有数据都已经归一化到了0到255之间。

3.2 实验结果

实验过程中，我们将数据库中的数据分为训练集和测试集，其中每个人依次取1到11张人脸图为训练集，剩下来的均为测试集。为了保证实验结果的准确性，本文进行了多次实验，每次实验选取不同的训练集，最后的结果是多次实验的平均值。四种不同人脸数据识别实验结果的比较如图3所示。

图3 四种不同人脸数据识别率比较

表1是四种人脸数据在不同训练样本数量下的识别率。

根据实验结果，四种不同的人脸数据识别精度均随着训练集增大而增高，在训练样本数量较少时，反射率图的识别率高于相位图的识别率，训练样本数增多后相位图的识别率又高于反射率的识别率。而不管训练集数量多大，相位图以及反射率图的识别效果总是明显好于灰度图和深度图。

结束语

本文提出了一种基于相位测量轮廓术的人脸识别方法，使用相位和反射率进行人脸识别，利用PMP算法分别计算出相位图和反射率图，再使用PCA算法进行降维，最后用最近邻分类器进行人脸识别。由于相位图以及反射率图受环境光的影响更小，从而获得了比二维灰度图人脸识别更好的识别效果。而且本文方法不需要计算三维坐标，这样就不用获得标定数据，也获得了比三维深度图人脸识别更好的识别效果。实验结果证明这种方法是有效的，而且本文方法还可以扩展到其它能够计算出的相位数据和反射率的结构光测量技术，为人脸识别领域提供了新的思路。不过，相位图和反射率图人脸识别作为新的具有挑战性的工作，在特征提取等方面都需要有更深一步的研究。

[1] Shyam R，Singh Y N. A Taxonomy of 2D and 3D Face Recognition Methods [C]// IEEE International Conference on Signal Processing & Integrated Networks，Noida，India，Feb 20-21，2014：749-754.

[2] Turk M，Pentland A. Eigenfaces for Recognition [J]. Journal of Cognitive Neuroscience(S0898-929X)，1991，3(1)：71-86.

[3] 叶长明，蒋建国，詹曙，等. 基于三维人脸成像系统的复数域人脸识别方法 [J]. 电子测量与仪器学报，2011，25(5)：420-426.

YE Changming，JIANG Jianguo，ZHAN Shu，Face Recognition in Complex Domain Based on 3D Facial Imaging System [J]. Journal of Electronic Measurement and Instrument，2011，25(5)：420-426.

[4] 苏显渝，张启灿，陈文静. 结构光三维成像技术 [J]. 中国激光，2014，41(2)：1-10.

SU Xianyu，ZHANG Qican，CHEN Wenjing. Three-dimensional Imaging Based on Structured [J]. Chinese Journal of Lasers，2014，41(2)：1-10.

[5] Yalla V G，Hassebrook L G. Very High Resolution 3D Surface Scanning Using Multi-frequency Phase Measuring Profilometry [J]. Process of SPIE(S0277-786X)，2005，5798：44-53.

[6] Panchal K，Shah H. 3D Face Recognition Based on Pose Correction Using Euler Angle Method [C]// IEEE International Conference on Machine Intelligence and Research Advancement (ICMIRA)，Katra，India，Dec 21-23，2013：467-471.

[7] Mohammadzade H，Hatzinakos D. Iterative Closest Normal Point for 3D Face Recognition [J].IEEE Transactions on Software Engineering(S0162-8828)，2013，35(2)：381-397.

[8] TANG Hengliang，YIN Baocai，SUN Yanfeng，. 3D Face Recognition Using Local Binary Patterns [J]. Signal Processing(S0165-1684)，2013，93(8)：2190-2198.

[9] Hesher C，Srivastava A，Erlebacher G. A Novel Technique for Face Recognition Using Range Imaging [C]// IEEE International Symposium on Signal Processing & its Applications，Paris，France，Jul 4，2003：201-204.

[10] Abate A F，Nappi M，Riccio D，. 2D and 3D Face Recognition：A Survey [J]. Pattern Recognition Letters(S0167-8655)，2007，28(14)：1885-1906.

[11] 赵静，吴炜，郑晓军，等. 一种校正相位测量轮廓术量化误差的算法 [J]. 强激光与粒子束，2014，26(11)：22-26.

ZHAO Jing，WU Wei，ZHENG Xiaojun，. Algorithm for Correcting Quantization Error in Phase Measuring Profilometry [J]. High Power Laser and Particle Beams，2014，26(11)：22-26.

[12] LIU Kai，WANG Yongchang，LAU Daniel L，Dual-frequency Pattern Scheme for High-speed 3-D Shape Measurement [J]. Optics Express (S1094-4087)，2010，18(5)：5229-5244.

[13] 李冠楠，李强. 一种基于人脸核心特征的PCA人脸识别算法及应用 [J]. 电子器件，2012，35(5)：607-610.

LI Guannan，LI Qiang. Implementation and Application of One PCA Face Recognition Algorithm Based on the Core Features of the Face [J]. Chinese Journal of Electron Devices，2012，35(5)：607-610.

[14] 孔令钊，唐文静. 基于PCA的人脸识别系统的研究与实现 [J]. 计算机仿真，2012，29(6)：27-29.

KONG Lingzhao，TANG Wenjing. Research and Realization of Face Recognition Based on PCA [J]. Computer Simulation，2012，29(6)：27-29.

Face Recognition Based on Phase Measuring Profilometry

YU Xiang，LIU Kai

( School of Electrical Engineering and Information, Sichuan University, Chengdu 610065, China )

A new method of face recognition, which is based on phase measuring profilometry, is proposed to solve the problems of the ambient light influence in 2-D face recognition and the dependence on calibration data in 3-D face recognition. Firstly, the phase information and reflectivity information of face are obtained based on phase measuring profilometry. The phase image contains 3-D information and the reflectivity image is immune to the ambient light. Then the traditional 2-D face recognition approaches can be used after normalization. In experiments, principal component analysis and nearest neighbor method are used to classify the face. Experiment results show the effectiveness of the proposed method, which achieves higher recognition accuracy than that achieved by using grayscale image and range image.

face recognition; phase image; reflectivity image; ambient light; calibration data

1003-501X(2016)06-0039-05

TP391.4

A

10.3969/j.issn.1003-501X.2016.06.007

2015-10-10；

2015-12-14

国家自然科学基金 (61473198)；四川省科技厅支撑项目(2014GZ0005)

余祥(1991-)，男(汉族)，安徽安庆人。硕士研究生，主要研究工作是三维数据处理。E-mail: zgyx008@163.com。

刘凯(1973-)，男(汉族)，江苏无锡人。博士，教授，主要研究工作是三维重建与三维数据处理。E-mail：kailiu@scu.edu.cn。