人脸识别综合技术的发展

苏 楠 吴 冰 徐 伟 苏光大

1(清华大学电子工程系 北京 100084)2(南京理工大学计算机科学与技术学院 南京 210094)(sunan@mail.tsinghua.edu.cn)



人脸识别综合技术的发展

苏 楠1吴 冰1徐 伟2苏光大1

1(清华大学电子工程系 北京 100084)2(南京理工大学计算机科学与技术学院 南京 210094)(sunan@mail.tsinghua.edu.cn)

从算法、系统、标准、应用方面阐述了人脸识别综合技术的发展.在算法方面，介绍了部件PCA人脸识别和基于深度学习的人脸识别；在人脸识别系统方面，介绍了辨识人脸识别的系统结构；在标准方面，介绍了我国公共安全领域里的相关标准的发布情况；在应用方面，主要介绍了人脸识别在公共安全中的应用.同时也梳理了人脸识别技术发展的历程，并指出了当前人脸识别面临的挑战性问题.

人脸识别算法；人脸识别系统；人脸识别标准；深度学习；部件PCA

利用人脸进行生物特征识别的过程称为人脸识别.通常包含辨识型人脸识别(face identification)、确认型人脸识别(face verification)和关注名单型人脸识别(watch list face recognition).

人脸识别是生物识别技术的一种，和指纹、虹膜、声纹等其他生物特征识别相比，人脸识别具有独特的优势，包括：

1) 人脸信息的完全采集模式.

主动、被动地人脸信息采集，不受限制地人脸信息采集以及身份信息齐全.

2) 强大的社会资源支持.

二代身份证、网络身份证，遍布城乡的视频监控、摄像机成为许多智能设备的标配

3) 国家安全和公共安全的重大需求.

4) 结缘于大数据、云计算.

人脸识别经历了萌芽期、起步期、发展期、局部成熟期和规模应用期.萌芽期大致处于20世纪60年代，代表作是1965年Chan和Bledsoe设计的人脸识别系统；起步期大致处于20世纪90年代，代表作是1991年美国MIT的Turk和Pentland提出的著名的特征脸人脸识别方法；发展期是从2001年开始，标志事件是美国“9·11”事件；局部成熟期从2006年开始，标志事件是FRVT2006国际测试.规模应用期从2008年开始，标志事件是人脸识别技术成功应用于2008北京奥运会.

人脸识别不仅是研究的热点，也是应用的热点.

时至今日，人脸识别在算法、系统、标准、应用等方面都有了显著的进展.

1 人脸识别算法

特征脸的方法(EigenFace)[1]是早期著名的人脸识别算法，该算法将人脸图像从像素空间变换到特征空间，然后在特征空间中做相似性计算.后来，许多学者对特征脸的方法进行了各种改进，部件PCA的方法[2]就是其中的一种.除了特征脸的方法以外，又出现了LDA[3]、LBP、弹性匹配、高维特征、PCANet、三维等人脸识别算法.光照、姿态、表情、年龄等因素的影响会直接影响人脸识别率.在单人单张人脸的条件下，根据最佳二维人脸的思想，产生了许多校正的算法，比如姿态人脸的正面化、不同表情的人脸中性化等算法，以此获得与标准人脸更接近的人脸，以消除多种因素对人脸识别率的影响.

近年来，基于单人多张的人脸识别算法蓬勃发展，特别是基于深度学习的人脸识别方法取得了惊人的发展.

深度学习是人工智能技术的突破性进展，其应用有赖于计算能力的提高.GPU已被证明对深度学习很有效，CPU+GPU成为深度学习的主流计算方式，应用于语音识别、机器翻译、特定图像搜索等方面.香港中文大学[4]、Face++、百度等单位率先开展了基于深度学习的人脸识别算法研究，取得了很高的人脸识别率.

1.1 部件PCA的人脸识别

人脸部件具有显著的人脸特征.在PCA的基础上形成了部件PCA人脸识别方法.

首先，将人脸图像分为如图1所示的5部件：裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴.

图1 人脸部件示意图

用n×N矩阵表示N个人脸矢量，n为人脸图像点阵数，N为训练人脸的数量，则：

(1)

其中，Xk=(x1k,x2k,…,xn k)T,k=(1,2,…,N).

在计算C的特征向量和特征值中，由于计算XXT的维数很大(n2维)，而采用奇异值分解，改为计算XTX，这样可间接获得C的特征向量和特征值，而计算XTX后则变为N2维，XTX与XXT与特征向量的关系满足式(2)：

(2)

其中,uk为XXT的特征向量，而φk为XTX的特征向量，λk既是XXT的特征值，同时也是XTX的特征值.对于矩阵R，存在一个矩阵Φ，使得式(3)成立：

(3)

其中，Λ包含了矩阵R的特征值，Λ=diag(λ1,λ2,…,λN),式(4)表示成N个等式：

(4)

其中,特征值λk可通过式(5)求得：

(5)

把求得的λk数值按从大到小进行排序，取出前D个最大的特征值并保留与之相对应的D个特征向量φk.由式(4)算出矩阵C的特征向量uk.

矩阵C分别为从训练集人脸中分离出来的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴，通过式(1)～(5)的运算，分别形成特征脸、特征(眼睛+眉毛)、特征眼睛、特征鼻子、特征嘴巴.

在人脸识别过程中，首先要建立一个包含已知人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴投影特征值的数据库.

已知人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的投影特征值可通过式(6)求得：

(6)

其中qi分别为已知人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴图像，uk i分别为从训练集人脸中得到的特征脸、特征(眼睛+眉毛)、特征眼睛、特征鼻子、特征嘴巴.

计算待识别人脸与已知人脸相似度采用式(7)：

(7)

其中，A为待识别人脸的投影特征值串、B为数据库中已知人脸的归投影特征值串.

1.2 基于深度学习的人脸识别

深度学习算法种类繁多，人脸识别方面应用较广的方法主要是卷积神经网络.20世纪60年代，Hubel和Wiesel在研究猫脑皮层时，发现了一种独特的神经网络结构，可以有效地降低反馈神经网络的复杂性，文献[5]提出了卷积神经网络 (convolutional neural networks, CNNs).

神经网络由神经单元组成:

(8)

当将多个神经单元组合起来并具有分层结构时，就形成了神经网络模型.

卷积神经网络是一种非全连接的神经网络结构，包含 2种特殊的结构层：卷积层和次抽样层(也称特征提取层和特征映射层).卷积层由多个特征平面构成，完成抽取特征的任务.每个特征平面由神经元构成，每个神经元接受同一个特征平面的神经元，并且该神经元具有相同的大小.这一做法的理论基础在于，一般认为人对外界的认知是从局部到全局的，图像的空间联系也是局部的像素联系较为紧密，距离较远的像素相关性则较弱.因而，每个神经元没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就可以得到全局信息.同时，同一特征平面上的神经元具有相同的权值，这其中隐含的原理则是：图像的一部分统计特性与其他部分是一样的.这也意味着我们在这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征.

根据离散卷积的数学定义：

(9)

设所考查层的第k个特征平面记作hk, 与前一层的连接权重矩阵为Wk, 偏差为bk, 对于非线性的双曲正切函数, 可以得到特征映射如下：

(10)

其中，i和j标注了该神经元在特征平面上的位置.采用tanh或者sigmoid函数容易进入饱和区域，进入饱和区域时网络的连接权重W就无法更新，目前，激活函数一般采用线性校正单元(Relu)，该函数不仅加快了训练速度，并且使网络结构更加稀疏，可以学到更优的图像特征.

每个卷积层都会紧跟 1个次抽样层.输入数据经过卷积后进入高维空间，即卷积层进行了升维映射.如果不断地进行升维，显然会导致维数灾难，因此需要进行池化操作，但是池化操作会损失部分图像信息，网络中不能频繁采取池化操作.

因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用.因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，即池化.池化后得到的概要统计特征不仅具有低得多的维度，同时还可以降低过拟合的可能性.

卷积层的每一个平面都抽取了前一层某一个方面的特征.每个卷积层上的每个结点作为特征探测器，共同抽取输入图像的某个特征.图像经过一层卷积就由原始空间被影射到特征空间，在特征空间中进行图像的重构.卷积层的输出，为图像在特征空间中重构的坐标，作为下一层也就是次抽样层的输入.图2中C代表卷积，P代表池化，F代表全连接.

图2 LeNet示意图

在实际应用中往往使用多层卷积，然后再使用全连接层进行训练，多层卷积的目的是一层卷积学到的特征往往是局部的，层数越高学到的特征就越抽象越全局化.

相较于其他深度学习方法，卷积神经网络具有很多优势：CNN允许多维向量的图像直接输入网络，避免了特征提取和分类过程中数据重建的复杂度；卷积层与计算层相间的独特结构减小了特征分辨率；权值共享不仅可以实现并行学习，同时还减少了网络自由参数的个数，大大降低了网络的复杂性.这些特点使得卷积神经网络在图像处理方面有很强的优越性.

2 人脸识别系统

2005年，清华大学研制成功的大型人脸识别系统通过了公安部的科技成果鉴定，其系统结构如图3所示:

图3 大型人脸识别系统结构

R=RMMX×Rcluster.

(11)

应用集群计算机的基本条件是计算量要大大于网络通信量.为此，我们采用了如图4所示的集群计算机分库的人脸特征比对的方法[6].

图4中，输入的人脸特征分别和从机预存的人脸特征进行比对，主机进行合并.TH2005人脸识别系统达到了256万s的识别速度.

图4 集群计算机分库的人脸特征比对

3 人脸识别相关标准

人脸识别技术的发展促进了人脸识别相关标准的发展.在美国，2004年出台了国家标准《人脸识别数据交换规范》.我国人脸识别相关标准的制定起步较晚，但发展较快.清华大学于2004年承接了公安部人脸识别相关标准的起草任务.2007年9月11日全国安全防范报警系统标准化技术委员会人体生物特征识别应用分技术委员会成立，我国安防行业的生物特征识别相关标准进入大发展阶段.以清华大学为第一起草单位的行业标准《安防生物特征识别应用术语》于 2010年12月2日由公安部批准发布；以公安部第一研究所为第一起草单位的行业标准《安防人脸识别应用系统第2部分：人脸图像数据》于 2011年1月13日由公安部批准发布；以中国科学院自动化研究所为第一起草单位的行业标准《出入口控制人脸识别系统技术要求》于2013年12月6日由公安部批准发布.现在，包括人脸识别软件接口在内的多个标准正在制定过程中.

4 人脸识别技术的应用

人脸识别技术的应用是多方面的，一些成功的应用包括以下3方面：

1) 成功应用于2008年北京奥运会

2008年北京奥运会的开、闭幕式应用了人脸识别技术，如图5所示.这是奥运史上第1次应用人脸识别技术，也是我国的国家级应用项目，被媒体誉为人脸识别技术在华发展的里程碑.2010年，人脸识别技术成功应用于上海世博会.此外，人脸识别技术还应用于深圳罗湖口岸等出入境自助通关查验、机场安检等领域.

2) 成功应用于我国户籍查重

在我国户籍管理中，由于种种原因出现了一个人拥有2个或2个以上户籍的情况，这种问题将直接影响社会公共安全，如在逃人员利用多身份手段进行身份漂白、高官利用假身份外逃、不法份子利用假身份作案等.某市公安局2011年利用人脸识别技术在全市6 123 812张二代证人脸图像

图5 人脸识别技术成功应用于2008年北京奥运会

中进行户籍查重，对查询结果再进行人工核查，共查出12 314对重复户口，从中发现了8名逃犯，取得了户籍查重的重要成果，受到了各级领导表彰.近年来，各级公安机关狠抓户籍管理，在全国范围内清理注销了大量重复户口，既促进了我国人口信息化建设，也导致了人脸识别市场的爆发式增长.

3) 成功应用于视频图像侦察

深化城市监控应用是公共安全领域里的一项重要任务，图像侦察成为新的办案技术，得到了快速发展.

由于多种原因，监控中的人脸图像很小，其专业术语是人脸图像分辨率低下，这种情况长期困扰着办案工作.在基于监控的办案工作中，需要将视频监控中涉案人的人脸图像清晰化，识别视频监控中涉案人的真实身份，并掌握其运动轨迹.应用超分辨率人脸图像重建技术、模糊人像复原技术、人像组合技术、人脸识别技术，实现了超低分辨率人脸图像的重建与识别.图6给出了在周克华案的应用实例.

图6 超低分辨率人脸图像的重建与识别在周克华案的应用

5 结束语

时至今日，人脸识别无论是在算法上还是在应用上都取得了令人瞩目的成就.但要达到普适性仍然存在一些具有挑战性的问题.其中包括水平转动角、俯仰角姿态角大于30°以及人脸分辨率小于30个像素、超过5年的大年龄跨度的人脸识别.同时，深度学习人脸识别的广泛应用问题也是值得探讨的问题.深度学习的最主要瓶颈是学习时间过长.我们希望加速持续性的深度学习的训练过程.这种过程既包括筛选最佳参数的重复性学习，也包括样本增量的再学习.面对深度学习的计算复杂度，业界的主流方式是采用加大计算规模的CPU+GPU架构.与加大计算规模相比，我们更期待新的计算方式的出现.

目前，人脸识别的应用正在向金融行业发展，社保卡的人脸识别是成功的应用，而马云刷脸更是一个推动.网络身份证的实现有助于将人脸识别的应用推到一个新的高点.

[1]Turk M, Pentland A. Eigenfaces for Recognition[J]. Journal of Cognitive Neuroscience, 1991, 3(1): 71-86

[2]Su Guangda, Zhang Cuiping, Ding Rong, et al. MMP-PCA face recognition method[J]. Electronics Letters, 2002, 38(25): 1654-1656

[3]李小丽, 陈锻生. 基于LLE+LDA的人脸识别方法[J]. 计算机应用, 2007, S2(27): 85-86

[4]Sun Yi, Wang Xiaogang, Tang Xiaoou. Deeply learned face representations are sparse, selective, and robust[C] //Proc of CVPR. 2015: 2892-2900

[5]LeCun Y, Bottou L, Bengio Y, et al. Gradient—Based learning applied to document recognition[J]. Proc of the IEEE,1998, 86(11): 2278-2324

[6]Meng Kai, Su Guangda, Li Congcong, et al. A high performance face recognition system based on a huge face database[C] //Proc of IEEE the Int Conf on Machine Learning and Cybernetics (ICMLC). Piscataway, NJ: IEEE, 2005: 5159-5164

苏 楠

硕士，工程师，主要研究方向为计算机视觉、人脸识别.

sunan@mail.tsinghua.edu.cn

吴 冰

本科生，主要研究方向为人脸识别.

bingwu1995@126.com

徐 伟

博士研究生，主要研究方向为模式识别与人工智能.

18762321746@126.com

苏光大

教授，全国安防标委会人体生物特征识别应用分技术委员会顾问、证件防伪公安部重点实验室学术委员会委员、生物识别产业技术创新战略联盟副理事长，主要研究方向为图像识别与高速图像处理.

susu@tsinghua.edu.cn

The Comprehensive Technology Development of Face Recognition

Su Nan1, Wu Bing1, Xu Wei2, and Su Guangda1

1(DepartmentofElectronicEngineering,TsinghuaUniversity,Beijing100084)2(SchoolofComputerScienceandTechnology,NanjingUniversityofScienceandTechnology,Nanjing210094)

This paper elaborates the comprehensive technology development of face recognition from the aspects of algorithm, system, standard and application. In the aspect of algorithm, the MMP-PCA face recognition method and the deep learning based face recognition method are introduced. In the aspect of face recognition system, the system structure of face recognition is introduced. In the aspect of standard, the relevant standards of the public safety in our country are introduced. In the aspect of application, the paper mainly introduces the application of face recognition in public security. At the same time, this paper also combeds the development process of face recognition technology and pointes out the challenges of face recognition.

face recognition algorithm; face recognition system; face recognition criterion; deep learning; MMP-PCA

2015-12-30

TP391.14