基于低分辨率的人脸识别方法研究

，，，

(1.安徽警官职业学院 计算机基础教研室，合肥 230031; 2.合肥师范学院 信息技术中心，合肥 230601)

0 引言

随着城市发展日趋成熟以及便利交通设施的更新，大规模的人口流动于各个城市，如何有效的鉴别身份信息，如何保障信息安全和公共安全，特别是一些给人们带来生命安全和灾难的恐怖事件，给人们带来警醒和深思。而人脸作为一种可以通过非接触即可得到验证的最友好的生物特征，加上它的特殊性和唯一性，受人们追捧，也成为很多学者喜爱的研究点[1]。人脸识别是种新型的身份验证方式，包括对图像里人脸进行识别，与已有信息库中人脸比对匹配的过程。随着对人脸识别技术的研究和发展，很多研究者不断提出改进的方法，但如何在不同的场景下提高人脸识别率是其核心的方法。

通过监控识别人脸是其发展的重要方面以后也将进一步发展。为减少视频数据的空间占比，目前市场大部分采用低分辨率的存储方式来存放视频数据，这对人脸的识别率带来了极大的影响[2]，而通过人工识别人脸的工作因客观条件有限极易出错，因此如何利用计算机视觉技术准确、快速、低成本[3]的完成人脸识别工作解决人脸识别问题一直以来备受关注。与此同时，因犯罪分子冒充别人身份而未能识别也会引发一系列的安全问题，比如2002年9月11日，美国遇到恐怖袭击至双子塔崩塌事件(又称9.11事件)，造成了大量人员伤亡。所以，人脸识别在公共安全的防御上具有很大意义。

人脸识别最早是法国人Galton提出的，以人脸的几何特征进行识别，但由于人脸是多态非固定的，无法精确人脸形态模型；接着人脸识别开始出现基于模板匹配的方法[4]，它有着一定稳固的识别效果，但因为人脸不是平面的，具有立体性，且呈现多面即多维性，具体识别时会出现识别时间过长耗费内存空间的情况。上世纪的最后一个十年，人脸识别方法迎来了百花齐放的蓬勃发展至高峰的时期，出现了基于空间特征、基于模型的人脸识别方法等等，这些方法避开了人脸维度复杂特征多样的问题，可以减少表情、噪声的影响，但其实现的复杂度较高。新世纪后，人脸识别研究的方向则倾向于关注于如何减少外界环境的影响，出现了基于向量机、3D模型等学习理论的人脸识别方法。

全球范围内现已有上百个国家的近五百个政府、机构应用了生物识别技术及产品。欧美等国已开始涉足通过系统的开发完成侦查人脸识别的应用。9.11后，美国着手三大项目应对公共安全问题，即国防生物识别项目、联邦调查局(FBI)的“下一代身份识别系统”项目(NGI)、多国的签证系统(U-VIS)。其中FBI的NGI项目重点研发的是新一代身份识别系统，是将公共视频监控中捕捉的照片与FBI数据库中的罪犯图片或在FBI公共图片库的照片来匹配，减小犯罪活动发生的概率。2012年，印度完成的“国民身份证项目”，建设了全球最大规模的生物特征识别数据库，采集了印度超过12亿人的包括十指指纹、人脸和虹膜3种生物特征。新世纪以来，我国每年都会组织“中国生物识别学术会议”，以促进人脸识别技术的发展。科研方面：苏光大教授带领清华大学课题小组研发成人脸识别系统，在较远的距离(2米)内完成身份证上图像的人脸识别，而电子系教授丁晓青也研发成功了THfaceID系统进行人脸识别；中科院李子青教授开发的“中科奥森”近红外人脸识别系统在北京奥运会、上海世博会和边境检查以及银行里都加以应用，同时还开发具备人脸识别的功能的数码产品都及手机上的人脸识别软件，还有联想等多数主流笔记本电脑推出的具有人脸识别功能的笔记本等；中国科学院计算所高文教授带领的团队开发了GodEye系统；中国科技大学庄镇泉教授带领的团队研究并实现了人脸考勤系统的应用。还有20世纪初，由中科院计算所牵头，联合了银晨科技实验室筹建了人脸识别图片库，这是全球范围内最大的亚洲人脸图像数据库。 人脸识别在国内已经取得一定的成绩并在继续的研究应用中，这也为我国二代证数据库以及监控系统普及的起了推动作用[5]。

1 人脸识别研究现状

目前，计算机图像领域比较有影响力的刊物(PAMI、IJCV、CVIU、PR)和国际会议(ICCV、CVPR、ECCV)等为智能视频图像领域的研究工作者提供了广阔的交流平台来展现自己最新的理论研究成果[6]。人脸识别是将运动目标检测、图像预处理、特征提取、降维、分类等多领域的技术知识进行了融合，如图1所示是目前较常采用的人脸识别基本思路。

图1 人脸识别基本思路流程

图1中运动目标检测、人脸识别及特征提取、降维是识别流程中的关键部分。如图2所示，本文针对以上过程中的多种技术，进行分类，并对各种分类下的人脸识别方法进行逐一归纳分析。

图2 人脸识别分类

2 传统方法

最初人脸识别研究有两个方向:一是几何特征法，即锁定人脸关键部位位置的二维结构、之间距离及比值、特征向量、欧式距离、曲率、角度等参数；二是模板匹配法，主要用计算模板和图象灰度的相关联性来达到识别功能[7]。

2.1 基于几何特征的方法

此种方法基本思想是:人脸的差异来源于人脸如眼睛、鼻子等各器官的不同，通过对它们进行数学描述，作为人脸识别的特征，如描述成各部件的宽度、弧度、垂直距离、形状等等，进行识别。但此种方法识别前需进行调整统一下标准，以防出现角度、方向及不同比例影响下的识别误差。

Kelly, Kanade和Bledsoe将人脸放入2维空间来进行识别，具体是采用人脸重要特征点之间的距离这一几何特性的模型进行分类;Goldstein等将人脸重要特征标定在二维人脸上，用矢量来表征人脸特性;此外，Kaya等人用计算嘴唇和鼻子等长度的方法来表达人脸;Kanade在其论文中设计人脸检测系统，推进了人脸半自动化辨别，用积分投影来计算人脸特征的参数;Baron采用掩模的方法，通过描绘人脸中各部件器官来表达整张人脸。

尽管这种几何特征来判别人脸的方法尽可能去描述各器官的数学特性，减少误差，最后从识别效果看，这种方法仍然不能达到稳固的识别率，且识别率不高。

2.2 基于模板匹配的方法

模板匹配方法是利用计算模板和图象灰度的相关联性来达到识别功能，增进了识别技术的稳定性。具体是先给定多样的参照模板，再将目标图像与参照模板进行比较，比较相似度，依据其大小进行匹配检测。

梁提出的单人脸检测方法是用含双眼和人脸长宽比例值不同的多个模板来匹配实现的[8]。第一步，用双眼模板大致选取识别区域；第二步，用各种长宽比的人脸模板区分识别出的图像中的有效区域(人脸)；第三步，用人脸边缘特征相关技术验证识别是否有效。

多模板匹配识别人脸的方法既能定位，又能检测人脸，实现起来容易些，但在人脸尺度变化和姿势变化时，较难处理。

3 其他方法

继上述两种早期传统的研究方法后，人脸识别技术经历了百家争鸣的局面，各种方法不断的改进再改进，也逐渐走入了自动化、现代化的潮流，我们继续来介绍：

3.1 基于子空间方法

子空间方法的思路是通过空间变换将采集到的图映射到一子空间，这样能增加图像分布的紧凑性，减少计算量，依据对应变化关系分成线性子空间和非线性子空间。

利用线性子空间法常用的有：主成分分析法(PCA)、线性判别(LDA)法、独立成分分析法(ICA)、 特征脸法(Eigenface)、Fisher 线性分类法等。

主成分分析方法(PCA)是种经典的方法，在人脸识别的特征提取和特征降维这两个步骤环节都可以采用。其原理是通过K-L(Karhunen-Loeve)变换法将图像多维信息矩阵变换成特征空间正交基，而对应于最大特征值的特征向量叫做主成分 (Principal Components)，因而得名为“主成分分析法”[9]。K-L(Karhunen-Loeve)变换是去掉相关量的正交变换，因此PCA方法得到的子空间就是一个最优的低维空间，能以最少的向量表征图像特征，虽然丢失了些许信息，但不影响图像质量。

20世纪90年代初麻省理工学院的Pentland和Turk 将PCA方法应用于人脸识别，开创性地提出了特征脸法(Eigenface)。把人脸图像看成一个N行N列的随机向量，以行来堆叠成一个N行1列的向量，与同维度的均值向量做差，然后进行K-L变换，最终得到一组正交基。所取的空间基与人脸维数相同，且相似于人脸形状，将其称为特征脸(Eigenface)。这样就把需要识别的人脸在由“特征脸”组成的子空间里投影，且所投影的维数比原图像减少很多，实现了降维。用PCA进行的人脸识别又被称为特征脸法。此后的学者在人脸识别的研究上提出了更多方法，但都有着Eigenface的影子。目前，人脸识别中有检测效能的算法是Eigenface和Normalized Correlation结合的。Belhumeur等提出的fisherface方法，是在降维时应用PCA又结合了线性判别分析(LDA),得到最大的类间(sb)离散度和最小的类内(sw)离散度[10]，目前为止，此算法仍是人脸识别中的主流方法。

线性判别分析LDA原理是在一个方向上进行投影，使待识别人脸图像投影此方向后，得到最小sw和最大sb。但LDA性能优于PCA只在训练集样本数较多时才会出现。

独立分量分析(ICA)是求出图像的一阶、二阶至高阶信息，通过线性变换，其中分离独立的正交基，以表达图像。实验证明，人在识别物体时是借助图像的相位谱信息，高阶统计量具有重要的作用.PCA方法是相关图像的二阶统计量， ICA有效利用了信号的二阶以上信息量， 是PCA方法另一种形式，但比PCA有着更广阔的应用。

基于线性子空间的人脸识别，实质上也把人脸图像中的情绪、噪声等影响做了线性简单的描述，因此不能很详细地去表达细节。非线性子空间方法是把图像数据分开处理，对线性不可分的部分，通过非线性方式映射到隐性的高维特征空间，使此空间中的图像线性或接近线性，继续在此空间里把图像用线性方式处理，完成了原空间意义上的非线性的处理，达到人脸判别的目的。这里的高维空间又称为核空间，以上即是用核方法来达到人脸辨别的目的。此过程在计算上只须用高维因变量表达两两向量在高维空间的内积，不用明确非线性变换。 有核主成分分析法(KPCA)、核Fisher判决分析法(KFDA )、核线性判别分析法(KLDA )、流行学习((Manifold learning)、局部线性嵌入(LLE) 和等距映射(ISOMAP)、保局投影法(LPP )等。

3.2 基于空间特征的方法

人脸识别方法还有基于空间特征的方法。基于空间特征法依据空间提取，主要分为两个，分别是基于整体和基于局部。

基于整体的研究方法是使用人脸的整个属性，即提取特征时除了提取人脸图像的各器官特征还取样各器官之间的相对位置等整体属性。方法有特征脸(Eigenface)方法、 Fisherface方法、直接LDA(线性判别分析)方法、神经网络法RBF及隐马尔可夫模型(Hidden RMarkov Mode)方法。

特征脸(Eigenface)方法在本文之前论述的线性子空间法中进行过归类，此处也可归为基于整体的空间特征法。同理于特征脸(Eigenface)方法，Fisherface方法也如此，这并不奇怪，它们应用了线性子空间的原理，也符合基于整体的空间特征方法原理。

隐马尔可夫模型(Hidden RMarkov Mode)法是由Samaria最早用于人脸辨别的，随后Li 等提出另一种自适应的HMM，它的状态数因变量于信号源，从而更加细致地反映模式信息。Huang等为有效处理人脸遮挡问题，先独立建立HMM在由人脸五官划分的五个子区域中，再将这些单独的HMM借助语法结构重组一个整体的人脸HMM，取得不错的效果。HMM构建的基础是统计模型，不用考虑和提取人脸复杂图像，能够稳定表达情绪姿态及光照影响，不足之处是较为复杂[11]。

基于局部的研究法主要是采用人脸的局部特征，常用局部人脸各部件特征达到辨识的目的，具体有弹性图匹配EGM(Elastic Graph Matching)方法、局部特征分析LFA(LocalFeature Analysis)方法、动态链接结构DLA(Dynamic Link Architecture)方法等。

弹性图匹配EGM算法[12]，即Elastic Graph Matching。这法的原理是将人脸的一些特征点以顶点的形式通过一张属性图标来标识，这些特征点表达了面部的重要特性，具有多方向局部矢量性和多分辨率，称之为Gabor特征[13]。正是这一特征通过各个特征点的几何关系表征着图像的边缘特性。EGM通过特殊搜索定位已设定的人脸重要特性点，提取它们的Gabor特性，传输至属性图中，最后与已有的图片库里的人脸属性图进行识别判断，辨识人脸。此方法技能建模人脸的局部特征又能把握全局性的特征，是种比较有效的人脸识别算法。具体包括基于小波变换、Gabor小波变换、LBP局部二值模式(Local Binary Patterns, LBP)算子和LTP算子、HOG特征、SIFT和SURF等。

后期又出现对此方法改进的LFA(Local Feature Analysis)，即局部特性分析法的简称，此种方式是由Atick等从统计学表达提出的，它能在继全局的PCA降维之后提取出局部特性，从这个角度说，LFA要优于单纯的PCA分析法，弥补了它不能保留局部特征结构的缺点[14]。因而LFA在人脸识别中效果更好，且已在商用人脸识别系统中应用。

3.3 基于统计的方法

基于统计的人脸识别方法是用统计原理找出图像的疑似人脸特征，建设机器学习分类器，通过训练疑似人脸样本，判断。使用统计来进行人脸辨别的方法实际融合了机器学习和统计的算法将人脸识别转型成统计模式分类问题。

除了以上已经介绍过的子空间法、局部特征分析方法，使用统计原理的方法还包括有神经网络法(ANN)和支持向量机法(SVM)、贝叶斯方法(Bayes)以及Boosting方法。

ANN是仿效生物神经系统传递信息的原理将人脸区域分为多个部分[15]，每个区域相当于信息传导过程中的一个单位(即神经元)，采用多级输出进行判断完成人脸检测，历经了认知神经网络、主动神经网络、感知--理解-决策神经网络、复杂神经网络、深度神经网络及大数据深度学习的发展阶段，让人脸识别速度和效率。

3.4 基于学习的方法

支持向量机(SupportVector Machines)，即S VMs，它既基于学习也基于统计。SVMs是个以最小化结果风险取得的能起到分类作用的超平面，所以它实质上是分类器，最终分类常见的有两种：类内差法(sw)和类间差法(sb)[16]。

三维可变模型3D Morphable Model Jones是结合了图像analysis(分析) 和 synthesis(合成)技术在多姿态多噪声下的人脸识别方法，这种方法并非将图像从三维转化成二维，而是直接对人脸建模，通过直接获取如皱纹、器官立体模型等三维信息，从而排除了噪声和姿态等因素的影响，提高识别率。

基于Boosting的学习方法是弱分类器的技术，由Jones和Vlola的，是开创的，它以Adaboost表征人脸特性，再进行辨识。后期有很多改进的算法，比如AdaGabo方法, 即将Adaboost结合LBh算法等，能在人脸图片库上取得高成效。

4 结束语

人脸识别是生物识别技术的一种，在计算机视觉领域一直是比较热门的研究话题，在人工智能大发展的时代背景中，更为突出。本文针对该领域进行了详细的阐述和说明，将人脸识别分成两类，一类是传统的方法，有几何特征和模板匹配的方法等。另一类是近现代基于交互和自动方法，该类主要包含了基于子空间、基于空间特征、基于统计和基于学习人脸识别方法等，对人脸识别的方法不再局限于静态时能提取识别人脸特征，考虑如何在有效识别人脸特征时，简化运算量，对边缘图像的辨别提高，对识别运算进行自动、多样本的识别，学习以提高识别率的问题。希望本文对人脸识别相关技术的介绍，能够对该领域的相关研究工作者提供一定的帮助。