基于全局与局部特征的嵌入式人脸识别系统

陈志勇, 彭力, 张纪宽

(江南大学物联网工程学院,江苏无锡214122)

基于全局与局部特征的嵌入式人脸识别系统

陈志勇, 彭力*, 张纪宽

(江南大学物联网工程学院,江苏无锡214122)

基于主成分分析人脸识别算法,提出一种基于全局特征和局部特征的加权算法,并且在嵌入式(Tiny6410)上完成系统的设计与实现。利用主成分分析提取人脸全局特征,根据特征值贡献率获取降维后的人脸子空间,采用欧氏距离匹配测试样本;用人眼检测算法、鼻子检测算法等提取每个样本的左眼、右眼、鼻子、嘴,分别建立样本集,采用主成分分析;分别计算全局和局部特征的离散度,根据离散度进行自动加权算法,给出最终的人脸识别结果。实验表明,该系统具有一定的稳定性,识别效果优于单一模块的识别。

主成分分析;全局特征;局部特征;离散度;加权

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术,已广泛用于多种领域[1]。主成分分析(PCA)是容易执行的经典人脸识别算法,分析过程也被应用于各种研究方法。经典PCA算法以人脸整体作为样本,对全局进行分析降维,运用最近邻法则判断待识别对象,并取得较好的效果。但局部特征(人眼、鼻子、嘴)在整个过程中的地位和影响同样不可或缺[2]。如果待识别者具有独特的局部特征,一定程度上可以靠局部特征判别这个人。

文中在全局特征子空间的基础上提出一种基于全局与局部特征的加权人脸识别算法,并且在嵌入式平台上完成系统的设计与实现。实验结果表明,该系统具有一定稳定性和实用性,并且在识别率上优于经典PCA算法。

1 主成分分析算法

主成分分析(PCA)[3]是一种常用的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。由于其在降维和特征提取方面的有效性,在人脸识别领域得到广泛应用。PCA方法的基本原理是利用K-L变换得到人脸的主要成分,构成特征脸空间[4],识别时将测试图像投影到此空间,得到一组投影系数,通过与各个人脸图像比较进行识别。

PCA进行人脸识别的过程由训练阶段和识别阶段两部分组成。

1.1 训练阶段

第1步用Opencv人脸检测算法采集训练样本,并进行人脸图像预处理。具体实现在下面局部特征提取简介。假设训练集有100个样本,由灰度图组成,每个样本大小为M×N。剑桥大学的ORL人脸库如图1所示[5]。

图1 ORL人脸库Fig.1 ORL face database

训练样本矩阵为

其中Xi是第i个样本,每一列向量堆叠成一列MN维列向量。

第2步计算训练集的平均脸:

再计算出每一张图像脸与平均脸的差值脸,构造协方差矩阵C:

第3步求协方差矩阵的特征值和特征向量,构造特征脸空间。按照特征值的贡献率

选取前p个特征值λi和特征向量υi组成特征子空间

将每一幅差值脸投影到上面这个子空间上,形成测试集投影。到这里人脸训练阶段完成,然后测试图像的识别过程。

1.2 识别阶段

将测试图像X与平均脸的差值脸投影到特征子空间V上得到

采用欧氏距离计算与每个人脸的距离:

最后用最近邻法则[6]判别待测试的人脸并且计算可信度Q,设置可信度阈值b,当大于b时可以认为是欧氏距离最近的那个人:

判别是否属于人脸库和属于人脸库中第几个人。

文中所用人脸库在ORL人脸库前10个人的基础上加上实验室3个人,组成13个人的训练集,如图2所示。该工程在实际应用中可以在线添加更多人脸样本数。

图2 部分人脸库Fig.2 Part of the face database

2 局部特征PCA人脸识别算法

大多数人脸识别方法的主要依据还只是人脸的全局特征,主要是因为局部特征的准确定位与提取存在一定的困难。但是局部特征和全局特征对于人脸识别来说都是不可缺少的。如果待识别的对象拥有特别明显的局部特征,对于识别来说是相当重要的信息,甚至全局特征的权重要小于局部特征[6]。文中将局部特征提取出来,形成训练集。基于PCA实现局部特征子空间人脸识别,并且分析全局与局部的权重系统,融合两者最终实现嵌入式人脸识别系统[7]。

2.1 局部特征的提取

局部特征的提取对于局部特征PCA是非常重要的环节。文中基于Opencv这个开源的跨平台计算机视觉库,来完成局部特征(左眼、右眼、鼻子、嘴巴)的提取。

2.1.1 Haar-Like型特征算法 Viola-Jones人脸检测算法、人眼检测算法、鼻子检测算法等可以统称为Haar-Like型特征算法[8]。Haar-Like型特征是Viola等人提出的一种简单矩形特征,因为类似Haar小波而得名。Haar型特征的定义是黑色矩形和白色矩形在图像子窗口中对应的区域的权重灰度级总和之差。算子数量庞大时上述计算量显得太大。

Viola等人发明了积分图方法,使得计算速度大大加快。利用Adaboost学习算法进行特征选择和分类器训练,把弱分类器组合成强分类器,并且采用分类器级联提高效率。比如瀑布型级联检测器是针对人脸检测速度问题提出的一种检测结构。瀑布的每一层是一个由Adaboost算法训练得到的强分类器。设置每层的阈值,使得大多数人脸能够通过,在此基础上尽量抛弃反例。位置越靠后的层越复杂,具有越强的分类能力。这样的检测器结构就像一系列筛孔大小递减的筛子,每一步都能筛除一些前面筛子漏下的反例,最终通过所有筛子的样本被接受为人脸。

2.1.2 分类器采集样本 文中采用Opencv开源库,基于Haar特征的级联分类器检测流程如图3所示。

图3 检测流程Fig.3 Testing process

分别用分类器提取100个样本集的左眼、右眼、鼻子、嘴,再经过灰度化,接着缩小特征图像,用直方图均衡化增强图像的对比度,最后提取出局部特征保存。通过适当的归一化处理,可以得到4个训练集,分别为左眼、右眼、鼻子、嘴,结果如图4所示[2]。

图4 局部特征Fig.4 Local features

2.2 局部特征样本的加权融合

归一化的图像展开:

采用上文的经典PCA算法,分别对4个训练集进行训练,求取协方差矩阵的特征值和特征向量,通过最大贡献率实现特征空间的降维操作,得到每个局部特征子空间

算出每一个训练集的类内散布矩阵Sw、类间散布矩阵Sb和总体散布矩阵St,总体离散度Ji:

每个训练集的总体离散度代表该特征的加权系数,系数越大表明该特征在人脸识别中所占权重越大,表明该特征对人脸识别的贡献越大。

最后根据不同的加权系数,融合各个模块组合成局部特征人脸识别,公式如下:

算出4个模块合成的局部特征人脸的可信度,与设置的阈值比较,确定是否是样本集中的人脸以及是哪一个人脸。

2.3 综合全局和局部特征的人脸识别

通过前面步骤,分别实现了人脸的全局和局部特征的子空间提取,并计算欧氏距离采用最近邻法则进行识别。实验发现单独的全局特征人脸识别算法或局部特征人脸识别算法难以达到满意的效果,会有不少特殊情况。例如一个人脸的嘴部特征明显,但是用了全局特征人脸识别算法,在可信度上低于局部特征的人脸识别算法,还出现了误判的情况。本节融合全局和局部特征[9]来实现综合的人脸识别算法。分别计算全局PCA的离散度Sta和每个局部特征PCA的平均离散度Sti(i=1,2,3,4),离散度代表了全局和每个局部特征模块的权重,分别计算它们的权重系数,最后生成一个基于全局和局部的人脸识别算法:

2.4 实验仿真

基于ORL人脸库、Yale人脸库和AR人脸库在Matlab平台进行仿真实验,结果识别率分别如图5～7所示。

图5 算法的识别率Fig.5 Recognition of algorithm

图6 算法的识别率Fig.6 Recognition of algorithm

图7 算法的识别率Fig.7 Recognition of algorithm

仿真结果表明,文中基于全局和局部特征的人脸识别算法,在识别率方面整体效果优于全局PCA算法和局部PCA融合算法,有一定的系统实现价值。

3 基于全局与局部特征的嵌入式人脸识别系统实现

采用的是友善之臂Tiny6410开发板,它是一款以ARM11芯片作为主处理器的嵌入式核心板。CPU Samsung S3C6410A,ARM1176JZF-S核,主频12 306 MHz,最高667 MHz,DDR RAM内存256 M Mobile DDR RAM,32 bit数据总线。在Tiny6410上实现文中人脸识别算法,可以现场采集图片处理,在线训练生成人脸库[10]。

3.1 实验结果

单独基于全局PCA算法的实验结果如图8所示。在tiny6410上加上30万像素的天敏摄像头,可信度在82%左右。

图8 实验检测结果Fig.8 Experimental test results

文中采用的是融合全局和局部特征的PCA算法,实验结果如图9所示,可信度提高到84%。

图9 实验检测结果Fig.9 Experimental test results

由检测结果可看出,全局和局部特征的PCA算法都可以实现人脸识别算法,并且具有一定的可行性。但是其识别率均低于文中融合全局和局部的人脸识别算法。实现结果较大程度上提高了人脸识别率,检测结果准确、完整,并且能满足实时性检测识别的要求。

3.2 结果分析

以识别率DR对上述算法的效率和准确度进行分析,计算方法如下:

其中,AP定义为正确识别人脸的数目;FN定义为待识别的人脸总数[11]。

文中把可信度的阈值定在0.8,当大于0.8时认为待识别人脸就是人脸库中的某人。系统的帧率大约在每秒10帧,取100帧来算识别率。

在同等条件下3种方法的比较结果如图10所示。

图10 算法的识别率Fig.10 Recognition of algorithm

3种算法都有较高的识别率,能有效地检测出人脸并进行人脸识别。但文中所用的算法在识别率上较另两种算法有一定提升,而且识别结果准确、完整,在嵌入式系统上满足实时性识别(见图11)要求。

4 结 语

文中提出的基于全局和局部特征的人脸识别算法,既考虑了人脸的整体信息特征,也包括局部的个性信息。

图11 识别所需时间Fig.11 Required time of recognition

文中算法大约0.1 s可以完成人脸识别过程,在实时性方面基本达到要求。嵌入式人脸识别系统可靠稳定,还可以实现在线添加人脸库。该项目成功应用于驾校考勤、学员上车人脸识别。当有新学员时,可以在线添加人脸,实时训练生成人脸库。

基于PCA完成特征子空间的提取和利用加权系数法整合全局和局部特征,结构更加准确,实用的范围更加广泛,并且在嵌入式实时系统上实现本算法,可以直接应用于实践中,例如驾校考勤、公司考勤、上课签到等。

[1]Mallipeddi R,Lee M.Ensemble based face recognition using discriminant PCA features[C]//2012 IEEE Congress on Evolutionary Computation.[s.l.]:IEEE,2012:1-7.

[2]苏煜,山世光,陈熙霖,等.基于全局和局部特征集成的人脸识别[J].软件学报,2010,21(8):1849-1862.

SU Yu,SHAN Shiguang,CHEN Xilin,et al.Integration of global and local feature for face recognition[J].Journal of Software, 2010,21(8):1849-1862.(in Chinese)

[3]ZHOU C,WANG L,ZHANG Q,et al.Face recognition based on PCA and logistic regression analysis[J].Optik-International Journal for Light and Electron Optics,2014,125(20):5916-5919.

[4]Kirby M,Sirovich L.Application of the Karhunen-Loeve procedure for the characterization of human faces[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,1990,12(1):103-108.

[5]WANG D,LI D,LIN Y.A new method of face recognition with data field and PCA[C]//IEEE International Conference on Granular Computing.[s.l.]:IEEE,2013:320-325.

[6]王蕴红,范伟,谭铁牛.融合全局与局部特征的子空间人脸识别算法[J].计算机学报,2005,28(10):1657-1663.

WANG Yunhong,FANWei,TAN Tieniu.Face recognition based on information fusion[J].Chinese Journal of Computers,2005, 28(10):1657-1663.(in Chinese)

[7]李外云.基于ARM架构的嵌入式人脸识别技术研究[D].上海:华东师范大学,2008.

[8]刘晓克,孙燮华,周永霞.基于新Haar-like特征的多角度人脸检测[J].计算机工程,2009,35(19):195-197.

LIU Xiaoke,SUN Xiehua,ZHOU Yongxia.Multi-angle face detection based on new haar-like feature[J].Computer Engineering, 2009,35(19):195-197.(in Chinese)

[9]ZHOU D,YANG X,PENG N,et al.Improved-LDA based face recognition using both facial global and local information[J]. Pattern Recognition Letters,2006,27(6):536-543.

[10]王仕民,叶继华,黄亮,等.基于ARM的人脸识别系统的研究与实现[J].东南大学学报:自然科学版,2010,40(增刊1): 244-248.

WANG Shimin,YE Jihua,HUANG Liang,et al.Research and implementation of face recognition system based on ARM[J]. Journal of Southeast University:Natural Science Edition,2010,40(Suppl 1):244-248.(in Chinese)

[11]丁嵘,苏光大.特征脸和弹性匹配人脸识别算法的比较[J].计算机工程与应用,2002,38(7):1-2.

DING Rong,SU Guangda,LIN Xinggang.Comparison of eigenface and elastic matching in human face recognition[J].Computer Engineering and Applications,2002,38(7):1-2.(in Chinese)

(责任编辑:杨 勇)

Embedded Face Recognition System Based on G lobal and Local Features

CHEN Zhiyong, PENG Li*, ZHANG Jikuan
(School of Internet of Things Engineering,Jiangnan University,Wuxi214122,China)

Based on principal component analysis face recognition algorithm,a weighted algorithm based on the global and local features is proposed,and the design and implementation of the system on an embedded system(Tiny 6410)is completed.Firstly,the global principal componentanalysis is utilized to extract facial the facial features,and the results are sent to the facial subspace obtained by the eigenvalue contribution for recognition according to the nearest-neighbor classifier.Then the left eye,right eye,nose and mouth which are extracted from each sample by the eye detection algorithm and the nose detection algorithm are set up.Finally,the global and local features are weighted automatically according to the divergences and the face recognition results are presented eventually.The experimental results show that the system has certain stability,and the recognition effect is better than that of a singlemodule.

principal component analysis,global features,local features,the divergence,the weighting

TP 391

A

1671-7147(2015)03-0305-05

2014-12-08;

2015-01-03。

江苏省产学研联合创新资金-前瞻性联合研究项目(BY2013015-33;BY2014024;BY2014023-362014;BY2014023-25)。

陈志勇(1990—),男,江苏盐城人,控制工程专业硕士研究生。

*通信作者:彭 力(1967—),男,河北唐山人,教授,博士生导师。主要从事视觉传感器网络、人工智能、计算机仿真等研究。Email:pengli@jiangnan.edu.cn