一种基于视觉注意模型的人脸图像评估算法❋

朱利伟，蔡晓东，曾泽兴，梁奔香

（桂林电子科技大学信息与通信学院，桂林541004）

·微机软件·

一种基于视觉注意模型的人脸图像评估算法❋

朱利伟，蔡晓东，曾泽兴，梁奔香

（桂林电子科技大学信息与通信学院，桂林541004）

人脸识别受光照和姿态等影响。对人脸图像进行质量评估有利于在人脸识别过程中获得有利于识别的人脸图像。提出一种新的基于视觉注意模型的人脸图像质量评估方法。首先进行人脸检测获得人脸区域，然后对人脸区域分别进行眼睛检测和显著性检测，再根据所得到的眼睛区域和显著图计算左眼显著性和右眼显著性，最后计算双眼显著性，作为人脸图像质量。该方法计算简单，不需要参考图像。实验结果表明，该方法能对人脸图像质量进行正确评估，评估结果符合人眼的视觉注意。

人脸；人脸检测；质量评估；视觉注意力模型；显著性；无参考

1 引 言

人脸识别是模式识别领域一个非常活跃的研究方向，在安全、经济领域有着广阔的应用场景。近年来，对人脸识别的研究取得了突破性进展，但是人脸识别算法普遍受光照、姿态变化、年龄增长、图像分辨率等因素的影响，离大规模实际应用存在一定距离。

在一个人脸识别系统中，输入图像的质量严重影响系统识别率。准确评估输入的人脸图像质量，对提高人脸识别系统的性能（如正确识别率，错误拒绝率等）具有重要意义。

目前，很多图像质量评估方法已经被提出，但是针对人脸图像质量的评估方法很少。主要有2类：有参考的图像质量评估方法和无参考的图像质量评估方法。其中无参考的图像质量评估方法又可以分为基于机器学习和基于非机器学习这两种。

有参考的质量评估方法有着较完整的理论体系和成熟的评价框架，常用的方法如峰值信噪比（PeakSignal－Noise Ratio）和结构相似性（Structural Similarity），这类方法需要参考图像。但是在一个实际的人脸识别应用中参考图像很难得到或是得到的代价很大。Liu［1］等提出一种分块评估人脸图像质量再融合的方法，采用训练图像的平均脸作为参考图像。

对于无参考的质量评估方法，不需要参考图像就能对图像进行合理评价，符合实际应用需求，是未来的发展趋势之一。基于非机器学习的无参考质量评估方法，通常是根据反映人脸图像质量的特征结合人脸的先验知识来评估人脸图像质量。多数这类方法仅仅针对一种或几种反映人脸图像质量特征的因素，无法很好地反映人脸图像的整体质量。Abaza等人［2］利用高斯模型将对比度、明亮度、清晰度、光照等分别进行归一化，通过加权方式将归一化的质量因素整合成人脸的质量标签。Marsico等人［3］提出一种基于人脸头部姿态、光照变化、人脸对称性的质量评估方法，该方法依赖与人脸特征点的准确定位。Nasrollahi等人［4］通过分别评估头部姿态、清晰度、明亮度、分辨率这四个因素，然后固定加权综合来评估人脸图像整体质量。Luo等人［5］利用人脸区域与图像面积之比、人脸区域阴影区域所占比例、人脸区域清晰度来评估人脸图像质量

基于机器学习的无参考质量评估方法的基本思路是：在训练阶段，获得用于训练的人脸图像质量；抽取反映图像质量的特征向量，以此特征向量和其所对应的人脸图像质量构建质量评估模型。在测试阶段，用同样的方法抽取测试图像的特征向量作为质量评估模型的输入，模型输出值即为人脸图像质量的客观评估值。这类方法需要预先知道部分人脸图像的质量，用之训练模型。但是人脸图像的质量很难准确获得。Li等人［6］提取图像的相位一致性、熵、梯度信息，通过回归神经网络建立评估模型。Wong等人［7］提出一种基于分块和概率的人脸图像质量评估方法。训练时，首先对一系列标准图像进行分块，然后通过对每一个块提取DCT特征建立局部概率模型。将测试图像各个分块概率的log乘积作为人脸图像的最终质量。

目前大部分人脸图像质量评估方法都是基于传统的与人脸无关的图像属性，比如对比度、明亮度、模糊度等，这些方法无法或很难获取符合人类视觉感受的质量评估。

从人类视觉感受出发，提出了一种基于显著性检测的、结合人脸先验知识的人脸图像质量评估方法。实验结果表明，该方法能够有效评估人脸图像质量。系统流程图如图1所示。

图1 人脸图像质量评估流程图

2 人脸图像的显著性

显著性区域检测的本质是一种视觉注意模型（Visual attention model，VAM）。VAM是依据视觉注意机制得到图像中最容易引起注意的显著部分，并用一幅灰度图像表示其显著性，灰度图像的灰度值由低到高对应显著性从小到大［8］。对于人脸图像而言，最容易引起注意的是眼睛、鼻子、嘴巴，尤其是眼睛。因此，在显著图上，人脸图像的这些部分应该更亮。从算法的效果和时间复杂度考虑，采用了SR方法［9］。结果如图2（b）所示。

其中输入图像为I（x），对其傅里叶变换，并且求出振幅谱A（f）和相位谱P（f）。L（f）是log振幅谱。h是一个n*n均值滤波的卷积核，默认n＝3。R（f）就是SR谱。然后利用SR谱和相位谱，进行傅里叶反变换，最后进行一个高斯模糊滤波（σ＝8），最终得到显著图S（x）。

3 基于显著性的人脸图像质量评估方法

通过观察人脸图像显著图可以知道，标准人脸显著图的明亮区域集中在两只眼睛的位置，随着光照条件、头部姿态、清晰度、表情等变化，显著图的明亮区域相应变化。提出一种基于这种观察的人脸图像质量评估方法。

其中S（x）表示人脸图像显著图；S表示人脸图像显著性；Sl（x）表示左眼区域显著图；Ls表示左眼的显著性；Sr（x）表示右眼区域显著图；Rs表示右眼显著性；Qs表示人脸图像质量。计算过程如图2所示。

图2 人脸图像质量计算

4 实验结果与分析

4.1 不同显著性的人脸图像质量评估的有效性差别

为评估SR算法能否作为有效的人脸图像的显著性检测方法，比较了SR算法与主流的4种显著性检测方法：ac［10］、ft［11］、hc［12］、lc［13］在feret［14］、fei［15］人脸库中的表现。一些具有代表性的测试图像及实验结果见图3、4。从图中可以看出，SR方法得到的显著图很好地反映了人眼的视觉感受，而且随着头部姿态、光照条件、图像清晰度等变化，呈现一定的规律。其它方法，虽然能够获得更加符合人眼视觉感受的显著图，但是却无法正确反映头部姿态、光照条件、图像清晰度等的变化。

图3 不同的显著性检测方法在feret人脸库的表现

4.2 基于显著性的人脸图像质量评估的有效性

提出的算法在yaleb人脸库上进行了实验。部分结果如图5所示。如果人脸图像左边亮，右边暗，则左眼的显著性高，右眼的显著性低，结果两者的乘积小，反之亦然。如果人脸图像整体曝光过亮或过暗，则眼睛区域之外的部分显著性明显提高，则两只眼睛的显著性会降低，结果两者的乘积小。实验验证了提出的人脸图像质量评估方法的可行性。

图4 不同的显著性检测方法在fei人脸库的表现

图5 基于显著性的人脸图像质量评估在yaleb中的结果

4.3 实验对比

为验证提出的人脸图像质量评估方法的有效性，与PSNR、mssim算法进行了比较。结果如图6所示。从图中可以看出，提出的人脸图像质量评估方法和psnr、mssim算法的评估结果趋势大体一致。都能准确评估出质量最差和质量最好的人脸图像。提出的算法评估出的结果更符合人眼视觉系统。

图6 不同的人脸图像质量评估方法比对

5 结束语

提出了一种基于显著性分析的无参考的人脸图像质量评估算法。首先对人脸图像进行人脸检测，然后对人脸区域分别进行双眼检测和显著性检测，接着分别计算左眼和右眼的显著性，最后将两者的乘积作为人脸图像的质量。实验结果表明，本文算法符合人的视觉注意模型，而且能够正确地评估人脸图像质量。

［1］ LIU Y，LUO Y，ZHOU W，et al.Image－quality－based fusion approach for face recognition［C］.//Image and Signal Processing（CISP）.Chongqing，CHINA：IEEE，2012.

［2］ ABAZA A，HARRISON M A，BOURLAI T.Quality metrics for practical face recognition［C］.//Pattern Recognition（ICPR）.Tsukuba：IEEE，2012.

［3］ DE MARSICO M，NAPPIM，RICCIO D.Measuringmeasures for face sample quality［C］.//MiFor＇11 Proceedings of the 3rd international ACM workshop on Multimedia in forensics and intelligence.New York，NY，USA：ACM，2011.

［4］ NASROLLAHIK，TM.Extracting a Good Quality Frontal Face Image From a Low－Resolution Video Sequence［J］.IEEE Transactions on Circuits and Systems for Video Technology，2011，21（10）：1353－1362.

［5］ LUO W，WANG X，TANG X.Content－based photo quality assessment［C］.//Computer Vision（ICCV）.Barcelona：IEEE，2011.

［6］ LIC，BOVIK A C，WU X.Blind image quality assessment using a general regression neural network［J］.//Neural Networks.2011，22（5）：793－799.

［7］ WONG Y，CHEN S，MAU S，et al.Patch－based probabilistic image quality assessment for face selection and improved video－based face recognition［C］.//Computer Vision and Pattern Recognition Workshops（CVPRW）.Colorado Springs，CO：IEEE，2011.

［8］ 沈兰荪，张菁，李晓光.图像检索与压缩域处理技术的研究［M］.北京：人民邮电出版社，2008：107－121.

SHEN LANSUN，ZHANG QING，LIXIAOGUANG.Image Retrieval And Compressed Domain Processing［M］.Beijing：Post＆Telecom Press，2008：107－121.

［9］ HOU X，ZHANG L.Saliency detection：A spectral residual approach［C］.//Computer Vision and Pattern Recognition.Minneapolis，MN：IEEE，2007.

［10］ ACHNANTA R，ESTRADA F，WILS P，et al.Salient region detection and segmentation［M］.GER：Springer，2008：66－75.

［11］ ACHANTA R，HEMAMIS，etal.Frequency－tuned salient region detection［C］.//Computer Vision and Pattern Recognition.Miami，FL：IEEE，2009.

［12］ CHENG M，ZHANG G，MITRA N J，et al.Global contrast based salient region detection［C］.//Computer Vision and Pattern Recognition（CVPR）Providence，RI：IEEE，2011.

［13］ ZHAI Y，MUBARAK S.Visual attention detection in video sequences using spatiotemporal cues［C］.//MULTIMEDIA＇06 Proceedings of the 14th annual ACM international conference on Multimedia.New York，NY，USA：ACM，2006.

［14］ PHILLIPS P J，WECHSLER H，HUANG J，et al.The FERET database and evaluation procedure for face－recognition algorithms［J］.Image and Vision Computing，1998，16（5）：295－306.

［15］ C.E.Thomaz and G.A.Giraldi.A new rankingmethod for Principal Components Analysis and its application to face image analysis［J］.Image and Vision Computing，2010，28（6）：902－913.

A Face Image Assessment Algorithm Based on Visual Attention Model

Zhu Liwei，Cai Xiaodong，Zeng Zexing，Liang Benxiang
（School of Information and Communication，Guilin University of Electronic Technology，Guilin 541004，China）

Face recognition is influenced by illumination and posture.Face image quality assessment obtained in the process of face recognition is good for face image recognition.This paper proposes a new model based on visual attention to do quality assessmentmethod.First，the face region is got by face detection，and then eyes detection and significance detection are conducted separately.According to the obtained eyes area and significant figure，the significant characteristics of the right eye and the left one are calculated and that of two eyes is used as a human face image quality.Thismethod is simple and do not need the reference images.The test results show that the method can assess the face image quality correctly and the assessment results conform to the human eye visual attention.

Human face；Face detection；Quality assessment；Visual attention model；Significant characteristics；No reference

10.3969/j.issn.1002－2279.2015.06.010

TP391.41

A

1002－2279（2015）06－0036－04

广西自然科学基金（2013GXNSFAA019326）；国家科技支撑课题（2012BAH20B10）

朱利伟（1989－），男，广西省桂林市人，硕士研究生，主研方向：图像处理、模式识别。

蔡晓东（1971－），男，广西省桂林市人，博士，副教授，主研并行化图像和视频处理、模式识别与智能系统。

2015－03－10