基于纹理特征融合的人脸图像质量评估算法

陈正浩，吴云东，蔡国榕，陈水利

(集美大学理学院，福建 厦门 361021)

0 引言

人脸识别[1]是计算机视觉与图像处理的研究热点，在安防有着广泛的市场应用前景。目前的人脸识别系统的研究大多集中在如何提取高效的人脸特征，对人脸图像质量的关注相对较少。在基于视频的人脸识别系统中，如果将受光照、遮挡、姿势、表情等方面因素影响的低质量人脸图像输入识别模块，不仅增加识别算法负荷还会降低识别精度[2]。因此，通过人脸质量评估算法从序列图像中选择高质量的人脸图像，可以提高系统的识别准确率，同时被剔除的低质量图像无需再做复杂的面部特征提取，既减少了系统的计算负荷，又提高了系统的工作效率。

建立人脸质量评估系统的目的是对人脸质量进行恰当评分。通过设置偏好阈值选择高质量的人脸图像进入识别系统，现有方法大多是基于特定人脸特征的分析，主要分为两类：第一类是建立统计模型方法除去离群值，如A.Hadid等[3]提出用k-means聚类分析方法对人脸进行质量评估，S.A.Berrani等[4]使用稳健的统计数据除去离群子集增强视频序列的人脸识别；第二类是通过姿态估计对人脸图像退化程度进行量化，如Z.Yang等[5]采用树形结构构成姿态估计，并使用其结果对人脸图像进行质量评估，X.Gao[6]等提出使用面部不对称的程度、对光照不均及姿态引起人脸质量的退化程度进行量化，H.Sellahewa等[7]依据照明失真对比特定的人脸参考图像，通过使用一般标准衡量人脸图像质量[8-9]。

2009年，高修峰等[10]提出人脸对称性差异的人脸质量评估算法：对由姿态变化和光照引起左右半脸的差异，用左右半脸的局部直方图距离作为度量人脸对称性的方式，将获取直方图距离差的倒数作为人脸质量评估的分数。2013年，Wong等[11]提出一种基于分块的概率人脸质量评估算法：首先在模型训练过程中对一系列的标准图像做分块，接着对每个分块提取DCT特征，从而建立起局部的概率模型，将测试的人脸图像各分块概率的对数乘积作为人脸质量评估的分数。2015年，朱利伟等[12]提出基于视觉观察模型的人脸质量评估算法：首先通过人脸检测获取人脸区域，接着对人脸区域进行显著性检测和人眼检测，然后根据获取的人眼区域和人脸显著图计算左、右眼的显著性，最后将双眼显著性的乘积作为人脸质量评估的分数。

然而，这些方法的有效性存在两种局限：1)使用单一人脸特征容易存在明确缺陷，如Hog特征[13]难于处理遮挡问题且对噪点敏感，LBP特征[14]不具有旋转不变性，GIST特征[15]是宏观的场景描述而忽略了图像的局部特征，GABOR变换[16]在数值计算时采用非正交冗余基因而增加了计算和存储开销。2)使用经验选择的参考人脸图像，由于存在主观差异性，导致系统的可移植性较差。

针对上述问题，本文提出了一种基于纹理特征融合的人脸质量评估方案，算法选择HOG、LBP、GIST、GABOR等4种具有代表性的纹理特征进行组合测试，以选择最优的纹理特征组合方案。在训练过程中，采用了双层评估架构，分别使用非线性支持向量机(support vector machines，SVMs)[17]训练特征权重，以回归质量得分。

1 纹理特征融合的人脸质量评估算法

本文算法整体流程如图1所示。首先，选择MtCNN[18](multi-task cascaded convolutional networks)进行人脸检测与特征点标定；其次，针对特征点对人脸图像进行规范化校正；第三，针对人脸图像提取多种纹理特征；第四，针对标注数据训练分类器实现单特征得分评估，多特征得分值融合成特征向量FN；第五，通过多项式核函数升维得到新的特征向量FK；最后，根据FK训练SVMs分类器Wk，回归人脸图像质量得分。

1.1 基于单纹理特征的人脸质量评估方法

1.1.1 特征向量Fi的提取

HOG特征是通过计算和统计图像局部区域的梯度方向直方图来构成特征。在人脸图像中，局部目标的表象和形状能够被梯度或边缘方向的密度分布很好地描述。首先将图像分成小的连通区域，然后采集细胞单元中各像素点的梯度或边缘的方向直方图，最后把这些直方图组合起来构成特征描述器。

GIST特征是用一个五维的感知维度来代表场景主要内容的。其包括：1)自然度，若场景包含高度的水平线和垂直线，这表明该场景有明显的人工痕迹，而通常自然景象具有纹理区域和起伏的轮廓；2)开放度，取决于空间包络是否是封闭的；3)粗糙度，展示主要构成成分的颗粒大小；4)膨胀度，若平行线收敛，则给出了空间梯度的深度特点；5)险峻度，通过相对于水平线的偏移多少来判断。

LBP局部二进制模式构造了一个3×3的模板，以中心像素的灰度值为阈值，进行二值化。当模板内的邻域像素大于中心像素，则将邻域处记为1，否则记为0，然后按照顺时针或者逆时针的顺序对所得到0,1序列进行编码。

GABOR函数是一个用于边缘提取的线性滤波器，分为实部和虚部，用实部进行滤波后图像会平滑，用虚部滤波后可检测边缘。不同纹理一般具有不同的中心频率及带宽，根据这些频率和带宽可以设计一组滤波器对纹理图像进行滤波(每个滤波器只允许与其频率相对应的纹理通过)，再对各滤波器的输出结果进行分析和提取纹理特征。

1.1.2 特征权重Wi的训练

通过非线性支持向量机的牛顿优化方法(Newton optimization)训练获得特征权重Wi{1,2,…，N}，将人脸图像的特征向量作为训练集{(xi,yi)}i{1,2,…，N}，其中xi为某特征对应的特征向量，yi只能取+1、-1(分别代表正、负样本)。设C为代价系数，则Non-linear SVMs最优化问题可写为：

,Wxi+b),

(1)

其中：f(xi)=Wxi+b，损失函数L(yi,f(xi))=max(0,1-yif(xi))2。

(2)

再通过随机梯度下降方法来优化式(2)。

目标函数式(1)的第2项为分类造成的错误代价，最小化式(1)就是寻找最大分类间隔与最小化训练错误之间的权衡。即通过调整代价系数C值可以实现两者之间的权衡，找到一个最佳C值，使得分类超平面兼顾训练错误和推广能力。在训练Wi{1,2,…，N}、Wk过程中，将牵扯出代价系数C值的确定，本文通过Libsvm的tools运行grid.py得到其值。

1.1.3 特征分值Ei的获取

单个特征的人脸质量评估算法是通过特征向量与特征权重的乘积获得特征分值，将分值规格化后作为图像的评估分数，即Ei=Fi×Wi。

1.2 基于多项式核函数的特征融合方法

本文提出纹理特征融合的算法，对人脸图像做N种纹理特征的提取，获得不同纹理的特征向量Fi{1,2,…，N}，通过与特征权重Wi{1,2,…，N}相乘得到不同纹理的特征分值Ei{1,2,…，N}。将多个单特征分值组成向量FN=(E1,E2,…，EN)，通过多项式核函数(polynomial kernel function)升维得到新的特征向量Fk，再与对应的特征权重Wk相乘获得特征融合分值，最后将特征融合分值规范为0～100分的分值Ek，作为人脸图像的最终得分。

选择融合的特征个数为特征分值组成向量FN的维度，由于选择融合的特征有限，通过使用SVMs的方法，利用非线性映射函数将低维度的特征向量映射到更高维的空间，使得特征向量尽可能线性可分。这样的函数存在很多，这里选用一个简单的且展开不超过2次的多项式核函数：

1.3 算法流程纹理特征融合的人脸质量评估算法流程

输入：Fi：各特征对应的特征向量

输出：Ei：各特征对应的特征分值

Fk：纹理特征融合的特征向量

Wk：纹理特征融合的特征权重

Ek：人脸图像得分

3)Ej=Fj·Wj,j= 1,2,…，N，其对应的特征分值,通过特征向量与特征权重的乘积获得各个特征对应的特征分值；

7)Ek=Fk·Wk数据规格化为0～100的分值。

2 实验与结果

2.1 实验设置

训练集：20 000张人脸图像，包含LFW[19]数据库12 000张人脸图像和8 000张卡口视频监控的人脸图像。本文挑选均匀光照、自然表情、无遮挡面部特征、相对正脸的人脸图像作为正样本，共计9 760张，其余为负样本。

测试集1：视频摄像头抓拍志愿者的815张人脸图像。对这些人脸图像进行5次0～100分评分，将评分数据规格化：

vi=(v-μi)/σi,

(3)

其中，μi和σi分别为第i个评分的均值和均方差。

根据第i个评分的均值和偏差对其规格化，可将测试集中的样本均值统一变换为0。接着求评分均值：

(4)

最后将评分均值规格化为0～100分，作为人脸图像的最终得分：

v″=100×(v-mini)/(maxi-mini)。

(5)

由此可得815张人脸图像的参考均值55.557 1。

测试集2：卡口视频监控1000张人脸图像及50张手机拍照人脸图像。

2.2 纹理特征融合组合测试

2.2.1 两特征融合的对比测试

选择HOG、GIST、LBP、GABOR四种特征进行两两融合，利用测试集1画ROC图，用H、Gi、L、Ga分别代表HOG、GIST、LBP、GABOR特征。如图2所示，两两特征组合的准确率由高到低排序如下：H-Gi>H-L>Gi-Ga>Gi-L>H-Ga>Ga-L。Ga-L特征准确率只比随机概率略高，说明在特征组合中所起作用较小。准确率较高的组合都含有HOG特征。由于HOG是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性。GIST特征是对图像的宏观描述，忽略图像的纹理细节，融合的H-Gi特征具有较强的泛化能力。同为边缘检测的HOG特征与GABOR特征，经对比可知H-Gi的特征组合优于Gi-Ga的特征组合。

使用以上6种特征组合对测试集1的815张人脸图像进行评分(如表1所示)。本文将获得的评分均值与参考分数对比，在组合内比较所获得的方差，发现HOG-GIST特征组合均值最接近参考分数且方差最小。所以在两两特征组合中，融合HOG-GIST特征的人脸质量评估算法最佳。

表1 两特征融合在测试集1中的均值方差对比表

2.2.2 三特征融合的对比测试

选择HOG、GIST、LBP、GABOR四种特征进行三特征融合。选择测试集1画ROC图(见图3)，三特征组合的确定率由高到低排序如下：H-Gi-L>H-Gi-Ga>H-Ga-L>Gi-Ga-L。Gi-Ga-L是特征组合中唯一不含HOG特征且效果最差的，印证了2.2.1中提到含HOG特征的组合准确率较高。组合中含有HOT-GIST特征的准确率较高。

使用以上四种特征组合对测试集1的815张人脸图像进行评分。将获得的评分均值与参考分数对比，在组合内比较所获得的方差，发现H-Gi-Ga特征均值最接近参考分数，而H-Gi-L特征均值次接近参考分数且方差最小(见表2)。

表2 三特征融合在测试集1中的均值方差对比表

2.2.3 综合测试

如图4所示，为了选择多特征融合的最佳组合，综合对比H-GI、H-GI-GA、H-GI-L的ROC图。ROC图显示这三种特征组合的准确率几乎相同，由2.2.1可知，Ga-L特征在组合中所起作用较小，说明GABOR特征和LBP特征在特征融合训练后的权重值较小。综上所述，由于本文选择的特征要尽可能的少，同时又要保证均值接近标准答案且方差不大，因而最终选择了HOG-GIST特征融合的人脸质量评估算法。

2.3 对比基于视觉观察模型的人脸质量评估算法

从LFW数据集中选择多张具有针对的人脸图像，目标人脸佩戴眼镜、左右侧脸、仰视脸、俯视脸，分别用视觉观察模型和本文提出的算法进行对比实验。

图5中横向第一组图为人眼检测结果，第二组图为人脸显著图，第三组图为本文提出的人脸质量评估图。可以发现第一张人脸图像未检测出人眼，若通过视觉显著性算法将导致人脸质量评估得分为0。左右侧脸的情况，通过视觉显著性算法的得分分别为0.415和0.634。仰视俯视脸的情况，通过视觉显著性算法的得分分别为0.524和0.554。因而得出以下结论：当无法检测人眼时，用视觉显著性算法不能给出评估得分。由于视觉显著性算法是对称性算法，对仰视俯视人脸的情况评分不敏感,而本文提出的算法可视性好，可以一目了然地看到给出的评分，同时也做出了合理的评分。

2.4 多姿势的人脸图像质量评估

2.4.1 视频监控下人脸图像存在遮挡情况测试

实验给出目标对象不同程度遮挡情况下的人脸图像，共四组图(见图6)。第一组目标对象戴帽子，评估系统选择面部朝正前方，同时未遮挡住眼睛的第三张(自左向右数，下同)图作为最高质量人脸图像，并给出50分的评分；第二组目标对象被障碍物遮挡，评估系统选择未被遮挡的，但有些低头的第四张图作为最高质量人脸图像，并给出56分的评分；第三组目标对象被穿梭的人流遮挡住人脸，评估系统选择轻微被遮挡且相对正脸的第一张人脸图像作为最高质量人脸图像，并给出了57分的评分；第四组目标对象被随同的家长遮挡，评估系统选择未被遮挡的第一张人脸图像作为最高质量人脸图像，并给出59分的评分。通过实验可以看出，本文提出的人脸质量评估系统能恰当处理人脸被遮挡的情况。

2.4.2 视频监控下人脸图像不同姿势表情测试

实验给出目标对象不同姿势及表情的人脸图像，共四组图(见图7)。第一组目标对象戴眼镜，且有回头张望、低头等姿势，评估系统选择面部朝正前方的第三张图作为最高质量人脸图像，并给出67分的评分；第二组目标对象未戴眼镜，但有低头、侧脸等姿势，评估系统选择相对正脸的第二张图作为最高质量人脸图像，并给出77分的评分；第三组目标对象有回头、侧脸、低头等姿势且有不同表情，评估系统选择相对正脸、正常表情的第四张人脸图像作为最高质量人脸图像，并给出了75分的评分；第四组目标对象相对正脸但有不同表情，评估系统选择正常表情的第二张人脸图像作为最高质量人脸图像，并给出64分的评分。由实验可以看出，本文提出的人脸质量评估系统能恰当处理不同姿势及表情的情况。

2.4.3 不同目标对象的人脸图像测试

图8为志愿者的证件照和生活照各一张。评估系统对第一张证件照给出95分的评分；对第二张中，戴眼镜且轻微侧脸的给出54分的评分，相对正脸且微笑的给出71分的评分，相对正脸且正常表情的给出89分的评分。由实验可以看出，本文提出的人脸质量评估系统对同一图像中不同目标对象的人脸图像能给出恰当评分。

3 结论

本文提出的HOG-GIST特征融合的人脸质量评估系统，通过多特征融合的ROC图、对参考分数平均及方差对比测试择优选出高质量人脸图像。实验表明，HOG-GIST特征融合的人脸质量评估系统对同一目标对象不同姿势及遮挡情况能恰当给出评分，对同一图像中不同目标对象的人脸图像也有不错评分表现，即，评估系统具有较好的鲁棒性。