人脸图像信息可用性影响因素的研究分析

潘 越，方向忠，王 慈

(上海交通大学 电子信息与电气工程学院，上海 200240)



人脸图像信息可用性影响因素的研究分析

潘 越，方向忠，王 慈

(上海交通大学 电子信息与电气工程学院，上海 200240)

传统的图像质量评估技术通常用于判断图像的整体质量，而不能有效地判断人脸图像信息的可用性。而人脸图像信息可用性评估在安防监控中具有很强的应用价值。提出了人脸图像信息可用性的概念，并提出了通过人脸识别算法来评估该可用性的度量方法。通过采用PCA人脸识别算法模拟仿真，定量地从原理上研究了影响人脸图像信息有用性的关键因素，并通过实验进行了验证。

人脸图像；PCA识别；质量评估

当代是一个视觉内容越发丰富的时代，图像和视频信息已经变得无处不在，发达的科技让人们可以轻松高效地完成图像或者视频信息的获取、传输、存储以及浏览。在这样的过程中，一直被关注的一个问题就是：图像所传递的信息对人是否有效，是否可用？

图像质量评估技术[1]的研究一般被应用于对上述问题的回答当中。如今的图像质量评估技术对图像质量的评价标准通常是图像是否清晰、是否美观[2]。当前比较热门的图像质量评估方法有空间域处理技术[3-4]、视觉码本技术[5]、曲波小波混合变换技术[6]等。然而，不同的应用场景对于图像信息是否有用的标准是不一样的。例如，对于安防监控信息来说，公安能否从监控中识别人脸才是图像可用性的判断标准。

图像质量评估技术判断图像是基于 “主观平均打分”的标准(DMOS/MOS)[7]。而如果想要判断一个监控视频的人脸部分的信息是否“可用”，DMOS标准将不具有参考价值。人们需要建立一个新的监控图像中的人脸数据库，并将特定的受众对数据库中每张人脸的“可用性”高低的打分作为评判的基础。

在图像质量评估技术的算法中，加性和乘性噪声等因素通常是算法的入手点，这些因素也被认为是影响图像质量“好坏”的关键因素。而在此之前尚未有研究者单独对“人脸信息的可用性”进行过相关研究，而人脸的可用性却在安防视频可用性有着很大的应用前景。所以本文将从模糊和白噪声的角度来研究影响人脸图像信息可用性的因素，以及影响的具体原因和程度。

本文将计算机视觉的人脸识别技术识别率的高低作为人脸图像“可用性高低”的评判标准。因为计算机人脸识别算法是对人主观地进行人脸识别的一种模拟，并且还可以从人脸识别算法的识别率变化，以及其变化的原因进一步定量地探讨影响人脸图像可用性因素的影响原因和影响程度。

主成分分析(Principal Component Analysis, PCA)人脸识别算法[8]是使用最广泛的人脸识别算法。本文将通过探索加性噪声与乘性噪声对PCA识别算法识别率的影响来认识这些因素对人脸可用性的影响。

1 PCA人脸识别算法

PCA人脸识别方法，也叫做特征脸识别(eigenfaces)，是通过降维进行人脸识别的算法。PCA的主要思想就是找到能够最好地说明图片在图片空间中分布情况的向量。对于一幅M×N的人脸图像，将其每列相连构成一个大小为D=M×N维的列向量。D就是人脸图像的维数。设n是训练样本数，xj表示第j幅人脸图像形成的人脸向量，则所需样本的协方差矩阵为

(1)

式中：u为训练样本的平均图像向量，即

(2)

设A=[x1-u，x2-u，…，xn-u]，则有Sr=AAT，其维数为D×D。

根据SVD定理，令li(i=1,2,…,r)为矩阵ATA的r个非零特征值，vi为ATA对应于li的特征向量，则AAT的正交归一特征向量ui为

(3)

则特征脸空间为w=(u1,u2,…,ur)。

将训练样本投影到“特征脸”空间，得到一组投影向量Ω=wTu，构成人脸识别的数据库。在识别时，先将每一幅待识别的人脸图像投影到“特征脸”空间，再利用最近邻分类器比较其与库中人脸的位置，从而识别出该图像是否为库中的人脸，如果是，属于哪一个人脸。

2 乘性噪声对PCA人脸识别的影响：以钝化噪声为例

在各种图像降质因素[9]的影响中，“模糊”是图像质量降低的最为常见表现，也可以称之为“钝化噪声”。钝化噪声相当于给原图中相近的像素点加上了一定的相关性。在数字图像处理技术中，钝化噪声相当于在原图上用平滑滤波器进行平滑处理的效果。平滑滤波器的不同也可以产生如均值平滑、高斯平滑等不同的效果。本文将从原理上推导通常的钝化噪声对PCA人脸识别造成的影响，以及影响的方式。

2.1 钝化噪声对协方差矩阵的影响

在现实场景中，训练集的图像和预测集的图像都应来自相同的图像获取系统，所以应当有着相似的钝化方式和钝化程度。对于一幅M×N的人脸图像，将其每列相连构成一个大小为D=M×N维的列向量。D就是人脸图像的维数，也即是图像空间的维数。设n是训练样本的数目；xj表示第j幅人脸图像形成的人脸向量，这里用xj′来表示钝化处理过的图像。因为钝化是属于乘性噪声，所以xj与xj′的关系表示如下：

xj′=B[xj]

(4)

式中：操作B[]表示对图像xj进行了钝化处理，即用某平滑滤波器对xj代表的源图像进行了二维卷积操作，再将结果图像表示为D=M×N维的列向量，即xj′。 则对应于式(1)，训练所需样本的协方差矩阵为

(5)

式中：u′为训练样本的平均图像向量，因为通常的平滑滤波器并不会改变图像像素的均值，所以u′和式(2)中的u取相同的值，即

(6)

为了便于理解，根据式(4)，这里不妨近似地认为

(7)

于是这里需要进一步探索平滑操作对协方差矩阵Sr会造成何影响，协方差矩阵可以简单地展开写成

(8)

式中：对角线上的元素代表着每个人脸图像向量的方差σ2，而非对角元素σij则代表人脸图像向量xi和人脸图像向量xj的互相关系数。

对于PCA人脸识别方法，关键的要素是从D=M×N维的列向量中提取信息量最大的主元,舍弃信息量较少的维，即一个降维的过程。从数学上讲，就是选择的维度需要使原始数据投射在这些维度上之后，字段之间的相关性尽量小，即协方差要尽量小，而字段自身的信息量要尽量大，即方差尽量大。于是不难发现，这就是将协方差矩阵Sr对角化的过程。PCA方法所求的“主元”实际上就是让协方差矩阵对角化的维度。

从前面的分析可以初步发现，平滑处理让协方差矩阵的元素值变小了，虽然这让不同人脸间的互相关性下降了，但平滑也让对角元素变小，本质上这是一种信息量的丢失，这样也就在一定程度上理解了为何钝化噪声会影响PCA人脸识别的效果了。

2.2 钝化噪声对主元的影响

通过进一步探索平滑对主元的影响，可以对信息量的丢失有更直接的理解。在数学中，协方差矩阵对角化后得出该矩阵的特征值为

(9)

N张图片训练集的协方差矩阵将有n个特征值。PCA人脸识别方法中，在求得特征值后，将特征值从大到小排序，选出数值大的特征值(如前10大)，其对应的正交特征向量就是算法所求的主元特征空间。越大的特征值意味着其特征向量对应的维度具有越高的信息量。对于特征值为λj的主成分，λj也是该主成分的方差，该值表示样本点方向的离散程度，主成分λj的贡献率为

(10)

根据之前的分析，钝化噪声导致协方差矩阵信息的流失。于是在进行协方差矩阵对角化之后，所得到的特征值对应的维度将不再足够离散，即不再像平滑之前那样具有足够的信息量。所以，平滑导致了主要特征值的减小，以及n个人脸图像训练集中的n个特征值的均值和方差的减小。如图1，通过实验，笔者也验证了在平滑之后特征值的变化结果(实验所用数据库，具体条件、参数等详细信息见第4节)。

通俗地讲，正是特征值这样的变化，导致了PCA算法选择出来的所谓“主元”不再如平滑之前那样具有足够的信息量，相对地不能够反映人脸的关键特征，从而最终导致了PCA算法识别效果的变差。通过PCA人脸识别算法的分析，可以看到钝化噪声对人脸图像信息可用性造成的影响。

3 加性噪声对PCA人脸识别的影响：以白噪声为例

在图像降质的因素中，除了乘性的钝化噪声之外，另一类降质因素就是加性噪声。图像降质中常见的白噪声根据分布特性的不同，有高斯噪声、椒盐噪声等。与前一节类似，这一节将从原理上推导通常的白噪声对PCA人脸识别造成的影响，以及影响的方式。

因为白噪声是属于加性噪声，所以xj与xj′的关系表示为

图1 钝化噪声对特征值的影响

xj′=xj+Nj

(11)

其中Nj表示图像xj上的白噪声，Nj与xj一样，也是D=M×N维的列向量。为了方便推导，下文都将以均值为0、方差为σ2的高斯白噪声为例。所以Nj可以表示为

Nj=p(x)

(12)

(13)

于是这里需要进一步探索平滑操作对协方差矩阵Sr会造成如何的影响，协方差矩阵可以简单地展开写成与式(8)相同的形式。

再进一步从特征值λj的角度来考虑。上述Sr在受到噪声影响后，元素相应地增大。在协方差矩阵对角化得到特征值λj对角阵时，特征值同样也会总体地增大，使得原来信息量小的特征值λ反而会变得较大。

从实验(实验所用数据库、具体条件、参数等详细信息见第4节)中笔者的观点也得到了验证。如图2a所示，其中特征值的增大印证了笔者的分析，而方差的减小则也说明了噪声使本来方差较大、“好坏分明”的特征值被噪声加上了干扰因素后更趋于均值。如图2b所示，随着噪声方差的增大，PCA识别算法选出的“主元”将失去其能量占比高的特点，结合式(10)，就能够理解噪声最终导致了信息的流失。其中，特征值λj以及其对应特征空间的物理意义在上一节已经阐明，这里不再赘述。这里不难发现，与上一节钝化噪声相比，白噪声对协方差矩阵、特征值的影响方式恰恰是相反的，不过都是导致了有效信息的丢失，并最终导致识别率的降低。

图2 高斯白噪声对特征值的影响

4 实验结果及分析

4.1 人脸数据库

实验使用的数据库是ORL人脸数据库[10]。该人脸数据库包含40个人脸图像，每个人脸有10张不同的图像。每个人脸的图像有不同的拍摄时间、不同的亮度、不同的面部表情(睁眼闭眼、微笑或不笑)或者是面部特征(戴眼镜或不戴眼镜)。所有的图像都是在黑色的背景下拍摄的，图像的分辨率均为112×92。

4.2 PCA识别率实验

本文采用PCA识别方法进行实验，实验分为两个步骤：训练和预测。在实验的过程中，笔者将ORL人脸数据库分为两个部分：训练集和预测集，且两个集没有交集。此外，实验按照训练样本占比分为两类。一类为训练样本占比30%，即每个人的10张脸部图像中3张归入训练集，剩余的7张归入预测集。另一类为训练样本集占比70%，即每个人的10张脸部图像中7张归入训练集，剩余的3张归入预测集。为了保证实验的精确性，实验遍历了所有训练集和预测集的可能性。例如在30%训练集的情况下，10张人脸选出3张加入训练集共有120种可能，所以笔者一共进行了120次ORL人脸数据库的训练和预测的实验，每次取400张人脸中的120张图片作为训练集，剩余的280张作为预测集，最终将120次实验结果汇总记为最终的识别率，即预测正确的次数/预测总次数。

验证钝化噪声对识别率的影响的试验中，笔者使用高斯钝化来给ORL人脸数据库进行预处理，并通过实验验证PCA识别率的变化。实验结果如图3所示，横轴表示高斯钝化窗的边长变化(边长为0表示没有进行钝化处理)，其中高斯钝化窗都为正方形。高斯钝化采用0均值的模型，σ则设为边长的函数，满足

σ=0.3×([平滑窗边长-1)×0.5-1]+0.8

(14)

图3 高斯平滑对识别率的影响

验证白噪声对识别率的影响的试验中，笔者使用高斯白噪声来给ORL人脸数据库进行预处理，并通过实验验证PCA识别率的变化。实验结果如图4所示，实验采用均值为0的高斯模型，横轴表示高斯白噪声的方差系数Var，其中Var=噪声的灰度值方差/2552。

图4 高斯白噪声对识别率的影响

此外，在前两节进行的特征值实验中，采用的均为和本节相同的钝化或噪声模型。由于只对特征值进行实验，所以这些实验把ORL人脸数据库的400张图片都设置为训练集进行训练所得到的特征值的特点。

4.3 实验结果分析

实验得出了与第2节、第3节分析一致的结论，即钝化噪声和白噪声都一定程度地导致了识别率的下降，而第2节、第3节也从根源上解释了识别率下降的原因，即图像有效信息的丢失。

此外，从实验结果也可以发现随着噪声的加强，识别率会越来越低。不过，实验结果还显示，不论是钝化噪声还是白噪声，噪声强度和识别率的变化关系并非是线性的。在噪声强度未达到一定程度的时候，对识别率的影响并不是很显著，而超过了某一强度后，识别率才开始显著下降。从这样的结论还可以进一步发现，当噪声发生时，虽然都包含了信息的丢失，但是当噪声没有达到很大强度时，PCA的人脸识别率其实并没有受到影响，即并不强烈的噪声对人脸图像信息可用性的影响是可以忽略的。

以上的实验结果也能够说明，通过人脸识别技术可以一定程度上描述人脸部分图像受到各种噪声的影响，而人脸识别率也一定程度上反映了人脸图像信息的可用性。

5 小结

本文提出了人脸图像信息可用性这个研究课题，并说明了其重要性。随后，通过PCA来模拟人对人脸图像的识别，分析发现钝化噪声，以及白噪声导致人脸图像有效信息的流失，从而进一步导致PCA人脸识别率的下降。基于本文得出的结论，未来将可以进一步展开人脸图像信息可用性评估技术的研究，从而解决安防监控中对该技术的需要。

[1]杨慕星,孟放,姜秀华.不同分辨力视频之间的图像质量客观评价研究[J].电视技术,2009,33(5):103-105.

[2]高立发，徐静涛.基于自然场景统计的无参考图像质量评价算法[J]．电视技术，2014，38(1):11-16.

[3]MITTAL A, MOORTHY A K, BOVIK A C.No-reference image quality assessment in the spatial domain[J].IEEE Trans.Image Processing，2012，21(12)：4695-4708.

[4]TANG H, JOSHI N, KAPOOR A.Learning a blind measure of perceptual image quality[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition.Providence，RI：IEEE Press，2011：305-312.

[5]YE P，DOERMANN D.No-reference image quality assessment using visual codebooks[C]//Proc.IEEE International Conference on Image Processing.[S.l.]：IEEE Press，2011：3129-3138.

[6]SHEN J, LI Q, ERLEBACHER G.Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images[J].IEEE Trans.Image Processing, 2011，20(8)：2089-2098.

[7]ITU-R，ITU-R Recommendation 500-5 method for the subjective assessment of the quality of television pictures[S].1992.

[8]闫娟,程武山,孙鑫.人脸识别的技术研究与发展概况[J].电视技术,2006,30(12):81-84.

[9]王文文，钱振兴，赵丽丽.基于平滑特性的压缩图像质量盲评估[J].电视技术.2013，37(2):91-94.

[10]AT&T Laboratories Cambridge.Face database[S].2002.

潘 越(1990— )，硕士生，主研数字图像处理；

方向忠(1968— )，教授，博士生导师，主研图像通信与多媒体技术、数字电视、图像压缩编码机器国际标准、图像处理等；

王 慈(1976— )，副教授，主研图像处理和视频处理等。

责任编辑：薛 京

Image Validity Analysis for Face Recognition

PAN Yue, FANG Xiangzhong, WANG Ci

(SchoolofElectronicInformationandElectricalEngineering,ShanghaiJiaoTongUniversity,Shanghai200240,China)

Traditional IQA (Image Quality Assessment) is used to do assessment on a general level, but can′t be used for face image quality assessment.However, assessment of face quality is needed in many applications such as surveillance video.The validity of face image is defined, and a method to assess face image using face recognition algorithm is proposed.And the key factors that affecting validity of face image are analyzed through experiment of PCA recognition algorithm in this paper.

face image; PCA recognition; quality assessment

上海市2014年度“科技创新行动计划”高新技术领域项目

TN949.6

A

10.16280/j.videoe.2015.07.020

2014-10-08

【本文献信息】潘越，方向忠，王慈.人脸图像信息可用性影响因素的研究分析[J].电视技术,2015，39(7).