结合加权相似值和相似投票的视频流人脸识别

李新涛， 徐汀荣

(苏州大学计算机科学与技术学院，江苏苏州 215006)

0 引 言

人脸识别技术是依据人的脸部特征(如统计或几何特征)自动进行身份鉴别的一种生物识别技术。该技术采用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行辨识。达到识别不同人身份的目的，其中涉及一系列相关技术，包括人脸图像采集、人脸定位、预处理、人脸特征提取、记忆存储和比对辨识，人脸识别技术在现代生活中具有广泛的应用前景，可用于金融服务、电子商务、政府部门、公共管理、国家安全、信息安全、智能家居、人机交互等领域，人脸自动识别近年来已成为模式识别和人工智能领域的研究热点之一。

Gabor小波变换核函数具有与人类大脑皮层简单细胞的二维反射区相同的特性，即能够捕捉到对应于空间频率(尺度)、空间位置及方向选择性的局部结构信息，Gabor小波的这种特性使得其对于亮度和人脸表情的变化不敏感，被广泛应用于人脸特征提取。文献[1]中提出的基于相似值的相似性判别在光照比较均匀、无遮挡、人脸局部变形不大的情况下取得了较好的识别率，但是在光照不太均匀如光照过强、有阴影、有遮挡或者有比较大的局部变形，如眼睛闭合等比较常见的情况下效果不很理想。究其原因就是在特定区域中的特征点与库中的任何人脸模型上的对应特征点都不相似，即特征失效。文献[2]提出了基于投票的相似性函数方法，该方法通过对特征失效的特征进行剔除，以降低失效特征对人脸识别效果的影响，该方法在环境较恶劣的条件下取得了较满意的识别效果。然而，由于利用Gabor变换获得的特征是图像的局部特征，因而在图像不同位置获得特征的分类能力并不相同。文献[2]的方法不利于不同特征的分类能力不同作为判据。因此，本文通过分析人脸不同部位特征点Gabor特征的识别能力，提出了一种结合加权相似值和相似性投票的视频流人脸识别方法。

1 基于Gabor小波的图像特征提取

1.1 Gabor特征提取

二维Gabor小波变换[3，4]能够将相邻区域的像素联系起来，可以从不同的频率尺度和方向反映局部范围内图像像素灰度值的变化，是目前主流的人脸描述方法之一。此外，Gabor小波变换系数作为人脸特征所完成的人脸识别具有良好的视觉特性和生物学背景，非常有利于人脸识别。Gabor小波核函数可用(1)式描述[5]:

其中，x为给定位置的图像坐标;kj为滤波器的中心频率，波矢量k j为:

上述的每个Gabor滤波器都可以对应于一个初等视觉皮层简单细胞的空间感受野的信号处理过程，对图像处理而言，Gabor滤波器函数[6]将在与其振荡方向垂直的边缘处产生强烈的响应，而边缘对三维物体的识别是至关重要的。也就是说，Gabor滤波器可以看作一个对方向和尺度敏感的有方向性的显微镜，能够表达图像中一些具有相应方向尺度信息的、局部的显著特征，从而可以形成亮度图像的局部特征图谱，这些局部特征形成了原始输入图像的一种鲁棒、紧凑的特征表示。

图1 5个尺度、8个方向的Gabor滤波器的实部

图2 5个尺度上Gabor核函数的幅值

二维Gabor小波变换描述了图像I上给定一点x0附近区域的灰度特征，对图像I的滤波过程可以通过Gabor函数与图像的卷积来实现，即

二维Gabor小波变换的优点为:核函数中括号的第2项去除直流分量，使得Gabor特征对光强变化具有鲁棒性;对比度的变化则由于小波进行了规范化而具有鲁棒性是高斯函数，这实际上是通过加窗限制了振荡函数的范围，使其只在局部有效，这样使得Gabor滤波可以容忍图象有一定的扭曲情况。

图3是ν=2、μ=2时人脸图像的Gabor小波滤波结果图。

图3 人脸的Gabor小波滤波结果图

1.2 相似函数

对特征点的Gabor特征J:

特征间的相似度量函数有如下2种[7]:

(1)不考虑相位，只考虑幅值，比较2个特征的内积，称为角度无关的相似函数，定义如下:

(2)角度相关的相似函数，定义如下:

其中

这里:

大量实验表明，角度相关的相似函数具有更好的性能。

1.3 特征点提取

实验[2]表明在采用Gabor特征的条件下，人脸存在能够获得良好分类能力的局部区域，而Gabor特征在人脸不同位置的分类能力则有较大差异。

此外分类能力最大的区域在眉毛附近，而嘴、鼻子等位置并没有显示出突出的分类能力。因此为了降低计算量，加快特征提取和识别速度，本文的特征点只选取在眉毛和眼睛部位，即在人脸的眉毛和眼睛部位，选取5×10的网格(共50个特征点)作为候选特征区域，其中第2行第3列为右眉毛位置;第2行第8列为左眉毛位置;第3行第3列为右眼所在的位置;第3行第8列定为左眼所在的位置，然后在此基础上均匀分布其它网格点。

最后形成的网格点如图4所示。

图4 人脸特征点提取

2 相似度测量

设有L个样本图像It，t=1，2，…，L，分别属于C类，每幅图像采样N点(各点隶属于图像中物体的某个固定位置)，各点的Gabor特征可以表示为w(i)tn={w(i)tn j，j=1，2，…，40}，其中，i=1，2，…，C为样本所属类别;t=1，2，…，L为样本标号;n=1，2，…，N为特征点标号。则样本特征点的类内和类间散布矩阵分别为:

根据文献[2]中提出的图像特征点的相似度投票函数和文献[1]中定义的基于相似值的相似性函数，定义新的相似性函数为:

其中，kn为第n个特征点的权重，即

从(12)式可以看出，对于图像和人脸模型中比较相似的特征点，设置其相似性权值为Rn，否则设置其权值为0，从而体现了不同特征点的分类能力，而且去掉了失效的特征点对识别结果的影响。识别时，取待测试视频的每一帧计算相似度，然后对取得最大相似度值的人脸模型投一票，最后统计所有帧对人脸模型的投票，投票最多者为最后识别结果。

3 实验结果

实验选取测试集为30人，每人2段视频流，每段100帧，视频帧均为320×240大小。视频帧中人脸可以有光照变化、局部形变和遮挡。系统中每个人用从人脸库的视频流中手工选取的一张正面、光照均匀、无遮挡、局部形变小的人脸图片作为人脸模型，并标注特征点区域。在特征点提取阶段，用Adaboost算法[8，9]提取人脸，然后对提取的人脸用积分投影方法[10]进行人眼和眉毛区域定位，最后用本文方法进行人脸相似性判决。

表1列出单采用基于相似值的相似性函数和基于投票的相似性函数以及本文方法的实验结果对比。从实验结果可以看出，本文采用的方法比单独使用基于相似值的相似函数和基于投票的相似函数有更高的识别率，而且平均识别时间也大大降低。

表1 3种方法实验结果对比

4 结束语

本文在前人研究工作的基础上，通过分析不同特征点Gabor特征的分类能力，提出了一种结合加权相似值和相似性投票的视频流人脸识别方法。通过设置权值为类间和类内散布矩阵的比值，增加相似度大的特征点的比重，同时去除失效的特征点对分类结果的影响，然后根据每一帧视频的相似度对最终识别结果进行投票。通过在视频集上实验，证明该方法提高了识别率，同时缩短了识别时间，具有可行性。

本文初稿首次刊登于《计算机技术与应用进展◦2010》

[1] Wiskott L.The role of topographical constraints in face recognition[J].Pattern Recognition Letters，1999，20(1): 89-96.

[2] 薛理立，艾海舟.基于弹性图匹配的实时视频流人脸识别[J].计算机科学，2003，30(11):65-68.

[3] 叶敬福，詹永照.基于Gabor小波变换的人脸表情特征提取[J].计算机工程，2005，31(15):172-174.

[4] 姜 婷.基于提升技术的三维小波视频时域滤波方案设计[J].合肥工业大学学报:自然科学版，2009，32(5): 670-673.

[5] 马小燕，杨国胜，范秋凤，等.基于Gabor小波和二维主元分析的人脸识别[J].计算机工程与应用，2006，42(3): 55-57.

[6] Liu C，W echsles H.Independen t component analysisof Gabor features for face recognition[J].IEEE Transactions on Neu ral Netw orks，2003，14(4):919-928.

[7] 宗君斌.基于Gabor小波系数融合的人脸识别[D].杭州:浙江工业大学信息工程学院，2009.

[8] 钱志明，徐 丹.一种Adaboost快速训练算法[J].计算机工程，2009，35(20):187-191.

[9] Freund Y，Schapire R E.A decision-theo retic generalization of on-line learning and an application to boosting[J].Jou rnal of Com puter and Sy stem Scien ces，1997，55(1): 119-139.

[10] 章 玲，蒋建国，齐美彬.一种微分与积分投影相结合的眼睛定位方法[J].合肥工业大学学报:自然科学版，2006，29 (2):182-185.