基于双肤色模型和改进的SNoW算法的人脸检测方法

丁 勇 吴彦儒

(合肥工业大学管理学院 安徽 合肥 230009)

基于双肤色模型和改进的SNoW算法的人脸检测方法

丁 勇 吴彦儒

(合肥工业大学管理学院 安徽 合肥 230009)

针对环境与光照对面部肤色提取的影响，提出一种基于双肤色模型和改进的SNoW算法相结合的人脸检测方法。首先，利用自适应光照补偿方法对图像进行预处理，减少光照变化导致的色彩偏差；然后，综合利用YCbCr和HSI肤色模型提取预处理后图像中的人脸信息；最后，结合改进的SNoW算法检测人脸位置。实验结果表明，在复杂背景和光照变化的情况下，该方法可以准确检测和定位人脸，提升了检测效率和提高了算法对于复杂背景、光照、表情的鲁棒性。

人脸检测 双肤色模型 SNoW分类器 鲁棒性

0 引 言

人脸识别技术是图像处理和模式识别等领域内一个重要研究课题，具有非接触、直观、方便快捷、可扩展性等优点，使其在平安城市、金融/社保、教育、交通及行政办公等领域备受瞩目，广泛应用[1-3]。人脸检测是人脸识别系统起始阶段，也是重要环节，主要工作是从包含复杂背景的图像中检测并提取出存在的人脸[4-5]。人脸检测的方法[6-7]大致可分为：(1)基于模板匹配的检测法[8]；(2)基于人脸知识的检测法[9]；(3)基于统计学习的检测法[10]。

肤色特征是人脸的重要信息[1]，不受形状、表情和姿态等的影响，在肤色空间上有很好的聚集性[11]，但背景环境、光照等对肤色提取存在影响。针对这些问题，本文提出融合双肤色模型和改进的SNoW算法进行人脸检测的方法。首先，利用自适应光照补偿技术对受到光照影响的图像进行光照补偿，再结合YCbCr和HIS两种肤色空间，建立肤色模型分割出肤色区域，最后，结合改进的SNoW分类器(Sparse Network of Winnows)进行人脸检测与定位。由于连续均值量化变换(SMQT)提取待测图像中人脸的特征几乎不受光照和传感器等因素的影响，SNoW分类器是一种特征空间线性单元的稀疏网络结构，可以在表情不同、复杂光照及存在遮挡等情况下训练出多种人脸，使得人脸检测更加准确。Nilsson等人直接利用连续均值量化特征和SNoW分类器对整个图像处理进行正面人脸图像检测[10],有着较高的人脸检测率。本文方法先通过双肤色模型提取出图像中可能存在人脸区域，再利用改进的SNoW算法进行人脸检测与定位。通过与文献[10]方法对比实验分析，本文方法在复杂背景、光照不均匀、表情各异等场景下鲁棒性好，检测速度较快，有着较优的人脸检测与定位效果。

1 肤色分割

1.1 颜色空间选择

肤色分割需要有效的肤色模型，肤色模型的建立与颜色空间的选取直接相关[11]。颜色空间选用的几个要点：(1)肤色在颜色空间的聚类性；(2) 肤色模型分割“肤色”与“非肤色”区域的效果； (3) 由RGB颜色空间转换到该颜色空间的效率。

RGB色彩空间中亮度信息和色度信息混合在一起，受光照影响较为明显,导致肤色分割效果不理想。研究表明,不同种族、不同年龄的肤色在亮度上的差异比色度上的差异明显[12]。因此，可以利用肤色在色度空间上较好的聚类性进行肤色分割。YCbCr和HSI是常见的颜色空间，YCbCr颜色空间中，Y代表亮度信息，Cb和Cr代表色度信息，肤色像素在该空间聚类性良好，受光照影响较小，色彩转换计算简单。HSI颜色空间由色调、色饱和度和亮度构成，三个分量彼此独立，可单独处理。YCbCr颜色空间和HSI颜色空间都可以充分表示肤色，具有色度和亮度分离、独立的特点，能够减弱光照变化带来的影响，利于肤色区域的分割与提取。通过查阅文献[13-14]与实验证明，通过多肤色空间进行肤色区域的分割与提取效果较单一肤色空间好。因此，本文融合YCbCr和HSI色彩空间建立肤色模型进行肤色分割和提取。

RGB色彩空间和YCbCr色彩空间变换公式[15]如下：

(1)

(2)

其中:

(3)

(4)

(5)

因此，在YCbCr颜色空间和HSI颜色空间设定阈值，建立区分肤色与非肤色的颜色模型。

在YCbCr颜色空间上肤色模型为：

77≤Cb≤130 133≤Cr≤173

(6)

如果图像颜色像素的Cb与Cr值满足式(6)，则判定为肤色。

在HSI颜色空间上肤色模型为：

0≤H≤45或318≤H≤360 0.1

(7)

如果图像在HSI色彩空间上满足式(7)，则判定为肤色。

根据肤色模型进行实验，图1为肤色检测结果。图1中，(a)为原图(光照不足)，(b)、(c)分别是在YCbCr与HSI颜色空间上建立肤色模型分割与提取肤色区域的实验结果，接着去除结果差异的部分，提取出共同区域，结果如(d)，再通过图像形态学变换进一步排除非肤色区域，减少噪声干扰，结果如(e)。图1结果表明，融合两种肤色模型进行肤色分割，有效去除了部分非肤色区域，极大地缩小了需要检测的范围，从而得到可能存在人脸的区域。利用肤色模型进行人脸分割，具有分割效果良好、计算速度较快的优点，但易受到光照、复杂背景以及色差等因素的影响，导致误检或者丢失有效的人脸信息。因此，本文采用自适应光照补偿技术对待测图像进行预处理，以达到减少噪声的效果，提高肤色分割效果。

(a) 原图 (b) YCbCr模型检测结果

(c) HSI模型检测结果 (d) 两种模型结合检测结果

(e) 肤色区域提取 (f) 肤色填充 图1 肤色检测结果

1.2 自适应光照补偿算法

图像的采集与存储过程中难免受到光照、设备等因素的影响，而且周围环境可能存在较多的近肤色等情况，影响肤色检测算法的性能，对检测结果造成误差。因此，本文采用自适应光照补偿技术，对图像的部分像素进行非线性变换，以达到修正图像的效果。

首先统计待检测图像总像素数，并从低到高排列，将亮度5%与95%处的亮度值作为阈值，若前后5%亮度区域包含的像素点数量超过总像素数量的40%，则进行光照补偿[16]。步骤如下：

Step1 设图像像素的亮度值为f(x,y),总像素数为N，有L个灰度级(L=256)，第k级灰度值为lk,对应的像素个数为mk，则出现的概率：

(8)

Step2 第k级前灰度级的概率之和为Sk：

(9)

Step3 当Sk<0.05且Sk+1>0.05时，将k+1级的灰度值作为参考黑refB。当Sk<0.95且Sk+1>0.95时，将k+1级的灰度值作为参考白refW。

Step4 待检测图像中像素点经过处理后灰度值记为g(x,y)，公式如下：

(10)

图2(a)是图1(a)进行自适应光照补偿处理后的结果，图像亮度得到改善，图2(b)、(c)、(d) 为肤色分割结果。通过比较图1和图2的结果,得出待测图像经过自适应光照补偿处理后，再进行人脸肤色区域分割与提取，可以准确地提取人脸区域。

(a) 自适应光照补偿处理 (b) 两种色彩空间结合

(c) 肤色区域提取 (d) 肤色填充图2 适应光照补偿后肤色检测结果

2 改进的SNoW算法

SNoW学习体系的核心思想是利用预定义好的样本特征来训练线性稀疏网络，最终通过训练的网络进行分类[10,17]。SNoW分类器用于人脸定位最早由Roth提出。

2.1SMQT特征提取

图像分割得到的人脸图像块为D(x)，经SMQT(Successive Mean Quantization Transform)变换输出的像素值序列为F(x)，变换函数为：

SMQTL:D(x)→F(x)

SMQTL函数可以通过二叉树原理进行表述，二叉树的节点位置代表一个均值量化单元MQU(Mean Quantization Unit)。每个MQU的计算需要三个步骤：

Step1 均值计算

(11)

Step2 量化

(12)

Step3D(x)分解

(13)

由此可以得到一个MQU，如图3所示。

图3 MQU计算示意图

由此可知，SMQT的基本计算单元为MQU，定义u(l,n)为MQU的节点输出集，其中,l为二叉树的当前分类层数，l=1,2,…,L；n为该分支在l级输出MQU的个数。则经过L层的处理后，得到新的像素值序列F(x)可由最底层的MQU输出结果加权求和得出，即SMQT特征为：

(14)

2.2 改进的SNoW分类器

传统的SNoW算法采用待测图像的原始亮度当作特征训练分类器[17]。该特征定义如图4所示，待测图像的每个像素点都有256种可能的灰度值，图像大小为m×n的待测图像，线性网格大小为m×n×256，存在占用资源多，执行效率低，鲁棒性差等缺点。

图4 亮度特征图

1) 新算法的实现

通过局部二值化映射算法对传统算法进行改进[17]，步骤如下:

(15)

Step3 将B(x,y)映射为B′(x,y)，将B′(x,y)作为像素特征的训练样本,其值为：

B′(x,y)=B(x,y)+2×B(x+1,y)+4×

B(x,y+1)+8×B(x+1,y+1)

(16)

新算法的优点：

① 占用资源少。由于B′(x,y)只有16种可能值,比传统算法节约了很大的资源。

② 鲁棒性好。利用局部二值化改进算法减少了光照变化带来的噪声，算法的鲁棒性得到提高。

2) 训练SNoW分类器

训练主要分为2个步骤：

3 实验结果与分析

针对本文提出的人脸检测方法与文献[10]的方法进行对比仿真实验，人脸测试图像总共140幅，其中单人图片80幅，多人图片60幅，包含726个人脸。测试集图像来源有AFLW人脸数据库和互联网，其中包含复杂光照、复杂环境、多姿态、表情不同和遮挡等情况。在Windows7(32位)操作系统下，处理器为Intel(R)Core(TM)i5-3450 CPU @ 3.1GHz,4.00 GB内存，编程环境为Matlab R2012a，进行仿真实验。图5为本文方法和文献[10]Mikael Nilsson方法的部分仿真实验结果。其中，图5中(a1)-(a5)是通过本文提出的基于双肤色模型和改进的SNoW算法的检测方法实验得出的结果，图5中(b1)-(b5)是通过文献[10]的方法实验得出的结果。

(a1) (b1)

(a2) (b2)

(a3)

(b3)

(a4)

(a5)

(b5)图5 人脸检测对比实验结果

由图5(a1)、(b1)表明，在复杂背景和光照不足的条件下，进行单人图像人脸检测中两种方法效果都很理想，后续的大量实验也有力地证实两种方法在背景复杂、各种光照强度下进行单人人脸检测效果非常理想。图5(a2)、(b2)表明，在复杂背景干扰但光照影响较小的情况下，本文方法与文献[10]方法进行多人脸检测效果也十分理想。图5(a3)、(b3)、(a4)、(b4)可表明，在光照不足或者过强、存在类肤色物体干扰的情况时，文献[10]方法对多人脸的检测存在漏检与误检的发生。图5(a5)、(b5)表明在光照复杂、姿态各异、侧脸、戴眼镜等多种情况下进行多人脸检测，文献[10]方法与本文方法都存在漏检和误检，但总体比较，本文方法对复杂背景和光照的影响有较强的鲁棒性。

表1 两种方法的人脸检测结果统计

从表1的统计结果可见，本文采用的方法进行人脸检测的正确率比参考文献[10]方法提高了1.51%；误检率较文献[10]方法降低了2.90%；漏检率也有所下降。总体来看，尽管本文在光照复杂、姿态各异、侧脸、戴眼镜等多种情况下进行多人脸检测存在误检与漏检，但较文献[10]方法有一定的提高与改善。

表2 两种方法的人脸检测时间对比

从表2两种算法进行人脸检测的耗时对比可以看出，不管是单人脸还是多人脸检测速度，本文所采用的方法较文献[10]方法都有一定的提高。

根据以上实验对比分析，双肤色模型对肤色的分割效果较单一肤色模型有很大的提升，自适应光照补偿技术对受到光照影响的图像改善明显，再通过改进的SNoW算法进行人脸检测，综合检测率、漏检率、误检率和检测速度的对比，本文提出的方法进行人脸检测有着良好的效果。

4 结 语

本文提出一种基于双肤色模型和改进的SNoW算法相结合的人脸检测方法。受光照影响的人脸图像通过自适应光照补偿技术处理,减少光照产生的噪音；接着利用在YCbCr和HSI颜色空间上的肤色模型对待测图像进行肤色分割和提取，最后利用改进的SNoW算法进行人脸检测。通过实验得出，该方法在复杂背景和光照变化等多种情况下，有着较高的检测率，并降低了漏检率与误检率，对于复杂背景、光照和表情等的变化鲁棒性良好，能满足现实环境下人脸检测的要求。

实验过程中，本文方法在进行存在人脸姿态倾斜或者偏向过大的图像检测过程中漏检率较高；另外对于近肤色且与人脸大小相近的物体排除率较低，造成误检。如何改进人脸检测算法，提高对存在人脸姿态倾斜或者偏向过大的图像的检测率，降低漏检率、误检率和检测时间是下一步研究的目标。

[1] 梁路宏,艾海舟,徐光祐,等.人脸检测研究综述[J]. 计算机学报, 2002, 25(5):449-458.

[2] 徐晓艳. 人脸识别技术综述[J]. 电子测试, 2015(10):885-894.

[3] 刘晗. 人脸识别技术在十大领域的创新应用[J].中国安防,2015(21):66-69.

[4] Chai D, Ngan K N. Face segmentation using skin-color map in videophone applications [J]. IEEE Transactions on Circuits & Systems for Video Technology, 1999, 9(4):551-564.

[5] 欧凡. 机器视觉人脸识别若干关键问题研究[D].大连理工大学, 2011.

[6] 田源,于凤芹. 人脸检测方法综述[J].计算机安全,2009(5):76-79.

[7] Hatem H, Zuo B, Majeed R. A Survey of Feature Base Methods for Human Face Detection [J]. International Journal of Control & Automation, 2015, 8:61-78.

[8] Craw I, Ellis H, Lishman J R. Automatic extraction of face-features[J]. Pattern Recognition Letters, 1987, 5(2):183-187.

[9] 张洪明, 高文. 基于肤色模型、神经网络和人脸结构模型和平面旋转人脸检测[J].计算机学报, 2002, 25(11):1250-1256.

[10] Nilsson M, Nordberg J, Claesson I. Face detection using local SMQT features and split up snow classifier[C]// IEEE International Conference on Acoustics, Speech and Signal Processing, 2007, 2: 589-592.

[11] 杨国林,冯乔生,张亚萍. 基于肤色的人脸检测综述[J].软件,2013,34(3):7-9.

[12] Lee D, Wang J, Plataniotis K N. Contribution of skin color cue in face detection applications [M]//Advances in Low-Level Color Image Processing. Springer Netherlands, 2014: 367-407.

[13] 李伟生, 杨瑞娟, 周丽芳,等. 基于多肤色空间及AdaBoost算法的人脸检测方法[J].计算机应用研究, 2012, 29(6):2368-2370.

[14] 赵艳妮,郭华磊. 基于多色彩空间的肤色检测研究[J].计算机技术与发展, 2013(10):250-252.

[15] 宋凌怡. 基于肤色模型的人脸检测与人眼定位[J].吉林大学学报(理学版),2015,53(6): 1246-1250.

[16] 许雪梅, 黄征宇, 李丽娴,等. 一种基于HSV颜色分割和模糊级联分类器的人脸检测技术[J].计算机应用与软件, 2014,31(4):197-200.

[17] 徐健,常志国. 一种改进的基于SNoW的人脸定位算法[J].现代电子技术,2008, 31(18):146-148.

A FACE DETECTION METHOD BASED ON DUAL SKIN MODEL AND IMPROVED SNoW ALGORITHM

Ding Yong Wu Yanru

(SchoolofManagement,HefeiUniversityofTechnology,Hefei230009,Anhui,China)

Aiming at the effect of environment and light on facial skin color extraction, a new face detection method based on double skin color model and improved SNoW algorithm is proposed. Firstly, the image is preprocessed by adaptive illumination compensation method to reduce the color deviation caused by illumination variation. Then, the face information of the preprocessed image is extracted by using the skin color model of YCbCr and HIS. Finally, the improved SNoW algorithm is used to detect the face position. Experimental results show that the proposed method can detect and locate human faces accurately, and improve the detection efficiency and the robustness of the algorithm to complex backgrounds, illumination and expression in complex background and illumination.

Face detection Dual skin model SNoW classifier Robustness

2016-04-17。国家自然科学基金重点项目(71331002)；国家自然科学基金项目(71571059)。丁勇，副教授，主研领域：信息管理与信息系统、决策理论与方法、项目管理等。吴彦儒，硕士生。

TP751.1

A

10.3969/j.issn.1000-386x.2017.05.024