智能视频监控中基于肤色信息的人脸检测算法研究

黄知超 张鹏 赵华荣 赵文明

摘 要： 针对智能视频监控中人脸检测受复杂环境以及多姿态人脸的影响，采用一种基于肤色特征与AdaBoost算法相结合的方法，提取两种算法各自优点并加以优化，其主要思想是利用肤色特征建立肤色模型，选出含有人脸预检测肤色区域，进行人脸样本训练，提取人脸样本Haar特征，进行弱分类器训练，利用迭代的方法，再将不同的弱分类器组合成强分类器，最后形成级联分类器，运用级联分类器检测含有人脸的肤色区域。实验结果表明，该方法不仅提高了智能视频监控中人脸检测的效率和准确性，而且具有较好的鲁棒性。

关键词： 人脸检测； 肤色特征； AdaBoost算法； 弱分类器训练； 级联分类器； 视频监控

中图分类号： TN911.73?34； TP319.4 文献标识码： A 文章编号： 1004?373X（2018）07?0058?04

Research on human face detection algorithm based on skin

color information in intelligent video surveillance

HUANG Zhichao， ZHANG Peng， ZHAO Huarong， ZHAO Wenming

（School of Mechanical and Electrical Engineering， Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： Since the human face detection in intelligent video surveillance is influenced by complex environment and multi?pose human face， a method based on skin color feature algorithm and AdaBoost algorithm is adopted to extract and optimize the respective advantages of the two algorithms. According to the main thought of the method， the skin color feature is used to establish the skin color model， and select the pre?detecting skin color area containing human face for human face sample training. The Haar feature of human face sample is extracted to train the weak classifiers. The iterative method is used to combine different weak classifiers into a strong classifier， so as to form a cascade classifier， with which the skin color region containing human face is detected. The experimental results show this method can improve the efficiency and accuracy of human face detection in intelligent video surveillance， and has strong robustness.

Keywords： human face detection； skin color feature； AdaBoost algorithm； weak classifier training； cascade classifier； video surveillance

0 引 言

随着社会公共安全措施的日益增强和防范技术的不断进步，智能视频监控系统中的人脸检测逐渐成为热门的研究领域。人脸检测技术是一种分析人脸特征信息进行身份辨别的生物检测技术，它涉及图像处理、机器视觉、模式识别等众多领域。通过人脸检测判断该人身份信息[1?2]，人们可以根据人脸的复杂变化，判断出一个人的性格与情绪状态。人脸检测技术的最大优点是检测过程精度高、速度快以及更具保密性和方便性，广泛应用于计算机安全、网络安全、机器视觉、门禁系统、医学诊断系统和智能监控系统等[3?4]。因此，对人脸检测的算法研究成为重中之重。

人脸检测技术是对载入的图像经过一定的算法处理，找到人脸并确定人脸大小和位置的过程[5?6]。但容易受到复杂环境的影响，提高了检测的难度，如易受到人体姿态、面部表情、图像旋转方向、光照和遮挡等因素的影响[7]。海内外学者对此做了很多研究，以AdaBoost算法為核心的人脸检测算法是2001年由Paul Viola等人提出的，此算法保证了检测的实时性[8]，但由于容易受到人脸姿态的影响，从而对多人脸检测的准确率较低；基于肤色特征的检测方法主要利用肤色的稳定性以及不依赖于人脸细节的特征[9]，对肤色区域的图像进行分割，在肤色区域中找到并确认人脸位置，检测速度快，但易出现把类似肤色背景物体错判为人脸的情况，从而增大了误判率。

本文结合肤色模型和AdaBoost算法的优点，并加以优化，利用肤色建模，进行肤色分割，分割出含有人脸的预检测肤色区域，结合AdaBoost算法训练人脸样本，筛选出能够区分人脸特征的弱分类器，再将一系列的弱分类器组合成强分类器，创建级联分类器，对含有人脸预检测肤色区域的人脸目标进行检测。该方法不仅解决了智能视频监控中多姿态人脸以及在复杂背景下人脸检测困难的问题，而且提高了人脸检测的准确率和效率。

1 肤色特征和级联结构AdaBoost算法解析

1.1 基于肤色特征的人脸检测

基于肤色特征的人脸检测方法如图1所示，主要利用肤色特征在YCbCr空间分布呈现良好的聚类特性和统计分布规律性，找出含有人脸的肤色区域。

1.1.1 色彩空间转换

对于不同种族和肤色的人，肤色差别是亮度的差别，而色度的差别很小[10]。而在RGB色彩空间中，各个分量都含有亮度信息，并且相关性大，易受光照影响。于是，采用YCbCr色彩空间进行肤色特征检测。

RGB色彩空间经过线性转换可以得到YCbCr空间，其中分量[Y]代表亮度，分量[Cb]代表蓝色分量与一个相对参考值的差，分量[Cr]代表红色分量与一个相对参考值的差。RGB与YCbCr相互转换的公式如下：

[YCbCr=0.2990.5870.114-0.168 7-0.331 30.50.5-0.418 7-0.081 3RGB+00.50.5] （1）

1.1.2 基于色彩空间的肤色分割

统计信息表明，世界上不同人种的皮肤颜色相差很大，但肤色信息受亮度影响较大，相对受色度信息影响很小，于是，在YCbCr空间内，不考虑分量[Y]的影响，直接映射到CbCr空间上，呈现二维独立分布，便于运算。在肤色检测过程中容易受到光照、噪声等因素的影响，对待测样本进行光照补偿、高斯滤波处理，降低不利因素的影响，提高检测的准确性。在YCbCr色彩空间内，根据椭圆肤色模型，按照式（2）进行肤色分割，做形态学处理，进而得到理想的肤色区域检测效果。

在YCbCr色彩空间中，若待检测图像像素满足式（2），则认为是肤色图像，记为1；否则，记为0，形成二值图像。

1.1.3 人脸区域筛选

由肤色模型筛选的肤色区域，很多不为人脸区域，需要对这些区域进行筛选。如受手臂、噪声、肤色相近的物体和背景环境等因素影响，存在白色的孤立点以及类肤色的小区域，做形态学处理，利用连续的开闭运算，消除了一些孤立点以及小区域，进一步确定人脸区域（限定条件）：

1） 若目标高宽比[k（k≤0.8，k≥2.4）]，则不是人脸区域并删除该区域；

2） 肤色面积过大或过小，则认为不是人脸区域，删除该肤色区域；

3） 矩形面积[S]是目标区长度与目标区宽度的乘积，目标区面积为[s，]若[sS<0.6，]则认为不是人脸区域；

4） 肤色检测区域小于300的去掉，一般多为手或与肤色相近的区域。

如图2所示为基于肤色特征的人脸检测过程。

1.2 AdaBoost算法人脸检测

AdaBoost算法的人脸检测如图3所示，选择的人脸样本为正向，在速率和准确性方面，AdaBoost算法对人脸的检测具有良好的优势，可以得到良好的检测效果。具体算法是：对候选区域进行积分图计算，快速得到Haar?like特征，利用Haar?like特征创建弱分类器，一系列的弱分类器经过多次迭代生成强分类器，再将多个强分类器级联组成更有检测效果的级联结构分类器。

1.2.1 级联结构的AdaBoost算法原理

AdaBoost算法是基于统计理论的一种机器学习算法，其基本原理是训练大量的正负样本，筛选样本的关键特征，并把正负样本区分开来。Viola和Jones提出了积分图像概念，并且以AdaBoost算法为基础训练人脸检测分类器，创建第一个实时的人脸检测系统[11]。该系统利用积分图像，快速计算正负样本大量的简单特征，再利用AdaBoost学习算法筛选一些重要特征，构造一组弱分类器，多个弱分类器经过线性组合，形成一个强分类器，然后采用多个强分类器迭代，形成级联结构，大大提高检测准确率。

1.2.2 Haar特征

Haar?like特征作为人脸检测的特征表示，常常使用到三种类型四种形式（见图4）。Haar特征分为三类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。Haar特征值反映了图像的灰度变化情况。

式中[αt=log1βt]。

6） 通过不断调整检测窗口的位置和比例找到人脸。

1.2.3 级联结构的分类器的训练

在AdaBoost算法学习中，通过筛选所检测图像获取大量具有代表性的Haar特征值，每一个Haar特征构建一个弱分类器，将一系列弱分类器经过迭代构建强分类器，级联分类器是把训练好的强分类器层层迭代并串联在一起，每级都有相同的检测率，并且保留对下一级具体物体的检测，而每一级的子分类器则有许多Haar特征，并且每个特征帶一个阈值和两个分支值，每级子分类器带一个总的阈值，能够阻挡大部分非人脸样本通过，人脸样本顺利筛选。级联结构是一种从粗到细的结构，从弱分类器到强分类器的过程，从而形成级联结构，经过多个分类器筛选，人脸样本最终会以大概率被检测到，从而被判定为人脸。

2 基于肤色特征与级联结构的AdaBoost算法

人脸检测

基于肤色特征的人脸检测方法在人脸表情变化以及人脸侧面有很好的检测率，但容易受复杂背景以及光照的影响，出现误检和漏检的现象；AdaBoost人脸检测算法受背景影响比较小，但容易受到人脸姿态变化的影响，从而影响检测率。因此，将两者的优点与缺点进行对比分析，汲取两种算法的优点，将两种方法进行混合并加以优化。通过肤色模型得到含有人脸的待检测肤色区域，然后利用分类器对待检测肤色区域进行分类，从而提高级联分类器的检测速率，人脸检测相关流程图如图5所示。

3 实验结果与分析

通过对肤色特征与AdaBoost算法两种人脸检测算法进行比较，汲取两者的优点，并加以优化，从而得到检测效果好、检测速率快的人脸检测方法。

本实验从单脸、多人脸、简单背景和复杂背景四个方面进行测试，比较每一种算法的优缺点。测试系统基于VS2013+OpenCV编程，在Intel[?]CoreTm i5?4590 CPU @ 3.30 GHz、4 GB内存的计算机上实现。实验样本：180张从监控视频中截取的彩色仿真图像，图像规格为320×240像素，其中包含有单人脸、多人脸、复杂背景以及人脸姿态各异的图像，共856张人脸，仿真结果如图6与图7所示。

对检测结果进行分析，统计各个算法的检测结果如表1所示。

依据对表1统计数据的分析，采用肤色特征的人脸检测方法在检测率上比较高，而且检测速度比较快，但误检率相对较高，主要因为容易受到类似肤色区域以及光照条件的影响；而采用具有级联结构的AdaBoost算法容易受到人脸姿态和复杂背景的影响，从而使多人脸检测率比较低，检测速率不高，但误检率比较低。本文将两者各自的优点相结合，并加以优化，在满足检测率的情况下，能够有比较低的误检率，也可以同时满足相对比较好的检测率和误检率，在检测速度方面相对两种算法也有很大的提高，在一定范围内满足人脸检测的准确性。

4 结 语

本文针对肤色特征以及级联结构人脸检测方法进行解析和对比实验，实验结果表明，肤色特征容易受到光照条件的影响，而AdaBoost算法容易受到人脸姿态的影响，其中任何一种算法都不能满足检测率和误检率的要求，因此，本文取两种算法各自的优点，并加以优化。实验结果证明，在智能视频监控中，该方法不仅达到了检测率和误检率的要求，而且具有比较好的检测效率，并且对光照、遮挡以及多姿态人脸等复杂环境条件，在一定程度上也有很好的检测效果。

参考文献

[1] 陈一宁，陈晓光.基于手机和人脸识别的身份识别系统[J].计算机应用与软件，2011，28（3）：77?79.

CHEN Yining， CHEN Xiaoguang. A novel identity recognition system based on mobile phone and face recognition [J]. Computer applications and software， 2011， 28（3）： 77?79.

[2] 杜薇薇，瞿春柳.人脸检测技术在3G移动增值业务中的应用[J].现代电子技术，2009，32（22）：80?83.

DU Weiwei， QU Chunliu. Human face detection technology in 3G mobile value?added business application [J]. Modern electronics technique， 2009， 32（22）： 80?83.

[3] YANG M H， KRIEGMAN A N. Detecting faces in images： a survey [J]. IEEE transactions on pattern analysis and machine intelligence， 2002， 24（1）： 34?58.

[4] 胡一帆，胡友彬，李骞，等.基于视频监控的人脸检测跟踪识别系统研究[J].计算机工程与应用，2016，52（21）：1?7.

HU Yifan， HU Youbin， LI Qian， et al. Research on face detection， tracking and recognition system based on video surveillance [J]. Computer engineering and applications， 2016， 52（21）： 1?7.

[5] 贾慧星，章毓晋.智能视频监控中基于机器学习的自动人数统计[J].电视技术，2009，33（4）：78?81.

JIA Huixing， ZHANG Yujin. Automatic people counting based on machine learning in intelligent video surveillance [J]. Video engineering， 2009， 33（4）： 78?81.

[6] 冯翔，杨健，钱建军.基于多尺度图像局部结构分解的人脸特征提取方法[J].计算机与现代化，2015 （3）：52?56.

FENG Xiang， YANG Jian， QIAN Jianjun. Face feature extraction and recognition method for multi?scale local structure?based image decomposition [J]. Computer and modernization， 2015（3）： 52?56.

[7] QIAN Z， XU D. Research advances in face recognition [C]// Proceedings of 2009 Chinese Conference on Pattern Recognition. [S.l.]： IEEE， 2009： 1?5.

[8] VIOLA P， JONES M J. Robust real?time face detection [J]. International journal of computer vision， 2004， 5（2）： 137?154.

[9] WU H， CHEN Q， YACHIDA M. Face detection from color images using a fuzzy pattern matching method [J]. IEEE transactions on pattern analysis and machine intelligence， 1999， 21（6）： 557?563.

[10] YANG J， WAIBEL A. A real?time face tracker [C]// Procee?dings of the 3rd IEEE Workshop on Applications of Computer Vision. [S.l.]： IEEE， 1996： 142?147.

[11] 蒋政，程春玲.基于Haar特性的改进 HOG的人脸特征提取算法[J].计算机科学，2017，44（1）：303?307.

JIANG Zheng， CHENG Chunling. Improved HOG face extraction algorithm based on Haar characteristics [J]. Computer science， 2017， 44（1）： 303?307.