基于特征点定位与肤色分割的胡子检测算法

蔡晓东，甘凯今，杨　超，王丽娟，王　迪

(桂林电子科技大学 a.信息与通信学院；b.机电工程学院， 广西 桂林 541004)

基于特征点定位与肤色分割的胡子检测算法

蔡晓东a，甘凯今a，杨超a，王丽娟a，王迪b

(桂林电子科技大学 a.信息与通信学院；b.机电工程学院， 广西 桂林 541004)

摘要:针对具有一定程度偏转和模糊的人脸图像难以实现胡子检测的问题，提出基于人脸特征点定位与肤色分割的胡子检测算法。该算法的设计思路是首先使用主动形状模型(ASM)算法定位人脸特征点进而获取下巴区域，然后利用提出的自动选择聚类中心(ASCC)的肤色分割算法分离出下巴的非肤色区域，最后在下巴非肤色区域中使用胡子颜色判别法检测得到胡子。在LFW人脸库上的实验表明，该算法能够准确地检测出人脸的胡子，特别地，对有一定程度偏转和模糊的人脸图像，算法依然能获取良好的检测效果。

关键词:胡子检测；主动形状模型；人脸特征点；肤色分割

人脸标志性的特征包括胡子、斑痣和表情等，胡子作为一种独特而显著的人脸特征，不仅在性别判别、年龄估计和人脸识别中占有重要地位，还在目标追踪和人脸检索方面扮演着重要角色。胡子检测是胡子判别和分类的首要步骤，极具研究价值。

目前关于人脸特征的研究方法主要分为两大类：基于先验知识的方法与基于训练模型的方法。基于先验知识的方法[1-3]是通过观察大量的包含特定特征的人脸样本，分析出特征的分布规律、数学模型等信息，此类方法操作简单、计算量小、易于实现，但容易受角度和光照变化的影响，难以得到稳定的特征检测效果；基于训练模型的方法[4-5]，首先通过训练大量具有某种特征的样本得到特征分类器，再使用分类器进行特征检测与分类，此类方法结构简单、可移植性强，但计算量大，且需要大量的训练样本。

本文结合先验知识和训练模型的特征检测方法，提出了一种基于人脸特征点定位与肤色分割的胡子检测算法。实验表明，本算法能够从人脸中准确检测出胡子，对人脸的角度变化有良好的鲁棒性，而且在轻度模糊图像中也能获取良好的检测效果。

1胡子检测算法框架

本文提出的胡子检测算法流程如图1所示，首先，使用基于训练模型的主动形状模型(Active Shape Model，ASM)算法对输入的彩色人脸图像进行人脸特征点定位；其次，利用先验知识与特征点定位结果获取下巴区域，并在YCbCr颜色空间中使用本文提出的自动选择聚类中心(Auto Selected Clustering Center，ASCC)的肤色分割算法进行肤色分割，进而获取下巴的非肤色区域；再次，利用下巴非肤色区域的颜色信息检测出人脸胡子；最后显示输出胡子检测结果。

图1本文提出的胡子检测算法流程

2基于ASM的下巴区域定位

人的胡子主要生长在下巴区域与嘴唇上方区域，本文将这两个区域统称为下巴区域。准确定位出下巴区域，能减小搜索胡子的范围，提高胡子检测的正确率。本文设计的下巴区域定位模块首先采用ASM算法获取人脸特征点，然后根据人脸特征点的位置进行划分，进而获取下巴区域。

2.1ASM人脸特征点定位

ASM算法[6-7]是目前最有效的人脸特征点定位算法之一，它的特点在于对人脸的形状和光照变化有较好的鲁棒性。典型的ASM算法分为两大步骤：建立标准模型和搜索特征点。首先使用特征点的坐标信息和灰度梯度信息进行统计建模得到人脸特征点的标准模型，然后利用建立的标准模型在目标人脸中搜索人脸轮廓，从而定位出特征点。ASM算法两大步骤具体如下：

(1)

(2)

(3)

(4)

(5)

(6)

vt=(x0,y0,…,xj,yj,…)T

(7)

图2　ASM人脸特征点定位结果

2.2下巴区域定位

瞳孔和鼻尖点的灰度梯度信息较为独特，使用ASM对瞳孔和鼻尖的定位结果不但准确，而且不容易受到胡子的干扰，此外，不同的人脸中两个瞳孔的间距的差别较小。因此，本文提出的下巴定位方法使用双眼瞳孔和鼻尖作为参照点进行下巴区域定位。

根据ASM人脸特征点定位结果，分别提取左右瞳孔坐标Pl(xl,yl)、Pr(xr,yr)和鼻尖坐标Pn(xn,yn)，并以鼻尖Pn为圆心，rh为短轴半径，rv为长轴半径绘制椭圆，椭圆的下半部分就是下巴区域，其中rh=0.6de，rv=0.8de，瞳距de由式(8)计算得到，下巴定位结果如图3所示。

(8)

图3　下巴区域定位

3胡子检测

在本文设计的胡子检测模块中，首先，使用ASCC肤色分割算法对人脸进行肤色分割，获取人脸的非肤色区域；然后，结合下巴定位结果分离出下巴的非肤色区域；最后，使用基于HSV颜色空间的胡子颜色判别法对下巴的非肤色区域进行胡子检测。

3.1ASCC肤色分割算法

针对现有的肤色分割算法[8-9]存在的难以适应不同肤色的问题，同时结合胡子检测的实际应用条件，本文提出了一种能够自动选择聚类中心(ASCC)的肤色分割算法。

ASCC肤色分割算法利用ASM特征点定位结果，选取人脸中肤色均匀、不易受遮挡的人眼下方脸颊作为肤色参考块，计算肤色参考块在YCbCr颜色空间的蓝色色度Cb和红色色度Cr的平均值，并以此作为肤色聚类中心在YCbCr颜色空间对人脸进行肤色分割。ASCC肤色分割算法自动选择的肤色聚类中心能够随着人脸光照和肤色的不同而变化，因此，ASCC肤色分割算法对光照和肤色变化具有较好的适应性。

ASCC肤色分割算法的具体步骤如下：

第一步：根据ASM特征点定位结果，分别在左右脸颊选取两个肤色参考块。本文在瞳孔以下1/3瞳距的地方选择边长为1/3瞳距的方块区域作为肤色参考块，如图4所示。

图4　选取肤色参考块

(9)

(10)

P(i,j)=e-d(i,j)

(11)

第四步：对人脸图像的每一个像素点执行第三步，得到每个像素点的肤色概率后根据式(12)进行肤色判别。

(12)

式(10)～(11)中，d(i,j)∈[0,10]，P(i,j)∈(0,1]，由公式可见，像素点色度值与参考块平均色度值的欧氏距离越小，则该点属于肤色的概率越大；反之，则属于肤色的概率越小。式(12)中S(i,j)是像素点的肤色判别结果，k是肤色判别阈值，当P(i,j)≥k时，S(i,j)=1，则该像素点是肤色，反之，当P(i,j)

a原图bk=0.6ck=0.7 dk=0.8

图5取不同k值的ASCC肤色分割效果

3.2胡子颜色判别

由于下巴的非肤色区域包括胡子和嘴唇，因此，为了准确检测出胡子区域，必须对下巴的非肤色区域做进一步处理。鉴于绝大部分胡子的颜色都属于黑色、灰色或白色，本文提出的胡子颜色判别模型根据HSV颜色空间的颜色分布，分别获取下巴区域中的黑色、灰色和白色像素，并将属于这三种颜色的像素判定为胡子，其中黑色、灰色和白色的判别依据是通过统计大量的胡子颜色得到。

胡子检测步骤如下：首先，根据下巴区域定位和ASCC肤色分割结果，获取下巴的非肤色区域；然后，把下巴非肤色区域的颜色空间由RGB空间转换到HSV空间[11]；最后，根据式(13)～(15)判断像素点是否属于灰色、白色或黑色，当满足式(16)中bear=1时，该像素点被判定为胡子。

(13)

(14)

(15)

(16)

v，s分别是HSV颜色空间的亮度、饱和度，v，s∈[0,1]。式(13)～(15)中，v，s的取值范围由大量的颜色实验统计得到，g=1代表灰色，g=0代表非灰色，同理，w=1代表白色，w=0代表非白色，b=1代表黑色，b=0代表非黑色。式(16)中，bear=1表示该点颜色是胡子颜色，bear=0则不是胡子颜色。胡子检测效果如图6b所示。

a　原图

b　胡子检测结果

4实验结果与分析

为验证本文提出的ASCC肤色分割算法和胡子检测算法的有效性，实验选择LFW人脸库分别测试肤色分割与胡子检测的效果。

4.1肤色分割

为测试本文提出的ASCC肤色分割算法，本实验从LFW人脸库中分别抽取300张正面的黄肤色、白肤色、黑肤色的人脸图像，组成900张涵盖黄色、白色、黑色3种肤色的人脸肤色分割测试集，部分人脸样本如图7所示。

图7　部分肤色分割样本

实验分别使用本文提出的ASCC肤色分割算法和HsuR.L.等人提出的基于改进的YCbCr椭圆模型肤色分割算法[8]对3种肤色人脸做肤色分割测试，肤色分割准确率定义为正确肤色分割的图像数与参与测试的图像数的比值，而正确肤色分割的图像是指人脸肤色至少有3/4的区域被识别为肤色，部分实验结果如图8所示，表1为肤色分割准确率的统计结果。

a　原图

b　椭圆模型肤色分割结果

c　本文算法结果

表1　肤色分割准确率比较 %

由图8和表1可以看出，相比椭圆模型肤色分割算法，本文提出的ASCC肤色分割算法对肤色边缘分割更为准确，不受背景颜色的干扰，同时，对不同肤色的人脸都能获得良好的肤色分割效果。

4.2胡子检测

为测试本文提出的胡子检测算法的有效性，实验从LFW人脸库中抽取200张正面有胡子人脸，200张偏转小于30度的有胡子人脸。同时，为了测试本文的胡子检测算法在图像轻度模糊条件下的性能，对先前选取的200张正面胡子人脸做高斯模糊处理，以此获取200张模糊的正面有胡子人脸。因此，实验的胡子人脸集由200张正面、200张偏转小于30°和200张模糊正面的有胡子人脸组成。实验分别使用Le[12]等人的基于自商图像的稀疏分类器算法与本文提出的算法做胡子检测。

本文提出的胡子检测算法的实验结果如图9所示，胡子被显著标出，表2为胡子检测的对比实验结果。

a　清晰正脸

b　偏转人脸

c　模糊正脸

表2　胡子检测实验结果 %

从图9和表2中可以看出，本文提出的胡子检测算法能够在人脸图像轻微偏转和轻度模糊的条件下有效检测出人脸的胡子区域，相比Le等人的算法，本文算法对模糊的人脸图像有更好的检测效果。

为了测试本文提出的胡子检测算法的复杂度，本文在64位Windows7操作系统、CPUi5-3230M主频为2.6GHz、内存DDR3容量为4G，开发平台为VS2010的实验环境下进行胡子检测性能测试。实验对LFW人脸库中10 000张尺寸为250×250的彩色人脸图像进行胡子检测，耗时2 436s，平均每次胡子检测耗时 0.243 6s，表明算法复杂度能够满足实时检测的需求。

实验表明本文提出的胡子检测算法能够较好地满足不同场景下的胡子检测需求，对偏转人脸、模糊人脸具有较好的鲁棒性，算法效率能够满足实时检测的需求。

由于ASM能够准确且快速地对瞳孔和嘴角点进行定位，从而可以准确定位下巴区域，又因为胡子颜色不受人脸图像的角度和清晰度的影响，因此，对偏转人脸、模糊人脸具有较好的鲁棒性。

5结束语

本文提出了一种新的胡子检测算法，该算法使用ASM获取人脸特征点和下巴区域，并使用本文提出的基于YCbCr颜色空间的ASCC肤色分割算法分离出下巴的非肤色区域，最后在下巴的非肤色区域中使用基于HSV颜色空间的胡子颜色判别法检测得到胡子。实验表明，该算法能够准确地检测人脸的胡子，对具有一定程度的偏转和模糊的人脸图像依然能获取良好的检测效果，且算法效率能够满足实时检测的需求。相对其他特征而言，胡子与皮肤的纹理特征差异较大，具有良好的辨识度，但是对图像的清晰度要求较高，难以在模糊的图像中准确提取纹理特征。如何在胡子检测算法中兼顾颜色特征和纹理特征以增加算法的适用范围，将是笔者后续研究的主要内容。

参考文献：

[1]徐国庆.复合特征的眼睛中心定位[J].计算机工程与设计，2014，35(10)：3598-3601.

[2]曹春萍，常利.一种基于ASM和灰度共生矩阵的光头定位检测方法[J].计算机应用与软件，2014，31(6)：138-141.

[3]PARKU，JAINAK.Facematchingandretrievalusingsoftbiometrics[J].IEEEtransactionsoninformationforensicsandsecuity，2010，5(3)：406-415.

[4]孟令军，于磊，郭雄飞.疲劳检测中人眼定位方法研究[J].电视技术，2015，39(1)：113-115.

[5]蔡诗威，郭太良，姚剑敏.一种基于卷积神经网络的性别识别方法[J].电视技术，2014，38(19)：188-191.

[6]COOTESTF，TAYLORCJ，COOPERDH，etal.Activeshapemodels-theirtrainingandapplication[J].Computervisionandimageunderstanding，1995，61(1)：38-59.

[7]LIZ，IMAIJ，KANEKOM.FacialfeaturelocalizationusingstatisticalmodelsandSIFTdescriptors[C]//Proc. 18thIEEEInternationalSymposiumonRobotandHumanInteractiveCommunication.Toyama，Japan：IEEEPress， 2009：961-966.

[8]HSURL，ABDEL-MOTTALEBM，JAINAK.Facedetectionincolorimages[J].Patternanalysisandmachineintelligence，2002，24(5)：696-706.

[9] 郭耸，顾国昌，蔡则苏，等.肤色相似度和动态阈值相结合的肤色分割技术[J].计算机工程与应用，2010，46(18)：1-3.

[10]LINC.FacedetectionincomplicatedbackgroundsanddifferentilluminationconditionsbyusingYCbCrcolorspaceandneuralnetwork[J].Patternrecognitionletters，2007，28(16)：2190-2200.

[11]苗姣姣，徐望明.HSV空间和形态学处理相结合的车牌定位方法[J].电视技术，2015，39(5)：146-149.

[12]LETHN，LUUK，SESHADRIK，etal.Beardandmustachesegmentationusingsparseclassifiersonself-quotientimages[C]//Proc.19thIEEEInternationalConferenceonImageProcessing.Florida，USA：IEEEPress，2012：165-168.

蔡晓东(1971— )，硕士生导师，主要研究方向为并行化图像和视频处理、模式识别与智能系统；

甘凯今(1992—)，硕士，主研人脸识别、深度学习；

杨超(1990— )，硕士生，主研模式识别、并行化视频及图像处理；

王丽娟(1991— )，女，硕士生，主研智能视频分析与人脸识别；

王迪(1988— )，硕士生，主研智能视频分析与人脸识别。

责任编辑：闫雯雯

Beard detection based on facial feature points location and skin color segmentation

CAI Xiaodonga， GAN Kaijina， YANG Chaoa， WANG Lijuana，WANG Dib

(a.SchoolofInformationandCommunication；b.ElectromechanicalEngineeringCollege，GuilinUniversityofElectronicTechnology，GuangxiGuilin541004，China)

Abstract:In order to solve the problems which beard/mustache detection may encounter when using profile or fuzzy face image， a beard/mustache detection algorithm that combined with facial feature points location and color segmentation is proposed. First， employ the Active Shape Model (ASM) algorithm to mark facial feature points and then get the chin area. Secondly， use the proposed skin segmentation algorithm of Auto Selected Clustering Center (ASCC) to separate chin area into skin color and non-skin color region. Finally， beard/mustache can be detected in non-skin color region of chin by using the beard color discriminance. The experimental results on LFW database have shown that the proposed beard/mustache detection algorithm is practical and effective. Especially， in the case of profile or fuzzy face image， the approach can still obtain a good result.

Key words:beard detection； active shape model； facial feature points； skin color segmentation

中图分类号:TP391.4

文献标志码：A

DOI：10.16280/j.videoe.2016.03.025

基金项目：国家科技支撑计划课题(2014BAK11B02)；广西科学研究与技术开发计划项目(桂科攻14122007-5)；桂林电子科技大学研究生教育创新计划资助项目(YJCXS201521)

作者简介：

收稿日期：2015-07-09

文献引用格式：蔡晓东，甘凯今，杨超，等. 基于特征点定位与肤色分割的胡子检测算法[J].电视技术，2016，40(3)：116-121.

CAI X D， GAN K J， YANG C，et al. Beard detection based on facial feature points location and skin color segmentation[J].Video engineering， 2016，40(3)：116-121.