基于肤色模型和背景差分的手指区域分割方法

基于肤色模型和背景差分的手指区域分割方法

陈俊彦a，王勇a，张红梅b，李鹏飞b

(桂林电子科技大学 a.CSIP广西平台；b.信息与通信学院，广西 桂林 541004)

摘要：为了提高基于计算机视觉的人机交互系统中触控手指区域分割的性能和精度，提出了一种基于肤色模型和背景差分的手指区域分割方法。首先，根据肤色的聚类特征，在YCbCr色彩空间上建立肤色模型，对手指区域进行肤色分割；随后加入自适应更新的背景差分法摒除图像中光照度和背景颜色的干扰。实验结果证明:该算法在复杂背景下分割手指区域具有较高的准确性和实时性，能应用在嵌入式环境中。

关键词：YCbCr；肤色模型；背景差分

基金项目：国家科技支撑计划基金项目(2012BAH18F00)

作者简介：陈俊彦(1985-),男,广西梧州人,助教,硕士,主要研究方向为图像处理、嵌入式系统.

收稿日期：2014-05-13

文章编号：1672-6871(2015)01-0039-04

中图分类号：TP391.41

文献标志码：A

0引言

基于计算机视觉的触摸屏技术作为一种理想的人机交互模式，已经成为当前人机交互研究的热点。在早期的一些计算机视觉人机交互系统中，需对背景或人手做出种种限制才能实现[1-2]。随着发展更自然的交互系统的需要，限制各种触摸条件的计算机视觉人机交互系统已经不再适用，人们需要在复杂的背景下使用手指进行自然的人机交互[3-4]。其中，触控手指区域的有效分割是实现该技术的关键，分割效果将直接影响指尖提取的准确率。文献[5]采用背景差分的方法分割动态前景的人手区域，这种方法虽然能非常好地检测出静止背景中的人手信息，但对于复杂背景中的人手检测就显得无能为力了；文献[6]在高速数字信号处理器(DSP)设备上对人手进行基于肤色模型的人手分割，该方法实时性好，运算开销低，但检测效果会受到背景颜色和照明因素的影响，分割效果不好；文献[7]采用一种阈值结合混合多高斯的背景差分算法得到人手的区域，该方法能有效实现手指区域分割，但需要耗费大量计算，并不适用于计算能力较差的嵌入式环境，应用环境局限较大；文献[8]针对图片不同光照环境采用不同的肤色分割方法，并提出一种基于类间方差和类内离散度相结合的动态阈值方法来确定分割阈值，该方法可有效降低光照环境对肤色检测的影响，但无法分割肤色较相近的背景颜色。

针对上述问题，本文提出一种能应用在嵌入式环境的手指区域分割方法。首先，根据肤色的聚类特征，建立合适的手指区域肤色模型；随后，采用背景差分法对前景的手指区域进行粗略提取，去除背景中与肤色相近颜色的干扰；最后使用肤色分割法对手指区域进一步分割。实验结果证明：该方法可在复杂背景下实现手指区域的有效分割，实时性好，能应用在嵌入式环境中。

1肤色建模

如何将视频或图片中包含的人体相关信息提取出来，一直是机器视觉识别课题中的难题。文献[9]在实验中证明：除了白化病人肤色比较特殊外，所有人都有相同的色度，出现肤色差异只是因为肤色饱和度不同。同时，图像中肤色还会受亮度信号影响。因此，根据肤色的聚类特征，建立合适的肤色模型，能够理想地将人手区域从背景中分割出来。同时，肤色在各个色彩空间中的分布特征区别较大，选择不同的色彩空间将对肤色建模有着显著的影响，因此，选取合适的色彩空间进行建模是人手区域分割的关键。

肤色建模常用的色彩空间有RGB空间[10]、HSV空间[6,11-12]和YCbCr空间[13-14]。为了考查肤色在常用色彩空间(RGB、HSV和YCbCr)下的分布特征，本文选取了2 000张处于不同光照下、尺寸为30×30像素的人手肤色图像，共计约1 800 000个人手肤色像素点进行实验测试。实验统计了人手肤色像素点在每个色彩空间中各分量值的分布情况，如图1所示。

图1　肤色在RGB、HSV、YCbCr下的分布特征

由图1可知：RGB色彩空间的R、G、B这3个分量受亮度影响较大，分量值分布广泛，肤色在色彩空间RGB中没有聚类特征，不易对肤色进行分割，如图1a所示。但由于图像多以RGB色彩空间保存，因此，使用RGB色彩空间进行肤色分割可节省肤色空间转换时间[10]。在HSV色彩空间中，色度信号和亮度信号是分离的，色度信号不会受亮度信号的影响，肤色基本集中在色调分量H的归一化值0～0.1范围内，聚类特征比较明显，如图1b所示。但饱和度分量S和亮度分量V的值则跨度很大，没有明显的聚类特征，仅用色调分量H建模会出现较大误差[11-12]。在色彩空间YCbCr中，Cr和Cb分量值在亮度分量Y∈[50，150]内基本保持恒定，同样具有较好的聚类情况，肤色基本集中在Cb分量的90～125值和Cr分量的130～170值，如图1c所示。同时，由于YCbCr色彩空间的Y亮度分量值与色彩图像的灰度转换值相等[13]，可为后续算法节省灰度值转换的额外开销。

从综合肤色分割效果和算法时间开销等因素考虑，本文选择在YCbCr色彩空间上建立合适的肤色模型，对手指区域进行肤色分割。由于Cr和Cb分量值在亮度分量Y∈[50，150]内基本保持恒定，且数值分布曲线形状相近，因此得出肤色在YCbCr色彩空间的参数模型为：

(1)

该肤色检测模型通过设定Cr和Cb比值绝对值的最大和最小阈值来判定肤色区域。当result为1时，表示该像素点为肤色区域；为0时，表示为非肤色区域。

2基于背景差分与YCbCr肤色模型的手指区域分割

虽然在YCbCr空间中亮度和色度的分离度较大，但在实际的操作中色度值对亮度值总是存在着一定的非线性的依赖关系，容易受到照明因素影响。同时，当背景中出现大面值与肤色相近的颜色时，也会对分割造成严重的干扰，难以根据二值图像判断人手区域的位置。

针对上述问题，本文提出一种先使用背景差分法对前景的手指区域进行粗略提取，去除背景中颜色与肤色相近的像素点，随后再使用肤色分割法对手指区域进一步分割的改进方法。同时，背景将根据前景图像的变化进行自动更新，最大限度地降低因背景更改或光照变化而产生的影响。

2.1　背景差分算法

在手指进入摄像区域前，先存储若干图片并做灰度转换，随后计算其均值作为背景灰度图像：

(2)

式中：Gi为存储的第i张图片；n为存储的图片数量；Gbkimg为得到的背景灰度图像。

对前景图像作YCbCr色彩空间转换后，由于Y亮度分量值与色彩图像的灰度转换值相等，可直接利用Y分量与式(2)得到的背景灰度图像作差，通过阈值判断像素点是否为背景。

D(x,y)=abs(Yftimg(x,y)-Gbkimg(x,y))；

(3)

(4)

式中：Yftimg为前景图像的Y分量；Iftimg为前景图像；R为进行背景差分计算后的结果图像。若D(x,y)大于设定的阈值T，则保留前景图像的值；若小于阈值T，则将该像素点的值置为0。

因此，可将式(1)的模型改进为：

(5)

式中：D为背景差分值；常数T为背景差分阈值。

2.2　背景自动更新

在人机交互过程中，背景会因为环境因素(显示屏亮度、外部光照)或显示屏图形用户界面(GUI)的变化而发生改变。若用于差分算法的背景图像数据不会自动更新，当背景改变时，则会严重影响对前景目标的分割效果，因此需要对背景实现自动更新。

根据背景变化的原因，背景更新可分为以下两种情况：

(Ⅰ)若系统产生了触摸操作，显示屏的图形用户界面会相应地改变，因此需要重新设定背景图像。在判断手指离开屏幕后，系统重新存储若干图片并做灰度转换，根据式(2)计算其均值作为新的背景灰度图像。

(Ⅱ)若系统未产生触摸操作，为了防止因环境因素的变化使背景产生改变，可根据式(6)更新背景图像数据：

Ga(x,y)=(1-α)×Ga-1(x,y)+α×Yftimg(x,y)，

(6)

式中：Ga-1为更新前的背景灰度图像；Ga为更新后的背景灰度图像；Yftimg为前景图像的Y分量值；α为更新常系数，α值越大，背景更新速度越快，但也越容易将前景目标更新到背景中，降低分割的准确性。通过多次实验测试，α取值0.03时更新效果最好。

3实验结果与分析

为了验证手指区域分割的准确性和算法的实时性，本文在桂林电子科技大学云计算与复杂系统重点实验室研制的GUET-GW嵌入式平台上进行测试。该平台采用龙芯2H处理器，主频1 GHz，同时配置了2 GB DDR3内存和32 GB固态硬盘。

实验首先测试式(1)提出的YCbCr色彩空间肤色模型的分割效果，本文选取了多张包含人手的图像进行测试，图像分辨率均为320×240像素。同时与文献[10]提出的HSV肤色模型和文献[11]提出的改进的HSV肤色模型进行比较。其中，式(1)肤色参数模型中取值Min=1.15，Max=2.25。本文选取较为典型的图片显示测试效果，如图2所示。

图2　不同的肤色模型分割测试结果

由图2可知：HSV肤色参数模型对肤色像素点的要求最为严格，可滤除背景中与肤色较为接近的颜色，但由于该模型将亮度V的阈值设定为固定值，因此对图像亮度十分敏感，图像中某些亮度不高的肤色像素点也被滤除，得到的手型轮廓并不完整。改进的HSV肤色参数模型在亮度V的阈值选取中，通过扫描整个肤色区域的所有亮度值V计算出最小阈值和最大阈值，减少了图像亮度对分割的影响，因此，对人手区域的分割效果比HSV肤色参数模型要好，但也更容易受到背景中肤色相近颜色的干扰。当屏幕背景为亮度较高时，肤色的饱和度值较高，HSV肤色模型和改进的HSV肤色模型均分割不出人手区域。本文提出的YCbCr肤色参数模型在不同的背景下都能完整地分割出人手区域，且轮廓曲线平滑，没有出现断裂或边缘呈锯齿状的情况。同时，通过实验结果可看出：无论哪种肤色模型都难以摒除背景的干扰，图片亮度值越高，背景带来的干扰越大。

随后测试式(5)提出的基于背景差分和YCbCr肤色参数模型的手指区域分割算法，如图3所示。其中，式(5)中背景差分阈值T=20。

图3　手指区域分割结果

由图3可知：在背景中手指上方区域的颜色与肤色类似，若仅采用式(1)提出的YCbCr肤色模型进行手指区域分割，会受到极大的干扰，得到错误的轮廓，如图3a所示。当加入背景差分法对前景的手指区域进行粗略提取后，可去除背景中大部分颜色与肤色相近的像素点；随后再使用肤色分割法对手指区域进一步分割，得到了完整的手指区域二值图像，如图3b所示。

为了测试本文算法的性能，实验选取了一段包含手指运动的视频，测试本文算法对每帧图像进行手指区域分割的平均消耗时间，同时提取分割出的图像中轮廓面积最大的区域作为手指区域。视频的分辨率为320×240像素，时长10 s，共250帧图像。表1记录了本文算法对每帧图像进行手指区域分割过程中的平均消耗时间。表2记录了本文算法与文献[11]提出的HSV肤色模型和文献[12]提出的改进的HSV肤色模型的总耗时比较，并统计了出现手指区域判断错误的帧数。

表1　手指区域分割过程的平均消耗时间　 ms

表2　不同手指区域分割算法的误差和耗时比较

上述实验结果表明:本文提出的算法可对手指区域进行有效的分割，总耗时为16.7 ms，能满足实时的要求。虽然耗时比起另外两种算法稍长，但误差却大大降低，仅在视频开始阶段背景灰度数值不稳定时出现2帧图像的错误，准确率高达99%以上。

4结论

本文根据便携式设备人机交互实时性好、可靠性高的要求，提出了基于背景差分与YCbCr肤色模型的手指区域分割方法。文中选择在YCbCr色彩空间上建立合适的肤色模型进行肤色分割提取人手区域，并加入背景差分法消除背景相似颜色的干扰，得到了较好的分割效果，同时也能满足算法实时的要求，可运行在嵌入式设备上。

目前，本文实现的功能主要是手指区域的分割，后续将在嵌入式平台上对指尖定位、人机交互和复杂手势识别等方面进行研究，构建智能化、人性化和高效的嵌入式人机交互系统。

参考文献：

[1]Starner T,Weaver J,Pentland A.Real-time American Sign Language Recognition Using Desk and Wearable Computer Based Video[J].IEEE Transations on Pattern Analysis and Machine Intelligence(S0162-8828),1998,20(12):1371-1375.

[2]孙倩倩.光学触摸屏及其配套的触摸笔:中国,CN101504580A[P].2009-08-12.

[3]苌道方,钟悦.考虑行为和眼动跟踪的用户兴趣模型[J].河南科技大学学报:自然科学版,2014,35(1):49-52.

[4]高攀,郭理,汪传建.特征集和分类器融合技术在表情识别中的应用[J].河南科技大学学报:自然科学版,2014,35(2):48-54.

[5]Song P,Winkler S,Gilani S O,et al.Vision-based Projected Tabletop Interface for Finger Interactions[J].Lecture Notes in Computer Science,2007,4796:49-58.

[6]向守兵,苏光大,任小龙,等.实时手指交互系统的嵌入式实现[J].光学精密工程,2011,19(8):1911-1920.

[7]郭康德,张明敏,孙超.基于视觉技术的三维指尖跟踪算法[J].计算机研究与发展,2010,47(6):1013-1019.

[8]熊霞,桑庆兵.光照自适应的肤色检测方法[J].计算机应用,2011,31(5):1233-1236.

[9]Bradski G R.Computer Vision Face Tracking as a Component of a Perceptual User Interface[C]//Proc Fourth IEEE Workshop Applications of Computer Vision (WACV’98).Berlin,Germany,1998:214-219.

[10]于蕴杰,管业鹏,熊会军.指势识别的实时指尖提取[J].计算机工程与应用,2011,47(6):219-222.

[11]游亚平,袁保宗.复杂背景下人脸检测的数字形态学运算方法[J].电子与信息学报,2004,26(12):1863-1870.

[12]肖明坤.复杂背景下基于肤色分割的人脸检测[D].南京:南京邮电大学,2006:23-26.

[13]汤勇,顾宏斌,周来.交互系统中实时手势分割及指尖检测方法[J].光电工程,2010,37(7):145-150.

[14]张继涛,王伟,高君林.基于肤色分割和模板匹配的人脸检测技术研究与实现[J].河南科技大学学报:自然科学版,2009,30(1):41-44.