复杂背景下基于二维OTSU和肤色分割结合的掌纹图像分割方法

薛延学,刘敏,马思欣,帅建坤,雷丹

(西安理工大学 印刷包装与数字媒体学院,陕西 西安 710048)

复杂背景下基于二维OTSU和肤色分割结合的掌纹图像分割方法

薛延学,刘敏,马思欣,帅建坤,雷丹

(西安理工大学 印刷包装与数字媒体学院,陕西 西安 710048)

基于智能手机的掌纹识别符合非接触式、低分辨率等生物特征认证的发展趋势,但是由智能手机采集的掌纹图像背景往往比较复杂,导致手掌区域不能正确分割,限制了掌纹识别技术在智能手机上的应用推广。针对上述问题,本文在研究二维大津法(二维OTSU)和基于高斯模型的肤色分割两种方法的基础上,结合两者的优点,将两种方法分别以“串联”和“并联”两种融合方式相结合提出一种新的方法,对使用智能手机采集的复杂背景下掌纹图像分别进行分割。经实验验证,并联融合的方法对背景偏暗的掌纹图像分割正确率较高;串联融合的方法对背景偏亮掌纹图像正确分割率较高,两种方式结合能很好地满足复杂背景下掌纹分割的需求。

智能手机; 复杂背景; 手掌区域; 掌纹图像分割; 二维大津法; 肤色分割

近年来,伴随着移动技术的迅速发展和智能手机的普及,人们借助智能手机可以方便地接入网络进行交易和数据交流。为了防止手机身份被盗窃和诈事件的发生,基于智能手机的身份认证研究具有重要意义。人体生物特征识别技术[1]是目前身份认证最有发展潜力的技术之一,其中基于掌纹特征的身份识别因具有非接触、低分辨率、高稳定性等优点,适用于智能手机的身份认证,具有广泛的应用前景[2]。

掌纹图像分割是影响掌纹识别性能的关键因素之一。目前使用较广泛的分割方法[3]有固定阈值法、二维OTSU、基于高斯模型的肤色分割等,研究表明固定阈值法[4]常用于单一黑色背景下采集的掌纹图像分割;使用二维OTSU[5-7]分割人手灰度相近的区域或偏白色区域时,会被误认为是人手区域,达不到分割的要求;基于高斯模型的肤色分割方法[8-10]在分割掌纹图像时不能克服手掌摆放角度、光照不均匀等问题。智能手机采集图像时背景不确定,易受复杂背景和光照不均匀的影响,上述常用的分割方法不能将手掌图像完整地分割出来。因此,将复杂背景中的手掌图像完整、可信地分割出来就成为基于智能手机的掌纹识别系统[11]所要解决的最重要的一个问题,这样才能为后续掌纹识别提供合适的感兴趣区域。

基于以上情况,本文在研究二维OTSU和基于肤色模型的分割方法基础上,将两者以“并联”和“串联”两种融合方式相结合提出一种新的方法。依照该方法对智能手机采集的复杂背景下人手图像进行分割时,这两种融合方式均可对手掌图像进行分割。研究还发现,当手掌图像背景偏暗,更适合采用并联融合法;当手掌图像背景偏亮,更适合采用串联融合法。实验结果表明该方法能够满足复杂背景下人手图像分割的要求。

1 复杂背景下常用的分割方法

1.1 二维OTSU

二维OTSU[5]是利用原图像与其邻域平滑图像构建二维直方图,不仅包含图像的灰度信息,而且考虑了像素点与其邻域空间的相关信息,提高了图像的抗噪性,改善了图像的分割效果。

其基本思想如下:假设一幅图像,大小为M×N,最初的灰度等级为L(一般为0到255),某一点的像素的灰度值为i,邻域的平均灰度值为j,fij是(i,j)在整张图像中出现的频数,则其二维联合概率密度为:

(1)

假设(s,t)是自动选取的阈值,其中s为灰度分割阈值,t为邻域灰度均值分割阈值。它将图像划分为背景类Cb和目标类Co两类。Cb和Co两类出现的概率ωb(s,t)和ωo(s,t)分别为:

(2)

(3)

假设ωb+ωo=1，此时,背景类和目标类的均值矢量分别为:

(4)

(5)

整幅图像的均值矢量为:

μL=(μL1,μL2)T=

(6)

可得背景类Cb和目标类Co的类间方差为:

(7)

显然,使类间方差最大的(s,t)*的值就是最佳阈值:

(8)

基于二维OTSU分割掌纹图像具体步骤为:首先将原始的RGB手掌图像灰度化,再设灰度图像中的一个像素点f(i,j),该点的灰度领域大小取为h×h,g(i,j)为f(i,j)的邻域灰度均值。公式为:

(9)

然后假设ffinal(i,j)为二值化后的值,其中Colorrgb(255,255,255)在Bitmap类中代表黑色,Colorrgb(0,0,0)代表白色,最后利用二维OTSU得到最佳阈值(s0,t0)*,则人手图像的二值化公式为:

ffinal(i,j)=

(10)

图1是二维OTSU对手掌图像的分割结果。

由图1可看出,使用二维OTSU分割后的手掌图像部分是一个整体连通的区域,手掌区域内的空洞较少,比较简单,整体轮廓清晰可见。该方法对于背景灰度与手掌灰度相差较大的掌纹图像分割效果较好,背景中出现与手掌图像灰度相近的区域或偏白色区域时,会被误认为是手掌区域,如图1(b)所示,达不到分割的要求。而复杂背景的灰度分布不均匀,极有可能出现与手掌灰度相近的区域或者偏亮的背景,对分割效果有较大的影响。

1.2 基于Ycbcr的高斯模型肤色分割

在Ycbcr颜色空间进行掌纹肤色分割是通过建立高斯模型来拟合肤色颜色的概率密度分布,以高斯模型的参数作为参考点判断当前像素点属于手掌区域还是背景区域,即可以得到图像中手掌的区域。其基本思想是:对手掌图像中肤色像素部分进行统计,计算出模型参数,然后使用肤色模型对图像中的每个像素点进行肤色相似度计算,从而判断该像素点是否属于手掌肤色。

具体方法:首先将图像由RGB空间变换到Ycbcr空间中,消除光照对肤色的影响,将色度和亮度分离开,RGB向Ycbcr空间转换的公式为:

(11)

根据实验,最接近手掌肤色的cb和cr值是:

77≤cb≤127, 133≤cr≤173

高斯模型数学表达式为:

(12)

其中x=(cb,cr)T表示Ycbcr空间的一个像素点，m表示此空间下的样本均值,C表示相似度的协方差。

本文采用文献[10]中的模型参数值:

将模型中的参数m和C带入高斯模型公式(12)中,即可计算出每个像素点与肤色的相似度值,然后根据图像中的每个像素点,选取固定阈值,经过实验,本文选取的阈值是0.4。然后根据阈值进行手掌图像的二值化,如果阈值小于等于0.4,则把该点的像素设为白色,否则设为黑色,最终得到二值化的手掌图像。图2是基于高斯模型的肤色分割结果。

由图2可知,基于高斯模型肤色分割可以准确地提取出手掌的轮廓,提取出的手掌轮廓清晰可见,且成功去除了绝大多数背景。但是该方法中高斯模型公式中的参数是固定的,且接近手掌肤色的值在一个确定的范围内,因此当采集过程中手掌的部分区域受光照影响偏离确定的肤色范围时,会严重影响肤色检测的结果,使目标区域内非接近肤色区域的部分被遗漏,造成手掌图像内部的空洞,使手掌图像区域不连通。

2 二维OTSU和基于Ycbcr的高斯模型肤色分割相结合的方法

为了解决复杂背景下采集的掌纹图像因背景偏暗或偏亮时而使效果不佳的问题,本文根据二维OTSU和基于高斯模型肤色分割这两种方法在手掌图像分割中各自的特点,提出以“并联”和“串联”两种融合的方式,并结合形态学处理提出了一种新的方法对复杂背景下的掌纹图像进行分割。

2.1 “并联”融合

从图3可以看出,对背景偏暗下手掌图像,仅使用二维OTSU分割的图像,其手掌内部是整体联通的,但是手掌轮廓被腐蚀了一部分,整体向内缩小,如图3(c)所示。而只利用高斯模型肤色分割时只能分割出与模型参数相近的肤色,对于图像采集时因光照过强形成的肤色失真,导致系统不能识别失真区域,使手掌内部出现空洞,但手掌轮廓清晰,如图3(d)所示。为解决上述问题,本文提出二维OTSU与基于高斯模型的肤色分割“并联”融合的方法来分割背景偏暗的手掌图像。具体思想为:首先利用二维OTSU对原始手掌图像(图3(a))分割,得到初次分割的二值化图像(图3(b)),进行形态学处理后标记为Pfirst(图3(c));同时利用基于高斯模型的Ycbcr对原始手掌图像分割,得到二值化的手掌图像,标记为Psecond(图3(d));将二值化手掌图像Pfirst与Psecond进行逻辑“与”,得到P3(图3(e)),并进行形态学处理,得到最终的二值化的手掌图像,标记为Pfinal(图3(f))。

二维OTSU与基于高斯模型的肤色分割“并联”融合的具体实现步骤如下。

1) 对原始手掌图像灰度化,记为Pgray。利用二维OTSU进行手掌分割,得到二值化手掌图像,记为P1。通过此方法得到的二值化图像,能清晰地显示出手掌的轮廓,手掌图像内部的空洞很少,但是背景类也可能被误认为目标类,产生噪点,因此对二值化图像进行腐蚀操作,记为Pfirst。通过大量实验验证,腐蚀模板采用16×16效果最好。由图3可知,腐蚀过程中噪点被消除,但是手掌轮廓被腐蚀了一部分,整体向内缩小了。

2) 将原手掌图像由RGB颜色空间转换到Ycbcr颜色空间,利用基于Ycbcr的高斯模型肤色检测进行手掌图像分割,记为Psecond。由图3可知,通过此方法得到的二值化图像中非接近肤色区域被遗漏,造成手掌区域不连通,绝大部分背景被去除,但仍存在一些很小的噪点,因此对其进行腐蚀操作,去除噪点。

3) 将得到的两个二值化的手掌图像Pfirst与Psecond进行逻辑“与”合并,得到P3。由图3可知道,合并后的手掌区域依旧存在一些微小的空洞,因此采用16×16模板对合并的二值化手掌图像进行膨胀,得到最终的手掌图像Pfinal。

由此可知,“并联”融合方法对于背景偏暗的手掌图像,可以得到连通的手掌区域和手指形状清晰的二值化手掌图像。但是在手掌图像背景偏亮时会影响二维大津法中阈值的设定,将背景中与肤色相近的颜色误认为是手掌区域,会导致分割失败。

2.2 “串联”融合

如图4所示,对于受采集图像的角度或光照影响导致背景偏亮的手掌图像,手掌图像很容易出现阴暗区域,利用基于Ycbcr的高斯模型对手掌图像进行分割时,手掌局部出现的非接近肤色部分,很容易被分割成背景类,从而造成手掌图像区域空洞。而采用二维OTSU法可以使手掌分割补充完整。为此,本文提出将二维OTSU与基于高斯模型的肤色分割“串联”融合,并融合形态学处理中的腐蚀与膨胀操作,对手掌图像进行分割。

两者“串联”融合的算法思想是:将原手掌图像从RGB颜色空间转化到Ycbcr空间中,手掌肤色在cb、cr两个分量中具有很好的聚类性,且符合高斯分布。首先对手掌肤色进行统计,根据模型参数进行肤色模型的建立,计算肤色的相似度概率,根据相似度概率可以得到手掌图像的最大似然图,用二维OTSU对最大似然图选取自动阈值(s0,t0),为了更完整地分割出手掌图像,给阈值(s0,t0)一定的松弛余量Δ,(s0-Δ,t0-Δ)为最终的分割矢量,然后利用二值化公式进行二值化。

二维OTSU与基于高斯模型的肤色分割“串联”融合的具体实现步骤如下。

1) 首先将原始RGB图像转化为Ycbcr图像,记为PYcbcr。

2) 利用高斯模型对PYcbcr图像建模,根据概率统计,得到最大似然图,标记为Ps。

3) 利用二维OTSU对Ps进行二维阈值分割,得到二值化的手掌图像,记为Pss。

4) 为了消除背景中被误判为手掌部分的区域,需要对Pss进行腐蚀。经实验测试,可知16×16的腐蚀模板效果最好,虽然腐蚀之后背景中被误判为手掌的部分被腐蚀掉了,但同时手掌形状也被腐蚀了,因此再采用16×16的膨胀模版进行膨胀运算,获得最终的手掌图像,标记为Pfinal。

由此可知,“串联”融合有效避免了在手掌图像背景偏亮时,使用基于高斯模型肤色分割方法时手掌空洞的现象,但是对背景偏暗的手掌图像,其手掌区域受光照影响,会出现非接近肤色区域,导致分割失败。

3 实验结果与分析

3.1 实验平台及图像采集

本文搭建的试验平台在小米M1智能手机上,Android版本4.0.1,处理器为双核1.5 GHz,RAM容量为1 GB,ROM容量为4 GB,最大支持的分辨率是2 448×3 264。

实验数据为自采集图库,采用小米M1智能手机的后置CMOS摄像头采集,像素为800万。在采集手掌图像时,需被测者将手掌自然张开,大拇指的左边缘与手机屏幕的左边缘尽量重合,小拇指的右边缘尽量与手机屏幕的右边缘重合,采集时手掌与摄像头之间的距离大约为10～15 cm。分别采集每个人在不同光照和不同背景下的10张图像,实验图库共包含来自30个人的300张手掌图像,图像大小为640×480。

3.2 实验结果及分析

实验分别对室外场景、室内场景及室内开启闪光三种场景下采集的手掌图像进行分割测试。由于室外光线较均匀,开启闪光与无闪光采集的手掌图像差距不大,因此选择室内闪光灯下的手掌图像进行了测试。本次试验,室外采集100幅手掌图像,室内采集100幅手掌图像,室内光线弱的情况下,开启闪光采集100幅手掌图像。对这300幅手掌图像分别采用基于Ycbcr的高斯模型肤色分割法、二维OTSU法、两种方法并联融合、两种方法串联融合进行手掌图像分割正确度测试。

二维OTSU法与基于Ycbcr的高斯模型肤色分割并联融合方法对在室外、室内及室内闪光灯三种不同场景下采集的手掌图像分割的效果图如图5所示;二维OTSU法与基于Ycbcr的高斯模型肤色分割串联融合方法对在室外、室内及室内闪光灯三种不同场景下采集的手掌图像分割的效果图如图6所示。

为了能合理区分出手掌图像分割正确与否,本文采用文献[12]中正确分割的判定依据:将三种场景分割后的二值化手掌图像进行轮廓提取及关键点定位,能准确地定位到两个关键点并提取出ROI区域则认为此方法能够正确分割出手掌图像,否则认为是分割错误。

表1是四种方法对采集的手掌图像分割测试结果。

表1 手掌分割的对比

Tab.1 The contrast of different segmentation method

从表1可看出,本文提出的两种融合分割方法比单独使用二维OTSU或基于Ycbcr的高斯模型肤色分割法时要高,性能更加优越。其中两种方式串联融合的方法在室外的正确分割率为82%,在室内无闪光灯正确分割率为89%,在室内开启闪光灯下正确分割率最高,达到95%。而并联融合的方法中,在室外的正确分割率80%,在室内无闪光灯的正确分割率为85%,室内开启闪光灯下正确分割率最高,达到94%。由表1可知本文提出的两种方法总体正确分割率相差不大,都是在室内闪光灯下正确分割率最高。但实验中发现二维OTSU与肤色分割法并联融合的方法,对背景颜色相对偏暗的手掌图像分割正确率较高;而二维OTSU与肤色分割法串联融合的方法,对背景颜色相对偏亮的手掌图像分割正确率较高。

为了验证上述分析,本文将采集的手掌图像进行分类:将光线均匀,且背景偏浅的手掌图像划分为偏亮背景下的手掌图像;将背景较深的手掌图像划分为偏暗背景下的手掌图像,然后从两类手掌图像中各选取50幅手掌图像进行分割验证实验。实验测试结果如表2所示。

由表2可知,实验结果与理论分析结果完全一致:并联融合的方法对背景偏暗的手掌图像分割正确率较高;串联融合的方法对背景偏亮手掌图像正确分割率较高。造成这一现象的原因是:在背景偏亮的手掌图像中,并联融合中二维OTSU统计背景的相关信息与肤色的相关信息较为相似,导致系统将背景误认为是手掌区域,背景出现很多噪点,即使合并也达不到分割要求,因此对背景偏亮的手掌图像分割正确率低;在背景偏暗的手掌图像中,手掌的肤色易受光线影响,导致肤色出现阴暗区域,虽然串联融合能减少空洞的产生,毕竟不能完全避免,因此串联融合对背景偏暗的手掌图像正确分割率低。

为了分析上述掌纹图像分割方法应用于Android平台这种实时性要求较高的环境时存在的分割时间复杂度问题,本文首先对采集的300幅手掌图像分别采用基于Ycbcr的高斯模型肤色分割法、二维OTSU法、两种方法并联融合、两种方法串联融合,在小米M1智能手机上对采集的300幅手部图像进行了手掌图像分割运行时间的测试,记录每种方法分割每一幅手掌图像的时间,然后求取每种分割方法的平均时间,最终掌纹图像分割方法时间对比如表3所示。

从表3可以看出,二维OTSU法在进行手掌图像分割时所需的运行时间是四种方法中最短的,基于Ycbcr的高斯模型肤色分割法、串联融合方法、并联融合方法所需要的运行时间相比二维OTSU法分别加长12.6%、22.6%和36.5%,而最长的并联融合方法用时2.156 s,在用户可接受的范围内。

其次,本文在Android平台上通过编程实现了掌纹识别系统:首先采用手机自带的摄像头进行复杂背景下手部图像采集;其次进行图像预处理:包括采用本文提出的掌纹图像串联融合及并联融合分割方法进行图像分割,对分割后的掌纹图像进行轮廓提取、关键点定位、旋转矫正,最终提取出128×128的感兴趣区域(ROI);然后进行特征提取,考虑到了Android手机处理数据的性能,分别进行了下采样处理,得到了32×32的ROI图像,并对下采样后的ROI图像进行了直方图均衡化,最终采用PCA方法对ROI图像进行特征提取;最后进行分类识别,采用了最邻近法进行特征匹配,对所采集的掌纹图像进行识别测试。

具体测试方法为:在小米M1智能手机上采集了30个人的手掌图像进行识别测试,其中每个人5幅手掌图像,共计150幅手掌图像,选取每个人的任意3张手掌图像作为注册掌纹的训练样本,其余两张作为验证测试样本。共有10种样本组合测试方式,通过测试获得系统的平均正确识别率为93.75%。在系统的测试中,利用手机摄像头进行手掌实时采集的平均时间约为120 ms,预处理平均时间为2 863 ms,注册掌纹训练样本的平均特征提取时间为217 ms,平均特征匹配识别时间为29 ms。上述过程所用时间均在用户可接受的范围内。

4 结 语

本文针对使用智能手机采集手部图像存在复杂背景的问题进行了深入研究,提出将二维OTSU和基于高斯模型的肤色分割方法以“串联”和“并联”两种融合方式结合的一种新方法,对复杂背景下的手掌图像进行分割,并通过实验分析验证了该方法的有效性。

本文提出的方法与其他几种常用的手掌图像分割方法通过理论分析和实验验证对比,结果表明该方法分割效果好且正确率较高,能够达到较理想的分割效果,克服了使用智能手机采集手部图像时复杂背景下图像分割不准确问题,具有更强的适应性和通用性,为扩大掌纹识别在智能手机安全认证应用方面有很大的帮助。

[1]Svoboda J, Klubal O, Drahansky M. Biometric recognition of people by 3D hand geometry [C]∥International Conference on Digital Technologies (DT), 2013: 137-141.

[2]Han Weiyu, Lee Jenchun. Palm vein recognition using adaptive Gabor filter [J]. Expert Systems with Applications, 2012, 39(18): 13225-13234.

[3]毛雷, 胡涛. 几种手部识别算法的研究 [J]. 电子技术与软件工程, 2012, (5): 119-121. Mao Lei, Hu Tao. Several kinds of hand recognition algorithm research [J]. Electronic Technology and Software Engineering, 2012, (5): 119-121.

[4]杨震群, 魏骁勇, 徐丹. 掌纹样本采集技术及预处理技术的分析与研究 [J]. 计算机应用, 2007, 27(2): 380-383. Yang Zhenqun, Wei Xiaoyong, Xu Dan. Hand sampling and pretreatment technology analysis and research [J]. Computer Application, 2007, 27(2): 380-383.

[5]刘健庄, 栗文清. 灰度图像的二维OTSU自动阈值分割法 [J]. 自动化学报, 1993, 19(1): 101-105. Liu Jianzhuang, Li Wenqing. Gray image automatic 2-D OTSU threshold segmentation method [J]. Acta Auto-matica Sinica, 1993, 19(1): 101-105.

[6]张洋, 马钲然, 郑倩兵. 非接触式掌纹图像采集与图像增强技术研究 [J]. 计算机技术与发展, 2013, 11(23): 1-5. Zhang Yang, Ma Zhengran, Zheng Qianbing. Non-contact hand image acquisition and image enhancement technology research [J]. The Computer Technology and Development, 2013, 11(23): 1-5.

[7]胡敏, 李梅, 汪荣贵. 改进的OTSU算法在图像分割中的应用 [J]. 电子测量与仪器学报, 2010, 24(5): 443 -449. Hu Min, Li Mei, Wang Ronggui. The application of the improved OTSU algorithm in image segmentation [J]. Journal of Electronic Measurement and Instrument, 2010, 24(5): 443-449.

[8]Lee Kyoung-Mi. Component-based face detection and verification [J]. Pattern Recognition Letters, 2008, 29 (3): 200-214.

[9]万丽, 陈普春, 尹志勇, 等. 基于Ycbcr色彩空间的人脸检测技术研究 [J]. 现代电子技术, 2011, 34(4): 77-80. Wan Li, Chen Puchun, Yin Zhiyong, et al. Research on face detection technology based onYcbcrcolor space [J]. The Modern Electronic Technology,2011,34(4): 77 -80.

[10]桑海峰, 马诗朦, 黄静. 开放式环境非接触低分辨率采集下的掌纹识别 [J]. 仪器仪表学报, 2013, 34(8): 1802-1808. Sang Haifeng, Ma Shimeng, Huang Jing. Touch-less low resolution palmprint recognition under spen environment[J]. Chinese Journal of Scientific Instrument, 2013, 34(8): 1802-1808.

[11]张建新, 欧宗瑛, 刘典婷. 基于移动设备的掌纹验证系统 [J]. 计算机工程, 2010, 36(4): 164-166. Zhang Jianxin, Ou Zongying, Liu Dianting. Hand authentication system based on mobile devices [J]. Computer Engineering, 2010, 36(4): 164-166.

[12]马李成. 基于手掌的身份认证系统研究 [D]. 西安: 西安电子科技大学, 2013. Ma licheng. Research on identity authentication system based on palm[D]. Xi’an: Xidian University, 2013.

(责任编辑 王卫勋)

Palmprint image segmentation in complex background based on 2-D OTSU and skin color segmentation

XUE Yanxue,LIU Min,MA Sixin,SHUAI Jiankun,LEI Dan

(Faculty of Printing, Packaging Engineering and Digital Media Technology, Xi’an University of Technology, Xi’an 710048, China)

Palmprint identification system based on smart-phones is in accord with the development trend of biometric recognition with non-contact, low-resolution and other features. However, the background of the palmprint image captured by smart phones tends to be complex, causing the palm area fail to be properly segmented by system, which limits the application of palmprint recognition technology for intelligent mobile phone. To solve the above problem, a new approach is proposed in this paper to split the palmprint image captured by smart phones with complex background based on the analysis of 2-D OTSU and skin color segmentation based on gaussian model and combination of the two methods by the means of “series” and “parallel” respectively. The experimental results prove that “parallel” of methods provides higher accuracy rate for splitting the palmprint image with dim background, whereas “series” combination of methods provides higher accuracy rate for splitting the palmprint image with bright background. The combination of the two methods can fully meet the needs of splitting the palmprint image with complicated background. The new approach achieves the ideal effect under the conditions of complex.

smart phones; complex background; palm area; palmprint image segmentation; 2-D OTSU; skin color segmentation

1006-4710(2015)03-0353-07

2015-04-23

西安市科技计划项目(CXY1440-7)。

薛延学,男,副教授,主要研究方向为模式识别和智能传媒。E-mail:xue_yx@163.com。

TP391

A