一种快速自适应的指尖检测方法的实现

摘 要：为了满足基于视觉的人机互动系统中手指的识别与理解的需要，提出了一种快速、自适应的指尖检测方法。该方法首先将输入图像基于肤色空间进行二值化，利用手指轮廓的平行特性，分离出感兴趣的手指部分。在此基础上，通过手指轮廓边缘曲率特征结合指尖的边界特征，实现指尖的快速精确检测。实验结果表明，该方法能有效的检测出指尖，并为进一步在人机互动系统中的应用打下基础。

关键词：单目视觉；聚类；指尖检测

DOI：10.16640/j.cnki.37-1222/t.2018.11.110

1 引言

手部识别作为视觉识别的热点己经应用于很多领域，例如：人机互动、机器人控制、手语识别、虚拟现实、投影互动等领域，有着广泛的应用前景。指尖检测算法作为整个手部识别最重要的部分决定了手部识别的优劣，这是因为指尖位置包含了绝大部分手的信息。

基于单目的指尖检测算法需要利用手部图像的一些二维信息，形成手部特征。常见的手部特征有肤色特征、轮廓特征，识别出手部区域后进一步完成对指尖位置的检测和提取。Oka and Sato [1]开发出了EnhancedDesk人机交互系统，他们把手指看作是一个矩形和半圆形的组合，然后利用模板匹配来定位指尖。Argyros and Lourakis[2]首先利用贝叶斯分类器和自适应的颜色概率分布来检测和跟踪人手，对轮廓数据进行曲率计算并确定指尖位置。基于轮廓分析法和基于模板匹配法都需要依赖良好的手部图像，获得较好的指尖轮廓特征。

本文提出一种快速、自适应的基于曲率的指尖检测方法。该方法首先将输入图像基于肤色空间进行二值化；然后采用边缘检测算法提取肤色区域的轮廓；再根据手指轮廓的曲率定位类指尖的点，再根据手指特殊的边界标志来排除非指尖点。

2 手部肤色区域提取

在机器视觉中，图像色彩空间主要有RGB、HSV、YCbCr等。其中YCbCr颜色空间受亮度变化的影响较小，较适合作为肤色分布统计的映射空间[7]，并且Cb，Cr分布独立，能较好地聚类肤色区域，对姿态的变化不敏感，具备旋转不变、不受表情等变化的影响，具有较强的鲁棒性。但在实用中，通过用肤色色彩范围来提取肤色区域却很困难，因为在图片中肤色会随设备和环境光照强度的不同而变化，如果样本过大会使肤色聚类效果不好。

研究表明：在YCbCr空间，除去亮度分量后的Cb，Cr分量的联合分布服从二维高斯分布[4]。

其中是颜色在Cb，Cr空间的向量，u1，u2和，分别是训练样本集中所有样本的均值向量和协方差矩阵：

可以利用对肤色进行分类，通过训练样本集，估计肤色阈值。

实际情况中，由于受光照的影响，肤色数据的多样性，用一个高斯模型往往自适应性较差，不能很好地表达数据分布。可通过多个高斯模型一起来表达数据分布 [5]，但往往计算量过大。

本算法通过高斯模型估计肤色阈值，再通过8联通区域生长法填充边界点，平滑手部边缘。在光照较好，且背景中类似肤色区域与手部区域有明显间隔的情况下有较好的效果。

本文还采用了中值滤波和保留最大联通区域等预处理方法滤除干扰。但是由于阈值条件限制的缘故，提取出的肤色边缘部分非常粗糙，这是由于肤色区域提取算法阈值范围造成的。粗糙的边缘对于边缘曲率计算会带来较大的干扰，本文采用腐蚀膨胀算法平滑图像的边缘。

3 指尖检测

3.1 自适应K值的K-COS指尖检测

手部轮廓的曲率特征对图像的缩放和旋转都具有很好的稳定性，选择其作为特征量算法简单可靠。求边缘轮廓的曲率，为了算法简单，可用向量夹角的余弦值表示，即K-COS算法[6]。取轮廓与点的前面第K个点，和后面第K个点，则使用向量与向量夹角的余弦值作为点的曲率。计算时采用向量夹角公式，即：

由于阴影的影响，手部轮廓提取后并不是一条光滑的曲线，在边缘上很可能出现凹凸不平的情况。这时选择合适的k值尤为重要，k值过小或过大都会因余弦值太小而被漏检或带来过多干扰点。为了适应不同大小的目标手区域自适应的找出最优的k值是基于曲率的指尖检测算法关键因素。具体实现过程，根据手部区域的最小外接矩形的长宽比反应手指的数量，设置一个合适的K的区间。的曲率选择在这个区内所得余弦值的最大值。

求手部区域边缘轮廓上每隔2-3个像素点的曲率，过滤一部分边缘干扰。再通过设定阈值T，将大于T的点筛选出来。

从图2中可以看出，曲率算法将所有指尖均检测到。但是同时可以发现，该算法出现了一些误判点。一部分因手部轮廓存在的凹凸不平的情况产生干扰，一部分主要是那些位于两个手指之间的凹槽的轮廓点。

3.2 非指尖点的排除

从图2中可看出满足曲率阈值的轮廓点，不仅出现在指尖部分，还会出现在两指之间的凹槽。要去除非指尖点，可根据手部的指尖位置有着明显的边界特征。图3为一边界的1-D表达，沿着边界轮廓（始终沿着同一个方向）计算各个像素与掌心的距离r。所得到的曲线，对平移不变，旋转不变，尺度也将同趋势变化。故而可通过边界标志排除非指尖点。在每个类指尖点有明显的聚类效果。按K均值聚类找出n个聚类中心，即每个指尖位置。

4 结论

本文的核心是基于曲率的类指尖点检测。此算法对手部区域轮廓特征特别敏感，所以在实现曲率特征提取前，对手部区域的预处理对检测结果有着非常重要的影响。预处理主要包括平滑处理，肤色提取，轮廓提取。本文对指尖位置的检测基于多种筛选方法，实现快速、鲁棒的检测方法，但仍无法完全避免干扰。为了提高自适应性，各个步骤的阈值均采用区间选择最优的方法实现。此外，实验还没考虑到手臂的干扰（需要增加手势的方向解决）。对于背景中类似肤色的干扰也不能完全濾除，适用于背景较单一的情况。

参考文献：

[1]Oka K，Sato Y，Koike H，Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems， Proceedings of International Conference on Automatic Face and Gesture Recognition，2002：429-434.

[2]Argyros A A，Lourakis M I A，Vision-based interpretation of hand gestures for remote control of a computer mouse， International Conference on Human-Computer Interaction，LNCS 3979，2006，40-51.

[3]高雅萍.基于单目摄像头的手势识别方法研究[D].厦门大学，2014.

[4]Yang J，Lu W，Waibel A，Skin-color modeling and adaptation，Proceedings of Asian Conference on Computer Vision，1998（02）：687-694.

[5]Yang M H， Ahuja N， Gaussian mixture model for human skin color and its application in image and video databases， Proceedings of SPIE： Conference on Storage and Retrieval for Image and Video Databases，1999，4_58-466.

[6]D.Lee， analy sis，“S. Lee：“Vision-based ETRI Journa1，2011 ，volfinger action recognition by angle detection and contour 33，415-422.

[7]Yang J，Waibel A，A real-time face tracker，Proceedings of the third IEEE Workshop on Applications of Computer Vision，1996：142-147.

[8]张国家，左敦稳.基于圆形梯度的手势分割算法的设计与实现[J].机械设计与制造工程，2013（09）：1-6.

作者简介：杨雪婷（1982-），女，福建泉州人，硕士研究生，讲师，工程技术学院电气与电子信息系系主任，主要研究方向：信號与信息处理。