基于指尖角度集核密度估计手势特征提取

林海波　周　庭　张　毅

(重庆邮电大学信息无障碍工程研发中心　重庆 400065)



基于指尖角度集核密度估计手势特征提取

林海波周庭张毅

(重庆邮电大学信息无障碍工程研发中心重庆 400065)

针对手势识别实时性和鲁棒性不足的问题，提出基于指尖角度集核密度估计的特征提取方法。通过对一般手势定义指尖角度集并提取指尖角度集核密度估计特征。为解决形状匹配的相位漂移问题和进一步提高实时性，对该特征集有效区间归一化和均匀采样得到指尖角度集核密度估计序列。基于互相关系数形状匹配算法进行手势识别。实验分析表明，采用该特征提取方法的任意手势识别实时性和鲁棒性比现有方法有显著提高。

手势特征提取指尖角度集核密度估计形状匹配实时性和鲁棒性

0　引　言

基于机器视觉的手势交互是智能人机交互HCI(Human Computer Interaction)的关键技术之一[1-5]，旨在提供更方便快捷的人机视觉接口。在静态手势识别中，主要解决三个问题[2,3,5-7]：手势分割、手势特征提取与分析和手势识别。文献[1,5]等的方法能很好地分割出精确手势区域，为手势特征提取和识别提供了良好的基础。手势识别广泛采用实时性较好的模版匹配算法[1,5]获得鲁棒的识别结果。

不同手势类型主要由不同手指数量和组合表示，手指部分代表了手势的关键[1,5]。在手势特征提取与分析中，文献[8]通过“U”特征分析手势类型，但并非每个手势都有平滑的“U”特征，鲁棒性较差，手势类型数也受到限制。文献[1]通过提取手势边缘与掌心的相对距离曲线特征并引入FEMD的概念，通过模版匹配可靠地判断出手势类型。文献[6]通过计算手势边缘梯度分解特征，得到了较好的识别效果。文献[5]使用的基于半径的凸包分解算法，经过多次计算形状凹度和复杂的手势骨架提取算法，最后进行模版匹配，较好地判断出手势类型。然而，文献[1,5,6]的方法计算复杂度均较高，不利于实时识别。为提高手势识别实时性并同时保持健壮的鲁棒性，本文提出并证明了任意手势基于指尖角度集核密度估计序列KDES-FAS(Kernel Density Estimation Sequence of Fingertip Angle Set)特征提取方法的有效性。

1　手势分割

采用文献[1]的结合有标记的RGB图像和Kinect深度数据[9]方法，容易获得精确的手势分割效果，如图1所示。

图1　文献[1]的手势分割效果

2　指尖角度集核密度估计序列特征提取

2.1指尖角度集

图2　手腕切割向量定义

通常手势类型，如图2所示，l1表示手小臂所在直线(本文采用图1(c)手势图像长轴所在的直线)，l2表示图1(a)中标记手环所在的直线，l1⊥l2。总可以有一个沿直线l2向右的单位向量e，此时<90°。本文定义向量e为手腕切割向量。

图3是精确分割后的手势模型，向量e为手腕切割向量，点O为将精确分割的手势图像距离变换[1]取距离灰度图像最大灰度值点所得的手势中心点，R2为手势以O为圆心的手势外接圆半径。

图3　指尖角度集的定义

(1)

式中α1、α2值的选取需满足对任意手势指尖区域(阴影部分)互不连通。向量Mi表示从点O指向指尖区域每个像素点的向量，称Mi为指尖向量。

以下定义指尖角度集：有这样一个角度集合S：

0<θi<π,0

(2)

其中N1为指尖区域像素点数。称集合S为手势指尖角度集。

2.2核密度估计

核密度估计[10]在概率论中用来估计未知的密度函数，属于非参数检验方法之一，由Rosenblatt和Emanuel Parzen提出，又名Parzen窗。对于数据x1,x2,…,xN，核密度估计的形式为：

(3)

其中h>0。

2.3指尖角度集核密度估计序列

精确的手腕切割向量e在实际中不易取得，而传统的基于互相关系数的形状匹配算法需要相位漂移参数[11]，这给后文手势特征形状匹配带来困难。为此，先将集合S在有效角度区间[θmin,θmax]内归一化处理，即：

(4)

式中，Nangle表示一个指尖角度集样本的元素数，与式(2)中相应样本的N1相等。

鉴于指尖角度集的性质，选取高斯核作为核函数K(·)，即：

(5)

推导得核密度估计：

(6)

其中i=1,2,…,Nangle,h>0。

式中，带宽h的选取本文在第4节详细讨论。

其中:

(7)

式中，Nsam为均匀采样点数。

对于拓扑结构[5]相同的不同手势类型，由于指尖区域间距离和各指尖所占的比重不同，这给KDES-FAS特征带来明显差异。本文方法仅选取指尖区域进行特征提取，这也有效解决了文献[1]中手指相互靠得过近所带来的识别困难。另外，KDES-FAS特征完全满足手势平移，缩放和旋转不变性。

3　手势识别

采用基于KDES-FAS互相关系数形状匹配[11]的方法识别手势类型，KDES-FAS平均互相关系数：

c=1,2,…,N

(8)

式中，c表示手势类型，N表示手势类型数，n表示每种手势类型的模版数，Hinput表示输入手势，T表示模版手势，手势识别匹配算法如下：

{

Houtput=″Shapec″;

}

else

Houtput=″Unrecognized″;

其中，Γmat为匹配阈值，Γmat∈(-1,1)，Houtput表示输出手势类型。

4　实验分析与比较

4.1带宽h的选取

图4　手势距离变换和关键位置获取

图5　不同带宽h下的KDES-FAS特征

图6　6种一般手势类型

图7　不同带宽h下的内部手势平均相关系数

4.2特征提取的比较

对图6中6种一般手势，分别采用文献[1]和本文的方法对其特征提取，相对距离特征和KDES-FAS特征如图8所示。由图像可知，本文提取了一般手势的概率特征KDES-FAS，而不是精确表征手势的手势特征。KDES-FAS特征比精确表征手势类型的一般特征更稳定光滑，可以采用计算量较小且鲁棒性好的相关系数形状匹配算法进行匹配识别，而不需要文献[1]计算量巨大的FEMD算法，这有利于手势识别的鲁棒性和实时性。

图8　相对距离和KDES-FAS特征

4.3鲁棒性与实时性实验验证与比较

本文实验硬件环境包括台式计算机一台(Win7系统，Core(TM)i3处理器，2 GB内存)，Microsoft公司的XBOX 360一台。软件环境为Visual Studio 2010，所有代码基于Kinect for Windows SDK v1.7采用C#语言编写完成。

一般地，取匹配阈值Γmat=0.75，式(8)中n=5，可以很好地识别出待识别手势和区分出未采样手势。在相同硬件和软件环境条件下，将600个手势样本(分别来自10位实验者，每位实验者分别采集正常和较暗光照条件下各30个样本。实验背景均为如图1(a)所示实验室一般复杂背景条件)。分别连续采用文献[1]和本文方法统计识别率和耗时，实验结果如表1所示。由表可知，本文方法平均识别率比文献[1]提高4.23%，平均耗时仅为文献[1]阈值分解+FEMD方法的7.7%。实验表明，该特征提取方法的手势识别鲁棒性强，实时性有显著提高。

表1　鲁棒性和实时性实验结果

5　结　语

本文通过对一般手势定义指尖角度集和引入核密度估计理论，对任意手势进行指尖角度集核密度估计序列特征提取并采用形状匹配算法进行识别。对不同状态下的一般手势识别率达到93.6%，单幅识别平均耗时仅为0.0367 s。显著提高了任意手势识别的鲁棒性和实时性，对手势的实时识别人机交互具有理论意义和实际应用价值。

[1] Ren Z,Yuan J,Meng J,et al.Robust part-based hand gesture recognition using kinect sensor[J].Multimedia,IEEE Transactions on,2013,15(5):1110-1120.

[2] Suarez J,Murphy R R.Hand gesture recognition with depth images:A review[C]//RO-MAN,2012 IEEE,2012:411-417.

[3] Yao Y,Zhang F,Fu Y.Real-Time Hand Gesture Recognition Using RGB-D Sensor[M].Computer Vision and Machine Learning with RGB-D Sensors.Springer International Publishing,2014:289-313.

[4] Kao C Y,Fahn C S.A human-machine interaction technique:hand gesture recognition based on hidden Markov models with trajectory of hand motion[J].Procedia Engineering,2011,15(1):3739-3743.

[5] Qin S,Zhu X,Yang Y,et al.Real-time hand gesture recognition from depth images using convex shape decomposition method[J].Journal of Signal Processing Systems,2014,74(1):47-58.

[6] ElSaadany O S,Abdelwahab M M.Real-Time 2DHoG-2DPCA Algorithm for Hand Gesture Recognition[M]//Image Analysis and Processing-ICIAP 2013.Springer Berlin Heidelberg,2013:601-610.

[7] 包加桐,宋爱国,郭晏,等.基于SURF特征跟踪的动态手势识别算法[J].机器人,2011,33(4):482-489.

[8] Lahamy H,Lichti D.Real-time hand gesture recognition using range cameras[C]//Proceedings of the Canadian Geomatics Conference,Calgary,Canada,2010,38(5):357-362.

[9] Zhang Z.Microsoft kinect sensor and its effect[J].MultiMedia,IEEE,2012,19(2):4-10.

[10] Luo N,Qian F.Multi-objective evolutionary of Distribution Algorithm using kernel density estimation model[C]//Intelligent Control and Automation (WCICA),2010 8th World Congress on.IEEE,2010:2843-2848.

[11] Lv L,Liu Y,Zhang W,et al.Shape Profile Matching and Its Applications[J].Journal of Software,2009,4(5):413-421.

GESTURE FEATURE EXTRACTION BASED ON KERNEL DENSITY ESTIMATION OF FINGERTIP ANGLE SET

Lin HaiboZhou TingZhang Yi

(Engineering Research and Development Center of Information Accessibility,Chongqing University of Posts and Telecommunications,Chongqing 400065,China)

We propose the hand gesture feature extraction method, which is based on kernel density estimation of fingertip angle set, for the problems of gesture recognition in lacking robustness and real-time property. For common gestures, the method extracts kernel density estimation of fingertip angle set by defining fingertip angle set. In order to solve the phase shift of shape matching and to further increase the real-time property, the method normalises the effective range of feature set and samples uniformly so as to obtain the estimation sequence of kernel density of fingertip angle set. The hand gesture recognition is achieved based on the shape matching of cross-correlation coefficient. It is demonstrate by the experiments that the real-time performance and robustness in arbitrary gesture recognition using the proposed feature extraction method are significantly improved compared with current method.

Hand gesture extractionFingertip angle setKernel density estimationShape matchingReal-time property and robustness

2015-05-06。科技部国际科技合作项目(2010DFA12 160)。林海波，副教授，主研领域：智能系统与机器人。周庭，硕士生。张毅，教授。

TP391

A

10.3969/j.issn.1000-386x.2016.09.046