基于视觉的手势识别在软件中的应用

赵有强

(西华大学，四川 成都 610039)



基于视觉的手势识别在软件中的应用

赵有强

(西华大学，四川 成都 610039)

在计算机高速发展的今天，计算机已经成为了人们生活中的一部分。同时，用户对软件的要求越来越高，如何实现人机更好的交互，带给用户更好的体验，已经成为现在一个软件必须考虑甚至是吸引客户的关键。基于视觉的手势识别的技术，是实现新一代人机交互不可缺少的一项关键技术，使用计算机通过摄像头理解人们的手势并做出相应的反应，使人们摆脱了传统的键盘鼠标，通过这种技术，可以更好的实现人机的交互，从而给用户更好的体验。手势识别技术，由简单粗略的到复杂精细的，大致可以分为三个等级：二维手型识别、二维手势识别、三维手势识别。本文主要介绍了手势识别技术的分类、基本原理及简单其应用。

人机交互；手势识别；软件应用

1 手势识别技术的分类及原理

1.1 二维手型识别。二维手型识别，也可称为静态二维手势识别，识别的是手势中最简单的一类。这种技术在获取二维信息输入之后，可以识别几个特定的静态手势，比如握拳或者五指张开。在使用了他们的软件之后，用户可以用几个预先设定好的手型来控制播放器。“静态”是这种二维手势识别技术的重要特征，这种二维的手型识别只能识别静态的手势，而不能感知手势的“持续变化”，只能识别几个静态的特定手势，如果换成其他的手势，那么就没有作用了。所以这种技术说到底是一种模式匹配技术，通过一些计算机视觉算法来分析图像，和预设的图像模式进行比对，从而理解这种手势的含义，进而执行相应的操作或者实现相应的功能。

1.2 二维手势识别。二维手势识别，和二维手型识别相比较，更新一些，可以说是二维手型识别的改进版，但是它仍然基本不包含和深度相关的信息，仍停留在二维的层面上。二维的手势识别技术，可以识别一些简单的二维手势动作，我们可以用(X坐标，Y坐标)来表示坐标系，拥有了动态的特征，可以追踪手势的运动，进而识别将手势和手部运动结合在一起的复杂动作。这样一来，我们就把手势识别的范围真正拓展到二维平面了。运用这种技术，我们不仅可以通过手势来控制计算机播放/暂停某些应用型的软件功能，比如音乐播放等，我们还可以实现前进/后退/向上翻页/向下滚动这些需求二维坐标变更信息的复杂操作了。比如实现PPT的播放功能等。

1.3 三维手势识别。三维手势识别需要的输入是包含有深度的信息，可以识别各种手型、手势和动作。相比于前两种二维手势识别技术，三维手势识别不能再只使用单个普通摄像头，因为单个普通摄像头无法提供深度信息。要得到深度信息需要特别的硬件，目前世界上主要有3种硬件实现方式：结构光(Structure Light)、光飞时间(Time of Flight)、多角成像(Multi-camera)。然后在运用相应的先进的计算机视觉软件算法，就可以实现三维手势识别。

1.4 手势识别的原理。要想完成一次手势的识别，那么，一个基于视觉手势识别系统的构成应包括：图像的采集，预处理，特征提取和选择，分类器的设计，以及手势识别几个步骤。首先通过摄像机获取视频数据流,系统根据手势输入的交互模型检测数据流里是否有手势出现,如果有，则把该手势从视频信号中切分出来，然后选择手势并分析,分析过程包括特征检测和模型参数估计，分析完成后，根据模型参数对手势进行分类并根据需要生成手势描述。最后,系统根据生成的描述去驱动具体应用。其中预处理时手势的分割，特征提取和选择，以及手势识别采用的算法是最关键的三个点。

1.4.1 手势分割。现在的分割方法大致可以分为三类：一是基于直方图的分割，即阈值法，通常取灰度直方图；二是基于局部区域信息的分割，如基于边缘和基于区域；三是基于颜色等一些物理特征的分割方法。

1.4.2 特征提取和选择。手势本身具有丰富的形变，运动以及纹理特征，选取合理的特征对于手势的识别至关重要。目前，常用的手势特征有:轮廓、边缘、图像矩、图像特征向量以及区域直方图特征等。

《基于计算机视觉的手势识别研究》中提到了多尺度模型，它采用这种模型提取手势的指尖的数量和位置，将指尖和掌心连线，采用距离公式计算各指尖到掌心的距离，再采用反余弦公式计算各指尖与掌心连线间的夹角，将距离和夹角作为选择的特征。对于静态手势识别而言，边缘信息是比较常用的特征。

1.4.3 手势识别。目前，静态手势识别技术主要有三类：第一类为模板匹配技术，主要是把待识别的手势特征参数和预先设定的模板特征参数进行匹配，通过两种相似度来识别。第二类为统计分析技术，这种技术从原始数据中提取特定的特征向量，对这些特征向量进行分类，然后在进行分类识别。第三类为神经网络技术，常用的是BP神经网络(Error Back Propagation Neural Network 误差反向传播神经网络)。

2 在软件中的应用

不管是二维的手势识别技术还是三维的手势识别技术，都被运用在了市场上很多的软件和设备上。

从企业范围来看，运用二维手型识别的代表公司是以前被Google收购的Flutter。运用二维手势识别的代表公司是来自以色列的PointGrab，EyeSight、ExtremeReality以及南京的Zienon。运用三维手势识别技术的代表公司PrimeSense、SoftKinetic及Leap Motion。

从应用上来看，和VR结合的uSens凌感、PrimeSense公司为大名鼎鼎的微软家XBOX 360所做的Kinect一代等都是运用了手势识别技术。

从设备上来看，无论是在电视机上的运用，还是在汽车上的运用，手势识别技术已经出现在了我们的身边，虽然现在很多还只是初步的，为了赚一个喙头。但是，在科技高速发展的今天，相信广泛的应用这项技术已经不远了，而且必将带给我们良好的体验。

[1] 刘俊梅,阮秋琦.一种复杂背景下的手势分割新方法[J].北京电子科技学院学报,2006,14(2):23-26.

[2] 江铁成.基于视觉手势识别技术的实践研究[J].合肥师范学院学报,2016(03)

[3] 郭雷，动态手势识别技术综述[J].软件导刊,2015(07)

[4] 李映辉，史卓，安亚磊.基于Leap Motion的三维手势识别方法[J].现代计算机：专业版,2016(14)

[5] 陈卫国，基于计算机视觉的手势识别研究.广西大学,2006

赵有强(1993-)，男，汉族，四川泸州人，本科在校生，西华大学。

TP391.4

A

1671-1602(2016)20-0014-01