基于多特征融合与支持向量机的手势识别

吴健健，陈 玮

(上海理工大学光电信息与计算机工程学院，上海 200093)

人机交互技术已经从以计算机为中心转移到以人为中心，手势识别交互作为一种自然、人性化的交互方式被越来越多的采用。手势识别可分为静态手势识别和动态手势识别［1］，本文主要研究静态手势识别。

目前常见的静态手势识别方法包括:基于傅里叶描述子特征的手势识别，如文献［2］提出的方法，虽然能够较好地描述手势的轮廓，但对细节特征太敏感，对产生形变的同一类手势的识别效果不理想;基于SIFT(Scale－invariant Feature Transform)特征和支持向量机的手势识别，如文献［3］提出的方法，这种方法能在一定程度上取得较好的手势识别效果，但由于提取SIFT特征的计算复杂度相对较高，导致识别速度相对较慢，实时性较差;基于Gabor滤波器和PCA(Principal Component Analysis)的手势识别，如文献［4］提出的方法，虽然识别率较高，但该方法对相似手势字母的识别效果较差;基于Hu矩和支持向量机的手势识别，如文献［5］提出的方法，虽然识别速度快，但由于仅是对手势轮廓特征的描述，缺少手势内部细节信息，会导致识别率相对偏低;基于 HOG(Histograms of Oriented Gradients)特征和支持向量机的手势识别，如文献［6］提出的方法，虽能较好地克服光照背景的影响，但也有计算复杂度高导致的速度慢、实时性差的特点，且由于缺少手势轮廓这一重要的特征描述，使得识别率也相对偏低。

针对上述问题，本文提出了一种基于 Hu矩和HOG特征融合的支持向量机的手势识别的新方法。该方法首先对处理后的手势图像提取局部的HOG特征，能够很好地克服光照背景的影响，然后针对手势的轮廓提取全局的Hu矩特征，其对平移、尺度、旋转均具有不变性，某种程度上弥补了HOG特征的不足;然后将这两种特征按照1∶1相等权重融合，并对融合后的每个特征分量进行归一化处理，并通过主成分分析法(PCA)对归一化处理后的混合特征进行降维形成最终分类特征。在分类器的选择上，由于本文中用于手势训练识别的样本数量相对较小，而支持向量机(Support Vector Machine，SVM)在当数据样本较小时取得的效果通常最好，且算法较为简单，因此本文选择SVM分类器进行分类。最后将新特征输入到支持向量机(SVM)中进行识别，实验表明该方法具有更高的识别率和较好的鲁棒性。

1 特征提取算法

1.1 方向梯度直方图

HOG特征描述子最初用于行人检测［7］，并取得了较好的效果;其能较好地描述图像局部差分信息且不易受到噪声干扰。HOG特征的提取可分为如下步骤:

(1)对输入图像进行颜色空间进行归一化处理，目的是为了减少光照的影响，同时可在一定程度上抑制噪声的干扰。

(2)计算手势图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值。

(3)将图像划分成小的细胞单元(cell)，并且为每个细胞单元构建梯度方向直方图。

(4)将每几个cell组成一个块(block)，且在块内归一化梯度直方图，一个block内所有cell的特征描述子串联起来便得到该block的HOG特征描述子。

(5)将手势图像内所有block的HOG特征描述子串联起来便可得到该手势图像的HOG特征描述子。

HOG特征的提取流程如图1所示。

图1 HOG特征提取流程图

对输入的手势图像进行HOG特征提取时，输入图像大小为64×64，cell大小为8×8，block大小为16×16，block的步进为8个像素，梯度方向将360°分为9个区间［8］，由此可计算得到本文中HOG特征的维数是1 764维，即得到一个1 764维的HOG特征向量。

1.2 Hu矩描述子

根据Hu氏理论［9］，通过各种不同级别几何矩的数学组合，可得到7个特征量，当图像移动，旋转和比例大小变化时，其具有保持其数值不变的特性。

对于图像 f(i，j)，其(p+q)阶中心距为

归一化的中心矩为

其中r=(p+q)/2+1。7个特征量为

对输入的手势图像做Hu矩特征提取时，首先应该将图像归一化后做高斯滤波降噪处理，然后将图像转化为灰度图像，进而二值化处理得到黑白图像，突出整个手势的轮廓，最后对处理后的手势图像提取Hu矩特征，进而得到一个7维Hu矩特征向量用以描述手势的轮廓特征。

2 特征融合和PCA降维

特征提取到1 764维的HOG特征向量和7维的Hu矩特征向量后，将二者按照1∶1相等权重融合成1 771维的混合特征，由于HOG特征和Hu矩特征的物理意义不同，取值范围也相差较大，为使两种特征具有可比性，需要对融合特征的每个特征分量进行内部归一化处理［10］;本文选择离差标准化来进行归一化处理，即对原始数据进行线性变换，使结果映射到［0，1］之间，具体操作如下:假设通过特征提取得到k维的特征向量若有N个图像样本，则第i个图像样本的特征向量，对每一列向量计算其最大值max j和最小值min j，然后进行归一化，得到归一化的fij=(fij－min j)/(max j－min j)。

将融合后的特征归一化处理，由于融合特征向量的维数过高，为降低分类器进行分类计算的复杂度，缩短识别时间，需要对融合后的特征进行 PCA降维处理。

PCA算法［11］的基本思想是将一个高维向量X，通过一个特殊的特征向量矩阵U，投射到一个低维的向量空间中，表征为一个低维向量Y，且仅损失了一些次要信息，即通过低维表征的特征向量和特征向量矩阵，可基本重构出所对应的原始高维向量。

假设空间中有N个样本，其对应的特征向量为xi，由向量构成的样本训练集为

该样本的平均向量为

样本集的协方差矩阵为

求出协方差矩阵的特征向量ui和对应的特征值λi，训练集的信息集中在特征值大的特征向量中，即使去掉小的特征向量也不会影响训练集的主要信息含量。将协方差矩阵的特征值按大小进行排序:λ1≥λ2≥…λd≥λd+1≥…。由大于 λd的 λi对应的特征向量构成主成分，主成分构成的变换投影矩阵为

则每个样本对应的降维以后的特征向量为

将1 771维归一化后的融合特征利用PCA进行降维处理，考虑到样本融合特征信息的完整度和分类器进行分类计算的复杂度，将1 771维的融合特征降维至60维。

3 支持向量机(SVM)分类器

在手势特征提取完成后，就需要设计分类器来对特征进行分类。由于文中用于手势训练识别的样本数量相对较小，因而选择SVM分类器［12］进行特征分类，其主要思想是通过一个非线性映射p，把样本空间映射到一个高维特征空间中，使得在原样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题，然后在高维空间中寻找最优超平面，对样本进行分类。

SVM分类器在进行特征分类时，把样本映射到一个高维空间，一般情况下会使计算变得复杂，而SVM分类器引入核函数这一概念，便无需了解非线性映射的显式表达式，避免了在高维空间中的复杂运算。本文选用径向基核函数，因径向基核函数能够实现非线性映射，参数较少，模型比其他核函数简单，且具有较宽的收敛域。

SVM是一种新颖的小样本学习方法，基本不涉及概率测度及大数定律等，而且SVM的最终决策函数只由少数支持向量确定，这不但可帮助抓住关键样本，而注定了该方法不但算法简单，且具有较好的鲁棒性。

4 实验结果与分析

4.1 实验准备

实验环境软硬件包括一台PC机，一个摄像头，Visual Studio 2010 以及 OpneCV2.4.9［13］计算机视觉开源库。

实验开始前首先建立手势样本库，由于本文提出的手势识别是独立于手势分割的，所以暂不考虑复杂背景下的手势图像。本实验针对如图2所示的数字手势进行识别，针对每个数字手势采集500幅图像，其中250幅用于训练SVM分类器，建立模型，另250幅用于测试，其中前125个是正常情况下用于实验1的测试样本，而后125个是有光照、角度影响下的用于实验2的测试样本。

图2 8种数字手势图像

4.2 实验结果

4.2.1 特征融合前后的手势识别率对比

实验过程中，先单独提取每个手势250个训练样本的HOG特征，然后训练SVM分类器，用每个手势前125个测试样本进行测试，即共有1 000个测试样本用于测试，观察测试结果，统计每个手势有多少个被正确识别，例如统计到数字手势1的正确识别个数为N，则数字手势1的识别率可表示为(N/125)100%，将每个手势的识别率统计如表1所示;然后再单独提取每个手势250个训练样本的Hu矩特征，然后训练SVM分类器，用每个手势前125个测试样本进行测试，用上述方法统计识别率如表2所示;最后，针对每个手势的250个训练样本，先后提取HOG特征和Hu矩特征，用PCA对归一化融合后的特征进行降维，然后训练SVM分类器，用每个手势前125个测试样本进行测试，同样运用上述方法统计识别率如表3所示。

表1 单独提取HOG特征的识别率

表2 独提取Hu矩特征的识别率

表3 融合Hu矩和HOG特征的识别率

将3种情况的数字手势识别率在同一图中对比，如图3所示。

图3 3种情况下数字手势识别率对比

4.2.2 光照、角度影响实验

实验过程中，针对每个手势的250个训练样本，先后提取HOG特征和Hu矩特征，用PCA对融合后的特征进行降维，然后训练SVM分类器，用每个手势的后125个有光照、角度影响的测试样本进行测试，其中65个有光照影响的测试样本，60个是有角度影响的测试样本，部分样本图像如图4示，统计识别率如表4所示。

图4 有光照、角度影响的数字手势1的测试样本的识别率

表4 融合Hu矩和HOG特征的有光照、角度影响

有无光照、角度影响的融合Hu矩和HOG特征的数字手势识别率对比，如图5所示。

图5 有无光照角度影响的数字手势识别率对比

4.3 实验分析

从实验1可以看出，融合Hu矩和HOG特征的数字手势平均识别率达到了95.8%，要明显高于单独提取Hu矩时的数字手势平均识别率或HOG特征的数字手势平均识别率，说明提取Hu矩这一全局特征和HOG这一局部特征并进行融合，某种程度上能够弥补提取单一的Hu矩全局特征或HOG局部特征的不足，从而提高数字手势的平均识别率。从实验2可看出光照、角度影响下的数字手势的平均识别率达到94.6%，与正常情况下的手势平均识别率95.8%相差不大，说明提取Hu矩这一全局特征和HOG这一局部特征并进行融合这一方法不仅对光照因素具有良好的鲁棒性，且对角度因素也具有良好的鲁棒性，即相对于单一的Hu矩特征或HOG特征提取具有更好的鲁棒性。

5 结束语

本文采用特征融合的方法来提取手势特征，先后提取了手势图像的Hu矩和HOG特征，将二者融合后的特征用PCA进行降维处理，最后利用SVM分类器进行分类识别。通过以上的实验表明，该方法具有较好的鲁棒性和较高的识别率。

［1］Akmeliawati R，Jimoh M，Salami E，et al.Vision － based hand posture detection and recognition for sign language study［C］.New York:Proceedings of the fourth International Conference on Macaronis，IEEE，2011:1 －6.

［2］Chen Wenher，Ching Tang Heish，Tsun Teliu.A real time hand gesture recognition system based on DFT and SVM［J］.Applied Mechanics and Materials，2013(2):284 －287.

［3］Zhang Qiuyu，Wang Daodong，Zhang Moyi，et al.Hand gesture recognition based on bag of features and support vector machine［J］.Journal of Computer Applications，2012，32(12):3392－3396.

［4］Amin M A，Yan H.Sign language finger alphabet recognition from Gabor－ PCA representation of hand gestures［C］.New York:Proceedings of the Sixth International Conference on Machine Learning and Cybernetics，IEEE，2007:2218 －2223.

［5］Liu Yun，Yin Yanmin，Zhang Shujun.Hand gesture recognition based on hu moments in interaction of virtual reality［C］.New York:Proceedings of the fourth International Conference on Intelligent Human－Machine Systems and Cybernetics，IEEE，2012:145 －148.

［6］Feng Kaiping，Yuan Fang.Static hand gesture recognition based on HOG characters and support vectormachines［C］.New York:Proceedings of the second International Symposium on Instrumentation and Measurement，Sensor Network and Automation，IEEE，2013:936 －938.

［7］汪成亮，周佳，黄晟.基于高斯混合模型与PCA－HOG的快速运动人体检测［J］.计算机应用研究，2012，29(6):2157－2160.

［8］向征，谭恒良.改进的 HOG和Gabor，LBP性能比较［J］.计算机辅助设计与图形学学报，2012，24(6):787－792.

［9］Hu M K.Visual pattern recognition by moment invariants［J］.IRE Transactions on Information Theory，1962，8(2):179－187.

［10］兰添才.基于多特征融合和支持向量机的媒矸石自动分选研究［J］.科技信息，2008，24(20):7 －8.

［11］尹飞，冯大政.基于PCA算法的人脸识别［J］.计算机技术与发展，2008，18(10):31 －33.

［12］曾志强.支持向量分类机的训练与简化算法研究［D］.浙江:浙江大学，2007.

［13］Laganiere R.Open CV2 computer vision application programming cookbook［M］.Birmingham:Packt Publishi Ltd，2011.