基于DSP的手势图像识别系统设计

郑恩让， 闫露露， 晏晓勤

(1.陕西科技大学 电气与信息工程学院， 陕西 西安 710021； 2.中国电信股份有限公司 勉县分公司， 陕西 汉中 723003)

0 引言

随着计算机技术、信息技术[1]与模式识别技术[2]的发展，图像识别技术越来越广泛地应用于军事上的目标跟踪[3,4]、军事图像通信、医学上的机器人手术[5]、工业上的零件尺寸检测[6]、农业上的农产品等级判别[7]等各种军事或民用领域[8,9].对基于机器视觉的机器人的研究也越来越深入.

本文设计了一种基于统计学方法与信息融合方法[10]的人手势图像识别系统.处理器采用TI公司的DSP5509，利用数字摄像头采集人的手势图像，并将DSP识别后的结果显示在LCD12864上.经测试，识别结果稳定可靠，实现了对人的手势的识别，为研究基于机器视觉的机器人奠定了基础.文章详细介绍了人手势图像识别系统的软硬件设计.

1 手势图像识别系统硬件设计

手势图像识别系统由图像采集部分、DSP处理器，以及液晶显示部分等组成.图像采集部分主要完成对手势的图像采集，DSP处理器主要完成图像的增强算法、识别算法的实现，液晶显示部分主要显示识别的结果.

当摄像头采集到开手势时，经DSP识别处理后在液晶上显示“识别手势为：开手势，执行功能1”；当摄像头采集到闭手势时，液晶上显示“识别手势为：闭手势，执行功能2”.整个系统采用5 V和3.3 V供电.

图像采集与显示部分[11]电路如图1所示.包括使用数字摄像头OV7620的图像采集电路，LCD12864组成的显示电路等.通过图像传感器采集要识别的图像信息，经过DSP增强、识别后由LCD12864显示识别结果.

电源管理部分由开关电源管理芯片LM2596产生5 V电源和TI公司专为低功耗DSP量身定制的低压差电源管理芯片TPS73HD301实现，为DSP提供3.3 V的I/O供电电压和1.6 V的核心电压.

图1 整体硬件电路图

2 手势识别算法设计

由于图像采集设备的性能限制，以及光照等的影响，采集的图像边缘或多或少都有一些模糊化，要对图像进行特征提取就要先进行图像增强，突出图像的边缘细节.多次提取增强后的图像特征信息和面积大小信息，计算这些离散特征信息的数学期望和方差，得到广义期望，计算面积的均值.对计算得到的期望和方差进行归一化处理后，将两种信息进行融合，最后所得的数值越大越接近所要识别的图像.

2.1 图像增强

使用拉普拉斯算子对图像进行空间域增强[12]，突出边缘，方便后续的特征提取.拉普拉斯算子是一个基于二阶微分的算子，能够突出图像中灰度的突变(边界)及降低灰度慢变化的区域，和原始图像叠加会更加突出边界，具有增强图像细节的优点.

若核心元素为f(x,y)，那么二维拉普拉斯数字实现为公式1(a);一般使用简单的加法和图像叠加，如公式1(b)所示.

(1)

2.2 图像特征提取

文中使用的特征点如图2上所标注，定义图2中的(a)为开手势，(b)为闭手势.当为开手势时，选取D,E,F,G,H这5个点为特征点，当为闭手势时选取A,B这2个点以及线段C为特征.

记录开手势的特征点的值m次，特征值记为ai(k),(i=D,E,F,G,H;k=1,2,…,m)，每个特征值所对应的概率值为pi(k),(i=D,E,F,G,H;k=1,2,…,m)，pi(k)=1/5(特征点总数的倒数).闭手势的特征值记为aj(k),(j=A,B,C;k=1,2,…,m)，每个特征值所对应的概率值为pj(k),(j=A,B,C;k=1,2,…,m)，pj(k)=1/3.那么这些特征值的期望和方差如公式(2)和公式(3)所示.

(2)

(3)

图2 两种手势以及特征点

其中a(k)为ai(k),(i=D,E,F,G,H)和aj(k),(j=A,B,C)中的任一个，p(k)为pi(k),(i=D,E,F,G,H)和pj(k),(j=A,B,C)中的任一个，n=A,B,C,D,E,F,G,H.

计算出各特征值的期望和方差后，将这些特征点抽象为广义期望，具体做法是将所采集的8种特征值按照3个点和5个点分为“闭”和“开”两类，将每个特征点的期望En(X)和Dn(X)相加，并按照每个特征值的贡献大小为其分配不同的权重，将3个点或5个点融合为一个广义期望E1和E2，方便后续与面积特征相融合.

2.3 统计学的特征值与面积的融合算法

3 软件程序设计

手势识别算法的程序采用C语言开发，具有效率高，可执行性好等优点，硬件平台为TI公司的定点DSP，TMS320VC5509A[14].程序流程如图3所示.程序中采集的像素点为90×60个点.

图3 整体流程图

3.1 手势图像采集

手势图像的采集使用CMOS数字摄像头OV7620[15]，图像输出为NTSC制式，操作时序如图4所示.其中PCLK是图像传感器的像素同步时钟， HREF为行同步信号，VSYNC为场同步信号，FODD为奇偶场信号.场同步信号(VSYNC)表示一帧数据的开始.然后在每一个PCLK信号的作用下，传感器有顺序地从左到右依次输出每一个像素数据.当输出的像素数据为有效数据时，HREF为有效电平.当一帧的所有数据都输出后，又产生一个场同步信号(VSYNC)，开始下一帧数据的传送.

图4 OV7620的操作时序

3.2 图像增强

数字摄像头采集的图像边缘比较模糊，使用二阶微分对图像进行空间域增强，所使用的拉普拉斯算子如图5所示.

图5 拉普拉斯增强掩膜

3.3 特征值的期望和方差

手势的特征值是通过阈值比较采集的.通过预先设定的阈值来分割物体和背景，对采集回来的图像灰度数据逐行进行扫描，当遇到小于阈值的点时，为防止误判，先进行软件滤波，程序中设定若连续采集到这个点的后两个点都小于此阈值时则认为是物体，记下此时的数据，当在同一行采集到大于此阈值的点时，同样先进行软件滤波，确认是大于阈值后，此时特征值标志置1，记录特征点的灰度值，并记录这一行的行数.

继续按照这种方法扫描，依次采集其他的特征点的灰度值.当能在这一行提取到多余两个特征点时，在向下加3行继续采集特征点，若能采集到5个特征点，就将开手势标志置1.当提取到两个特征点时，程序通过之前采集的手指的特征点A和B所确定的行数加上10行，提取闭手势特征线段[16]C，若能提取到特征线段，则将闭手势标志置1.全部提取完特征值后,利用公式(2)和公式(3)计算特征值的期望和方差.

3.4 “面积”采集

对采集的图像灰度值逐行扫描和固定阈值比较，若小于此阈值，面积变量加1，一直扫描完所有采集回的图像灰度数据，计算出面积大小.如此重复10次，计算出面积的均值.

3.5 特征值与“面积”融合

由于特征值提取的是像素灰度值，范围为0～255，而面积是满足条件阈值的像素点的个数，因此面积值要大很多，实际使用时将面积值缩小10倍(下文所说面积都为缩小10倍后的面积值)，以避免淹没特征值的作用.计算出特征值的期望和方差、面积的均值后，动态计算特征值和面积所占的权重w1和w2.此时,所有的系统参数学习完毕.

若提取到5个特征点，将开手势识别标志置1，计算这5个特征值的均值E2inaverage，使用E2归一化为e2，提取一次面积值S2in，用S2(开手势的面积)归一化为s2，按照融合法则f2=w1e2+w2s2进行融合.当f2≥0.83时认为识别了开手势，否则为未识别.

4 测试结果

4.1 图像增强结果

图6中的(b)、(d)为图像增强后的结果.可以看出图像的边缘[17]细节更为突出，方便特征点识别的阈值选择.

表1 闭手势识别结果

表2 开手势识别结果

(a)闭手势图像 (b)增强后闭手势(c)开手势图像(d)增强后开手势图6 增强前后图像对比结果

4.2 识别结果

闭手势识别结果如表1所示，开手势识别结果如表2所示.其中,TAin,TBin,TDin,TEin，TFin，TGin，THin为输入的特征点的像素灰度数据，范围在0～255之间;TCin为采集的特征线段长度，范围在0～30之间;S1in,S2in为采集手势图像的面积值，是满足要求的像素点的个数，范围在0～5 400之间.经测试闭手势面积S1in在800～1 200之间,开手势面积S2in在1 800～2 200之间，为了不淹没特征值

的作用，面积减小10倍，表格中的是缩小10倍的面积值;E1inaverage、E2inaverage为采集的特征点值的广义期望，即特征值的均值;e1、e2和s1、s2为用学习后的广义期望E1、E2和S1、S2归一化后的数据;w1和w2是按照公式计算的融合的权重..

5 结论

本系统通过使用数字摄像头OV7620采集图像信息，并对所采集的图像信息使用拉普拉斯算子做增强处理，对增强后的图像使用统计学方法和信息融合的方法进行图像识别，实现了对所定义的开闭两种手势的识别.经测试识别准确率较高，准确率达到80%，并且可以识别上、下、左、右四种方向上的人手放置，不再拘泥于只能放置为特定方向，为今后的继续研究奠定了实验基础.

[1] 潘 泉,于 昕，程咏梅,等.信息融合理论的基本方法与进展[J].自动化学报,2003,29(4):599-609.

[2] 葛 红,田联房.信息融合技术在模式识别中的应用[J].计算机应用研究,2009,26(1):19-24.

[3] 胡 彬,吴 韬,杜红彬.路径识别和图像处理的CPLD实现[J].自动化仪表,2010,31(3):5-8.

[4] 张俊强,张 华.基于图像处理的移动机器人对目标的识别和定位[J].计算机测量与控制,2006,14(5):673-675.

[5] 王志秦.基于DSP的人耳图像识别系统的设计[J].制造业自动化,2011,33(1):47-49.

[6] 岳文辉,肖兴明,糖果宁.图像识别技术及其在机械零件无损检测中的应用[J].中国安全科学学报,2007,17(3):156-161.

[7] 罗承成,李书琴,唐晶磊.基于多示例学习的超市农产品图像识别[J].计算机应用,2012,32(6):1 560-1 562.

[8] 张新峰,沈兰荪.模式识别及其在图像处理中的应用[J].测控技术,2004,23(5):28-32.

[9] 林文森,李钟慎,洪 健.基于ARM嵌入式图像处理系统设计与实现[J].福州大学学报(自然科学版),2008,36(9):13-16.

[10] 张 彦,梁 超,张 涛.模式识别课程中的统计学方法概述[J].统计教育,2010(11):9-11.

[11] 赵 劼,刘铁根,李晋申.基于DM642的高速图像识别系统设计[J].电子测量与仪器学报,2007,21(1):86-89.

[12] 冈萨雷斯.数字图像处理[M].北京：电子工业出版社,2003：59-112.

[13] 柯 丽,黄廉卿.DSP芯片在实时图像处理系统中的应用[J].光机电信息,2005(1):17-23.

[14] Texas Instruments Incorporated.TMS320VC55X系列DSP的CPU与外设[M].彭启宗.北京:清华大学出版社,2005:457-468.

[15] 胡 胜,杨 雷,宋 跃，等.基于ARM&FPGA的CCD图像识别装置[J].仪表技术与传感器,2012(1):54-56.

[16] 任 俊,涂晓昱,傅一平,等.利用DSP的实时图像识别系统的设计与应用[J].光电工程,2004,31(2):66-69.

[17] 王培珍,陈维南.一种基于融合技术的图像边缘检测方案[J].东南大学学报(自然科学版),2001,31(6):1-3.