基于Kinect的手语识别及播放器设计

陈德宁 马锐军 张俊源 王晓军 董泽炯 龚立威 袁国枢

摘 要：手语作为聋哑人与外界交流的重要方式之一，然而，普通人对于手语的不懂造成了聋哑人与外界沟通的困难。基于此本文提出了一种基于人体索引数据的手势提取方法，首先通过Kinect获取人体索引数据和骨骼信息，精确定位到手部并利用皮肤阈值提取出手部;再利用HOG特征提取手部信息，应用多分类支持向量机对手语进行分类和识别;最后设计一种基于STM32的手戴式手语播放器，对聋哑人的手语进行实时语音播放，便于聋哑人与普通人的交流。

关键词：Kinect;手势分割;HOG特征;手戴式手语播放器

中图分类号：TP274.2文献标识码：A

1 绪论

随着社会的进步，聋哑人群体越来越得到关注，手语作为他们的一种信息交流方式，越来越得到人们的重视。早期的主要手语方法通过数据手套获取手的姿态并解析姿态识别手语[1]。随着2010年微软推出Kinect传感器，它能获取人体骨骼关节信息，图像深度信息等[2-3]，促进了人们对基于视觉的手语识别研究。然而，当前手语识别系统对环境信息的鲁棒性能力较差。为解决该问题，本文提出了一种基于Kinect的手语识别系统。首先，Kinect传感器模块采集多模态的手语图像;然后，利用骨骼跟踪算法、皮肤阈值算法将手部信息从复杂的环境分割出来，并采用HOG特征提取手部图像信息和SVM分类器进行特征分类，可大大提高手语识别系统对环境响应的鲁棒性。

2 手部图像获取与处理

具体过程：用Kinect2.0传感器获取人体索引数据，通过人体索引数据信息将人体从复杂的环境中过滤出来。其次，用骨骼定位信息获取到人体的手部位置，将手部从图像中分割出来。接着，用基于YCbCr的皮肤阈值将手掌部分提取出来和过滤掉边缘噪点。最后，用形象学修复手部边缘。

3 训练处理

3.1 HOG特征提取

HOG特征是由Navneet Dalal和Bill Triggs于2005年首次提出[4]。HOG的工作原理是创建图像中梯度方向分布的柱状图，然后以一种特殊的方式对其进行归一化。能够在对比度很低的情况下，准确有效的检测物体的边缘。

HOG特征具体过程如下：

（1）因为RGB采集的图像容易受环境的影响，为了减低光照、光照不均匀等因素，通常需要对RGB图像进行灰度化和Gamma校正处理。

（2）提取图片大小为64*64，本实验把每个cells的大小设为8*8，blocks的大小为16*16，win窗口大小为32*32，所以一个block里面包含了4个cells，win包含4个block，步长为8。

3.2 SVM分类训练

模板采集通过本项目五位成员从不同角度不同距离采集手部图像，一共采集五种手势，每个手势每位成员采集1000张图像，即每个手势有5000张训练模板。

提取每一张训练模板图像的HOG特征作为SVM训练器的输入，应用多分类SVM训练器进行特征线性分割，最终得到分类特征模型。

4 系统结构及设计

本文设计一款可戴式手语播放器。其以STM32f407为控制芯片，运行freeRTOS嵌入式操作系统，控制OLED、蓝牙、喇叭等外设。能在OLED上显示日常时间和设备状态，能将手语识别出来的结果通过喇叭播放，极大方便聋哑人群体通过Kinect与普通人交流。此外，此款播放器与电脑之间通过蓝牙无线通信，方便快捷，只要将一个蓝牙USB接口插入电脑，可戴式手语播放器将会自动连接。

5 系统功能测试实验

本文是以Visual Studio 2019、opencv3.4、基于window的C++语言进行开发和功能测试。本实验通过把手语识别結果输出在界面上，同时将结果通过本文设计的播放器进行实时播放。

手语识别正确率通过能否在1s内作出识别作为判断标准，如果识别的结果跟上一次的识别结果一样将不再进行语音播报，这样做的好处是判断同一个手语进行识别时，如果存在错误识别，能通过语音进行判断。

6 总结

本文利用Kinect传感器的人体索引数据从复杂的环境分离出人体，用骨骼信息精确定位到手部，并用YCbCr肤色模型进行皮肤分割。其次利用HOG特征提取手部特征和SVM进行分类训练。同时设计一种手戴式播放器，使聋哑人群体与普通人交流时便于沟通。

参考文献：

[1]翁汉良，战荫伟.基于视觉的多特征手势识别[J].计算机工程与科学，2012，34（2）：123-127.

[2]千承辉，邵晶雅，夏涛.基于Kinect的手语识别方法[J].传感器与微系统，2019，38（06）：31-34+38.

[3]鲍志强，吕辰刚.基于Kinect的实时手势识别[J].激光与光电子学进展，2018，55（03）：231-236.

[4]刘小建，张元.基于多特征提取和SVM分类的手势识别[J].计算机工程与设计，2017，38（04）：953-958.

基金项目：2017年省级大学生创新创业训练项目（201710588024）;广州市工业机器人智能驱控技术及部件重点实验室项目（201805010001）;广东省科技计划项目（2016B090927009;2016B090927002）

作者简介：陈德宁（1997-），男，广东湛江人，本科，专业方向为自动化;张俊源（1997-），男，广东开平人，本科，专业方向为建筑电气与智能化;王晓军（1965-），男，江西安福人，硕士研究生，教授，研究方向为机械一体化控制;董泽炯（1999-），男，广东汕头人，本科，专业方向为自动化;龚立威（1999-），男，广东陆丰人，本科，专业方向自动化（师范）;袁国枢（1999-），男，广东河源人，本科，专业方向为电气工程及其自动化。

*通讯作者：马锐军（1991-），男，广东揭阳人，博士研究生，实验师，研究方向为嵌入式系统设计、无线通信和计算机控制。