基于嵌入式智能手语翻译手套设计

成都理工大学信息科学与技术学院 张 文 李松林 徐大杰

基于嵌入式智能手语翻译手套设计

成都理工大学信息科学与技术学院 张 文 李松林 徐大杰

本系统设计一款能翻译手语的便携低功耗数据手套，旨在解决正常人与聋哑人的沟通障碍问题。数据手套能输出用户手势的姿态角、手指弯曲度、以及手部的加速度等。本系统使用模板匹配的方式，比较用户输入手势数据与模板库中手势的相似度，找出手势库中与输入手势差异最小的手势。根据需要改进了加权的动态时间规划算法，把手势的加速度、姿态角度作为权值，与弯曲度数据有效融合，最终正确的识别出用户的手势。

数据手套；手势翻译；模板匹配；动态时间规划

0 引言

第六次全国人口普查公布的数据显示，全国各类残疾人总数为8502万人，其中听力残疾2054万人，言语残疾130万人，分别在残疾人总数的24.16%和1.53%。聋哑人只能通过手语进行相互交流，他们与正常人的交流存在极大的障碍。本系统设计了一款低功耗便携式的智能手语翻译手套，相比于上述的手势捕获技术，具有众多优势。该手套能精确的记录手势的空间数据，不存在手势死区，并且智能手套处理的数据量小，算法相对简单，识别速度快。

1 系统构架

本系统手势识别分为3个部分，数据采集及预处理、数据段捕获和识别手势。数据采集通过弯曲度传感器、MPU9250获得；但由于外界环境等因素，数据会受到干扰，系统使用滤波达到较好效果。数据段捕获主要是寻找手势的起点和终点，其采用门限判定法来分割手势。用户做手势时，手部的姿态、加速度、手指弯曲度有显著变化，通过设定门限值，确定有效数据段。识别手势主要采用加权动态时间规划，计算与模板库手势欧式距离，当两者总距离值最小，且小于设定的阈值时，则判定为同一手势。

2 识别算法设计

2.1 数据采集和预处理

弯曲度传感器采用模数转换得到手指的弯曲度。转换时，易受到电源波动和环境等影响，故在每次采集时，进行模数转换5次，采用冒泡排序，舍弃最大和最小值，求平均，最后送滑动窗口滤波。MPU9250集成加速度计、地磁计和陀螺仪，通过特定的算法解算出加速度和欧拉角。对其进行数据归一化到[0,1]，即：

2.2 数据段捕获

人在做出手势时，手指弯曲度、加速度、角度均有明显的差异。通过差分法可对手势的起止和终止做出判断，从而捕获到有效的手势信息。即：

为排除系统偶然性，以连续多次采样数据作为判决数据。当几次数据均满足起始条件，判断手势开始；同时满足三个终止条件，判断手势结束；其他情况下，判断为有效数据段。

2.3 识别核心算法

本部分使用动态时间规划算法，寻找输入与模板序列之间的最佳时间规正函数，使输入与模板的距离最短。设模板手势时间序列和输入手势时间序列。定义规整序列，规整点组。输入手势与模板手势的相似度用欧式距离来评价，即：

构建一个的矩阵网格，每一个网格代表输入与模板序列的欧拉距离值，用表示。且有：

为输入与模板手势的总欧拉距离值。越小，两者越相似，反之，越不相似。

以上为传统的动态时间规划，匹配过程中，把每个路径点同等看待。但实际过程中，每个采样点重要性不同，且弯曲度、角度、加速度数据在识别的贡献也不同。以弯曲度为主识别数据，角度、加速度为辅数据，以加权的方式突出不同采样点在匹配中的影响大小，得欧式距离递推式。

式中、为分别为加速度、角度在加权中的贡献比重。

图1 加权DTW算法流程

3 调试结果

在文献[4]中选出198个常用孤立手语词手势，选择3名健康的受试者，对所有选取手势采集5遍，得到15个样本集，从中选取1组作为标准模板手势集，另外均作为测试手势样本集。分别使用加权DTW和传统DTW做匹配，结果如图2、3所示。

图2 未加权DTW路径匹配

图3 加权DTW路径匹配

通过加速度、角度加权，把不同手势的特征差异放大，让手势匹配路径更优，总欧式距离值更小，从而减少匹配过程中手势的误识和拒识率。在实验中，不同权重的加速度、角度组合，对手势匹配等错误率EER有很大影响。由于，试验时，从0起始，以0.05步进，到1结束，得出与等错误率ERR的关系。使用最佳参数点，，对上述三名手语受试者测试，得出手势的平均识别率88.1%和平均识别时间125ms。

4 结论

本系统设计了一款便携低功耗智能翻译手套，将手语数据经改进的动态时间算法识别，最终翻译成文本信息输出。实验得出，对于不同手势，该数据手套平均识别率为88.1%，平均识别时间为125ms。该系统对常见手势的识别率高，识别速度快，并且结构简单、便于携带、功耗低，可广泛运用于聋哑人与正常人的交流中，具有很好的前景和应用市场。

[1]赵燕潮．中国残联发布我国最新残疾人口数据[J]．残疾人研究,2012．

[2]李航．统计学习方法[M]．北京:清华大学出版社,2012．

[3]夏斐．基于动态规划和DTW匹配的时间序列索引方法研究[D]．大连理工大学,2015．

[4]GB/T 24435-2009．中国手语基本手势[S]．2009．