基于语音识别的脑瘫康复数字训练系统设计①

卢振利 王 红 马志鹏 沈玄霖 Marko Penˇc'ic 刘 燕单长考 葛 龙 李 斌 Marjan Mernik

(*常熟理工学院电气与自动化工程学院 常熟 215500)(**中国矿业大学信息与控制工程学院 徐州 221116)(***常熟市第二人民医院康复医学科 常熟 215500)(****诺维萨德大学技术科学学院, 诺维萨德 21000，塞尔维亚)(*****常熟科创园管理服务中心 常熟 215500)(******中国科学院沈阳自动化研究所 机器人学国家重点实验室 沈阳 110014)(*******马里博尔大学电气工程和计算机科学学院, 马里博尔 462000，斯洛文尼亚)

0 引 言

小儿脑性瘫痪简称脑瘫(cerebral palsy，CP) ，是小儿最常见和最为严重的疾病，会造成运动、姿势、语言、听觉、视觉、智力等多种障碍。由于脑瘫成因不定，其症状也不定，无法治愈，只能通过康复训练使患儿的运动、语言、智力等达到正常人的水平。因此对于脑瘫患儿来说，越早采取护理干预，康复效果越好。

人机交互(human robot interaction，HRI)技术是一项研究用户和计算机之间交互关系的技术。使用人机交互中的语音识别技术设计机器人辅助康复训练系统，可以有效提高脑瘫患儿对康复训练的兴趣性和参与程度，从而提高康复训练效果。

马英杰等人[1]基于语音识别设计了失语症康复治疗仪软件，应用于脑部疾病引起的失语症病人的康复治疗。郑义东等人[2]针对言语沟通障碍儿童，在Android平台上设计了辅助沟通及康复训练系统。邓杏娟等人[3]基于语音识别技术的失语症辅助诊断及康复治疗系统的研究，为脑瘫患儿的语音训练提供了新的方法。

本研究设计了面向痉挛型脑瘫患者设计数字手势训练系统，针对语音辨识模块、人机交互模块，与能够产生手势的机器人系统进行联调，在达到语言训练效果的同时，提高患者自己握物、肢体协调的能力。

1 系统架构设计

这一系统练习了脑瘫患儿对于数字手势的认识，以及强化其语言训练和手部精细操作训练的效果。在这一过程中有2个难点，一是如何将语音与每个对应的训练动作联系起来，二是如何将语音与对应的仿生手动作联系起来。

为了解决这2个难点，将语音与训练联系起来，系统在语音识别说的数字时，发送对应的标识符给Labview和仿生手控制器，使它们完成对应动作，更新显示图片以及控制仿生手表达所说的数字。如当识别语音字符串“yi”时，会发送标识符“1”给Labview和仿生手控制器，达到训练的效果。表1为对应的标识符列表。

表1 标识符列表

2 语音训练系统设计

基于领域特定语言机制的语音训练系统选择单片机Arduino MEGA 2560[4]作为主控制器；语音模块选用 LD3320语音芯片[5,6]，对语音识别控制；显示模块选用LCD1602显示屏，显示识别语音的拼音；仿生手模块选用Arduino Uno通过串口控制舵机控制板，使仿生手舵机做出相应的数字手势；人机交互系统通过Labview软件实现机器人与语音芯片的通讯。系统架构如图1所示。

2.1 硬件系统

硬件系统包括主控制器Arduino MEGA 2560、语音芯片LD3320、仿生手控制器Arduino Uno和舵机控制板等。语音识别模块(TXD/RXD)与主控制器的通讯为：TXD连接单片机数据通信RX0，RXD连接单片机数据通信TX0；舵机控制板(TX/RX)与主控制器的通讯为：TX连接单片机数据通信RX1，RX连接单片机数据通信TX1。部分硬件图如图2所示。

图1 系统架构图

(a) Arduino MEGA 2560

(b) LD3320语音芯片

图2 部分硬件图

2.2 语音辨识系统

语音辨识功能是将采集到的声音信号转换成拼音，再跟预先编辑的关键字拼音进行匹配，选择最佳匹配字作为输出结果。本设计的关键字列表是1～9这9个数字的拼音，需要事先写入这9个关键字[7-9]。表2为关键字列表。

表2 关键字列表

在进行语音识别调试中，由于单音节的识别误差比较大，对这9个音节均进行10次实验，结合表3选择6～9这4个连续的音节作为识别关键字，检测系统效果，为后面设计其他训练项目提供技术基础。

表3 音节正确率对比

2.3 仿生机器手系统

结合人的手势，采用仿生机械手模仿人的不同手势，在本系统中选用仿生手来表示数字手势。控制仿生手动作实际是控制内部的舵机转动，改变舵机的转动角度可以使仿生手的手指呈现伸直到不同程度的弯曲状态。设计转动角度0 °和转动角度160 °分别表示仿生手指的弯曲与直立，通过设置5个舵机的转动角度来控制5个手指的状态，从而显示不同的手势。仿生手的4个数字手势动作如图3所示。

图3 仿生手的4个数字手势动作

仿生手动作流程图如图4所示。

图4 仿生手动作流程图

3 人机交互系统设计

人机交互系统在Labview[10,11]环境下开发，在测试过程中辅助判断测试者对数字手势的辨别情况、反应能力以及语言能力。当开始测试时，在小窗口上显示手势图片，测试者辨别手势图片所表示的数字，说出数字拼音，如果识别正确，绿色指示灯亮，系统更换图片，否则系统一直停留在这一状态。在测试过程中，实时记录辨别时间和正确率，绘制辨别时间曲线。图5是上位机交互界面。

图5 上位机交互界面

3.1 数字手势辨识与交互

在上位机中为了自动显示并更新数字手势图片，设计一个可以根据不同输入字符随机显示图片的子程序，方便调用。通过拆分路径和创建路径形成数字手势图片的路径，再通过读取图片文件返回图像信息，再经过绘制平像化像素图在小窗口显示数字手势图片。图6为图片显示程序图，图7为4种数字手势图片。

图6 图片显示程序图

3.2 人机交互系统通讯模块

为确保动作辨识与人机交互模块的串口通信一致，使用VISA仪器的标准输入/输出接口。VISA不仅可以有效地控制串口、USB和其他设备，实现串口的相互通讯，还能够根据使用的仪表类型调用相对应的驱动程序、操作系统和其他编程环境。图8为串口数据通讯图。

图7 显示的4种数字手势图片

图8 串口数据通讯图

4 脑瘫康复训练系统联调

4.1 动作语音模块联调

当动作辨识模块相互连接等到上电之后，led灯亮，表示语音芯片与单片机连接已经正常。此时若对着语音芯片说“1”，显示屏能正确显示相同文字信息“yi”，即表明语音芯片测试正常，如图9所示。与此同时，仿生机械手同步动作手势如图10(a)所示，即说明仿生机械手测试运行正常。

图9 语音芯片测试图

4.3 人机交互模块联调

打开人机交互系统，开始测试。当人机交互界面显示手势图片“2”时，对着语音芯片说出“er”，若判断正确后，指示灯亮，显示屏显示“er”，如图11所示；机器人通过指令显示手势2，如图10(b)所示。

图10 机器人实现手势测试图

(a) 图片显示与指示灯测试图

(b) 显示屏测试图

5 系统性能评估

5.1 训练方法设计

事物的手势符号是掌握言语符合及文字符号的基础，因此在对患儿进行言语符号训练的同时也要给于手势符号作为刺激。对患儿进行数字手势训练，除了训练患儿对于日常数字的语言表达能力外，还能刺激患儿模仿数字手势动作，加快理解数字含义。

启动人机交互系统，系统首先会弹出信息输入框，用以帮助记录不同脑瘫患者的康复训练效果；随后开启训练，患者照着数字手势图片说出图片中手势所表示的数字，评价系统会根据语音识别后的信息作出判断，若为正确则指示灯亮并记录患儿的反应时间，同时仿生机械手做出与图片一致的手势动作。在训练过程中若患儿识别的时间超过10 s，则判定为不正确。

5.2 案例分析

案例：患者A 为女性，6岁，临床诊断的结果为痉挛型脑瘫[12]。症状主要表现为手肢体运动有困难、握物能力差、交流能力较好、注意力集中时间比较长。语言诊断结果为语言发育基本正常。

测试结果评定：以数字手势6～9为一组，共测试10次，每次的检测结果如表4所示。

表4 数字手势测试表

根据表4中患儿每次识别数字手势的时间和正确率，可以画出其在识别数字手势6过程中每次识别所需时间的变化图和识别正确与否的变化图，如图12所示。

图12 手势6的识别时间和正确率

根据上图表，可以直观地看出患儿在识别数字手势6的10次测试中，随着测试的进行，其所需的识别时间逐渐降低并趋于稳定，识别正确率也越来越高，康复训练效果有所体现。

数字7、8、9的识别时间和正确率如图13、图14和图15所示。

图13 手势7的识别时间和正确率

图14 手势8的识别时间和正确率

图15 手势9的识别时间和正确率

依据图表信息可知：受测者在识别手势7和识别手势8图片时，准确率较高。随着测试次数增加，正确率较高，识别时间也逐步缩短并稳定。在识别手势9时，虽然一开始测试结果不好，但该受测者基本具备说话交流能力，在后面测试时识别正确率较高，识别时间也趋于稳定。

6 结 论

本文设计了基于语音识别的脑瘫康复数字训练系统。该系统针对脑瘫患儿的语音康复训练，采用了单片机和语音芯片的结合，与机器人做出数字手势动作相匹配，以串口通信的方式实现动作辨识模块与人机交互模块的数据传送，可实时记录接受康复训练的脑瘫患儿的各项数据，并进行相关的评价和分析。该系统提升了脑瘫康复训练系统的趣味性和互动性。