基于人体表面肌电信号（sEMG）特征识别的生机电一体化打字系统

朱显晖 任昊田 北京师范大学附属实验中学 高二年级 （指导教师：北京理工大学 汤戎昱 北京师范大学附属实验中学 迟蕊）

1 引言

1.1 研究背景

目前，对于除语言中枢受损外的语言障碍患者的福利措施已经较为齐全。手语的使用也在慢慢普及。但是，有患者的语言障碍的病因是帕金森综合症，肌萎缩侧索硬化即渐冻症等疾病，或是他们是老年人。此情况下，要求该类患者与正常人使用手语交流或用电子产品，纸张等打字、写字就是一件不可能的事情了，就像霍金遇到的情况一样。在这样的社会背景下，怎样找到一种可以解决该类病因引起的除全身肌肉萎缩外的语言障碍的通式，完善社会对于弱势群体的关爱措施，不丢下任何一个患者一直是一件待解决的要事。

1.2 研究动机

我的姨奶奶是一名糖尿病患者。常年的糖尿病使其喉及声带血管舒缩机能发生紊乱，导致声带粘膜组织增生而变哑。这样说来，我见证了一个正常人是如何变成一个语言障碍者的。

每当我到姨奶奶家时，都能看到她热情地打着手势询问我的近况，但每次都需要她重复多遍我才能了解到所表达的大体意思。对于赛博朋克很感兴趣的我也一直想象着是否能运用人机交互的方式来解决这个问题来了结我心中这样的一个心结。后来在2017年的3月份，我有幸进入北理工进行学习研究。在参观了北理工的各研究所和与教授交流中，一个关于仿生义肢的课题在我眼中展现。我毫不犹豫地想到也许语言障碍的难题也可以利用类似仿生义肢的机制，即脑机接口的方法来解决。

脑机接口是赛博格技术的一种主要表现形式。“赛博格”(也有译“半机械人，电子人”) 被定义为人依据和运用一定的科学技术，即包括电脑对人的身体性能、机能进行的控制与改造——例如安装了假肢、假牙、心脏起搏器，就可使其获得或者增强身体的某些功能。假如我们运用更先进的电子、生物技术，则有可能超越自然人体，造成在性能更加强大的新型人体。因此，凡是在原身体装有假肢、假牙、植入心脏起搏器或者某种芯片等等类似的人，也就可称之为是“赛博格”。

2005年，日本NHK电视台拍摄了一部纪录片《 前线报告：改变人类的赛博格技术》来介绍了当今世界赛博格技术的发展情况，例如：一名美国田纳西州的男子，在触电事故失去了上肢，但他被安装上一种灵活度较高的机械义肢，这使得他又回到了正常人的生活；一个完全失明的加拿大男子运用摄影机拍摄的映像，通过脑机接口的方式直接传输至脑，重见光明。这个纪录片展示了“赛博格”技术在各领域的应用。 新的科技成果则是美国军方“外骨骼装甲”研究项目。美国陆军研究发展部、国防部高级研究计划署自2000年就发布了各种不同资金投入计划，用于人类外骨骼军事研究项目，期望研制出适合未来单兵作战的动力外骨骼装甲。

现实生活中装备有肌肉电信号控制的原型仿生手臂的一名“半机械人”

图 1-1

狭义的脑机接口仅仅指人或动物脑（或者脑细胞的培养物）与外部设备间建立的直接连接通路。目前 主流的实现脑机接口的方式是通过运动想象的方式对外接的大脑进行控制，借此我查阅了一些文件并且上了China NueroSchool，在拥有一定量的知识储备后我购买了 OpenBCI的元件开始进行研究。我想的是通过在脑海中构造白底黑字的字母图片来采集其脑电信号与字母相对应。可是我忽略了元件测量的局限性，即八通道的极线无法捕捉到这样细微的脑电信号的变化。这就到达了中期研究，既然狭义的脑机接口行不通，那么就试试广义的脑机接口——肌电控制接口。当我通过控制自己的肌肉而非大脑使显示屏上的时间序列信号进行规则的跳动时，我看到的便是长和短的信号组合，二战后就不再使用的摩尔斯电码此时自然而然地出现在我的脑海中。将这些跳动的肌电信号与摩尔斯电码的短和横一一对应就是解决语言障碍问题的通式啊。在恍然大悟到这个信息后，我急忙上网进行查新，浏览中国知网等后发现国内并没有类似的研究。在外网看到了一个类似的设想，但是其一，该设想缺少必要的细节而且并非用于打字。其二，该设想是单端口采集数据，导致功能数量受限，且系统响应速度慢。其三，这个设计只能用于下巴的肌电信号采集，而非任何肌肉的肌电信号采集。此外，该系统没有人性化的校准功能，需要大量训练才能适应该系统，不人性化，他是机器适应人。于是，我认为我的想法具有开拓性，创新性，实用性和普适性，并与北理工研究肌电信号的汤戎昱教授的进行沟通并确定开始了我的研究课题。

2017年9月份，我们已经做到了sEMG和英文字母间的转换。这个时候我们开始打算升级系统，既然国际通用语言英文的系统已经做出来了，就应该开始做中文的了。这就到了后期研究，我们开始加入拼音声调的选项和音频，使该产品变得更加人性化。

经过学习和探究，我运用OpenBCI的开发版来设计和制作我的基于sEMG特征识别的生机电一体化打字系统。希望这样能帮助更多的像我姨奶奶一样的语言障碍者融合到社会的正常交流之中。

2 研究内容

2.1 研究目的及流程

2.2 研究意义

结合类似患渐冻症的语言障碍者的表达需要，设计构造了基于sEMG特征识别的生机电一体化打字系统，帮助他们清晰地表达出内心的观点，找到一种解决除由于全身肌肉萎缩外造成的语言障碍问题的通式，完善对于弱势群体的关爱措施，坚持不丢下一个患者的思想，推动赛博格学科的发展，加速人们进入后人类时代的步伐。

2.3 技术方案

2.3.1 平台搭建

本系统基于x64平台搭建。硬件方面采用了内置 i3-3217U的64 位笔记本电脑进行调试。

采集数据的单片机采用OpenBCI公司的Ultracortex Mark III自带单片机CYTON BOARD。该设备还配有5根的镀金碗型电极，配合和与电脑相连接的USB Dongle用来与单片机进行sEMG的采集和蓝牙数据传输。其适用范围在空旷地段0到10米之间。图2-2展示了CYTON

BOARD的各项参数。

图 2- 2 CYTON BOARD 各项参数

在开发工具方面，使用了Processing 2.2.1进行算法编写和测试。Processing是一种具有革命前瞻性的新兴计算机语言，它的概念是在电子艺术的环境下介绍程序语言，并将电子艺术的概念介绍给程序设计师。它是 Java 语言的延伸，并支持许多现有的 Java 语言架构。不过其在语法上简易许多，并具有许多贴心及人性化的设计。Processing 可以在 Windows、MAC OS X、MAC OS 9 、Linux等操作系统上使用。本系统主要应用Processing来对数据进行实时采集，设置阈值和跟踪分类等一系列操作。

2.3.2 系统框架概述

图 2- 3 系统框架示意图

如图2-3所示，整体打字系统由个人电脑，显示界面，扬声器三部分组成。其中由单片机和USB连接用户和个人计算机。单片机把用户的sEMG输入进计算机。计算机进行sEMG的分析并进行数据处理，下一步将处理好的数据反馈给操作系统和扬声器。

2.3.4 算法流程示意图

2.4 算法的设计与实现

2.4.1 输入数据

sEMG数据的采集是靠三个负责采集sEMG的端口完成的。n2p端口负责采集表示英文字符的二阶摩尔斯电码（基于参照ASCII标准的摩尔斯电码的改进）的信号，n4p端口负责空格

（.）和删除(—)的数据采集，n6p端口采集确定功能的数据；n4p和n6p端口同时采集为回车键功能的数据。中文系统同理。使用者可以中途暂停数据的采集，并随时重新开始，继续采集。另外我们对于实时的数据采集选取频段为44hz的sEMG的振幅，因为这一频段 具有识别度。

2.4.2 处理数据

2.4.2.1 校准系统

校准系统采用的是学习式校准，程序会指导使用者进行一系列动作，并记录采集的数据，然后根据数据不断调整阈值数值，判断数值是否合理，当数值满足一定情况，则会保存该数值为使用者的阈值，以此降低错误率，适应不同的使用者。

其中，校准部分的迭代算法是先定义一个变量uv，之后根据使用者校准 “.” 的输入时的数据的 高值对这个变量进行赋值，之后对该变量进行二分或增加0.1，直到uv的值符合要求。之后，测试uv在使用者校准“-”的输入时的数据中是否满足要求，若满足，将uv作为该使用者阈值；若不满足，则对uv继续进行二分或增加0.1，直到满足要求。

如图2-5，该时间序列信号的横轴是时间，纵轴是振幅。黄色线为根据使用者校准 “.” 的输入时的数据得到的 uv 值，当这个值在使用者校准“-”的输入时的数据中不满足要求时，会进行二次迭代，终得到了满足要求的值，即红色线，阈值。

图 2 - 5 迭代法说明图

部分代码如下：

2.4.2.2 sEMG与二阶摩尔斯电码的变换程序会接收n2p端口输入的sEMG数据，当使用者激活n6p端口的确定时，程序会找到与使用者sEMG对应的二阶摩尔斯电码值并在窗口文本框中输出该二阶摩尔斯电码；当使用者激活n4p端口或同时激活n4p和n6p端口，并（再次）激活n6p端口的确定时，程序会进行相应的操作。

部分代码如下：

我们把该变换命名为ZR变换。

2.4.2.3 二阶摩尔斯电码与字符的变换

表1：二阶摩尔斯电码

*回车：N4P先按，N6P后按，同时N4P不松。然后便可先松N4P，再松N6P触发回车功能。

部分代码如下：

2.4.3 输出数据

2.4.3.1 英文的显示

使用者输入的二阶摩尔斯电码数据会在一个较小的文本框中显示；使用者输入的文字会在较大的文本框中输出，如图2-6所示。

图 2 - 6 操作界面

2.4.3.2 中文的发声

同上。此外，每次使用者输入句号时，程序会将句子中每个字的发音按顺序播放出来，

即“读”句子。

2.4.4 数据存储

使用者在输入过程中或输入完毕时都可以将输入的文本内容保存为本地txt文件，以供

随时查阅。

部分代码如下：

3 测试与分析

本研究选用了x64平台进行性能测试和误差分析。具体采用了Intel CoreTM i3-3217U 处理器（主频 3.4GHz)，拥有4GB内存，运行Windows 8操作系统。sEMG采集系统运用

OpenBCI CYTONBOARD。

3.1 数据采集准确率

在误差分析中，在同样的测试环境下收到了来自5名测试对象的5组样本数据。

此处的数据采集准确率是指在所有的从自由的肌肉运动采集到的数据中，采集到的有效 sEMG 所占的百分比。我们使测试者通过运动自己的肌肉来打出 N 的二阶摩尔斯电码表示形式，这样我们就得到每个人的30组时间序列信号。OpenBCI的源程序使我们能够将时域图通过短时傅里叶变换来变换为频域图。在频域图中，我们能清晰地看到sEMG在各频段的振幅。

图3-1 某名受试者的一组sEMG的时间序列信号（即时域图）

图3-2 时间序列信号经过短时傅里叶变换的频域图

我们在窗口中对于采集到的sEMG进行实时监控。将各类采集准确率汇总到表2。

表2：5组样本的数据采集准确率

可以看出，“短”与“长”的准确率是十分可观的，这说明单电码的输入是较为准确的，这从侧面验证了迭代算法寻找合适阈值的准确性，但仍然需要优化使其准确率提升。但综合采集率仅仅达到94.8%，尽管该准确率也较为可观，但比起其他的采集准确率来讲是稍差一些的。经过综合考虑，我们认为该采集率较低的原因主要一是采集设备的不够精密---在采集期间，数据的更新仍然存在一些延迟，这导致较快的单电码间的变换会出现错误。另外一个原因是某些人体表面肌肉的肌电信号不够稳定。解决方法是寻找更加精密的采集设备以及规

定一个更加合理的运动周期。ZR变换的准确率高达100%，也就是说算法是十分准确可靠的。

3.2 系统响应速度

对于一套交互系统来说，相应的速度的快慢直接影响着用户体验的好坏。通常情况下程序输出的速度越快，用户体验就越理想。

本程序的初始化速度为大约20秒，校准过程大约60秒，输入单个二阶摩尔斯电码平均用时4秒（包括“长”和“短”的输入），输入字符过程中平均单个字符用时20秒。打字前的程序预备时间总计约80秒。

如此看来，该程序的初始化速度比起其他软件的初始化速度来讲是适中的。平均来讲，输入字符的速度也较为适中，但是一个娴熟的系统使用者可以达到更快的速度。

4 结论、创新点与展望

本项目主要研究了基于sEMG特征识别的生机电一体化打字系统，并搭建了初始平台来为该系统日后的应用打下基础。通过对相关技术的研究和评估，现得出以下结论：

(1)初步形成了sEMG与二阶摩尔斯电码间的变换，我们称之为ZR变换。

(2)该系统理论上能够基于人体皮肤表面任何一块肌肉进行数据的采集和分析，具有普适性的采集和分析能力。

（3）整体系统为未来进一步开发脑机接口相关软件提供了一种通法即ZR变换，留下了广阔的拓展空间。

（4）消除了由于简单的肢体摆动而错误发出信息的可能性，因为本研究要求的肌肉运动是一种更加刻意的主观选择。

相比已有的类似研究，本系统具有如下创新点：

（1）找到一种新型的解决类似渐冻症患者的语言障碍问题的方法，并同样适用于其他类型语言障碍者。

（2）发明一种摩尔斯电码在战后的新的用法并且丰富改善了摩尔斯电码的表达方式。

（3）国内第一款类似的程序，并且首次加入了声调的功能来支持中文的输入输出。

（4）便携性好，硬件仅使用OpenBCI公司的单片机，而与主机间的数据传输全部用蓝牙成。

（5）更容易上手，该系统能够使用户更易理解这种高端的技术并且甚至可以根据自己的喜好 diy自己希望完成的指令。

目前，基于sEMG特征识别的生机电一体化打字系统虽然实现了ZR变换，能采集分析任何一块肌肉的电信号，为未来脑机接口的软件留下了广泛的空间但仍然存在一些缺陷。其一是算法方面仍然可以优化来使整个程序的延迟降低。其二是还未完全将电脑上的开放环境及程序转移至更加轻小的手机app上。未来的工作将主要集中于对开发环境及程序优化算法和友好化操作系统和界面并且向手机平台发展。另外我们还考虑到既然语言障碍者可以向外输出希望传达的信息，那么同样可以使听力障碍者对内接受外界所传达的信息。于是接下来的另一个支线任务就是逆向构造一个接收系统来解决听力障碍者与普通人的沟通问题，即一个听声系统。

5 应用

这种通过该打字系统不仅可以解决渐冻症类患者的说话问题，以及其他语言障碍者与普通人交谈效率极低的尴尬问题以及也同样可以作为肌肉指令而具有更广阔的市场空间和应用范围。然而市面上同类产品少之又少，或是因为本身所代表的脑机接口技术太过高端不易理解，或是因为类似产品的系统成本较高，或是因为掌握操控类似产品需要用户完成一定的练习，该类脑机接口产品并未真正进入人们的视野。而本项目所研究的系统特点就在于外行人易上手（容易理解和使用），系统成本低，可以作为开源程序来使用户自行DIY，同时又实现了人体利用自身的肌肉运动对外部机械的直接控制。因此，该系统具有很高的普适性，可以适用于多种情况。以下对几处可能的应用场景进行具体介绍。

场景1: 残障人士的打字系统

对于非语言中枢受损导致的语言障碍者，他们将学习更为简单的二阶摩尔斯电码来代替学习手语。佩戴该设备后，一个能够娴熟使用二阶摩尔斯电码的该类障碍者可以通过运动自己的肌肉来使随身携带的扬声器发出普通人说话时表达的语言。这使得沟通时更加高效。例如一名类似霍金一样的渐冻症患者能够利用该系统清晰地表达出自己的观点。对于失去四肢的残疾人士，比起使用活动十分不灵活的义肢，该系统可以帮助这类残疾人找到一种更灵活的，利用肌肉运动完成既定目标的方式。例如一名失去上肢的残疾人本是一位网络小说家，此时他仍然需要继续进行创作，在短期内他便可以使用这套打字系统来继续网络创作。

场景2: 康复训练

对于神经系统疾病，尤其是肌肉疾病来说，该系统可以是一个十分有效的康复工具。医师可以通过鼓励患者在显示屏上打印不同单词来训练并且监控肌肉的灵活性。对于一些手术康复或肌肉拉伤，医师也同样可以利用该方法对患者进行康复训练和实时监控。

场景3: 物联网的指令系统

物联网的时代正在飞速发展，但是通过人类的直接活动控制物物相连的机制还未进入我们的视野。然而通过该打字系统，用户可以使不同的肌肉运动方式所对应的二阶摩尔斯电码

对应不同的指令，这是该打字系统思路的一个推广。例如，一早上起来用户想要喝一杯咖啡，这时他就可以去运动肌肉输出字母A对应的数据。当物联网接收到A的数据后，便会给予咖啡机指令。这样就能通过直接的人体活动隔空做一杯咖啡了。

6 致谢

感谢北京理工大学的汤戎昱教授在研究过程中对我的关心和指导，感谢北京师范大学附属实验中学的迟蕊老师对我论文写作提供的帮助。感谢家长对我的支持和鼓励。感谢北京师范大学附属实验中学和北京青少年后备人才计划为我提供了研究的机会。

[1]《Java 从入门到精通（实例版）》，明日科技，清华大学出版社

[2]佟丽娜，侯增广，彭 亮，王卫群，陈翼雄，谭民《基于多路 sEMG 时序分析的人体运动模式识别方法 》

[3]范渊杰《基于sEMG与交互力等多源信号融合的下肢外骨骼康复机器人及其临床实验研究》

[4]王乐军， 陆爱云， 龚铭新， 毋江波， 董菲， 张磊《sEMG指标监测快速点击鼠标致指伸肌疲劳的适用性评价研究》

[5]侯媛媛 《基于摩尔斯码的声韵母汉语语音识别皮肤听声器的研究》

[6]李建文，侯媛媛，李江红 《五通道异步摩尔斯编码皮肤听声的研究》

[7]王琨，李小生，宋姌，富仁杰，郭晓慧 《肌电图(EMG)在运动生物力学研究中的应用》

[8]乌萨马（Usama Jasim Naeem）； 《根据肌电图（EMG）信号评估人手臂肌肉力和肌肉疲劳的人工智能方法》

[9]唐镇尧 《EP/EMG系统设计及听觉诱发电位信号提取算法研究》

[10]何乐生，倪海燕，宋爱国 《一种便携式肌电信号(EMG)提取方法及其电路实现》

[11]席旭刚，武昊，左静，罗志增 《基于sEMG与足底压力信号融合的跌倒检测研究》

[12]赵佳佳，马骏 《基于sEMG的静态坐姿肩部斜方肌疲劳研究》

[13]许佳佳，姚晓东 《基于EMG信号的无声语音识别应用及实现》

[14]Mikhail A. Lebedev, Andrew J. Tate, Timothy L. Hanson,Zheng Li, Joseph E.O’Doherty, Jesse A. Winans, Peter J. Ifft, Katie Z. Zhuang,Nathan A. Fitzsimmons,David A. Schwarz, Andrew M. Fuller, Je Hi An, Miguel A. L.Nicolelis《Future developments in brain-machine interface research》

[15]Hae-Jeong Park, Sung-Hoon Kwon, Hee-Chan Kim, Kwang-Suk Park《adaptive EMG-driven communication for the disability》

[16]https://baike.baidu.com/item/cyborg/4153498?fr=aladdin 百度百科

[17]http://www.15yan.com/story/7RA9y1tTzmM/ 子非鱼

附件：研究过程照片