基于脑机接口的脑卒中患者语音看护系统*

高诺,杨玉娜,翟文文,高枫,王蕴辉

(山东建筑大学信息与电气工程学院，济南 250101)

1 引 言

脑卒中已成为影响中老年人健康的最大威胁之一。脑卒中预后会遗留有不同程度的肢体功能障碍、感觉障碍、言语障碍、认知障碍等，其中言语障碍大约占37.66%，言语障碍使其无法表达自己的意图，给患者的治疗和生活带来了巨大的困难。因此为脑卒中患者提供一种有效的交流系统，改善患者的语言状况显得尤为重要。

脑机接口(brain-computer interface, BCI)是一种不依赖于大脑外周神经与肌肉组成的正常输出通路的通讯控制系统[1-2]。利用脑机接口系统使患者与外界进行信息交流一直是BCI的一个重要的研究方向。1988年，美国IIIinois大学的Farwell和Donchin利用P300电位设计了虚拟打字机，电脑屏幕上有6×6个闪烁的字符矩阵，受试者每次只需要集中注意注视目标字符，电脑即可输出该字符。2008年，德国地宾根大学小组将6×6的虚拟键盘扩展成7×7的虚拟键盘，设计出了德文输入系统[3]。

相比于国外，国内脑机接口交流系统研究起步时间较晚。2009年，浙江大学的吴边和张剑慧设计了基于笔画的汉字输入BCI系统，利用叠加平均和模板匹配的方法，基本可以实现汉字的输入[4-5]；2010年，香港中文大学中文系语言工程实验室设计了基于P300的繁体中文输入系统[6]；2018年，华东理工大学金晶教授设计了一种基于人脸范式的P300拼写系统[7]。

上述国内外研究对利用脑机接口进行信息表达做出了重要的贡献，但要实现服务于我国存在言语障碍的脑卒中患者还存在许多问题。因此本研究设计了一种基于脑机接口的脑卒中患者语音交流系统，该系统可以辅助存在语言障碍的患者自主进行语言输出并以语音的形式传递。

2 系统设计

本研究提出的基于脑机接口的脑卒中患者语音看护系统的整体结构框见图1，系统包含视觉刺激模块、脑电信号采集模块、脑电信号分析模块、语音合成模块四部分。

图1基于脑机接口的脑卒中患者语音交流与看护系统结构框图

Fig1Ablockdiagramofspeechcaresystemofstrokepatientsbasedonbrain-computerinterface

整个系统的工作流程见图2，信号采集系统实时采集患者的脑电信号并发送到Alpha波信号分析程序中进行Alpha波的检测，检测结果若不是Alpha波则继续进行Alpha波的采集，若为Alpha波则系统将发出声音提示，此提示音为SSVEP部分开启的反馈(提示患者可以开始注视视觉刺激界面)，此时患者注视视觉刺激界面中特定语句对应的频闪区域，脑电信号采集模块进行SSVEP信号的采集，然后将此信号送到SSVEP信号分析程序中进行分类，将分类结果发送到语音合成模块进行语音合成并以语音的方式输出，患者听到输出的语音后停止注视，此语音亦是系统输出结果的反馈。

图2基于脑机接口的脑卒中患者语音交流与看护系统流程图

Fig2Aflowchartofspeechcaresystemforstrokepatientsbasedonbrain-computerinterface

2.1 视觉刺激模块

本研究使用的视觉刺激界面见图3(a)，刺激目标为白色，背景颜色为黑色，为常亮状态，其上、下、左、右各有一个按其各自特定频率闪烁的刺激目标，闪烁的频率分别为15、8、12、13 Hz，且分别代表了“呼叫护士”、“我想吃饭”、“我想起床”、“我想喝水”四句话，这四句话可以根据患者具体的需求而设定，使之更好地为患者服务，更能代表患者的需求。

2.2 脑电信号采集

本系统使用的脑电信号采集设备为博睿康科技有限公司(Neuracle)的32 通道无线脑电采集系统。脑电帽的采样频率为250 Hz，本研究采集的10个电极位置分别为T5、P3、Pz、P4、T6、PO3、PO4、O1、Oz、O2处，导联位置符合国际10 ～ 20 标准，实验中保持电极阻抗在5 kΩ 以下。脑电帽的电极位置见图4。

图3 视觉刺激界面Fig 3 Visual stimulus interface diagram

图4 脑电帽电极位置分布图Fig 4 Location of EEG cap electrode

2.3 脑电信号分析

2.3.1Alpha波信号分析 按照信号控制方式的不同，脑机接口系统分为同步模式(Synchronous)和异步模式(Asynchronous)[8-11]。为实现异步模式的脑机接口系统，本研究利用Alpha波阻断现象，使用Alpha波作为SSVEP信号分析阶段开启的标志。

(1)

从而得到数据B=[b1b2…b15]。对数据B的每一个列向量做快速傅里叶变换(fast fourier transformation，FFT)得到其频域信息[12]，取其每个信号段8～13 Hz的信号幅值，从而组成1×15的行向量，去掉前3个值(实验证实在状态转化的开始一段时间内信号不稳定，容易对决策造成影响)，取后12个值作为Alpha波检测的频域特征值。最后决策采用的是投票方式，即将频域特征值分别与阈值比较，特征值大于阈值判断结果为1，否则为-1，得到12个判断结果求和，和大于或等于0即为检测到Alpha波，否则为无Alpha波。因为阈值存在个体差异性，所以需要事先采集用户闭眼和睁眼状态下各20组3 s的EEG信号(采集范式为：闭眼3 s、睁眼3 s、依次进行)，同上述处理过程得到频域特征值，利用式(2)进行阈值的计算。

(2)

2.3.2SSVEP信号分析 提取SSVEP响应信号频率的算法采用典型相关分析(canonical correlation analysis, CCA)的频率识别算法[13-14]。先用5 阶巴特沃斯滤波器对信号进行2 ～ 40 Hz的带通滤波，消除高频及工频干扰。再应用CCA算法进行SSVEP信号频率的四分类，实现对四句话的选择[15]。

CCA应用于提取SSVEP相应频率时，两组多变量分别定义为X、Y，其中X是多通道的EEG信号，长度为5 s，见式(3)，Y为一组被设定的参考信号，见式(4)：

(3)

(4)

式(3)中，n为脑电信号采集通道的数量，n=10，通道名称依次为：Pz、P3、P4、PO3、PO4、T5、T6、Oz、O1、O2；式(4)中，N为谐波数量，N=4，f为刺激频率，f=15，13，8，12 Hz。

EEG信号X与参考信号Y寻找一组矢量Wx,Wy，这一组矢量可以使向量x,y之间的相关系数达到最大，其中x=XTWX，y=YTWY。计算方法见式(5)：

(5)

式(5)得出X和Y之间的相关系数ρ的大值，即是得到了最大的典型相关系数。将采集到的SSVEP信号分别与每组参考信号(不同f)，计算出对应各组参考信号的ρ，其中最大的相关系数ρ对应参考信号的频率即被认为是SSVEP信号的频率。

2.4 语音合成模块

语音合成，又称文语转换(Text to speech)技术，是将文本状态的文字信息转化为声音信息的过程,由文本处理、韵律处理、语音生成三部分组成。其中，基于波形拼接的语音合成技术一般从自然语音中提取单个汉字的发音作为语音单元,用这些切分好的语音单元建立一个语料库。在合成阶段先选出相对应的语音单元,然后从语料库中提取出相应的合成单元,对提取出的语音单元进行韵律的调节和控制,最后使用重叠相加的方法重建语音，具体技术流程见图5。

图5 基于波形拼接的合成技术流程图Fig 5 Synthesis flow chart based on waveform splicing

3 实验验证

本实验选择了4名受试者S1～S4，受试者身体健康、视力正常。实验开始前，采集了四位受试者的Alpha波，利用式(2)计算出了各受试者的闭眼、睁眼状态区分阈值分别为3.4、5.0、12.2、7.8，并告知了受试者整个实验的具体流程。

3.1 实验过程

实验过程中，受试者在安静房间内进行，保持舒适坐姿并尽量避免头部大幅度的晃动。每名受试者均需完成4组实验，每组实验需完成20次语音输出，每组实验的具体流程为：闭眼，听到提示音后睁眼并开始注视视觉刺激界面的刺激目标1，直到听到语音输出；按此步骤依次注视刺激目标2、3、4，直到一组实验完成。每组实验后受试者休息5 min。视觉刺激界面的刺激目标标号见图3(b)。

3.2 实验结果及分析

实验中，记录：(1)每位受试者闭眼3～6s间是否有提示音响起，以此来统计此系统检测Alpha波的正确率；(2)记录每次的语音输出是否为受试者所注视区域的对应语句，以此来统计此系统对SSVEP信号分类的正确率；(3)记录每次实验的成功率，即受试者闭眼3 s后到6 s前有提示音响起并且语音输出为受试者注视区域的对应语句。

表1 S1第一组实验结果

以S1为例，记录统计了S1第一组在线实验的情况见表1。表2为S1～S4四名受试者的四组在线实验结果，由此表可以看出S1～S4四名受试者在其四组在线实验中对Alpha波检测正确率、对SSVEP信号分类正确率以及实验成功率的统计结果。四名受试者总的平均成功率都达到了90%及以上，具有良好的实用性。其中，S4第一组实验的成功率较低，原因可能为没有及时适应该系统(因为其后三组实验的成功率比第一组有明显的上升)，该情况可以通过短时的训练使成功率提高。

表2 S1～S4四组在线实验结果

注：项目1 ：Alpha正确率；项目2：SSVEP正确率；项目3：成功率

4 结论

本研究介绍了一种基于脑机接口的脑卒中患者语音看护系统，该系统通过对Alpha波的实时检测，实现异步BCI的工作方式，更方便人们的使用；通过分析诱发的SSVEP信号实现了语句的选择，操作简单；通过语音合成模块实现了患者意图的语音形式表达，方便信息传递。

本系统虽然实现了脑卒中患者的语音输出功能，却使患者受限于四句话的选择之中，并没有实现患者语言意图完全自由地表达，不能让失语的脑卒中患者同正常人一样表达更多的语言信息。因此本团队今后的研究方向为将语音交流系统与基于脑机接口的文字输入系统相结合，构建一种患者可以利用BCI系统自主表达自己想法的语音交流看护系统，避免患者因失语而产成的抑郁情绪，让患者看到希望，提高患者治疗和生活的质量。随着本研究的不断改进和完善，今后在帮助脑卒中失语患者语音交流方面会发挥越来越大的作用。