尧俊瑜,邬长杰
(西华大学计算机与软件工程学院,成都610039)
嵌入式脑机接口系统设计
尧俊瑜,邬长杰
(西华大学计算机与软件工程学院,成都610039)
根据运动起始视觉诱发电位(mVEP)的信号特征,设计一套基于mVEP的实用化在线嵌入式脑-机接口(BCI)系统。该系统可以提取出相关脑电信号,解码识别,转换为对应的控制指令,从而建立起大脑和设备之间的通信,实现人机交互。
所谓脑-机接口是指不依赖大脑的正常输出通路(即外周神经系统和肌肉组织)就可以实现人脑和计算机或其他电子设备直接通信[1]。脑-机接口系统可用于可穿戴设备开发、娱乐设备开发、残疾人辅助设备开发等应用中,特别是在运动辅助上具有重要的应用潜力。
目前国内外所研究的脑机接口主要是基于神经元的放电活动。目前常用于脑机接口的诱发脑电信号有稳态视觉诱发电位(Steady-State Visual Evoked Poten⁃tial,SSVEP)、P300电位以及运动起始视觉诱发电位(motion-onset Visual Evoked Potential,mVEP)等。在所有与运动相关的视觉诱发电位中,mVEP拥有最小的被试间差异和被试内差异以及最大的幅度[2],所以本文采用运动起始视觉诱发电位作为脑机接口的输入信号。在研的脑-机接口系统大多数是基于PC平台的,PC体积较大,便携性差,这给脑-机接口系统的应用带来一定的影响。本文研究设计一套基于mVEP脑电信号的嵌入式脑机接口系统,通过8名受试者对该系统分别进行测试。测试结果表明该系统能准确采集并识别到脑电信号,然后准确发出控制指令,验证了该系统的稳定性与可行性。
本文所设计的mVEP-BCI由刺激模块、信号采集模块、特征提取模块、模式识别模块以及控制输出模块组成,系统框架图如图1所示。脑电放大器采集脑电信号,通过蓝牙将数据发送给处理器,经过特征提取和模式识别后解析出被试意图,然后用于对外围设备的控制,并反馈给被试。
图1 系统框架图
主要由两个部分组成,一是信号采集部分,另一部分是信号处理部分。具体如下:
信号采集部分如图2所示:脑电放大器的主控为STM32,负责脑电信号的采集,将脑电信号经过AD转换后,通过蓝牙发送到开发板。嵌入式硬件部分采用Ti⁃ny6410开发板,Tiny6410是一款以ARM11芯片(三星S3C6410)作为主处理器的嵌入式核心板,内部集成了强大的多媒体处理单元,因而拥有比较高的图像处理能力。并配有一块7寸的LCD触控屏用于实时显示。
(1)嵌入式系统搭建
在本文中,嵌入式硬件部分使用的友善之臂Ti⁃ny6410开发板,友善之臂公司提供配套的BootLoad⁃er--Superboot-6410,所以,这里不再重新制作。在本文中,嵌入式Linux操作系统如图3所示,搭建系统主要包括Linux内核的裁剪、文件系统的制作、QT库的移植三个部分。
图2 系统硬件框图
图3 嵌入式Linux系统框架
(2)应用系统设计
应用系统主要包括刺激模块、征提取模块、模式识别模块以及控制输出模块,系统采用多线程编程的方式。将按照图4的方式进行数据处理。首先对采集的脑电数据进行预处理,包括滤波和特征提取。由于线性分类器(LDA)的高效率和易实现的特征,我们选择LDA作为分类器。线性判别函数可以表达为:
其中,X代表特征向量,y(X)是特征相关的标签,w是加权向量,w0是偏置项。由于X和y(X)已知,和可由最小二乘法估算得出[3]。得到的LDA的参数将用于在线测试中区分目标和非目标。将数据用LDA分类器训练出分类模型,然后在实时测试中用所得到的分类器进行识别。
为了测试本系统数据采集程序的运行状况,我们将脑电放大器的数据采集端口接上心电模拟器,运行波形显示程序,从图5中可知,界面显示的心电信号与输入的信号相符,由此可得,本文编写程序能够正常读取脑电放大器的数据,波形显示程序能够正常显示波形。
为了验证本系统的运动起始刺激界面的刺激效果以及脑电放大器的性能,我们随机选取了的4名被试来进行运动起始视觉刺激实验,采集mVEP信号。由于mVEP信号比较微弱,会淹没在自发脑电中3。为了提高mVEP信号的信噪比,我们将50次运动起始刺激对应的脑电信号进行叠加平均,然后将叠加平均后的目标刺激和非目标刺激对应的mVEP信号一起绘制于坐标轴中。最后的实验结果如图6所示,其中红色实线表示由目标刺诱发的mVEP信号,蓝色虚线表示由非目标刺激诱发的mVEP信号,从图中可以看出,目标刺激诱发出来的mVEP信号具有比较明显的N2成分和P2成分,其和非目标刺激诱发的mVEP信号具有比较大的区别,由此可以得出本系统的运动起始刺激界面具有比较好的刺激效果,本系统的脑电放大器能采集到mVEP信号。
为了验证本嵌入式脑机接口系统的实际控制效果,选取了8名被试进行脑机接口实验。实验要求被试根据主试的指示执行60次控制任务(上下左右各15次),控制刺激界面如图7所示,被试控制中间区域的蓝色方块上下左右移动,并将控制结果记录下来,待60次控制任务完成后,得出任务准确输出的次数,最后计算出控制的准确率。如表1所示,由于被试间差异,被试控制命令执行的准确率最低为78.3%,最高为90.0%,平均准确率为85.2%,该嵌入式脑机接口系统具有较好的控制效果。
图6 mVEP信号图
脑机接口的发展越来越火热,应用前景广泛。但是,目前在研的BCI系统大多依赖于基于PC平台,PC体积较大,便携性差,这就给脑机接口的实际应用带来了一定的限制。基于此,本文在经过大量调研后,研究设计了一种基于嵌入式脑机接口系统,并对整个系统整体性能进行了测试,测试结果表明该脑机接口系统能实现基本的控制任务,满足基本的应用需求。
图7 控制刺激界面图
表1 嵌入式脑机接口系统测试结果
[1]陈瑞.基于mVEP的脑-机接口关键技术研究[D].成都:电子科技大学,1-26.
[2]刘涛.基于运动起始视觉响应的在线实用化脑-机接口[D].北京:清华大学,2010:1-10.
[3]雷旭,尧德中.同步脑电-功能磁共振(EEG-fMRI)原理与技术[M].科学出版社,2014:16-26.
尧俊瑜(1993-),男,重庆人,硕士,研究方向为计算机科学与技术
2017-06-06
2017-10-10
BCI;mVEP;Embedded
Design of Brain-Computer Interface Based on Embedded System
YAO Jun-yu,WU Chang-jie
(College of Computer and Software Engineering,Xihua University,Chengdu 610039)
Based on the signal characteristics of motion-onset visual evoked potential(mVEP),realizes a practical online embedded Brain-computer interface(BCI)system based on mVEP,designs a BCI system which is based on embedded processor.The system can extract the relevant EEG signal,decoding identification,conversion to the corresponding control instructions,thus establishing the communication between the brain and the device to achieve human-computer interaction.
脑-机接口系统;运动起始视觉诱发电位;嵌入式
1007-1423(2017)29-0082-03
10.3969/j.issn.1007-1423.2017.29.020