基于P300的交互式字符输入脑机接口系统

黄育娇，顾正晖

（华南理工大学自动化科学与工程学院，广东广州510640）

0 引 言

脑机接口（brain－computer interface，BCI），是一种不依赖于人脑正常输出通道的脑机通讯系统，是一种新的人机接口方式，其定义请参见文献［1，2］。由于脑机接口系统能够不依赖于肌肉而直接控制外部设备，因而得到了世界上许多国家的关注，并在医疗、航空、军事、生活娱乐等多个领域具有潜在应用价值。进入20世纪以来，虽然脑机接口技术的发展十分迅速，但当前该领域还基本处于实验室研究阶段，未走向大规模的商业应用，而且其大量的测试均在正常人中进行。脑机接口系统的实际应用还需要面对很多问题［3］，如提高信息传输率和字符识别的准确率等等。

脑机接口系统有很多种，基于P300的字符输入系统是目前最常用的脑机接口系统之一。在基于P300的字符输入脑机接口研究中，很多学者强调通过信号处理以及分类技术的改善来提高字符拼写系统的总体性能［4］（包括字符拼写的准确率与速率等），而改变系统的刺激模式往往容易被人们所忽视。目前，大部分对刺激模式的研究集中于矩阵大小［5］、刺激呈现方式（行列闪烁、单个字符闪烁等）［6，7］、背景颜色［8］、内部刺激间隔［9］等等。与上述方法不同的是，本文设计了一种交互式字符拼写系统，采用改变亮度的视觉刺激模式，利用带通滤波器对采集到的信号进行滤波，经下采样后采用Bayes分类器进行分类。实验结果表明，该系统能有效提高P300字符拼写系统的性能，为脑机接口的实际运用奠定了基础。

1 实验方案的提出

现有P300字符输入脑机接口系统中字符闪烁亮度是固定不变的。本文设计了一种交互式的字符输入系统，根据受试者脑电信号特征，改变字符闪烁的亮度，该亮度变化作为一种实时信息反馈给受试者，以达到交互的目的。本方案的提出具体基于以下几点:视/听觉刺激强度增加会提高P300波峰的幅度并减小其延迟，其详细说明请参见文献［10，11］，这是本方案设计的依据；根据受试者的实时脑电特征，计算界面矩阵中各个字符属于目标字符的概率，通过减小此概率较低字符的亮度，同时增大此概率较高字符的亮度，以达到更好区分目标字符与非目标字符的目的，从而获取更有利于分类的脑信号，这是本方案设计的基础；在线测试时，字符亮度的改变可以及时回馈给受试者有用的信息，给受试者一个心理暗示，这是本方案设计的关键。

2 实验方法

2.1 实验准备

实验设备:32通道的电极帽用于采集脑电信号、64通道的NeuroScan放大器用于放大采集到的脑电信号，Scan4.5软件用于获取数据。界面布局:4x10字符矩阵（26个英文字母，0－9共10个数字，4个标点符号）。实验中总共有8名受试者，年龄在20－25岁之间，视力正常或经矫正为正常。实验前，受试者已经被告知实验过程以及相关注意事项。为减少外界因素对受试者的干扰，整个实验过程中受试者在安静的环境下，坐在离电脑屏幕70cm左右的舒适的椅子上并始终注视着屏幕。

2.2 实验过程

传统的P300字符拼写实验范式最早是由Farwell和Donchin在1988年提出［12］，该范式由一个6x6矩阵组成，刺激的产生是通过随机地加亮字符矩阵的某一行或某一列，一次实验循环是6行及6列均加亮一次。与传统的行列闪烁模式不同，本实验采用单字符闪烁模式，在每个时刻只有一个字符闪烁，一次实验循环是界面上40个字符各闪烁一次。一个字符闪烁一次称为一个epoch，界面上40个字符各闪烁一次称为一个round。实验可分为两个过程，即训练过程与在线测试过程。

2.2.1 训练过程

训练过程总共有40个目标字符，并始终以相同的最高亮度（255）闪烁。界面上每个字符闪烁一次持续时间为100ms，字符与字符之间的闪烁间隔为30ms。对于一个目标字符而言，界面上的每一个字符将闪烁10次，即10个round，由于从提示字符到开始闪烁的准备时间为3s、相邻两个目标字符之间的休息时间也为3s，故一个目标字符闪烁所需总时间为17.8s左右，整个训练过程约12分钟。通过对训练数据进行离线分析，从而得到受试者的模型，该模型为在线测试打下了基础。

2.2.2 在线测试过程

在线测试分为两种情况:不变亮度闪烁和改变亮度闪烁，并采用异步输出方式。为了简单起见，在线测试时采用矩阵的前两行20个字符（A－T）作为目标字符。当有字符输出时，不论输出的字符是否正确，受试者开始注视下一个目标字符。在线测试时对于每一个目标字符来说，实验设计为最少3个round输出，最多8个round输出。当实验闪烁3个round后，如果达到阈值（在对一个数据进行分类时，利用Bayes分类器计算该数据属于各不同类别的概率，概率最大的和次大的差值）0.2时，则输出结果，否则继续闪烁，直到达到阈值为止。闪烁8个round后，不管是否达到阈值，都将输出结果（该结果为成为目标字符概率最大的字符）。

在不变亮度闪烁的情况下，界面上的每个字符始终以同一亮度150闪烁。

在改变亮度闪烁的情况下，闪烁的前3个round，字符始终以同一亮度150闪烁。此时如果没有字符输出，则闪烁第4个round时，成为目标字符概率比较大的前10个字符（利用Bayes分类器进行分类时，所得概率比较大的前10个字符）的亮度将加强到255，概率比较小的15个字符亮度将减弱到100，其余的字符亮度保持150不变。当闪烁第5个round时，概率比较大的前7个字符亮度为255，比较小的25个字符亮度为70，其他的保持不变。超过5个round后，概率较大的前4个字符亮度为150，比较小的30个字符亮度为70，其他的亮度均为150。改变亮度的字符闪烁界面如图1所示。

图1 改变亮度的字符闪烁界面

其中，字符E亮度加强至255，字符A亮度保持不变为150，字符7亮度减弱至70

2.3 数据处理

实验数据的处理主要包括预处理、特征提取、分类等过程。

2.3.1 预处理

脑电信号是一种非平稳信号，且幅值一般较小，信噪比较低。目前研究者认为的人类脑电活动的频率变化范围在0.5到30HZ之间［10］，所以我们可以采取一种0到30HZ左右带通滤波来实现脑电波的去噪。对于从Scan4.5软件采集到的数据，本实验采用0.1HZ－25HZ的带通滤波器进行滤波，去除一些不必要的成分，如50HZ工频干扰、心电、肌电、眼电等等。由于P300信号发生在刺激发生后300ms左右，故提取每个epoch的100ms－500ms的数据进行分析。系统的采样率为250，为了减小存储量提高数据运算速率，根据香农采样定律，在保证采集到的信号能够恢复原波形的情况下，采用6倍下采样率以降低数据的维数。因此，对于每一个epoch，总共有250＊（0.5－0.1）/6≈17个数据点。

2.3.2 特征提取

提取出最有利于区别不同类信号的特征是提高实验性能关键的一个环节。特征的好与坏，直接影响到实验最终的结果。由于脑电信号是随机产生的，非P300信号经过多次叠加后会产生正负相消的现象，而同一个人的P300信号的波形在一次实验中是比较稳定，经过叠加后会更加明显。进一步分析时，需将属于同一目标字符的所有round的数据进行叠加，然后除以round的总数，从而达到增加信噪比的目的。众所周知，P300是由视觉诱发的脑电信号，而视觉的产生主要集中在枕叶区，故通道选择为电极帽水平方向的后两排以及垂直方向的中间一排，这样既可以减少实验打胶时间，也可以减少数据量。实验通道的选择如图2所示。

实验中总共有12个通道，每个通道的数据点为17，故每个epoch的数据点为17＊12＝204，在线测试的目标字符数为20，矩阵大小为4x10，因此，在线测试的特征向量为800＊204。

2.3.3 分类

分类器的选择是本文必须要解决的一个重要问题。由于不同的测试者，同一算法的识别率差别较大，如何找到一种通用的算法也是本文研究的一个方面。

支持向量机（support vector machine，SVM）通过低维空间向高维空间的映射，能够把非线性问题转化为线性问题来处理，因而得到了广泛的应用。贝叶斯决策理论方法是统计模型决策中的一个基本方法。Bayes分类器能够在信息不完全的情况下，对部分未知的状态用主观概率估计其先验信息，然后用贝叶斯公式对发生的概率进行修正，最后利用期望值和修正概率做出最优决策。

本文采用了Bayes和SVM两种分类器，并对两种分类器的性能进行了比较。根据以往经验，Bayes分类器采用线性判别函数［13］，SVM分类器的参数设置为:SVM类型为v－支持向量回归（v－SVR），核函数为线性核函数，核函数中的gamma值为0.00154，其它参数设置为默认值。准确率的计算是在训练集数据上采用4重交叉验证得到，如图3所示。

图3 Bayes与SVM的分类效果的比较

图3中，横坐标表示的是一个目标字符闪烁中round的次数（共10次），纵坐标表示的是利用分类器对前n个round的数据进行分类所得到的准确率。实线表示的是SVM分类器的结果，虚线表示的是Bayes分类器的结果。

从图3中可以看出，闪烁3个round后，Bayes分类器的准确率达到了80%，而SVM为63%左右。从第4个round开始，Bayes的准确率就达到了90%，而SVM一直到第9个round才超过90%。实验表明，在该实验中Bayes分类器具有更好的分类效果。

3 结果与讨论

3.1 实验准确率

对于每一个受试者，在线测试时，输入20个目标字符所需要的时间以及准确率见表1。

表1 受试者的时间及准确率对比

表1中，“/”前表示的是在线测试20个字符（A－T）所需时间，“/”后表示在线测试20个字符的准确率。

从表1中数据可以看出，通过改变字符闪烁的亮度，平均准确率由85.63%上升到93.13%，平均用时由原来的3.15min减少到3.04min。总的来说，字符输出的准确率得到了提高，并且字符输出的速率也有所改善。但对于个别受试者，如:Subject6其效果不是很明显，原因在于本设计改变字符闪烁的亮度是从第4个round开始的，对于一些P300信号较好的人来说，大多数都是在闪烁3－4个round输出，这时字符亮度还没来得及改变就已经输出了，相当于亮度不变的系统。对于大多数受试者，从表中数据可以看出，改变亮度的刺激模式能够提高该交互式系统的总体性能。

3.2 讨论

在线测试时，当闪烁3个round后，我们根据经验设置亮度加强的字符个数依次为10、7、4，亮度减弱的字符个数依次为15、25、30。经过多次实验证明，该做法基本上能够保证亮度加强的字符中包含目标字符，亮度减弱的字符中没有目标字符。

在改变亮度闪烁的刺激模式下，除亮度改变的字符个数可调之外，亮度的改变值也是可调的。由于每个目标字符的前几个round的数据受受试者的状态影响很大，经分类器分类后，亮度减弱的字符（即分类结果中概率较小的字符）中包含有目标字符的概率较大。若目标字符亮度过低，即刺激过小，即使受试者正确注视目标字符，短期内也无法将目标字符正确输出。为了避免目标字符因亮度过低而无法正确输出的情况，闪烁3个round后，若此时没有输出，则成为目标字符概率较小的字符在第4个round中的亮度不应降低过多，本文中降低至100。闪烁4个round后，获取的数据相对来说比较稳定，经分类后亮度减弱的字符中包含有目标字符的概率明显降低，此时可以将概率较小的字符的亮度进一步降低，本文亮度降低至70。超过5个round后，获取的数据已经很稳定，可以考虑将概率较小的字符的亮度继续降低，但由于本文中概率较大的字符亮度为255，较小的为70，此时已经能够很好的区分目标字符与非目标字符，故超过5个round后，概率较小的字符亮度始终保持70不变。本文中，概率较大的字符亮度始终保持255，有利于尽快的输出目标字符。

与不变亮度的系统相比，在各方面条件同等的情况下，根据受试者脑电信号实时改变字符亮度，可以及时回馈给受试者有用的信息。如果字符闪烁的亮度加强，表明受试者正确注视目标字符并能够被系统成功检测，继续保持就有可能尽快正确输出目标字符；如果字符的亮度减弱，则提醒受试者需要更加集中注意力，因而达到实时交互的目的，进而能够提高字符拼写准确率与速率。

4 结束语

在对采集到的数据进行分析与处理后，我们可以看出，通过改变字符闪烁的亮度，该交互式系统能够获取更有利于分类的脑电信号，从而减小了正确识别字符所需要的刺激序列数，不仅提高了字符拼写的速率同时也提高了字符拼写的准确率，为脑机接口系统的实际运用打下了基础。

本文需要进一步探索的问题:由于改变字符闪烁的亮度是从第4个round开始的，对于P300信号较好的人来说，如果基本上都是在3－4个round左右输出字符，则该系统影响不大。但若是从第3个round开始改变亮度，由于前2个round受测试者的状态影响很大，容易发生分类错误，因而导致系统的准确率降低。兼顾字符输入的速率和稳定性，针对不同受试者及其不同状态设计通用的系统，是下一个我们需要解决的问题。

［1］Birbaumer N.Breaking the silence:Brain－computer interfaces for communication and motor control［J］.Psychophysiology，2006，43（6）:517－532.

［2］Piccione F，Giorgi F，Palmas G，et al.P300－based brain computer interface:Reliability and performance in healthy and paralyzed participants［J］.Clinical Neurophysiology，2006，117（3）:531－537.

［3］WU Yazhou，WU Baoming，HE Qinghua.Actual research on brain－computer interface system based on electroencephalography［J］.Chinese Journal of Clinical Rehabilitation，2006，10（1）:148（in Chinese）.［伍亚舟，吴宝明，何庆华.基于脑电的脑－机接口系统研究现状［J］.中国临床康复，2006，10（1）:148.］

［4］Blankertz B，Lemm S，Treder M，et al.Single－trial analysis and classification of ERP components－a tutorial［J］.NeuroImage，2011，56（2）:814－25.

［5］Sellers E W，Krusienski D J，McFarland D J，et al.A P300 event－related potential brain－computer interface（BCI）:The effects of matrix size and inter stimulus interval on performance［J］.Biological psychology，2006，73（3）:242－252.

［6］Fazel－Rezai R，Allison B Z，Guger C，et al.P300 brain computer interface:Current challenges and emerging trends［J］.Front Neuroengineering，2012（5）:3－14.

［7］Pan J H，Li Y Q，Yu T Y，et al.A comparison of P300－speller stimuli presentation paradigms for brain－computer interface［C］//APSIPA ASC，2011.

［8］Takano K，Komatsu T，Hata N，et al.Visual stimuli for the P300 brain－computer interface:A comparison of white/gray and green/blue flicker matrices［J］.Clinical Neurophysiology，2009，120（8）:1562－1569.

［9］Mitsis G D，Iannetti G D.Assessment of nonlinear interactions in event－related potentials（ERPs）elicited by stimuli presented at short inter－stimulus intervals［C］//Proceedings of IEEE Engineering in Medicine and Biology Society，2010:4824－4837.

［10］Gonsalvez C J，Barry R J，Rushby J A，et al.Target－to－target interval，intensity and P300 from an auditory single－stimulus task［J］.Psychophysiology，2007，44（2）:245－250.

［11］MA Zhongwei，GAO Shangkai.P300－based brain－computer interface:Effect of stimulus intensity on performance［J］.Journal of Tsinghua University，2008，48（3）:2903－2906（in Chinese）.［马忠伟，高上凯.基于P300的脑－机接口:视觉刺激强度对性能的影响［J］.清华大学学报，2008，48（3）:2903－2906.］

［12］Fazel－Rezai R，and Abhari K.A region－based P300 speller for brain－computer interface［J］.Canadian Journal，Electrical and Computer Engineering，2009，34（3）:81－85.

［13］Hoffmann U，Vesin J M，Ebrahimi T，et al.An efficient P300－based brain－computer interface for disabled subjects［J］.Journal of Neuroscience methods，2008，167（1）:115－125.