视觉ERP脑机接口中实验范式的研究进展

马 征 邱天爽

(大连理工大学生物医学工程系，辽宁 大连 116024)

视觉ERP脑机接口中实验范式的研究进展

马 征 邱天爽*

(大连理工大学生物医学工程系，辽宁 大连 116024)

脑机接口是一种通过建立人脑与周围环境之间的连接通路来实现人脑对外部设备直接控制的技术。实验范式是获取脑机接口所用特征的技术手段，是脑机接口研究的一个重要方面。视觉事件相关电位(ERP)脑机接口技术利用了基于视觉刺激的实验范式中所诱发的ERP信号的特征，是当前脑机接口研究的一个主要分支。近年来，与视觉ERP脑机接口的实验范式有关的研究成果大量涌现，使脑机接口性能得到显著提高。目前，除在范式参数、刺激呈现样式、刺激类型等传统要素方面开展的深入研究外，对于语言模型以及混合脑机接口的研究也日渐增多。总结和回顾近年来视觉ERP脑机接口中实验范式的研究状况，并进一步探讨其中存在的问题与面临的挑战，以及未来可能的研究方向。

脑机接口；事件相关电位；实验范式；知觉效应

引言

脑机接口(brain computer interface, BCI)从人脑活动所伴随的神经电信号中获取信息，建立人与周围环境之间不依赖于外周神经的输出通路，以实现人脑对外部设备的直接控制[1-2]。一些因患肌萎缩性侧索硬化等神经退行性疾病而致运动功能受损的人，或因患闭锁综合症而丧失运动与语言交流能力的人，可以通过脑机接口获得一种控制与交流的途径[3]。近年来，脑机接口的研究已经扩展到神经康复、辅助增强、商业游戏等领域[4-5]。

脑机接口的概念最早由Vidal J教授在1973年提出[6]，但直到最近十几年脑机接口技术才得到广泛的研究和发展。脑机接口研究的核心问题在于如何提高系统性能，并检验其临床有效性。脑机接口的系统性能通常通过识别率和输出速率来衡量[1]。脑机接口研究的内容则主要涉及实验范式、信号处理方法[7-9]、应用[10-12]等3个方面。实验范式研究的重点在于通过新的范式，增强源信号强度，缩短决策时间，并提高系统性能；信号处理方法则用于改善信噪比，寻找更有效的特征，并提高识别率；应用研究的重点是检验脑机接口的适用性与有效性。同时，脑机接口研究也受电极技术、个体差异、伦理问题等因素的影响。

根据所依赖的信号，脑机接口分为基于事件相关电位(event-related potential, ERP)的 BCI[13]，mu/beta BCI[14]，SSVEP BCI[15]等不同类型。ERP BCI又分别基于视觉刺激[16]、听觉刺激[17]、触觉刺激[18]等不同模态，而被区分为不同的类别。目前，大多数ERP BCI研究都是以Farwell和Donchin所提出的P300拼写器[16, 19]为原型开展的，因此在一些文献中也被称为P300 BCI。P300拼写器通过检测与被关注字符关联的靶刺激所诱发的P300成分，达到字符输出的目的。最近的研究表明，除P300 成分外，N1、N2、P2 等其他ERP成分也对ERP BCI的识别率产生重要贡献[13, 20]。

在本文中，笔者主要总结和回顾了近年来基于视觉刺激的ERP BCI(称为“视觉ERP BCI”)在实验范式方面的研究成果。

1 视觉ERP脑机接口

如图1所示，传统的P300拼写器在计算机屏幕上显示一个6行6列的字符矩阵。矩阵中的字符按行/列随机闪烁，每次闪烁形成一个视觉刺激。受试者注视期望输出的字符(称为“靶字符”，对应的刺激称为“靶刺激”)，同时在心中默数其闪烁的次数。这样，靶刺激将以一种较低的概率(为1/6)呈现，从而诱发出P300(或称为P3)电位[21]。当一个刺激序列完成后，通过从记录的脑电信号中检测P300电位特征，推测靶刺激对应的行与列，而它们相交位置的字符被确定为输出字符。图1描述了一个工作在复制拼写(copy-spelling)模式下的 P300 拼写器[22]，而受试者的任务是完成指定字符的拼写。这种经典范式也被称为行列(row/column, RC)范式。

图1 传统的P300拼写器Fig.1 Experimental paradigm of a traditional P300 speller

在ERP BCI中，由于刺激诱发的ERP成分比较微弱，并淹没在自发脑电当中，因此一般需要对靶刺激进行多次重复呈现来增强ERP特征。这也导致了刺激序列长度的增加，影响了系统输出速率。ERP BCI的刺激间隔，即刺激起始异步(stimulus onset asynchrony, SOA)通常在120～300 ms之间。除需要多次重复刺激外，RC 范式下短的刺激间隔及其刺激呈现方式也将导致一些知觉效应的产生，并对系统性能产生影响。3种主要的知觉效应包括：

1)近邻干扰(adjacency interference)[23]。这种知觉效应由分布在靶刺激周围的非靶刺激引起。近邻的非靶刺激吸引了受试者的注意，从而错误地诱发出ERP成分。另外，如果刚好一个靶刺激紧随其后，则由于注意瞬脱现象(attentional blink)[24]，受试者可能无法注意到这个靶刺激，导致对应ERP信号的缺失或衰减。

2)双闪问题(double-flash problem)[25]。在RC范式下，存在两个靶刺激连续闪烁的情况，这时由于刺激间隔较短，受试者可能无法注意到后一个靶刺激。在心理学研究中，这一现象被称为重复知盲(repetition blindness)[24]，并在两个靶刺激的情景区分度增加时被削弱。即使后一个靶刺激诱发了ERP成分，其幅度也将削弱，并与前一个靶刺激所诱发的响应重叠，导致波形的失真[25-26]。

3)不应期效应(refractory effect)[24, 26]。当两个靶刺激的间隔(target-to-target interval, TTI)较短时，对刺激的认知加工尚未恢复到正常水平，致使第二个靶刺激所诱发的P300响应幅度减弱。此效应也被称为TTI效应[27]。研究表明，人脑对靶刺激加工的不应期为500 ms左右[28]。

在视觉ERP BCI实验范式研究中，通常需要考虑降低或消除这些不利的知觉效应。

除知觉效应外，在交互的友好性方面，RC范式也有一些需要考虑的问题。例如，传统RC范式的字符闪烁具有较高的亮度与对比度，以及较快的速率，容易引起使用者的眼睛疲劳或不适[25, 29-31]，并可能使其产生厌烦情绪[32]，而单调的刺激呈现也容易导致使用者失去视觉焦点[33]，致使BCI性能下降。因此，良好的使用体验对于BCI的长期应用十分重要。

2 研究现状

迄今为止，视觉ERP BCI实验范式的研究大多集中在范式参数、刺激呈现样式以及刺激类型3个方面。近年来，对于集成了语言模型的BCI与多模态混合BCI的研究也日渐增多。表1列出了一些主要实验范式的性能参数。

表1 各实验范式性能参数Tab.1 Accuracies and speeds of various BCI paradigms

注：*信息传输速率(information transfer rate, ITR)；其中斜体数据为考虑了错误纠正后的实际比特率(practical bit rate, PBR)

Note:*The values mean the information transfer rate (ITR), except for those represented in italics, which mean the practical bit rate (PBR) considering the error correction operations.

2.1 对范式参数效应的研究

研究表明，刺激矩阵与字符的大小、色彩、亮度以及刺激时间等范式参数，与ERP响应的幅度、潜伏期等测量特征之间，存在着联系。

Allison等最早针对范式参数中物理尺寸的影响展开研究[50]。他们使用不同尺寸的刺激矩阵进行实验，发现大尺寸的刺激矩阵容纳了更多字符，并可诱发出幅度更大的P300成分。然而在后续的研究中，Xu 等并没有在8×8、6×6与 3×3RC范式之间发现显著的性能差异，从而得出了不一致的结论[42]。同时，研究发现字符大小[51]、字符间距[42, 52]等其他参数也对ERP响应的幅度产生影响，而这些参数之间及其与刺激时间间隔(inter-stimulus interval, ISI)之间可能存在某种交互作用[42, 51]，表明最佳性能可能需要在各参数的某种组合下获得。例如，Sellers EW等[51]比较了3×3与 6×6 RC两种BCI在ISI 分别为175和350 ms时的表现，发现在ISI 为175 ms、维数为3×3的条件下可以获得最高的在线识别率，而在ISI为175 ms、维数为6×6的条件下可以获得最高的比特率。

对于色彩效应，有些文献报道了关于字符颜色以及背景颜色的研究[52-54]。Takano等通过将字符由蓝色变为具有更高亮度的绿色来呈现刺激(称为“green/blue范式”)，并与传统的字符由灰色变白色的闪烁方式(称为“white/gray范式”)进行对比，发现字符颜色改变可有效改善BCI性能[53]。随后，他们又通过EEG-fMRI同步记录的实验，观察到green/blue范式与传统white/gray范式拥有不同的大脑活动区域与功能性连接[54]。Salvaris等则研究了白色背景的刺激矩阵，并将其与传统的黑色背景范式进行对比[52]。结果表明，不论是对于支持向量机分类器还是对于Fisher线性判别器，白色背景范式均表现出更好的性能。除色彩效应外，Li等发现更高的亮度对比度也可以提高识别率[55]。

在经典的oddball范式中，一般认为P300幅度受靶刺激呈现概率与ISI大小的影响，并随着靶刺激概率的增加而减小，随着ISI的增加而增大[21]，而类似的规律同样存在于BCI当中[42, 51]。进一步的研究表明，受靶刺激呈现概率与ISI共同制约的TTI实际上决定了BCI中P300的测量特征[27, 56]。P300幅度随着TTI的增加而增加，而其潜伏期则随着TTI的增加而缩短。除此之外，最近研究表明，刺激消隐时间(stimulus-off time)[57]、刺激持续时间(stimulus duration)[55]与刺激速率(stimulus rate)[58-59]同样对P300响应产生影响。

2.2 对刺激呈现样式的研究

刺激呈现样式指刺激呈现的分组方式及其时序。ERP BCI的刺激呈现过程实质上是一个分组呈现的过程，即首先将刺激矩阵中的所有字符分配到不同的分组中，而后对于每次刺激呈现选择其中一个分组的字符进行闪烁。通过制定合适的分组策略，就可以根据各分组的交集唯一确定每个字符。在RC范式中，所有字符按行列方式进行分组，并随机呈现。RC范式易受知觉效应的影响，而目前对刺激呈现样式的研究通常以削弱知觉效应与缩短序列长度为目标。相关研究主要分为两类，一类是关于分组方法的研究，另一类是关于单元范式(single-cell paradigm，SC)的研究。

图2 棋盘格范式。(a)虚拟棋盘格；(b)两个虚拟矩阵；(c)实验范式Fig.2 The checker board paradigm. (a) Virtual checkerboard; (b) Two virtual matrices; (c)The experimental paradigm

分组方法研究中的两个重要改进分别是棋盘格范式(checkerboard paradigm，CB)[25]和组合分组模型[31, 34, 60]。CB范式由Townsend等在2010年提出[25]。它将原始8×9的字符矩阵投射到如图2(a)所示的一个虚拟的棋盘格上，其中落在白格和黑格中的字符分别重新组合成如图2(b)所示的两个虚拟的6×6的字符矩阵，虚拟矩阵中的字符随机排列。当刺激呈现时，这两个虚拟矩阵首先依次按行进行闪烁，再依次按列进行闪烁，最终的刺激呈现范式如图2(c)所示。由于原始矩阵中相邻的字符被分配到不同的虚拟矩阵中，因此它们始终不会同时闪烁，从而降低了近邻干扰。同时，两个虚拟矩阵交替呈现，致使TTI增加(CB范式下TTI至少为6个SOA，而SC下的最小TTI为1个SOA)，从而避免了双闪问题，并削弱了不应期效应。这也提高了靶刺激的辨识度，减缓了使用者的视觉疲劳。CB范式显著提高了BCI 的识别率，但其分组数量由RC范式下的17个增加到了24个，导致刺激序列长度增加，因此并没有显著提高BCI的输出速率。

Jin等以缩短序列长度为目标，将刺激呈现过程描述为一个二项式系数问题，提出了一种C(m，n)模型，其中m为总闪烁次数，n为每个字符选项所需的闪烁次数[31, 60]。根据此模型，仅使用极少的分组即可完成对所有字符的编码。例如，对于8×9 的字符矩阵，仅需9次闪烁、每个字符用3次闪烁标识就足以表达所有的字符(C(9,3)=84)，远低于RC范式下的17次。通过增加闪烁次数m，将得到大量冗余的分组，进而筛选出可以有效避免双闪问题并降低近邻干扰的分组样式。这种分组策略显著提高了ERP BCI的在线性能，但是由于刺激呈现次数的减少，靶刺激呈现概率增加，导致P300幅度的下降。同时，由于靶刺激出现频率加快，容易加重使用者眼睛的疲劳程度。除此之外，在此模型下仍需要对刺激序列进行重复，以增强ERP特征。Townsend等进一步对C(m，n)模型进行扩展，并考虑了重复刺激的情况，提出了广义的组合分组模型[34]；针对8×9的字符矩阵，设计了一种5次闪烁范式(five flash paradigm)，该范式基于C(36,5)模型设计。在寻找最优序列时，首先根据知觉效应设定约束条件，而后通过穷举法，从C(36,5)所代表的所有组合样式中寻找满足这些约束条件的样式，作为新范式的刺激呈现样式。实验结果表明，新范式的识别率与CB范式相差不大，但输出速率却得到了显著提高。他们认为，根据不同受试者的具体情况，有针对性地选择合适的m、n以及特定的约束条件来改善刺激范式，对于患有神经肌肉障碍的病人来说尤其重要。

其他与分组方法相关的研究主要包括自适应长度法[31, 34]、TTI干预法[29]、可变维度法[61]、差错控制编码[59, 62]等。

另外一类刺激呈现样式被称为SC范式。与RC范式按行列闪烁的方式不同，SC范式在每次刺激呈现时仅闪烁一个字符单元。由于SC范式没有进行分组编码，因此其序列长度远远超过RC范式。当字符矩阵变大时，这一问题更为严重。Guger等使用6×6的字符矩阵，对SC范式和RC范式进行了对比研究，发现SC范式下的分类率为82%，显著低于RC范式下的91%[63]。这是因为矩阵较大，致使受试者在SC范式下完成一次字符选择的时间过长，从而产生厌倦情绪，影响了P300特征。然而，SC范式不易受近邻干扰以及双闪问题等的影响，同时相对于RC范式来说更不易引起眼睛不适，因此对于小尺寸的字符矩阵来说具有一定优势，得到了不少学者的关注[33, 35, 42, 63-65]。

研究人员通常使用一种两级的SC范式来缩短刺激序列长度。首先将屏幕上的字符按区域划分为若干没有交集的分组，而后将每个分组看作为一个单元，并以SC方式进行闪烁来确定靶字符所在分组，最后针对被确定的分组再次使用SC范式来最终确定靶字符。Fazel-Rezai等也将这种两级SC范式称为基于区域(region-based)的范式[64-65]。这种范式可以有效避免近邻干扰效应，并在识别率与受试者接受程度上均优于单级的SC范式[35, 65]以及传统的RC范式[64-65]。Xu等在两级SC范式中加入语言预测模型，结果表明新范式在线识别率、输出速率和鲁棒性方面均超出RC范式[42]。除此之外，为提高SC范式的输出速率，Pires等将屏幕分为左右两个区域，并在刺激呈现时使左右区域内的字符交替闪烁，从而提出了一种具有零ISI的侧向单字符范式(lateral single-character paradigm, LSC)[33]。由于屏幕上始终有刺激呈现，因此ISI为零，而SOA则缩短为原来的一半，从而显著提高了输出速率。

值得注意的是，Guger等对大量受试者进行了测试，表明在SC范式下获得较高识别率的受试者所占的比例远低于在RC范式下的比例[63]。因此，相对于传统的RC范式，对于SC范式的适用性还需要进行进一步的测试，包括在病人群体中的测试。

2.3 对刺激类型的研究

Martens等最早尝试在ERP BCI中使用新的刺激类型[26]。他们将叠加在字符上方的矩形方框旋转90°来呈现刺激，并以此提出了基于物体旋转刺激的FLIP范式。实验结果表明，FLIP范式可以有效抑制字符闪烁范式中存在的不应期效应[26, 59]。Hong Bo等提出了一种基于物体移动刺激的范式，通过识别字符下方按钮移动所诱发的N200成分，实现靶字符的检测，并称之为mVEP BCI[36]。相对于字符闪烁范式，mVEP BCI的优点是更不易受对比度和亮度变化的影响。另外，Schaeff 等发现，即使在隐蔽注意条件下，mVEP BCI依然可以获得一定的识别率，因此可以为患有严重眼球移动障碍的病人带来帮助[66]。相对于传统依靠字符闪烁来呈现刺激的范式，尽管基于物体旋转刺激与物体移动刺激的范式分别在抑制不应期效应与亮度对比度影响等方面具有优势，然而却没有带来BCI性能的显著改善。

近年来，有学者使用面孔图像闪烁(face flashing, FF)来代替字符闪烁(character flashing, CF)，并取得了明显的效果[30, 32, 37-39, 67-68]。在刺激呈现时，FF范式将特定的面孔图像覆盖相应的字符，从而诱发出与面孔加工有关的ERP成分，如N170、VPP(vertex positive potential)、N400等，为BCI分类提供了更丰富的特征[68]。Kaufmann等使用名人面孔呈现刺激，与CF范式相比，将一个字符的拼写时间降低了1.8倍[68]。在对BCI失效现象(BCI inefficiency phenomenon)的研究中，某些患有神经退行性疾病的病人无法正常使用传统的P300拼写器，却依然可以在FF范式下表现出稳定的性能[67]。

见到秘书在认真的阅读他的材料，牛皮糖连忙起身告辞，他想趁这个热劲，让秘书好好把材料读完，读进去。他知道有时候秘书的作用比书记本人还大。这时灵机一动，他把带给书记的那只黑鸡婆抓了出来，递给秘书，一脸歉意的说，秘书，对不起，来时只抓到这只鸡婆，就送给你煮汤喝吧，不成敬意，希望你收下。

在目前的文献中，已经报道了熟悉面孔[37]、面部表情变化[32]、面孔翻转[30]、自我面孔[38]、卡通面孔[39]等不同面孔刺激在ERP BCI中的应用，这些新范式均比传统的字符闪烁范式表现出一定优势。熟悉面孔范式[37]使使用者可以更加高效地识别靶刺激，而无需额外的意识加工。面孔表情变化范式[32]使使用者可以识别更加生动的表情变化，从而消除单一面孔刺激引起的疲劳与厌烦情绪，这在其长时间使用BCI的情况下更具优势。在面孔翻转范式[30]中，面孔的相关结构信息缺失，从而提高了认知难度，有利于保持受试者的注意力。在自我面孔范式[38]下，自我呈现可以诱发更大的ERP成分。卡通面孔[39]的优点在于易于创作与修改，并可以得到与真实面孔相近的识别率和速率。

由于不同类型的刺激可能诱发出彼此不同的响应，因此如果在同一范式下集成多种刺激，就可以利用它们之间特征差异进一步提高系统性能。Kaufmann等提出了一种新颖的双刺激范式[40]，将刺激矩阵分为两个区域，并使这两个区域同时分别呈现面孔图像与太极图像刺激，因此刺激序列长度缩短了一倍。通过对这两种不同刺激所诱发的响应进行区分，显著提高了拼写速度。

2.4 对语言模型的研究

在ERP BCI范式中集成语言模型后，就可以根据已完成的历史记录推测待输入字符的可能情况，从而缩小字符查找的范围，也可以通过单词纠错、单词自动补充等来提高拼写效率。目前，相关语言模型的研究主要利用了语言统计信息来降低闪烁次数，并提高输出速率。Jaeyoung等提出了一种基于马尔可夫决策过程的数学模型[41]，通过对此模型增加关于知觉效应的约束，并与一个二元语言模型相结合，避免了可能性较小的行/列闪烁，从而在保证高识别率的同时，显著降低了闪烁次数。Xu 等将统计语言模型集成到一个 3×3 的两级SC范式中，提出了一种两级预测范式(two-level predictive paradigm, TLP)[42]，在线识别率、速率与鲁棒性等方面均比6×6 RC范式有显著提高。Rui等则利用语言模型来预测当前的可能字符，并以此提出了一种可变尺寸的动态编程范式(dynamic programming, DP)，使得在85%的识别率下每个字符的平均输出时间减少了一半[43]。

2.5 对混合BCI的研究

近年来，融合了不同模态下实验范式的混合BCI(hybrid BCI)得到不少学者的关注。混合BCI利用不同范式的优点，达到改善系统性能的目的。例如，SSVEP BCI所基于的SSVEP信号与刺激呈现频率有关，具有明显的频谱特征，而mu/beta BCI所基于的mu/beta节律受想象左/右手运动所调制，具有明显的对侧化特征。这些特征与ERP BCI所基于的ERP特征相比具有显著差异，因此可以通过融合的方式综合利用各自的信息。目前，相关研究包括P300-SSVEP BCIs[44-46, 69]，P300-motor imagery BCIs[70-71]，以及P300-mVEP BCI[47]等。

Xu等将SSVEP范式叠加在P300范式之上，发现了SSVEP节律在ERP电位出现时发生阻断的现象(称为SSVEP-B)[45]，并结合SSVEP-B特征和P300特征提出了并行BCI范式[46]。他们将6×6的字符矩阵划分为上、下、左、右4个大小为3×3的子矩阵，每个子矩阵作为一个独立的P300-SSVEP混合范式并行呈现，从而降低了序列长度，增强了靶刺激特征，获得了较高的输出速率。

另外，也有学者提出了关于视觉焦点追踪与ERP BCI的混合范式。例如， Postelnicu等将字符矩阵分为左右两个区域，并从眼电(electrooculogram，EOG)信号中获取眼动信息来确定受试者所注视的区域，仅闪烁此区域内的字符，从而降低了闪烁次数[48]。与眼动仪等输入设备相比，此范式不需要眼球的精确移动，因此提高了使用者的舒适感。类似地，Jong-Suk 等则利用一个精度更高的Gaze-tracking系统来追踪视觉焦点，并仅对焦点周围 3×3的字符区域进行刺激呈现，得到了高于单独使用两范式时的正确率；但是需要额外佩戴体积较大的Gaze-tracking设备，可能会引起使用者的不适[49]。

3 存在的问题

3.1 个体差异的影响

目前，大部分范式研究对个体差异的影响缺乏充分考虑，这可能是导致某些结论不一致的原因，如前面所述的矩阵尺寸效应不一致的问题。对个体差异的充分认识，有助于研究人员根据个体情况制订出更好的范式方案，包括有针对性的选择范式参数以及刺激序列等，从而总体提高BCI的性能。

3.2 不同范式参数对比与交互效应

目前，研究人员已经针对范式参数进行了大量的研究，并发现多种范式参数影响着ERP响应的测量特征，并最终影响BCI的性能。然而，关于这些参数效应却缺乏横向比较。通过参数间效应的对比与交互分析，既可以明确各种参数的重要程度，也可以揭示它们的相互关系，从而有利于开发更高性能的BCI范式。

3.3 临床评估与长期测试

目前，大部分范式研究均是针对健康受试者进行的。然而，对于患有肌萎缩性侧索硬化(ALS)等疾病的病人来说，由于神经受损，他们的注意力与某些认知功能存在退化现象，同时他们也更易受疲劳与习惯化效应的影响，并导致脑机接口的性能下降，甚至无法工作[67]，因此有必要对新的实验范式进行进一步的临床评估。同时，由于习惯化效应等的影响，脑电信号特征随时间改变，因此实验范式研究也应考虑这种变化，并在长期测试中进行改进。

4 未来的研究方向

未来关于范式的研究可能涉及以下几个方面：

1)研究个体差异影响。根据个体情况，寻找适合的范式参数与刺激呈现样式。

2)研究范式参数对比与交互效应。通过对各参数影响程度的对比与交互分析，寻找对BCI性能提高有显著意义的参数。

3)研究最优刺激呈现样式。刺激序列的长度以及呈现样式可以根据受试者当前的状况进行动态调整，以达到最优的性能。

4)研究新的刺激类型以及多刺激混合范式。尝试新的刺激类型，以得到更多有利的特征；同时，通过对同一模态下不同刺激类型进行混合，增加可用信息的维度，并提高BCI性能。

5)考虑现实环境中各因素的影响，如噪声、光照变化、屏幕抖动、其他物体干扰等。

6)开展针对实验范式的长期测试，并在病人群体中进行评估。

5 结语

实验范式研究通过增强ERP特征、缩短刺激序列长度以及抑制不利的知觉效应来提高脑机接口的识别率与输出速率，是脑机接口研究的一项重要内容。笔者从范式参数效应、刺激呈现样式、刺激类型、语言模型以及混合BCI等几个方面，对视觉ERP BCI中实验范式的研究现状进行了总结和回顾。尽管不少学者针对实验范式进行了大量的改进与创新，并使脑机接口性能得到了显著提高，然而目前脑机接口的输出速率依然很低，对于健康受试者来说仅为每分钟不到10个字符，而对于病患来说更低。同时，当前范式研究仍在个体差异、参数比较、临床评估与长期测试等方面存在一些亟待解决的问题，因此仍需要在进一步的研究中完善和提高。

[1] Wolpaw JR, Birbaumer N, McFarland DJ, et al. Brain-computer interfaces for communication and control[J]. Clinical Neurophysiology, 2002, 113(6): 767-791.

[2] 王行愚, 金晶, 张宇, 等. 脑控:基于脑-机接口的人机融合控制[J]. 自动化学报, 2013, 39(3): 208-221.

[3] 曹艳, 郑筱祥. 植入式脑机接口发展概况[J]. 中国生物医学工程学报, 2014, 33(6): 659-665.

[4] 刘小燮, 毕胜. 脑机接口技术的康复应用及研究进展[J]. 中国康复医学杂志, 2014, 29(10): 982-986.

[5] Zhang Rui, Li Yuanqing. Design and application of multi-model BCI game system[J]. Computer Engineering and Applications, 2012, 48(22): 65-69.

[6] Vidal J. Toward direct brain-computer communication[J]. Annual Reviews in Biophysics and Bioengineering, 1973, 2(1): 157-180.

[7] Aloise F, Schettini F, Arico P, et al. A comparison of classification techniques for a gaze-independent P300-based brain-computer interface[J]. Journal of Neural Engineering, 2012, 9(4): 045012.

[8] Krusienski DJ, Sellers EW, Cabestaing F, et al. A comparison of classification techniques for the P300 speller[J]. Journal of Neural Engineering, 2006, 3(4): 299-305.

[9] 徐宝国, 宋爱国, 费树岷. 在线脑机接口中脑电信号的特征提取与分类方法[J]. 电子学报, 2011, 39(5): 1025-1030.

[10] McCane LM, Heckman SM, McFarland DJ, et al. P300-based brain-computer interface (BCI) event-related potentials (ERPs): People with amyotrophic lateral sclerosis (ALS) vs. age-matched controls[J]. Clinical Neurophysiology, 2015, 126(11):2124-2131.

[11] 孔丽文, 薛召军, 陈龙, 等. 基于虚拟现实环境的脑机接口技术研究进展[J]. 电子测量与仪器学报, 2015, 29(3): 317-327.

[12] 王金甲, 杨成杰. P300脑机接口控制智能家居系统研究[J]. 生物医学工程学杂志, 2014, 31(4): 762-766.

[13] Treder MS, Blankertz B. (C)overt attention and visual speller design in an ERP-based brain-computer interface[J]. Behav Brain Funct, 2010, 6:28.

[14] 刘铁军, 张锐, 徐鹏. 基于运动想象的脑机接口关键技术研究[J]. 中国生物医学工程学报, 2014, 33(6): 644-651.

[15] Gao Shangkai, Wang Yijun, Gao Xiaorong, et al. Visual and auditory brain-computer interfaces[J]. IEEE Transactions on Biomedical Engineering, 2014, 61(5): 1436-1447.

[16] Donchin E, Spencer KM, Wijesinghe R. The mental prosthesis: assessing the speed of a P300-based brain-computer interface[J]. IEEE Transactions on Rehabilitation Engineering, 2000, 8(2): 174-179.

[17] 郭苗苗, 徐桂芝, 王磊, 等. 听觉脑-机接口技术实验范式的研究进展[J]. 中国生物医学工程学报, 2013, 32(5): 613-619.

[18] Rutkowski TM, Mori H. Tactile and bone-conduction auditory brain computer interface for vision and hearing impaired users[J]. Journal of Neuroscience Methods, 2015, 244: 45-51.

[19] Farwell LA, Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials[J]. Electroencephalography and clinical neurophysiology, 1988, 70(6): 510-523.

[20] 马征, 邱天爽. 脑机接口中的一种事件相关电位分离模型[J]. 中国科学:信息科学, 2015, 45(9): 1218-1228.

[21] Polich J. Updating P300: An integrative theory of P3a and P3b[J]. Clinical Neurophysiology, 2007, 118(10): 2128-2148.

[22] Schalk G, McFarland D, Hinterberger T, et al. BCI 2000: a general-purpose brain-computer interface(BCI) system[J]. IEEE Transactions on Biomedical Engineering, 2004, 51(6): 1034-1043.

[23] Fazel-Rezai R. Human error in P300 speller paradigm for brain-computer interface[C]//Proceedings of the 29th Annual International Conference of the IEEE EMBS. New York: IEEE, 2007: 2516-2519.

[24] Salvaris M, Sepulveda F. Perceptual errors in the farwell and donchin matrix speller[C]//Proceedings of the 4th International IEEE EMBS Conference on Neural Engineering. New York: IEEE, 2009: 275-278.

[25] Townsend G, LaPallo BK, Boulay CB, et al. A novel P300-based brain-computer interface stimulus presentation paradigm: Moving beyond rows and columns[J]. Clinical Neurophysiology, 2010, 121(7): 1109-1120.

[26] Martens SMM, Hill NJ, Farquhar J, et al. Overlap and refractory effects in a brain-computer interface speller based on the visual P300 event-related potential[J]. Journal of Neural Engineering, 2009, 6(2): 026003.

[27] Gonsalvez CJ, Polich J. P300 amplitude is determined by target-to-target interval[J]. Psychophysiology, 2002, 39(3): 388-396.

[28] Koivisto M, Revonsuo A. Comparison of event-related potentials in attentional blink and repetition blindness[J]. Brain Research, 2008, 1189: 115-126.

[29] Polprasert C, Kukieattikool P, Demeechai T, et al. New stimulation pattern design to improve P300-based matrix speller performance at high flash rate[J]. Journal of Neural Engineering, 2013, 10(3): 036012.

[30] Zhang Yu, Zhao Qibin, Jin Jing, et al. A novel BCI based on ERP components sensitive to configural processing of human faces[J]. Journal of Neural Engineering, 2012, 9(2): 026018.

[31] Jin Jing, Allison BZ, Sellers EW, et al. An adaptive P300-based control system[J]. Journal of Neural Engineering, 2011, 8(3): 036006.

[32] Jin Jing, Daly I, Zhang Yu, et al. An optimized ERP brain-computer interface based on facial expression changes[J]. Journal of Neural Engineering, 2014, 11(3): 036004.

[33] Pires G, Nunes U, Castelo-Branco M. Comparison of a row-column speller vs. a novel lateral single-character speller: assessment of BCI for severe motor disabled patients[J]. Clinical Neurophysiology, 2012, 123(6): 1168-1181.

[34] Townsend G, Shanahan J, Ryan DB, et al. A general P300 brain-computer interface presentation paradigm based on performance guided constraints[J]. Neuroscience Letters, 2012, 531(2): 63-68.

[35] Pan Jiahui, Li Yuanqing, Gu Zhenghui, et al. A comparison study of two P300 speller paradigms for brain-computer interface[J]. Cognitive Neurodynamics, 2013, 7(6): 523-529.

[36] Hong Bo, Guo Fei, Liu Tao, et al. N200-speller using motion-onset visual response[J]. Clinical Neurophysiology, 2009, 120(9): 1658-1666.

[37] Jin Jing, Allison BZ, Zhang Yu, et al. An ERP-based BCI using an oddball paradigm with different faces and reduced errors in critical functions[J]. Int J Neural Syst, 2014, 24(8): 1450027.

[38] Yeom SK, Fazli S, Muller KR, et al. An efficient ERP-based brain-computer interface using random set presentation and face familiarity[J]. Plos One, 2014, 9(11): e111157.

[39] Chen Long, Jin Jing, Zhang Yu, et al. A survey of the dummy face and human face stimuli used in BCI paradigm[J]. J Neurosci Methods, 2015, 239: 18-27.

[40] Kaufmann T, Kubler A. Beyond maximum speed-a novel two-stimulus paradigm for brain-computer interfaces based on event-related potentials (P300-BCI)[J]. Journal of Neural Engineering, 2014, 11(5): 056004.

[41] Jaeyoung P, Kee-Eung K. A POMDP approach to optimizing P300 speller BCI paradigm[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2012, 20(4): 584-594.

[42] Xu Yaming, Nakajima Y. A Two-Level Predictive Event-Related Potential-Based Brain-Computer Interface[J]. IEEE Transactions on Biomedical Engineering, 2013, 60(10): 2839-2847.

[43] Rui M, Aghasadeghi N, Jarzebowski J, et al. A stochastic control approach to optimally designing hierarchical flash sets in P300 communication prostheses[J]. IEEE transactions on neural systems and rehabilitation engineering, 2012, 20(1): 102-112.

[44] Wang Minjue, Daly I, Allison BZ, et al. A new hybrid BCI paradigm based on P300 and SSVEP[J]. Journal of Neuroscience Methods, 2015, 244: 16-25.

[45] Xu Minpeng, Qi Hongzhi, Wan Baikun, et al. A hybrid BCI speller paradigm combining P300 potential and the SSVEP blocking feature[J]. Journal of Neural Engineering, 2013, 10(2): 026001.

[46] Xu Minpeng, Chen Long, Zhang Lixin, et al. A visual parallel-BCI speller based on the time-frequency coding strategy[J]. J Neural Eng, 2014, 11(2): 026014.

[47] Jin Jing, Allison BZ, Wang Xingyu, et al. A combined brain-computer interface based on P300 potentials and motion-onset visual evoked potentials[J]. Journal of Neuroscience Methods, 2012, 205(2): 265-276.

[48] Postelnicu CC, Talaba D. P300-based brain-neuronal computer interaction for spelling applications[J]. IEEE Transactions on Biomedical Engineering, 2013, 60(2): 534-543.

[49] Jong-Suk C, Jae Won B, Kang Ryoung P, et al. Enhanced perception of user intention by combining EEG and gaze-tracking for brain-computer interfaces (BCIs)[J]. Sensors, 2013, 13(3): 3454-3472.

[50] Allison BZ, Pineda JA. ERPs evoked by different matrix sizes: implications for a brain computer interface (BCI) system[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003, 11(2): 110-113.

[51] Sellers EW, Krusienski DJ, McFarland DJ, et al. A P300 event-related potential brain-computer interface (BCI): The effects of matrix size and inter stimulus interval on performance[J]. Biol Psychol, 2006, 73(3): 242-252.

[52] Salvaris M, Sepulveda F. Visual modifications on the P300 speller BCI paradigm[J]. Journal of Neural Engineering, 2009, 6(4): 046011.

[53] Takano K, Komatsu T, Hata N, et al. Visual stimuli for the P300 brain-computer interface: a comparison of white/gray and green/blue flicker matrices[J]. Clinical Neurophysiology, 2009, 120(8): 1562-1566.

[54] Ikegami S, Takano K, Wada M, et al. Effect of the green/blue flicker matrix for P300-based brain-computer interface: an EEG-fMRI study[J]. Frontiers in Neurology, 2012, 3: 113.

[55] Li Yueqing, Bahn S, Nam CS, et al. Effects of luminosity contrast and stimulus duration on user performance and preference in a P300-based brain-computer interface[J]. International Journal of Human-Computer Interaction, 2014, 30(2): 151-163.

[56] Citi L, Poli R, Cinel C. Documenting, modelling and exploiting P300 amplitude changes due to variable target delays in Donchin's speller[J]. Journal of Neural Engineering, 2010, 7(5): 056006.

[57] Lu J, Speier W, Hu Xiao, et al. The effects of stimulus timing features on P300 speller performance[J]. Clinical Neurophysiology, 2013, 124(2): 306-314.

[58] McFarland DJ, Sarnacki WA, Townsend G, et al. The P300-based brain-computer interface (BCI): effects of stimulus rate[J]. Clinical Neurophysiology, 2011, 122(4): 731-737.

[59] Geuze J, Farquhar JDR, Desain P. Dense codes at high speeds: varying stimulus properties to improve visual speller performance[J]. Journal of Neural Engineering, 2012, 9(1): 016009.

[60] Jin Jing, Allison BZ, Sellers EW, et al. Optimized stimulus presentation patterns for an event-related potential EEG-based brain-computer interface[J]. Med Biol Eng Comput, 2011, 49(2): 181-191.

[61] Zhou Zongtan, Yin Erwei, Liu Yang, et al. A novel task-oriented optimal design for P300-based brain-computer interfaces[J]. J Neural Eng, 2014, 11(5): 056003.

[62] Hill J, Farquhar J, Martens S, et al. Effects of stimulus type and of error-correcting code design on BCI speller performance[C] //Koller D, Schuurmans D, Bengio Y, Bottou L. Advances in Neural Information Processing Systems 21 (NIPS 2008). 2009:1-8.

[63] Guger C, Daban S, Sellers E, et al. How many people are able to control a P300-based brain-computer interface (BCI)?[J]. Neuroscience Letters, 2009, 462(1): 94-98.

[64] Fazel-Rezai R, Abhari K. A Comparison between a Matrix-based and a Region-based P300 Speller Paradigms for Brain-Computer Interface[C]//The 30th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. New York: IEEE, 2008: 1147-1150.

[65] Fazel-Rezai R, Gavett S, Ahmad W, et al. A comparison among several P300 brain-computer interface speller paradigms[J]. Clinical EEG and Neuroscience, 2011, 42(4): 209-213.

[66] Schaeff S, Treder MS, Venthur B, et al. Exploring motion VEPs for gaze-independent communication[J]. Journal of Neural Engineering, 2012, 9(4): 045006.

[67] Kaufmann T, Schulz SM, Koeblitz A, et al. Face stimuli effectively prevent brain-computer interface inefficiency in patients with neurodegenerative disease[J]. Clinical Neurophysiology, 2013, 124(5): 893-900.

[68] Kaufmann T, Schulz SM, Gruenzinger C, et al. Flashing characters with famous faces improves ERP-based brain-computer interface performance[J]. Journal of Neural Engineering, 2011, 8(5): 056016.

[69] 许敏鹏, 张力新, 明东, 等. 基于SSVEP阻断与P300特征的混合范式脑-机接口[J]. 电子学报, 2013, 41(11): 2247-2251.

[70] Naito G, Yoshida L, Numata T, et al. Simultaneous Classification of Multiple Motor Imagery and P300 for Increase in Output Information of Brain-Computer Interface[J]. Electronics and Communications in Japan, 2014, 98(1): 47-54.

[71] Wang Hongtao, Li Yuanqing, Long Jinyi, et al. An asynchronous wheelchair control by hybrid EEG-EOG brain-computer interface[J]. Cogn Neurodyn, 2014, 8(5): 399-409.

A Review of Experimental Paradigms in Visual Event-Related Potential-Based Brain Computer Interfaces

Ma Zheng Qiu Tianshuang*

(DepartmentofBiomedicalEngineering,DalianUniversityofTechnology,Dalian116024,Liaoning,China)

A brain computer interface (BCI) makes a pathway between the human brain and the ambient environment, making it possible to control external devices directly by brain. The experimental paradigm is an important aspect for the BCI research, through which the brain signal features required for the classification of the BCI are elicited. In recent years, numerous studies on experimental paradigms have been carried out to improve the performance of BCI. This article reviewed the current status of studies on experimental paradigms of the visual event-related potential based BCI, including paradigm configuration, pattern of stimulus presentation, stimulus type, language model, and hybrid BCI. The challenges and future directions were discussed as well.

brain computer interface; event-related potential; experimental paradigm; perceptual effects

10.3969/j.issn.0258-8021. 2016. 01.012

2015-10-09， 录用日期:2015-11-27

国家自然科学基金(81241059, 61172108, 61139001)；国家科技支撑计划项目( 2012BAJ18B06)

R318

A

0258-8021(2016) 01-0096-09

*通信作者(Corresponding author)， E-mail:qiutsh@dlut.edu.cn