脑机接口技术及其应用研究进展

雷煜

（军事医学研究院军事认知与脑科学研究所，北京 100850）

脑机接口（brain-computer interface，BCI）是一种实现人脑和计算机或其他设备之间通信的系统。BCI系统通过在人脑和计算机之间建立直接的信息传输通道，实现大脑与外部世界的直接交互。BCI的概念是在1973年由 Vidal［1］首次提出，初衷是帮助身体有严重运动障碍的人实现对外部设备的控制，为他们创建一个和外界交互的全新通道。近20年来，随着计算机科学、材料科学和神经生物学等学科的快速发展，来自不同领域的研究者共同推动BCI的研究取得了突破性的进展。

根据电极的不同，BCI系统可以分为3大类。第一类是将微电极阵列直接植入大脑内，通过电极直接记录细胞的放电信号；第二类是将电极放置于大脑皮质的表面，记录大脑皮质电位信号；第三类是将电极置于大脑头皮上，记录大脑头皮电信号。前两类方法都是侵入式的BCI系统，虽然能够获得高空间分辨率、高信噪比的神经电信号，但是因为需要侵入大脑，因此，难以进行长期稳定的记录，并且还存在感染的风险。第三类方法记录到的虽然是大量神经元的群体电活动信号，而且由于颅骨对电信号传播的阻碍，记录到的信号空间分辨率、信噪比都很低，但是头皮脑电作为3类BCI中唯一具有无创性的方法，采集方便、安全性高、成本较低。基于头皮脑电的BCI系统应用范围更广且适用场景更多，是研究最多的一种BCI系统。本文提到的BCI系统特指基于头皮脑电的BCI。

1 脑机接口系统的组成

基于头皮脑电的BCI系统主要由3部分组成，分别是信号采集模块、信号处理模块和交互控制模块。其中信号采集模块主要包括采集电极、信号放大、模数转换和信号传输等部分。信号处理包括信号预处理、特征提取与模式识别等部分。交互控制则是将不同的脑电特征转换成控制指令，实现对外部设备的控制。

BCI系统中最核心的问题是找到不同的稳定脑电特征信号，并将其转换成不同的指令，从而与外部设备进行交互。BCI系统能提取的不同特征模式越多，产生的指令也就越多。目前，BCI系统面临的挑战主要包括突破现有的材料限制，实现长时间的稳定信号采集，并开发有效的特征提取算法，从极低信噪比的头皮脑电信号中获取有用的大脑活动信息。

2 常见脑机接口控制模式

用于BCI控制的脑电信号主要分为2类，分别是外源性成分和内源性成分。外源性成分是指由外部刺激诱发的脑电信号，主要有视觉和听觉诱发电位等。内源性成分是指大脑自发产生的脑电信号，例如在执行某种认知任务时或被试者通过自我调节都可以产生。常见的BCI控制信号主要有以下几种。

2.1 稳态视觉诱发电位

视觉诱发电位是由外界视觉刺激所引起的视觉皮质的电活动，Regan［2］在1979年首先发表了关于视觉诱发电位的开创性工作。随后的研究发现，利用固定频率的视觉刺激对被试者进行刺激，视皮质就会产生受到刺激频率调制的脑电信号。例如，当被试者注视一个以7 Hz闪烁的视觉刺激时，在其大脑的视觉皮质区域就可以记录到一个7 Hz的信号成分；此外，还可以记录到很多谐波成分，例如14 Hz和21 Hz等，这种明显受到刺激频率调制的脑电信号就被称为稳态视觉诱发电位（steady state visually evoked potentials，SSVEP）。最常见的SSVEP BCI系统就是通过SSVEP携带的频率信息判断被试注视的屏幕位置，从而确定被试者注视的视觉刺激。

2.2 运动想象节律信号

当大脑处于没有处理感觉信息或运动控制的放松状态时，在感觉运动皮质区域能够记录到频率为8～12 Hz的节律性脑电信号，也被称作mu节律。当被试者执行运动任务或者想象运动时，运动皮质区域的这种mu节律信号就会发生改变，出现增强或者减弱。通过识别mu节律信号的变化模式就可以识别不同的运动想象任务，进而实现脑机交互。具体来说，当我们想象单侧手部运动时，表现出同侧运动皮层区域mu节律升高，对侧运动皮质区域mu节律下降的特点，这种mu节律的下降和升高分别称作大脑运动皮质区域mu节律的事件相关去同步化和同步化（event-related desynchronization/synchronization，ERD/ERS）［3］。除了想象手的运动之外，当我们想象脚动时，头顶中央区域也会出现明显的ERD现象［4］。通过算法识别脑电信号中ERD/ERS的空间分布，就可以实现对大脑运动想象任务的识别，进而产生控制指令和外部设备进行交互。

2.3 P300电位

P300电位是一种事件相关电位，由Sutton等［5］最早在oddball实验中发现，是出现在新奇事件之后250～450 ms之间的一个正波，属于内源性成分。研究表明，P300电位的强弱和新奇事件出现的概率直接相关，新奇事件出现的概率越小，其所诱发的P300电位成分越强。但是，如果新奇事件出现的概率太小，其诱发P300电位成分的时间就越长，从而影响BCI系统的实时性。最常见的基于P300电位的BCI系统是脑控打字机［6］，其基本原理是利用字符矩阵的随机闪烁，利用被试者想要输入的字符诱发P300电位信号，从而实现脑控字符输入。基于P300电位的BCI系统最大的优点是使用者不需要进行专门的训练，大大扩展了系统的适用范围。

2.4 混合脑机接口

近年来，为了提升脑机接口的应用范围，研究者提出了混合BCI的概念［7］。其定义是指不同脑信号或者不同BCI类型的混合，混合的方式主要有串联混合和并联混合2种（图1）。混合BCI的目的主要是通过多种信号或范式的混合，提升解码准确率或效率。Pfurtscheller等［7］通过将 SSVEP和运动想象结合，实现了对工作和休息状态的检测，并在显著提升系统分类正确率的同时减少了假阳性错误率。近年来，大量研究者对SSVEP和运动想象结合的脑机接口系统进行了深入研究，提出了多种结合范式，提升了BCI系统的易用性［8］。基于SSVEP和P300电位的混合BCI系统主要用于改善字符输入效率，提高字符识别准确率［9-11］。李远清教授团队［12］将运动想象和P300电位结合，成功实现了电脑光标在二维空间的自由移动。

除了将不同的BCI系统进行混合之外，研究者还尝试将生理信号与BCI系统进行混合。Leeb等［13］通过将肌电信号与脑电信号进行融合，提高了左右手运动意图解码的稳定性和正确率。

3 脑机接口系统中的信号处理

3.1 信号预处理

脑电信号是一种低信噪比的生物电信号，信号中包含大量的噪声和伪迹，因此在数据处理中需要首先对信号进行预处理，尽量保留原始信号中的有用信息并去除噪声。针对不同的噪声和伪迹，常用的预处理方法包括主成分分析、独立成分分析、带通滤波、典型相关分析和回归等。对于ERP信号，还可以通过叠加平均的方法提高信噪比。

图1 混合脑机接口（BCI）的不同模式［7］.EEG：头皮脑电图；ERD：事件相关去同步化；SSVEP：稳态视觉诱发电位

3.2 特征提取

特征提取是BCI系统的核心部分，目的是为了提取特定的特征用于进行外部控制。针对不同的BCI类型，提取的特征有很大差别。例如，基于P300电位的BCI系统主要提取的是时域特征，基于运动想象的BCI系统主要提取的是频率特征，基于稳态视觉诱发电位的BCI系统主要提取的是频率成分的幅度、相位等信息。对于时域特征，常用的分析方法包括峰值检测、波形面积计算等。对于频域特征的提取，常用的方法包括谱分析、神经网络和自回归（autoregressive，AR）［14］等。对于空间信息的提取，共空间模式分析（common spatial pattern，CSP）是应用最广泛的一种特征提取方法［15］。这种方法通过训练数据得到使得2类信号方差最大的空间滤波器，然后再将得到的空间滤波器应用于在线数据分析，得到差异最大化的脑电特征。由于CSP方法具有良好的效果，研究者们又进行了深入研究，并提出了多种改进的CSP算法，进一步提升了算法的鲁棒性和抗噪能力［16-18］。此外，很多研究者还尝试在不同的信号域进行联合特征提取，例如，基于小波变换的时频特征提取［19］，基于空间自适应的时空特征提取［20］和基于经验模态分解的特征提取方法［21］等。

3.3 分类识别

脑电信号分类的目的是将脑活动转变成计算机命令，实现脑机之间的交互，是决定BCI系统性能的重要环节。在实际应用中需要根据提取的脑电特征和分类数目选择合适的分类器。常用的线性分类器主要有线性支持向量机和线性判别分析［20］。常用的非线性分类器有神经网络、非线性支持向量机和隐马尔科夫模型等。还有研究者将由多个分类器组成的组合分类器应用于BCI系统并取得了较好的效果［22］。此外，深度学习技术也被应用于脑信号分类，展现出了很好的应用前景［23］。

4 脑机接口系统的典型应用分析

4.1 基于稳态视觉诱发的脑控拼写系统

清华大学的高上凯教授等［24］最早将SSVEP应用于BCI，成功构建了一个能够控制光标在二维平面中移动的BCI系统。他们通过4个以不同频率闪烁的方块来编码上下左右4个方向，根据被试者看不同方块所诱发的SSVEP信号来控制光标的移动。将不同的字符同时呈现在屏幕上，并对每个字符设置一个特定的闪烁频率，就可以通过提取SSVEP信号的特征，判断被试者正在看的字母，从而实现利用脑电波进行字符输入。对于一个信息输入BCI系统来说，信息传输速率（information transfer rate，ITR）是最重要的评价指标之一。ITR的具体含义是指1分钟内传输的比特数（bit·min-1），其具体定义如式①所示（M表示识别任务的数目，P表示分类准确率，T是一次选择的平均耗时）。

为了保证较高的识别正确率，不同字符诱发的SSVEP必须在特定的变换域上满足正交或近似正交的性质，这也导致SSVEP脑机接口系统的ITR一直难以满足实用化的需要，平均ITR只能达到大约60 bit·min-1。最近，高小榕、高上凯教授团队［25］通过联合频率-相位调制方法，将SSVEP字符输入系统的通讯速率提升到了270 bit·min-1的水平，极大的提高了脑控拼写系统的实用化水平。

4.2 基于运动想象的运动控制系统

通过提取想象不同肢体部位运动时运动皮质节律信号的变化特征，可以对外部设备进行控制。在基于运动想象的BCI系统中，能够稳定提取的信号特征数目决定了外部控制系统的自由度，自由度越高控制就越灵活，应用也就越广。大量研究通过谱分解［26］、AR模型［27］和空间特征提取［28］对运动想象节律信号的解码进行了研究，实现了基于分类的左右手或脚的想象运动解码。另一种运动想象解码的思路是通过运动想象节律信号的线性组合进行连续的运动控制。Wolpaw等［29-30］通过将运动想象节律信号进行线性组合，实现了对不同物体的连续运动控制。近年来，美国明尼苏达大学的贺斌教授团队［31］在运动想象信号的解码方面做了大量开创性的工作，首次实现了利用运动想象信号控制无人机在三维空间的飞行。2016年，贺斌教授团队［32］又成功实现了通过解码运动想象信号控制虚拟机械臂在三维空间的移动，完成对物体的抓取和放置。这些研究表明，基于运动想象的BCI系统具有完成复杂运动控制的潜力。

4.3 基于P300电位的图像检索系统

P300电位成分是一个与高级认知加工过程相关的神经电活动，可以反映注意力分配和记忆加工过程［33］，因此，有研究者提出可以通过探测P300电位信号来构建图像检索系统。其基本假设：是人在看到感兴趣的目标时，会产生P300电位，因此，当把很多图片在被试者眼前进行快速连续呈现时，如果某一张图片中含有被试者感兴趣的目标，就能检测到P300电位信号。但是在构建实用的P300电位图像检索系统时，面临的一个挑战是ERP成分的检测需要进行多次叠加平均来提高信噪比，这就需要对同一个刺激进行反复呈现，而这并不适用于大规模图像的快速检索。因此，研究者开始探索如何从单次刺激中提取ERP特征，从而构建实用的BCI系统。通过单次ERP进行图像检索所依赖的实验范式被称作快速序列视觉呈现（rapid serial visual presentation，RSVP）。Gerson 等［34］首先将RSVP范式应用于图像检索，他们以每秒10张的频率给被试者呈现自然场景图片，通过头皮脑电图（electroencephalography，EEG）信号判断哪些图片中有人。结果表明，单次EEG信号就能有效识别目标图像。此外，还有研究者将RSVP范式应用于卫星图像中的目标搜索。例如，Huang等［35］利用RSVP范式进行卫星图像中导弹基地的搜索，Bigdely-Shamlo等［36］利用RSVP范式进行卫星图像中飞机的搜索。研究结果表明，有时候被试者并没有意识到目标的存在，但是通过EEG信号得到的图像检索正确率仍然很高，表明EEG信号能够反映大脑的潜意识活动。

5 脑机接口技术面临的挑战

5.1 提升信息传输速率

目前BCI系统的平均ITR只有60～70 bit·min-1，远远不能满足日常交流的需要。因此，如何提升信息传输速率是BCI系统真正实现实用化面临的巨大挑战。从ITR的定义可以看出，提升ITR主要的途径包括：①提升分类准确率；②增加识别任务的数目；③减少单次选择的时间。其中提升分类正确率潜在的方法包括：通过改善预处理方法，提高脑电信号的信噪比；通过改进BCI范式，提高信号的信噪比。改进机器学习算法，提升分类正确率。增加识别任务的数目需要对BCI范式进行改进，充分利用信号的时间空间和频率空间。减少单次选择的时间可以通过自适应算法，自动调整每次选择的时间实现。

5.2 开发真正实用的脑机接口系统

目前的BCI系统大部分还局限于实验室条件，在易用性、成本控制和系统鲁棒性方面仍然与实际应用存在较大差距。首先，采集系统不够便携。对于脑电信号的采集目前最常用的还是湿电极，其主要的缺点是准备时间长，导电介质的导电特性会随着时间改变，无法进行长时间采集。虽然现在已经有人将干电极应用于BCI系统，但是干电极在信号稳定性、信噪比上还有很多不足，仍需进行改进完善。其次，因为脑电信号属于弱信号，需要放大器进行信号放大，目前的商用脑电采集系统放大器都比较大，不利于携带，离实用化还有一段距离。最后，实用化的BCI系统所处的环境要比实验室环境复杂很多，脑电信号会受到各种干扰源的影响，而现有的去噪算法往往只针对几种特定噪声，因此很难有效去除脑电中的所有噪声，给后期的特征提取带来了很大的困难。

5.3 个体差异

脑电信号的表征模式具有极大的个体差异性，而且同一个人在不同的状态下脑电信号的差异也非常大。很多BCI中的特征提取算法都是针对不同的被试者进行构建的，不具有普适性，很难推广应用。因此，开发具有无监督或半监督特性的自适应算法，根据不同脑电特征自动选择合适的特征提取算法是提高BCI系统适用范围的重要方向。此外，大量研究还发现，20%～30%被试者BCI的识别率＜70%，这种被试者也被称作“BCI盲”。对于BCI盲来说很难通过BCI系统实现交互，目前也没有很好的办法能够有效减少BCI盲。如何通过有效的方法，降低BCI盲的比例是一个重要的研究方向。

6 结语

BCI技术给我们提供了一种全新的人机交互方式，具有广阔的应用前景。但是目前大多数的BCI技术仍然还处于实验室研究阶段，距离真正的应用还有很多问题亟待解决。但是随着材料科学、神经科学和信息科学等相关学科的发展，BCI技术必将取得突破性进展，并应用于现实。

［1］Vidal JJ.Toward direct brain-computer communication［J］.Annu Rev Biophys Bioeng，1973，2：157-180.

［2 ］Regan D.Electrical responses evoked from the human brain［J］.Sci Am，1979，241（6）：134-146.

［3 ］Pfurtscheller G，Lopes da Silva FH.Event-related EEG/MEG synchronization and desynchronization：basic principles［J］.Clin Neurophysiol，1999，110（11）：1842-1857.

［4 ］Pfurtscheller G，Brunner C，Schlögl A，Lopes da Silva FH.Mu rhythm（de）synchronization and EEG single-trial classification of different motor imagery tasks［J］.Neuroimage，2006，31（1）：153-159.

［5 ］Sutton S，Braren M，Zubin J，John ER.Evokedpotential correlates of stimulus uncertainty［J］.Science，1965，150（3700）：1187-1188.

［6 ］Farwell LA，Donchin E.Talking off the top of your head：toward a mental prosthesis utilizing eventrelated brain potentials［J］.Electroencephalogr Clin Neurophysiol，1988，70（6）：510-523.

［7 ］Pfurtscheller G，Allison BZ，Brunner C，Bauernfeind G，Solis-Escalante T，Scherer R，et al.The hybrid BCI［J/OL］.Front Neurosci，2010，4：30（2010-04-21）.https：//www.ncbi.nlm.nih.gov/pmc/articles/PMC2891647/

［8 ］Yu T，Xiao J，Wang F，Zhang R，Gu Z，Cichocki A，et al.Enhanced motor imagery training using a hybrid BCI with feedback［J］.IEEE Trans Biomed Eng，2015，62（7）：1706-1717.

［9］Xu M，Qi H，Wan B，Yin T，Liu Z，Ming D.A hybrid BCI speller paradigm combining P300 potential and the SSVEP blocking feature［J/OL］.J Neural Eng，2013，10（2）：026001（2013-01-31）.http：//iopscience.iop.org/article/10.1088/1741-2560/10/2/026001/meta

［10 ］Yin E，Zhou Z，Jiang J，Chen F，Liu Y，Hu D.A novel hybrid BCI speller based on the incorporation of SSVEP into the P300 paradigm［J/OL］.J Neural Eng，2013，10（2）：026012（2013-02-21）.http：//iopscience.iop.org/article/10.1088/1741-2560/10/2/026012/meta

［11］Panicker RC，Puthusserypady S，Sun Y.An asynchronous P300 BCI with SSVEP-based control state detection［J］.IEEE Trans Biomed Eng，2011，58（6）：1781-1788.

［12］Li Y，Long J，Yu T，Yu Z，Wang C，Zhang H，et al.An EEG-based BCI system for 2-D cursor control by combining Mu/beta rhythm and P300 potential［J］.IEEE Trans Biomed Eng，2010，57（10）：2495-2505.

［13 ］Leeb R，Sagha H，Chavarriaga R，Millán Jdel R.A hybrid brain-computer interface based on the fusion of electroencephalographic and electromyographic activities［J/OL］.J Neural Eng，2011，8（2）：025011（2011-03-24）.http：//iopscience.iop.org/article/10.1088/1741-2560/8/2/025011/meta

［14］D′Croz-Baron D，Ramirez JM，Baker M，Alarcon-Aquino V,Carrera O.A BCI motor imagery experiment based on parametric feature extraction and fisher criterion［C］.International Conference on Electrical Communications and Computers,Cholula，2012：257-261.

［15 ］Müller-Gerking J，Pfurtscheller G，Flyvbjerg H.Designing optimal spatial filters for single-trial EEG classification in a movement task［J］.Clin Neurophysiol，1999，110（5）：787-798.

［16 ］Lu H，Eng HL，Guan C，Plataniotis KN，Venetsanopoulos AN.Regularized common spatial pattern with aggregation for EEG classification in small-sample setting［J］.IEEE Trans Biomed Eng，2010，57（12）：2936-2946.

［17 ］Lotte F，Guan C.Regularizing common spatial patterns to improve BCI designs：unified theory and new algorithms［J］.IEEE Trans Biomed Eng，2011，58（2）：355-362.

［18 ］Wang H， Zheng W.Localtemporalcommon spatial patterns for robust single-trial EEG classification［J］.IEEE Trans Neural Syst Rehabil Eng，2008，16（2）：131-139.

［19 ］Hsu WY.Assembling a multi-feature EEG classifier for left-right motor imagery data using waveletbased fuzzy approximate entropy for improved accuracy［J］.Int J Neural Syst，2015，25（8）：1550037（2015-10-30）.https：//doi.org/10.1142/S0129065715500379

［20 ］Ince NF，Goksu F，Tewfik AH，Arica S.Adapting subject specific motor imagery EEG patterns in space-time-frequency for a brain computer interface［J］.Biomed Signal Process Control，2009，4（3）：236-246.（请核对于杂志名缩写）

［21 ］Park C，Looney D，Naveed ur Rehman，Ahrabian A，Mandic DP.Classification of motor imagery BCI using multivariate empirical mode decomposition［J］.IEEE Trans Neural Syst Rehabil Eng，2013，2211（1）：10-22.

［22］Gao L，Cheng W，Zhang J，Wang J.EEG classification for motor imagery and resting state in BCI applications using multi-class Adaboost extreme learning machine［J/OL］.Rev Sci Instrum，2016，87（8）：216-219.

［23 ］An X，Kuang DP，Guo XJ,Zhao YL,He LH，A deep learning method for classification of EEG data based on motor imagery［C］.International Conference on Intelligent Computing,Springer，2014：203-210.

［24 ］Ming C，Shangkai G.An EEG-based cursor control system［C］.Proceedings ofthe First Joint BMES/EMBS Conference，1999 IEEE Engineering in Medicine and Biology 21st Annual Conference and the 1999 Annual Fall Meetring of the Biomedical Engineering Society,Altanta,1999,669.

［25］Chen X，Wang Y，Nakanishi M，Gao X，Jung TP，Gao S.High-speed spelling with a noninvasive brain-computer interface［J］.Proc Natl Acad Sci USA，2015，112（44）：E6058-E6067.

［26 ］Pregenzer M，Pfurtscheller G.Frequency component selection for an EEG-based brain to computer interface［J］.IEEE Trans Rehabil Eng，1999，7（4）：413-419.

［27 ］Pfurtscheller G，Neuper C，Schlögl A，Lugger K.Separability of EEG signals recorded during right and left motor imagery using adaptive autoregressive parameters［J］.IEEE Trans Rehabil Eng，1998，6（3）：316-325。

［28 ］Guger C，Ramoser H，Pfurtscheller G.Real-time EEG analysis with subject-specific spatial patterns for a brain-computer interface（BCI）［J］.IEEE Trans Rehabil Eng，2000，8（4）：447-456.

［29］McFarland DJ，Sarnacki WA，Wolpaw JR.Electroencephalographic（EEG） control of three-dimensional movement［J/OL］.J Neural Eng，2010，7（3）：036007（2010-05-11）.https：//www.ncbi.nlm.nih.gov/pmc/articles/PMC2907523/

［30 ］McFarland DJ，Wolpaw JR.Sensorimotor rhythmbased brain-computer interface（BCI）：model order selection for autoregressive spectral analysis［J］.J Neural Eng，2008，5（2）：155-162.

［31］LaFleur K，Cassady K，Doud A，Shades K，Rogin E，He B.Quadcopter control in three-dimensional space using a noninvasive motor imagery-based brain-computer interface［J/OL］.J NeuralEng，2013，10（4）：046003（2013-06-04）.https：//www.ncbi.nlm.nih.gov/pmc/articles/PMC3839680/

［32 ］Meng J，Zhang S，Bekyo A，Olsoe J，Baxter B，He B.Noninvasive electroencephalogram based control of a robotic arm for reach and grasp tasks［J/OL］.Sci Rep，2016，6：38565（2016-12-04）.https：//www.ncbi.nlm.nih.gov/pmc/articles/PMC5155290/

［33］Polich J，Kok A.Cognitive and biological determinants of P300：an integrative review［J］.Biol Psychol，1995，41（2）：103-146.

［34］Gerson AD，Parra LC，Sajda P.Cortically coupled computer vision for rapid image search［J］.IEEE Trans Neural Syst Rehabil Eng，2006，14（2）：174-179.

［35 ］Huang YH，Erdogmus D，Pavel M，Mathan S，Kenneth EHⅡ.A Framework for rapid visual image search using single-trialbrain evoked responses［J］.Neurocomputing，2011，74（12-13）：2041-2051.

［36 ］Bigdely-Shamlo N， Vankov A， Ramirez RR，Makeig S.Brain activity-based image classification from rapid serial visual presentation［J］.IEEE Trans Neural Syst Rehabil Eng，2008，16（5）：432-441.

［37 ］WolpawJR， BirbaumerN， McFarlandDJ，Pfurtscheller G，Vaughan TM.Brain-computer interfaces for communication and control［J］.Clin Neurophysiol，2002，113（6）：767-791.