脑机接口技术的发展与展望

(1.北京航天测控技术有限公司，北京 100041；(2.北京邮电大学 自动化学院，北京 100876)

0 引言

脑机接口(brain computer interface， BCI)[1-2]，也称作“大脑端口”或“脑机融合感知”[3]，是指将人或动物的大脑与外部设备相连，实现大脑对设备直接控制的技术[4-6]。该技术最早出现于加州大学洛杉矶分校关于思维控制机器人方面的研究，至今已有40年的研究历史。脑机接口技术是以人的思维和想法为中心，通过信号处理算法对脑电信号进行分析，得到相应的控制指令，最终实现对末端设备的控制[7]，这种控制方式也称为脑控。脑机接口技术是一个多学科融合的前沿研究方向[8]，目前在康复医疗[9-13]、汽车行驶控制[14]、智能家居等领域有较为广泛的研究和应用[15]。

1 脑机接口概述

脑机接口中的“脑”是指人或动物的大脑或神经系统，“机”是指用来计算或处理数据、图像等各种信息的设备，从简单的电子电路到复杂的计算机系统都可以称为“机”。通过脑机接口，人类或动物就可以不需要通过语言或者动作[16]，而可以直接用大脑来控制机器设备。

大脑是人体语言、运动的控制中枢，通过神经系统向身体各运动器官发出指令。神经科学研究发现，即使神经系统和运动器官由于损伤而丧失作用，只要大脑功能保持正常，则控制指令依然能够通过脑电信号从大脑传输出来。研究发现，人们在进行某些思维活动或在某些外部刺激下，脑电信号将呈现出与刺激相对应的规律性变化[17]。由此可以看出，抽象虚拟的大脑活动可以通过具体真实的物理脑电信号来表达，这些信号成为大脑与外界沟通的桥梁。上述神经科学的研究成果为脑机接口技术的研究提供了理论依据和方向指导。

脑机接口根据信号采集方式的不同，分为侵入式脑机接口[18]、部分侵入式脑机接口[19]和非侵入式脑机接口[20]。侵入式脑机接口是指将信号采集电极通过手术直接植入大脑灰质中，该类接口主要用于对特殊感觉的重建以及恢复瘫痪患者的运动功能。侵入式脑机接口的优缺点非常明显，优点是能够获得质量相对较高的脑电信号；缺点是植入手术容易引发免疫反应和创伤，植入过久容易有信号质量下降甚至消失的问题[21]。部分侵入式脑机接口是指将信号采集电极植入到颅腔内，但在灰质外。与侵入式相比，该采集方式引发免疫反应和创伤的概率较低，但是采集到的脑电信号清晰度较差。

与上述两种方式相比，将信号采集电极置于头皮外部的非侵入式脑机接口是对人体创伤最小，采集方法最为简单的脑电信号采集方式。然而，由于电极与神经元距离较远，测得的信号噪声较大，对信号后期的处理要求较高。非侵入式脑机接口技术主要包括脑电图(EEG)、脑磁图(Magnetoencephalography，MEG)[22]以及功能核磁共振成像(functional Magnetic Resonance Imaging，fMRI)[23]三种。EEG因具有良好的时间分辨率、易用性、便携性和相对较低的技术价格，已得到广泛和深入的研究，成为非侵入式脑机接口主要的研究方向。然而，对噪声的强敏感性使其发展受到了制约。近年来，MEG和fMRI也得到越来越多的关注。研究发现，利用生物反馈技术，通过改变fMRI检测到的脑部血液流动产生的信号可以控制乒乓球运动[24]。也有研究利用fMIR信号来实时准确地控制机械臂[25]。

基于不同需求，人们设计出多种基于脑电的BCI系统原型[26]。BCI系统通常由信号采集、信号处理(特征提取)、信号分类与识别等功能环节组成[27]，通过这些环节将输入信号转换成输出信号，实现实验对象对控制装置的操作。BCI系统的基本构成如图1所示[28]。

图1 BCI结构示意图

首先根据研究目的对实验对象的大脑进行触发，使其产生某种对应的原始信号，该信号即为输入信号。然后通过脑机接口对输入信号进行采集，得到的即为脑电信号，脑电信号包含相应活动的特征信息。随后对脑电信号进行处理(特征提取)，由连续的模拟信号转换成由某些特征参数表示的数字信号，使其能够交由计算机读取和分析。接下来对特征信号[29]进行识别和分类，确定相应的思想活动，生成驱动或操作命令。最后得到的输出信号即为控制指令，通过这些指令可以操作控制装置的运动。 BCI系统的末端控制装置包括各种语音交流、肢体运动、机器交互设备[30]。信号分类与识别作为连接输入和输出的中间环节，是BCI系统的重要组成部分。在相同的训练强度下，可以通过提高信号分类与识别算法的性能，来提高信号分类精度，优化BCI系统的控制性能。

2 脑机接口关键技术

脑机接口系统由脑电信号的产生、处理、转换、输出等单元组成，其中脑电信号的产生是基础，脑电信号的处理是关键，脑电信号的转换是核心[31]，脑电控制信号的输出是目的。脑机接口研究的重点就是寻找合适的信号处理与转换算法，将脑电信号快速、准确、实时地通过脑机接口系统转换成计算机能够识别的命令或操作信号。

人类大脑能够产生多种信号，包括电信号、磁信号、化学信号等形式[32]。这些信号可以被相应的传感器检测到，从而使得BCI的实施成为可能。目前BCI信号的获取主要基于技术相对简单、费用较低的EEG检测技术[33]。该技术的实现过程包括信号的产生、检测、处理等。

2.1 信号的产生

目前常见的脑机接口信号可以利用视觉诱发电位[34]、事件相关电位[35]、模拟虚拟环境[36]以及自主控制脑电[37]等多种触发方式产生。根据不同的研究目的，选择合适的触发方式，从而获得相应的脑电信号[38]。

2.2 信号的检测

信号检测所用的方法取决于待测脑电信号的性质。图2为一款Neuroscan的EEG脑电检测系统，该系统主要由脑电帽、信号放大器、安装有脑电信号处理软件的PC机组成。该系统的脑电帽具有64个测量电极，所有电极均按照国际10/20标准分布，可以根据不同的实验需要任意选择相应的电极进行组合，检测需要区域的脑电信号，达到实验目的。由脑电帽采集到的脑电信号非常微弱，需要通过信号放大器来提高信号的识别精度，放大器的增益倍数通常设定为60～100 dB。此外，也可以通过增加信号检测的通道数、提高采样频率，实现对信号质量的要求[39-40]。

图2 Neuroscan脑电采集系统

2.3 信号的处理方法

BCI系统的信号处理过程包括信号预处理、特征提取、分类识别等，其中特征提取和分类识别是BCI信号处理的关键环节。传统脑电信号的处理方法是对信号进行多次检测并进行均值滤波，再用统计学方法寻找EEG的变化规律[41]。该方法信息传输率较低，不能满足实时控制的要求。目前普遍采用的是先对离线EEG信号进行处理和分析，再进行在线调试。

2.3.1 信号预处理

在采集过程中，脑电信号会受到多种噪声的干扰，如眼电、肌电、心电以及设备和实验环境的电磁干扰等，信号的预处理是利用滤波器和相应算法对原始信号进行滤波降噪，以消除这些噪声和伪迹，提高信噪比。目前脑电信号的预处理算法比较成熟，常用的方法有空间滤波器、时间滤波器、通道选择以及频带选择[42]。

2.3.2 特征提取

特征提取是将特征信号作为源信号来确定各种参数，并以此组成表征信号的特征向量[43]。特征参数包括时域信号和频域信号两大类，相应的特征提取方法也分为时域法、频域法和时频域方法[44-46]。

时域法：时域分析包括过零点分析、直方图分析、方差分析、相关分析、峰值检测及波形参数分析、相干平均、波形识别等[38]，通过时域分析直接提取波形特征参数，然后将这些参数用于EEG的分类、识别、跟踪和瞬态分析[47-48]。时域法特征提取方式是将特定的滤波方法与采样方式相结合，去除EEG信号中的时域噪声，提高信号的信噪比。其中，提取最多的是幅值特征和幅值能量特征。常用的滤波方法有带通滤波[49]、拉普拉斯滤波、全导联平均参考法、卡尔曼滤波[50]、移动平均滤波[51]等。此外，连续或离散小波变换也常用于提取EEG信号的时变特征[52-53]。

频域法：EEG信号处理中常用的频域法有功率谱估计和参数模型法。功率谱估计是一种能够反映信号频率成分及相对强弱的频域分析方法，利用该方法对脑电信号各频段的功率和相干性进行分析，可得到信号的规律[38]。参数模型法是现代谱估计使用最为广泛的一种方法，因其具有频率分辨率高、谱图平滑的特性，故能实现参数的自动提取和定量分析，特别适用于短数据处理，多应用于EEG的动态分析。频域特征通常利用功率谱密度(Power Spectral Density，PSD)、自适应自回归(Adaptive Antoregressive，AAR)模型参数或小波频带能量来对其进行衡量，相应的提取方法主要有快速傅里叶变换(Fast Fourier Transformation，FFT)[54]， AAR模型[55]和小波变换[56]等。

时频法：EEG信号具有复杂、非平稳的特性，而且传统的时域和频域分析也具有信号处理的不确定性，因此研究者们把时域特征值与频域功率谱相结合，用于EEG信号的特征提取，其中维格纳分布与小波变换是目前较常用的时频分析方法[40]。

维格纳分布(Wigner Distribution，WD)[57]是一种时频混合的信号处理方法，具有很好的时频分辨率和时频移特性，用于EEG信号的处理时可以得到不同时刻频率能量的分布规律[58]。维格纳分布因其在时频域中有良好的对称性，故能实时反映EEG信号的时域分布和频域变化，但由于维格纳分布含有相交项的问题，该方法并不能很好地反应EEG的稳态特性[40,59]。

小波变换[60]是对EEG信号进行时频分析的良好方法，通过变换能充分突出信号的特征。对基波进行伸缩平移运算逐步实现多尺度细化，当小波基与EEG信号充分接近时，提取的EEG信号即为所需的特征向量。但小波变换不能均匀划分信号，因此在信号处理时会产生高频频带宽、低频频带窄的缺点[40,61]。

2.3.3 分类识别

在EEG特征提取的基础上，需要对特征信号进行分类识别，较为普遍的分类方法有支持向量机、人工神经网络[62]、贝叶斯-卡尔曼滤波[63]、线性判别分析[64]、遗传算法[65]、概率模型等。信号分类的质量决定了信号分类识别的准确率高低，分类的质量取决于两个主要因素：一是待分类的特征信号是否具有明显特征，即特征信号的性质；二是分类方法是否有效。

2.4 关键技术发展

2.4.1 脑电采集技术

脑机接口技术在向实用化、市场化方向发展的过程中，首先需要实现脑电信号采集设备的小型化和无线化。小型化的脑电采集设备目前已有一些[66-67]，但是与传统脑电采集设备相比，其功能差距还比较大。2017年6月，德国柏林工业大学的脑机接口研究小组发布了一款多功能无线模块化硬件架构(M3BA: A Mobile, Modular, Multimodal Biosignal Acquisition architecture)[68]。该架构具有脑电采集、近红外脑功能成像、其他常规生理参数采集等功能，单个模块(不含电池)的边长仅为42 mm(图3)。这是首款既包含多种采集功能，又具有良好应用前景的采集架构，对推动脑机接口技术的市场化应用具有重要意义[69-70]。

图3 M3BA概念图

信号采集作为脑机接口技术从实验室走向现实生活的第一步，目前应用最为广泛的采集方式是基于头皮脑电的非侵入式脑机接口。非侵入式脑机接口根据采集电极的不同，分为湿电极[71]系统和干电极[72]系统。目前使用较多的是湿电极系统，但是其实验前后的准备工作十分繁琐，为了得到较好的采集信号，需要先清洗头发去除头皮的角质层，并花费较长时间对电极进行脑电膏的注入，实验完成后也需要再次清洗头发，去除遗留在头发上的脑电膏。干电极系统因其采集的信号状态少且准确率较低，在实际应用中使用较少，一般只在需要采集前额区域的脑电信号时才会使用[73]。美国加州大学圣迭戈分校的研究小组开发出一种基于稳态视觉诱发电位的脑机接口系统[74]，该系统将电极置于耳后无毛发覆盖的区域。在一个12分类的任务中，分类准确率达到了85%，信息传输速率达到30 bit/min左右(图4(a))。这一系统的成功实验为脑电信号能够进行便捷高效的采集提供了强大支撑。与此同时，商业化耳后脑电采集设备的推出(图4(b))，将会推动相关应用快速走进人们的日常生活[75]。

图4 耳后脑电采集与采集设备

2.4.2 脑电信号处理算法

脑机接口研究领域的一个重要课题是如何提高信息的传输速率[76-78]。因为脑电信号的信噪比较低，与正常输出通路相比，脑机接口的信息传输速率较低，如P300[79]脑机接口系统在字符拼写上的信息传输速率只有0.5 bit/s左右。清华大学及合作研究团队在2015年实验了一种基于稳态视觉诱发电位的脑机接口系统，该系统的通信速率达到了4.5 bit/s[80-81]。中科院半导体研究所及合作研究团队在2017年提出了一种任务相关成分分析算法，将该算法与稳态视觉诱发电位的脑机接口相结合，实现了平均5.4 bit/s、最优6.3 bit/s的通信速率，这是目前已报道的头皮脑电脑机接口系统的最快通信速率[70]。

此外，2017年度脑机接口研究奖(2017 Annual BCI Award)第1名获得者—丹麦奥尔堡大学研究团队，提出了一种在线脑机接口算法，该算法可以实时监测受试者的注意力变化并进行自适应特征提取，并在长期使用中始终保持良好性能。这些算法研究的成果可以有效推动脑机接口在普通人日常生活中的应用。

2.4.3 脑电信号诱发范式

脑电信号诱发范式性能的提高，主要是对刺激间隔、界面尺寸、图像显示像素等方面进行优化和提升，实现范式更好的触发目标脑电信号。目前信息传输速率最高的脑机接口类型是基于视觉诱发电位的脑机接口[82]，该接口是每条指令对应一个特定的视觉编码，通过解读编码诱发的特定脑电响应来实现目标识别。德国汉堡大学的研究小组于2017年提出了一种新的脑机接口范式，该范式是基于空间信息编码的稳态视觉诱发电位触发方法，利用该方法只需一个刺激物[83]便可对多个注意目标进行识别。该范式的原理是基于视觉皮层的视网膜映射，脑电诱发响应随视觉刺激的空间方位不同而改变。利用该范式进行离线9方位的实验，分类正确率约为95%。之后，汉堡大学与清华大学合作进行了一个在线4分类系统的实验，在一个2D运动控制游戏中的分类正确率约为90%。在这种范式的实验中，因为用户不需要直接看稳态视觉刺激物，所以视觉负载较低，体验更好。同时，该范式能更好地利用计算机屏幕，与实验需求的背景更好地融合[70]。

脑机接口的另一种常用范式类型是运动想象[84]，但目前还没有此类范式的标准化解决方案。华东理工大学研究小组针对国内用户的特点，提出了想象手写汉字的运动想象范式，经过实验数据对比，该范式的分类性能与传统范式相比有显著提高。这一实验拓宽了国内脑机接口技术的研究思路。

3 脑机接口技术应用

BCI作为一种尖端的新兴通信技术，目前更多的还是处于实验室研究阶段，距离真正实现商业化应用还需要一些时间。然而，从实验室的研究效果来看，未来BCI系统及其技术将在涉及人脑的各项领域中发挥重要作用，尤其对于行动能力严重受损的患者在运动功能的恢复和训练[85]中具有重要意义。目前，对BCI应用的研究主要集中在交流功能恢复、运动功能恢复、车辆行驶控制、环境控制等领域。

3.1 交流功能恢复

脑机接口最重要的应用目标之一，是让重度运动障碍患者重新获得与外界交流沟通的能力。其中基于头皮脑电的字符输入研究近年来得到了快速发展[86]。美国斯坦福大学的研究小组在2017年2月提出了一种新的脑机接口应用系统，该系统能够利用颅内脑电进行字符的输入。首先将高密度微电极阵列植入脊髓侧索硬化症和脊髓损伤瘫痪患者的大脑运动皮层中负责手部运动的区域上；然后采集动作电位和高频局部场电位信号；随后对这些信号进行解码得到相应的运动信息；最后实现对屏幕上光标的连续控制。通过这一系统，患者可以在屏幕虚拟键盘上点击选择字符以输入文字，实现与外界的交互，如图5所示。经过实验验证，该系统的信息传输速率是目前此类研究的最快记录，使用该系统的三名运动障碍患者分别实现了每分钟39.2、31.6、13.5个英文字符的输入。

图5 脑机接口交流功能实例

3.2 运动功能恢复

将脑机接口技术用于提升运动障碍患者的生活质量，是一个重要的研究领域，字符输入是其中的一个方向，控制轮椅[87]、机械手臂[88]等运动辅助装置是其另一个重要的研究方向[89]。2017年5月，美国凯斯西储大学的研究小组将脑机接口与功能电刺激(Functional Electrical Stimulation，FES)[90]两种技术结合在一起，实现了患者控制患肢与外界进行交互的目的。

功能电刺激是指利用一定强度的脉冲电流对肌肉进行刺激，使肌肉实现预定的类自主运动，逐步恢复肌肉功能的技术[91]，如图6(a)所示。研究人员首先将侵入式脑机接口系统植入患者运动皮层中负责手部运动的区域上，采集相关脑电信号；然后将高频带频谱能量和动作电位超过阈值次数这两者作为信号特征，解码得到相应的刺激参数；随后用相关参数控制功能电刺激器，刺激患者的患肢，实现患肢肌肉的活动。通过一定时间的训练，患者可以控制患肢实现探出和抓取动作。在使用患肢完成喝咖啡任务的实验阶段，患者12次尝试11次成功，如图6(b)所示，每次任务时间为20～40 s。通过对实验的验证分析可得，系统能帮助患者实现连续的、接近实际生活的动作控制，有望在未来帮助患者实现对患肢自然流畅的动作控制，从而大大提高患者的生活质量[70]。

图6 运动功能恢复示意图

3.3 车辆行驶控制

“脑控汽车”与传统的手脚并用车辆驾驶方式不同，是一种全新的、具有重要意义的车辆行驶控制方式。2015年7月15日，南开大学计算机与控制工程学院的研究小组成功研发出国内首辆脑控汽车[92]。通过脑电检测设备采集人在注意力集中时产生的脑电信号，利用信号识别系统分析人对车辆的操控意图，并将操控指令发送到车辆的控制平台，实现人脑直接控制汽车的目的。该研究小组在南开大学进行了一次实验，实验者头戴具有16个采集点的脑电信号采集设备，向一辆装有计算机处理系统、车载电控单元等装置的汽车传输控制指令，在这些指令的控制下，汽车可以准确执行启动、直线前进、直线倒车、制动、车门开关锁等规定指令。

“脑控汽车”的研发已能实现汽车的基本操控和低速行驶，但离真正的上路行驶还有一段距离，例如汽车的电动系统以及脑控部分还需进一步改进与完善。未来，随着“脑控汽车”的安全性、智能性、人性化程度不断提高，这种驾驶方式不但能够在大众生活中普及，更能应用于肢体残疾人士，帮助他们实现对车辆的驾驶控制。

3.4 环境控制

目前，BCI环境控制的研究主要基于虚拟现实技术[93-94]。虚拟现实具有相对安全以及目标可移动的特点，使其能为脑控系统提供一个安全可靠的环境。科大讯飞在2017年的发布会上，推出了以脑机输入为控制方式的产品及应用，例如利用脑波对周围的环境、家电(智能家居)进行控制。虽然目前已有相关概念创意和样机推出，但要实现消费级的脑机接口环境控制产品仍需一段时间。

4 脑机接口技术面临的挑战

对于脑机接口技术来说，过去几年是该领域充满机遇并获得快速发展的一段时间。据估计，美国每年在脑机接口及其相关研究领域有数十亿美元的投入，并且这一数字还在不断增长，许多高科技公司都专门新增了脑机接口技术的相关研发部门。除美国外，其他许多国家政府对该技术也越来越重视，欧洲、日本等发达国家相继提出“大脑计划”，中国也于2017年正式推出了自己的“脑计划”。

随着脑机接口技术的飞速发展，相关的理论研究和实验室测试也取得显著突破，但想要将其广泛应用于大众生活中还面临着许多挑战。在理论技术、硬件架构、应用领域等方面还有以下几个亟待解决的关键问题：

1)如何设计具有个性化差异的脑电信号诱发范式，以实现具有针对性的信号诱发；

2)如何实现更高效准确的特征提取，以提高信号的分类识别效率；

3)如何设计泛化能力更强的分类识别算法，以提高分类算法的适用性；

4)如何设计实现简单高效、功能多样化的无线侵入式脑机设备；

5)如何提高信息的传输效率，并实现系统的高稳定性运行；

6)如何在临床实践领域更好的应用脑机接口技术。

5 BCI+AI架构

BCI技术作为一种交互智能控制技术，连接数据端与应用端，其主要功能是完成由生物电信号到应用控制指令的映射。数据端主要是对操作者脑电、肌电等生物电信号的采集，应用端则是根据数据端的意图完成相应的功能或动作。在这个功能划分原则的基础上，针对脑机接口技术存在的几个重要问题，融合云计算的3种服务模式，本文提出一种BCI+AI的脑机接口架构。该架构是一种全新的BCI应用研究设计架构，如图7所示。从图中可以看出整体架构由IaaS、PaaS和SaaS三个层构成，其中，IaaS层主要完成基础设施的搭建，以能够实现对所需信号的采集；PaaS层主要是构建应用平台，通过该平台实现基于IaaS层数据的功能开发；SaaS层主要是构建适用于各行业的具体功能服务平台，通过该平台不同行业的用户可根据自身需求直接启用已成型的功能模块，将其植入到自己的项目环节中。

图7 BCI+AI架构图

该架构的提出是对脑机接口技术从顶层进行了系统级规划设计，不仅为未来系统整体研究指明了方向，而且紧跟技术发展趋势，将多种先进技术融于一体。宏观上搭建了整体行业技术发展的生态系统并隐含有商业画布于其中，微观上明确了技术研究形态与最终落地形式，为未来覆盖产业应用做好了铺垫。