基于稳态视觉诱发电位信号的脑机接口系统研究现状

蔡 淼

（西安市儿童医院中西医结合科，西安 710003）

0 引言

脑机接口（brain-computer interface，BCI）这一专业术语来源于20世纪70年代Vidal博士的论文，它特指借助神经信号来实现人机通信或外设控制的系统[1]。1999年，第一届脑机接口国际会议给出BCI的定义：BCI是一种为用户提供不依赖于大脑正常的输出通路即外周神经和肌肉的控制系统[2]。BCI存在各种信号形式，如功能性近红外光谱（functional near-infrared spectroscopy，fNIRS）[3]、功能性磁共振成像（functional magnetic resonance imaging，fMRI）[4]、脑皮层电图（electrocorticography，ECoG）、脑电图（electroencephalography，EEG）等，其中，EEG具有采集成本低廉、记录简单方便且无侵入性等优点，在BCI研究中获得了广泛应用。

进入21世纪后，随着硬件设备、识别算法等不断改进和完善，BCI取得了迅猛发展。基于稳态视觉诱发电位（steady-state visual evoked potentials，SSVEP）信号的BCI系统具有信噪比高、信息传输率高、分类性能好、可重复性好、研究比较成熟等诸多优点，因此SSVEP信号在BCI系统的研究中是极好的切入点，获得了研究人员的广泛关注[5]。1999年，清华大学杨晨[6]开发了一套基于SSVEP信号的光标控制系统，在该BCI系统中，用户可以通过SSVEP信号控制光标在二维平面上随意移动。此后，基于SSVEP信号的BCI系统获得了较快发展，被广泛应用于诸多领域，如单词拼写、轮椅控制、游戏娱乐等。另外，BCI系统还被应用于康复领域，如脑卒中患者、脊髓损伤患者的康复等[7]。鉴于基于SSVEP信号的BCI系统的良好性质和广泛应用，本文对基于SSVEP信号的BCI系统的研究现状进行综述。

1 基于SSVEP信号的BCI系统组成及关键技术

一个完整的BCI系统的工作流程通常包括信号获得、信号处理和外部应用，它们分别完成不同的功能[8]。信号获得表示从用户获得有意义的EEG信号，信号处理表示将EEG信号转化为控制外部应用的命令。信号获得和信号处理都是BCI研究的关键，而外部应用则帮助用户完成某种操作或任务。对于常见的基于SSVEP信号的BCI系统来说，获取的信号为SSVEP信号，而信号处理算法自然成为该BCI系统的关键技术。常见的基于SSVEP信号的BCI系统组成如图1所示。

图1 常见的基于SSVEP信号的BCI系统组成[5]

BCI系统的信号处理算法是将来自用户的EEG信号转化为外部应用的控制命令，在BCI的各种操作中发挥着不可估量的作用。信号处理算法包含5个步骤，即预处理、特征提取、特征选择、分类和后处理。特征选择的目的是用来减少计算的复杂程度或使提取的特征更加有效。后处理的目的是改进分类的结果。在绝大多数情况下，特征选择和后处理的应用很少。预处理是用来去除EEG信号中的噪声伪迹，如电源线噪声、通道位置改变等，并增加信号的信噪比。特征提取用于产生明显不同的特征向量，这对后续的分类来说至关重要，如果提取不到良好的特征，即使分类器选择得再好，也不能获得理想的分类结果。而分类是将提取的特征向量转化为外部应用的控制命令。

总体来说，预处理、特征提取和分类是BCI系统信号处理算法中最重要的流程，而对于基于SSVEP信号的BCI系统，预处理、特征提取和分类也是关键技术，同时，它们在该类BCI系统中完成的任务也相同。在某些情况下，可能还存在特征选择和后处理环节。另外，在某些BCI系统中，可能存在着反馈环节。

2 基于SSVEP信号的BCI系统信号处理算法的现状

2.1 预处理

在基于SSVEP信号的BCI系统信号处理算法中，预处理将数据分段、频带和时间优化等排除在外，分为重采样、频域滤波、空间滤波及其他一些方法。

（1）重采样。重采样减少了EEG信号的维数，节约了计算机处理信号的时间。由采样定理可知：当采样频率大于信号最大频率的2倍时，采样信号将保留原始信号中的有用信息。EEG信号的频率在50 Hz以下，重采样频率就要高于100 Hz。一般情况下，采样频率是信号最大频率的5倍。

（2）频域滤波。频域滤波包括带通滤波和陷波滤波。带通滤波通过无限脉冲响应滤波器完成，如Butterworth滤波器，它将信号限制在一定的频率范围内，而该频率范围与刺激频率等密切相关。陷波滤波用来抑制50 Hz或60 Hz的电源线噪声。频域滤波简单常见，其缺点是获取的信息量有限，无法处理时变信号。重采样、带通滤波和陷波滤波通常通过硬件设备来完成。

（3）空间滤波及其他方法。在基于SSVEP信号的BCI系统信号处理算法中，空间滤波算法也十分常见，包括共同平均参考（common average references，CAR）[9]、典型相关分析（canonical correlation analysis，CCA）[10]、独立成分分析（independent component analysis，ICA）[11]等。CAR即利用目标通道的EEG信号电位，减去所有通道的EEG信号电位的平均值。CCA将原始样本进行线性组合之后，计算不同样本集间的关系，其多用于特征提取。ICA能有效地从EEG信号中去除肌电信号（electromyography，EMG），该算法收敛速度很快，一般通过FastICA算法实现。此外其他的方法包括拉普拉斯滤波[12]、最小能量法（minimum energy combination，MEC）[12]、生成参考[12]、最小统计量控制递归平均算法[13]、自适应空间滤波[14]、复杂稀疏空间滤波器[15]、峰值检测[16]等，但这些算法在预处理中应用较少。

2.2 特征提取

在基于SSVEP信号的BCI系统信号处理算法中，CCA、CCA变体，基于功率谱密度分析（power spectral density analysis，PSDA）[17]、傅里叶变换（Fourier transforms，FT）[18]的算法，多元线性回归（multiple linear regression，MLR）[19]，最小绝对收敛和选择（least absolute shrinkage and selection operator，LASSO）算法[20]，多变量同步指数（multivariate synchronization index，MSI）[21]和MEC[22]在特征提取中应用较多。

CCA是基于SSVEP信号的BCI系统最流行的特征提取算法，具有较高的分类性能。CCA将原始样本进行线性组合之后，计算不同样本集间的关系，通过找到不同样本之间的最大相关系数来确定目标刺激的频率。而CCA变体克服了CCA的局限性，也被应用于基于SSVEP信号的BCI系统的特征提取，主要包括任务相关组件分析（task-related component analysis，TRCA）[23]、扩展CCA[24]、滤波器组CCA[25]、多子集CCA（multiset CCA，MsetCCA）[26]等。TRCA通过将任务间的可重复性最大化，提取与任务相关的组件，而滤波器组CCA、MsetCCA等都被广泛应用于基于SSVEP信号的BCI系统的特征提取，并取得了较好的效果。简而言之，CCA变体从不同方面扩展了基本的CCA，适用于不同的场合。

基于PSDA的算法被广泛应用于检测SSVEP信号，其中，功率估计和功率谱也能用于基于SSVEP信号的BCI系统的特征提取。大多数情况下，基于FT的算法都会用到PSDA。在低维的EEG信号训练样本和构建的标签矩阵上，MLR能找到最佳的判别子空间，可从EEG信号单次事件估计时频电生理反应。LASSO算法应用于基于SSVEP信号的BCI系统的特征提取，假定SSVEP信号是刺激信号的标准线性回归模型，该算法具有模型选择和收缩估计的能力，能为线性回归提供良好的解决方案，比CCA具有更好的性能。MSI采用实际的EEG信号与构建的参考信号之间的同步指数进行刺激频率的识别，利用了多通道的EEG信号以提取更多的有用信息。MEC可用于计算在刺激频率及其谐波下的功率或信噪比，该算法也利用了多通道的EEG信号，在性能上优于CCA。而其他一些算法如小波变换（wavelet transform，WT）[27]、WT与CCA结合[28]、经验模态分解（empirical mode decomposition，EMD）[28]、EMD与CCA结合[28]等，它们各有特点，适用于不同的情况，但极少应用。

2.3 分类

在基于SSVEP信号的BCI系统的分类中，支持向量机（support vector machine，SVM）[29]、线性判别分析（linear discriminant analysis，LDA）[30]、贝叶斯分类器（Bayesian classifier，BSC）[31]、卷积神经网络（convolutional neural networks，CNN）[32]应用较多。其中，SVM和LDA仍是该领域内最流行的分类器。在许多基于SSVEP信号的BCI系统的特征提取中，刺激频率已被成功检测，不需要进行后续的分类。在某些情况下，分类和特征提取紧密地交织在一起，很难区分。

SVM可在有限样本的条件下，解决高维、非线性的问题，是BCI领域最流行的分类器，具有许多优点，比如泛化性能良好、对维度和过拟合不敏感、能有效避免维数灾难等。LDA可用于解决两类或多类问题，也是BCI领域最流行的分类器。LDA的优点是计算简单、复杂度低，因此，其非常适合于在线应用。BSC使用先验概率计算后验概率，在基于SSVEP信号的BCI系统中比较常见，如稀疏BSC[33]、递归BSC[34]等，它不可避免地要耗费大量的计算时间。各种CNN，如深度CNN[35]等，都被用来检测在训练过程中的SSVEP信号。其他的分类器，如逻辑回归（logistic regression，LR）、迁移学习（transfer learning，TL）[36]等，各有特点，适用于不同的情况，但极少应用。

从基于SSVEP信号的BCI系统信号处理算法可以看出，空间滤波CAR、CCA、ICA在预处理中应用较多，CCA、CCA变体、基于PSDA和FT的方法、MLR、LASSO算法、MSI和MEC在特征提取中应用较多。LDA和SVM仍是BCI领域最流行的分类器。

3 基于SSVEP信号的BCI系统的应用领域

基于SSVEP信号的BCI系统具有无创伤、信息传输率高、分类性能好等诸多优点，因此在不同领域获得了广泛应用。目前，其应用领域主要表现在以下几个方面：

（1）辅助运动领域。

在辅助运动领域，基于SSVEP信号的BCI系统能够帮助残疾人士、脑卒中患者等重新获得与外界交流的能力，为他们提供一种全新的交互方式，通过EEG信号直接对外部应用发送控制命令，实现与外界的交流和沟通。2021年，王琳琳等[37]开发了基于SSVEP信号的BCI辅助交流系统，并应用于语言障碍的脑卒中患者，结果表明该系统提高了患者的交流能力。2017年，西安交通大学李睿等[38]开发了一种基于场景动画SSVEP信号的智能脑控假肢范例，进一步搭建了试验平台，也获得了不错的试验结果。

（2）治疗康复领域。

在治疗康复领域，基于SSVEP信号的BCI系统可以协助残疾人士、脑卒中患者等康复，将屏幕刺激转换为辅助设备的动作，利用康复动作帮助患者产生相应的神经活动，从而加速患者的康复进程[39]。2018年，华南理工大学肖君[40]设计了一套基于多模态BCI的康复辅助运动训练系统，将闪烁的SSVEP刺激信号与运动想象特征相结合，帮助脑卒中患者进行功能性训练，也取得了不错的康复效果。2020年，上海交通大学秦准[41]也设计了基于SSVEP信号的可穿戴式BCI系统，并将其应用于脑卒中患者的康复，证明了BCI系统应用的可行性。

（3）其他领域。

在非医学的其他领域，基于SSVEP信号的BCI系统也具有很高的应用潜力，比如，它可将用户的神经活动转化为浏览器等的控制命令，允许用户访问网页上的链接[42]。不管是小孩还是成年人，都可借助基于SSVEP信号的BCI系统进行游戏、放松，提高其生活质量。除了游戏娱乐外，它还可以应用于军事领域、认知改善等诸多方面[43]。2019年，国防科技大学龙晟[44]开发了基于SSVEP信号的异步脑控汽车的BCI系统，并在户外进行了试验研究，也取得了较好的试验结果。典型的基于SSVEP信号的BCI系统应用场景如图2所示。

图2 典型的基于SSVEP信号的BCI系统应用场景

21世纪20年代是BCI系统高速发展的时期，出现了脑驱车辆[45]、脑-控移动机器人[46]、脑-控飞行器[47]等。随着科学技术的不断进步，BCI系统的研究在不断深入。基于SSVEP信号的BCI系统具有非常大的应用潜力，必将会应用于更多的场合。

4 研究中存在的问题及发展趋势

基于SSVEP信号的BCI系统为用户提供了全新的信息交互服务，但距离具有实用价值的BCI系统还存在一定的差距，其主要存在以下问题：

（1）基于SSVEP信号的BCI系统的高效性及易用性。随着科学技术的进步，基于SSVEP信号的BCI系统的性能也在不断提升，尤其表现在信息传输速率方面，某些BCI系统的性能已能达到325 bit/min，然而这些系统大多建立在复杂训练过程的基础上，让用户在使用BCI系统之前进行较长时间的训练，以便提取用户的明显特征。但在实际应用中，许多BCI系统要求快速、准确地产生大量命令，过长的训练准备过程往往难以适应实际需要。因此，BCI系统的高效性和易用性之间存在矛盾，在实际应用中需要在高效性和易用性之间进行权衡，以便开发出具有实用价值的BCI系统。

（2）基于SSVEP信号的BCI系统的泛用性。SSVEP信号来源于大脑的视觉通路，不同用户的视觉通路及EEG信号传导路径有所不同，因此，不同用户产生的SSVEP信号也必然存在差异。而“BCI盲”广泛存在于各种BCI系统，即15%～30%的用户不能有效地完成BCI系统的控制，基于SSVEP信号的BCI系统也存在“BCI盲”的问题。目前，能够应用于大多数用户的基于SSVEP信号的BCI系统并不常见，因此需要提升基于SSVEP信号的BCI系统的泛用性，以便开发出具有实用价值的BCI系统。

（3）基于SSVEP信号的BCI异步系统的必要性及存在问题。在同步系统中，用户按照系统的同步提示完成操作命令的输出，现实生活中的绝大多数BCI系统均属于同步BCI系统。而在异步BCI系统中，用户可以在任意时刻完成操作命令的输出，它是一种更加自然、符合实际的BCI系统。同步BCI的研究是异步BCI的基础，而异步BCI是未来的发展趋势。另外，基于SSVEP信号的BCI异步系统普遍存在控制命令数量较少的问题，往往不能满足实际应用需要。因此，需要提高基于SSVEP信号的BCI异步系统的备选命令数量，以便开发出具有实用价值的BCI系统。

（4）基于SSVEP信号的BCI系统的疲劳及混合BCI系统。值得注意的是，基于SSVEP信号的BCI系统会随着用户使用时间的增加，使用户产生一定的疲劳性，这会对其准确率产生一定的影响，上述问题也是该类BCI系统存在问题之一。一般情况下，外部应用还会要求多自由度，在需要较高控制性能的情况下，基于SSVEP信号的BCI系统可与其他类型的BCI或非BCI系统组成混合BCI系统，有时也称多模态BCI系统，这也是BCI系统重要的发展趋势之一。

5 结语

解读EEG信号是一个非常复杂的过程，有用的信号常常被淹没在背景噪声中，这不仅有赖于EEG信号处理算法，还有赖于试验设计、用户、环境等诸多方面。随着基于SSVEP信号的BCI系统应用领域的不断扩大，其意义也会远超医学范畴，除了帮助人类认识大脑外，其必将被应用于更多领域，推动国家科技进步。