基于头皮脑电的游戏型脑机接口应用研究综述

何 峰 董博文 韩 锦 李雨龙 许敏鹏 明 东

①(天津大学医学工程与转化医学研究院 天津 300072)②(天津大学精密仪器与光电子工程学院 天津 300072)

1 引言

脑机接口(Brain-Computer Interface, BCI)是一种不依赖外周神经和肌肉，能够将中枢神经系统活动直接转化为人工输出的系统[1]，在康复医疗、教育科技、生活娱乐以及外设控制等领域显示出广阔的应用前景[2]。游戏BCI作为生活娱乐领域的一个分支，它是将BCI与游戏相结合，使用户“摆脱双手”，仅通过解码大脑信号直接与游戏进行交互。不仅为健康人提供了新型的游戏交互方式，也为残障人士提供了新的康复治疗思路，引起了广泛的关注[3]。在传统游戏的人机交互中，用户一般通过肢体对手柄或鼠标键盘进行操控。然而许多神经功能障碍患者由于神经通路阻断，无法自由控制肢体完成交互，严重影响了使用体验[4-8]。而游戏BCI具有丰富传统游戏交互手段和增强BCI控制的特点，被认为是可能的解决方案之一。此外，游戏的娱乐性、激励性以及挑战性可以提高交互过程中用户的乐趣和积极性，改善了传统BCI训练枯燥乏味，重复性强的缺点，因此将游戏与BCI结合具有重要的意义。

脑电信号的采集是游戏BCI重要环节之一，目前用于表征大脑功能状态的脑信号主要有脑电图(ElectroEncephaloGraphy, EEG)、脑磁图(MagnetoEncephaloGraphy, MEG)、功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)和功能性近红外光谱(functional Near - InfraRed Spectroscopy, fNIRS)等。相比于其他几种脑电信号，基于头皮脑电的BCI(ElectroEncephaloGram-based BCI, EEG-based BCI)具有无创、时间分辨率高、成本低、便携性好等特点，是目前游戏BCI主要采用的实现方式[9]。

本文调研了BCI在游戏方面的研究进展，在科睿唯安(Clarivate)旗下的Web of Science数据库平台中以关键词“game BCI”进行检索，如图1所示，展示了近15年游戏BCI论文发表和引用数量。可以看出游戏BCI整体发展呈现逐步增长趋势(2020年可能受新冠肺炎疫情影响有所下降)，表明这一研究领域正处于快速增长期，未来有较大的发展空间。依据脑机交互过程中大脑的主观心理活动所起的作用，本文将游戏BCI系统划分为主动式、反应式、被动式以及混合式4类，后续部分将分别介绍不同类型游戏BCI的控制策略和应用场景，并对游戏BCI中目前常采用的分类算法进行分析。最后，结合目前现有研究进展，本文也讨论了基于头皮脑电的游戏型脑-机接口的未来发展趋势与挑战。

2 游戏型脑机接口系统

根据脑机交互过程中大脑的主观心理活动所起的作用，目前的BCI系统划分为主动式、反应式和被动式3大类。其中主动式脑-机接口(active BCI)主要以运动想象(Motor-Imagery, MI)信号为主，反应式脑-机接口(reactive BCI)在游戏领域的研究较多，主要控制信号包括稳态视觉诱发电位(Steady-State Visual Evoked Potentials,SSVEP)和事件相关电位P300脑电波。不同于以上两种，被动式脑机接口(passive BCI)则是通过生物/神经反馈来监测受试者的精神状态，从而实现与外部环境的交互。目前该类型的游戏多用于康复治疗[10-12]。另外还有混合多种范式的混合式脑机接口(hybrid Brain-Computer Interface, hBCI)也被应用于很多游戏中，是当前研究的一大热点[13-15]。

2.1 基于主动式BCI的游戏设计

主动式BCI是用户通过直接且有意识的大脑活动来控制外部设备的系统[16]。典型的主动式BCI是运动想象，它是指用户仅通过想象特定的肢体动作，但实际上并不执行该动作的行为。

以主动式BCI作为控制信号的游戏在提升传统BCI训练效果、帮助神经功能障碍患者进行康复等领域有着重要作用[17]。早在2011年，Coyle等人[18]利用MI开发了一款宇宙飞船游戏，用户通过想象左手/右手运动来控制宇宙飞船移动，成功实现了躲避小行星等障碍物。研究结果表明使用该游戏作为 BCI 训练范式能够显著提升训练效果。2019年，Karacsony等人[19]将运动想象和虚拟现实技术(Virtual Reality, VR)相结合开发了一款实时游戏应用(见图2)。游戏中玩家通过想象左手、右手或脚的运动来抓取目标，如果成功抓取，游戏界面会出现相应的动画特效，同时在虚拟界面中执行相应手或脚的运动。

图1 2006-2020年游戏BCI论文发表和引用数量

在交互方面，通常多感官的刺激能够提升用户积极性，一些研究者尝试在MI-BCI游戏中增添多模式反馈来增强娱乐性。2016年，Vourvopoulos等人[20]开发了一款划船游戏“NeuRow”。游戏场景是在一片海域中，玩家通过想象左右手的划船运动来驾驶船到达指定地点。游戏的创新点是在视觉呈现的同时增加了触觉反馈，在游戏过程中用户双手各持一个手柄，其内的振动马达会给予实时反馈，实现了触觉和视觉的结合，有助于激活大脑的运动区域，为MI游戏型控制开辟了新的思路。

近几年，面向多任务、复杂场景的多人协同/对抗游戏BCI也引起了广泛的关注。通过两人及以上操作者对同一任务的协作操控，或以竞争的模式进行游戏操控，一方面提高了任务的完成效率，另一方面增加了游戏的趣味性[21]。2013年， Li等人[22]提出的多人赛车游戏，是一款具有竞争模式的多人BCI。游戏中多名用户通过想象左臂、右臂和脚步运动分别控制汽车左转、右转和前进，成功达到了竞技的目的。

综上所述，MI-BCI游戏具有的优势是不依赖外部环境，通过用户自发产生的脑电信号来控制游戏，在一定程度上解决了传统运动想象任务训练时间长、训练方式枯燥、用户体验较差等问题。但存在的问题是可用的指令数较低，在多种游戏场景下的使用都受到了限制。

2.2 基于反应式BCI的游戏设计

反应式BCI是指当某种特定类型的刺激作用于人体的感觉通道时，会诱发大脑特定的神经响应，通过分析神经响应的特点来识别大脑的意图，从而进行指令输出。目前，典型的反应式BCI系统主要有SSVEP-BCI系统和P300-BCI系统，具有脑电特征诱发稳定、识别响应速度快、准确率高等优势，研究较为广泛，下面将分别进行介绍[23]。

图2 MI-BCI游戏

2.2.1 SSVEP

稳态视觉诱发电位(SSVEP)是指当用户受到一个固定频率的视觉刺激时，可以在大脑的初级视觉皮层上检测到一个与刺激频率有关(刺激频率的基频或倍频处)的响应。该响应信号因具有特征显著、幅值稳定、抗干扰能力强等诸多优势，因此成为BCI领域的研究热点[24]。

早在1977年，Vidal[25]就设计了一款利用SSVEP-BCI控制的游戏。游戏中的闪烁刺激用来表示上下左右4种运动方向，用户在迷宫环境中通过识别指令来控制方向进行逃离，实验的平均正确率超过了90%。经过几十年的发展，目前已广泛应用于康复医疗、娱乐游戏等领域。2013年，Parafita等人[26]开发的一款SSVEP-BCI游戏被用于临床实验，实验的游戏界面中包含两个频率的刺激，用于控制航天器向左或向右移动躲避障碍物。实验参与者成功地完成了游戏，平均正确率超过了95%。相较MI-BCI而言，该游戏仅需更短的训练时间就能够实现更加准确的SSVEP控制，后来被用作一种神经治疗工具帮助注意力缺陷多动症儿童进行康复治疗。2021年，Perez-Valero等人[27]提出了一款由SSVEP-BCI控制的游戏(见图3)。在该游戏中，频率为15 Hz的刺激以环形棋盘的形式呈现，并由屏幕边缘逐渐移动到屏幕中央，用户的目标是集中注意力(研究者通过计算诱发的SSVEP功率谱密度和脑电背景噪声检测参与者注意力水平)阻止其移动，实验平均正确率为84%。研究结果表明该游戏可以用来训练用户的注意力和视觉跟踪能力。

类似于主动式BCI游戏，研究人员基于SSVEPBCI也开发了多人协同/对抗类游戏的应用。2017年，Cruz等人[28]提出了一款多人合作游戏“Kessel Run”。游戏中两名玩家利用SSVEP信号分别控制一艘飞船的两个推进器，通过合作的方式操控飞船进行左右移动躲避飞行物。游戏目标是在有障碍物的太空环境中坚持2 min，实验用户均表示游戏具有较强的交互感和合作感。

图3 SSVEP-BCI游戏

综上所述， SSVEP-BCI系统因其性能稳定、信息传输率高、训练要求少以及个体变异性小等优点被用于多种类型游戏的控制。但存在的问题是目前主流SSVEP-BCI系统的适用频带范围较窄，限制了指令集数量的进一步发展，影响了应用场景；另一个问题是采用的低频闪烁容易导致视觉疲劳，长时间人机交互体验较差。

2.2.2 P300

P300是指当大脑受到小概率事件刺激时，在刺激呈现后的300ms左右出现一个正向峰值，反映了大脑认知加工过程，已经广泛用于认知神经科学。P300信号具有特征明显、不过于依赖用户训练等优势，并且除了视觉外还可以利用听觉或触觉刺激来诱发。但由于多数游戏对连续控制的要求较高，而P300因其固有特点，该类游戏只能从预定义的命令集进行选择，无法进行连续控制，因此研究相对较少。

1988年，Farwell等人[29]利用P300开发了字符拼写系统，目前已成为BCI主要范式之一。这种模式的刺激通常被设计成网格的形式，例如2009年Finke等人[30]开发的街机风格游戏“MindGame”。游戏的关卡被排列在28×18的网格上，角色通过注视网格来进行移动。所有的参与者都能够成功进行该游戏，实验结果中平均正确率为 65.9%。2021年，Li等人[31]提出了一款P300-BCI游戏五子棋“MindGomoku”。如图4所示，研究者在设计实验范式时充分结合了五子棋游戏规则与BCI系统的特点，将完整的一次落子过程分成两步来完成，参与者均能成功进行游戏，实验平均正确率为90.7%。选择红星的坐标需要两个步骤。根据其位置，用户应在第1级界面中选择字符M，然后在第2级界面中选择字符6。通过这两个选项可以确定一个坐标，在该坐标处，系统将在围棋板上显示一个棋子作为反馈。

目前视觉刺激类的P300-BCI游戏大多都在液晶屏中呈现，一些研究者尝试通过结合虚拟现实技术来摆脱对呈现装置和场所的限制。2000年，Bayliss等人[32]基于沉浸式环境开发了一款游戏。实验参与者使用头戴式显示器(Head-Mounted Display, HMD)和方向盘控制器在虚拟环境中驾驶，参与者均成功完成了游戏并表示有强烈的沉浸感，该研究证明了BCI与其它交互设备结合的可能性。

综上所述，虽然P300已成为脑-机接口领域的3大主流范式之一，但由于在游戏应用中存在无法实现连续控制的局限性，导致只有少数基于P300的简单游戏被设计出来。但因其具有无需训练即能准确诱发的优点，在未来有着很大的应用潜力。

2.2.3 其它范式

大脑对不同的刺激方式有不同的响应，反应式BCI中除SSVEP, P300外，研究人员还发现了运动起始视觉诱发电位(motion-onset Visual Evoked Potential, mVEP)和基于编码调制的视觉诱发电位(code modulated Visual Evoked Potentials,cVEP)等新型范式，因其各具特点也被用于一些游戏BCI中[33,34]。

mVEP是由运动刺激诱发产生的，相较于其他的视觉诱发电位，它具有较大的幅值和较小的被试间以及被试内差异，且不容易引起视觉疲劳的优点。2019年的一项研究中，Beveridge等人[35]将mVEP作为一种控制模式开发了一款3D赛车游戏，所有游戏参与者均取得了较好的控制效果。将mVEP作为控制信号的还有动作类游戏“virtual environment shooter”、益智类游戏“ball drop path estimation”和运动类游戏“bowling”，以上均说明mVEP作为一种控制信号能够成功控制大多数游戏。

cVEP是一种新型的刺激编码方式，它并非SSVEP那样以固定频率闪烁，而是根据伪随机二进制序列进行闪烁。这种方法可以扩大刺激的数量，能够从一定程度上解决SSVEP可用频率受限的问题。2016年，Riechmann等人[36]在一项研究中，采用cVEP信号来控制3维厨房场景中虚拟人物的导航和选择任务。实验结果表明，所有用户都能够成功进行游戏。

除了mVEP, cVEP外，目前研究者对反应式BCI的编码方式开展了探究。随着科学工程技术的进步，相信未来将会出现更多适用于游戏BCI的编码方式。

2.3 基于被动式BCI的游戏设计

被动式BCI是一种通过检测脑电信号，来识别人的情绪、疲劳、脑力负荷等心理、生理状态的系统。作为传统交互方式的一种加强和辅助方式，目的是在人与智能系统之间实现更友好、更舒适、更安全的人机交互。目前被动式BCI的游戏多用于康复治疗领域。

2014年，Friedrich等人[37]提出一款治疗自闭症的严肃游戏，通过神经反馈和生物反馈对自闭症儿童进行联合治疗。游戏目标是让用户进行虚拟社交互动，在这一过程中检测神经和身体的反馈。研究结果表明，神经反馈通过调节大脑节律能够减少自闭症儿童的症状。另一项康复研究是针对注意力缺陷多动症(Attention Deficit and Hyperactivity Disorder, ADHD)的治疗，Muñoz等人[38]提出一款游戏“The Harvest Challenge”。游戏目标是引导用户在虚拟环境中的哥伦比亚咖啡区种植咖啡，在这一过程中考验玩家的等待能力、 规划能力、遵循指示的能力和实现目标的能力，在游戏过程中对参与者注意力进行持续监测。研究结果表明，可以用来对多动症儿童进行注意力训练。

综上所述，被动式游戏BCI可用于康复医疗领域，除此之外，根据被动式BCI的特性，未来也可以用在教育教学中监测学生的学习状态，用在生产作业中监测操作员的精神状态以保证工作安全、高效[39]。

2.4 基于混合BCI 的游戏设计

混合BCI是由多个范式(两个或两个以上BCI范式或者一个BCI范式与其他信号控制的范式)组成的，相比于传统单一系统模式能更好地完成特定的目标任务[40-42]。在游戏方面，混合BCI既丰富了游戏的控制手段也增强了娱乐性，还解决了部分游戏单一模式较难实现的问题。通过对混合BCI的调查，发现在大多数情况下，混合BCI不仅提供了额外控制信号，也提高了BCI系统的准确率。

2019年，Wang等人[43]将MI与SSVEP相结合来控制俄罗斯方块游戏 “Tetris”。如图5所示，受试者通过MI信号控制物体移动，通过SSVEP信号控制物体旋转。所有参与者均能够成功进行游戏，相较单一控制模式的游戏，该游戏过程中用户将视觉刺激和运动想象结合，大大提升了游戏的趣味性，同时该实验也证明了这种混合方式的可行性。

一些研究还将传统控制方式(如键盘、眼动仪)集成到游戏中。2010年，Mühl等人[44]在游戏“Bacteria Hunt”中将键盘、α节律和 SSVEP 结合。在游戏过程中，研究人员不仅检验游戏反馈对用户状态产生的影响，还探究了游戏中使用的两种脑-机接口模式间的相互作用。2014年，Khong等人[45]开发了一款游戏“Mind Battle Field”。该游戏利用不同注意水平的脑电特征和键盘输入来控制，通过分析用户的脑电样本熵特征和α, β和θ波段的功率值来区分玩家的不同大脑状态，并用该特征在3维游戏环境中成功控制目标。研究结果表明，在多人神经反馈游戏环境下，将基于大脑信号的输入与传统控制相结合可以改善大脑功能。

2.5 脑电信号分类算法

游戏BCI性能由正确率、交互速度等因素综合衡量，系统性能由BCI解码算法决定。解码算法是根据脑电信号所包含的信息，从中提取出相应特征，进而对不同任务进行区分。上文中将游戏型脑-机接口系统分为主动式、反应式和被动式3大类，由于其信号产生方式不同，脑电信号存在不同程度的差异，在实际应用中分别有对应的分类算法。

主动式BCI主要以 MI范式为主，MI任务信号的产生一般伴随着不同的感觉运动节律(Sensory Motor Rhythm, SMR)，即各脑区特定频段功率的升高或降低，因此空间特征的提取对于想象运动状态十分重要。通常，MI首先通过共空间模式(Common Spatial Pattern, CSP)及其扩展算法滤波器组共空间模式(Filter Bank Common Spatial Pattern,FBCSP)从SMR中提取特征向量，之后利用线性判别分析(Linear Discriminant Analysis, LDA)、支持向量机(Support Vector Machines, SVM)、K值最近邻(K-Nearest Neighbor, KNN)、朴素贝叶斯分类器(Naive Bayesian Classifier, NBC)等传统机器学习分类器，完成训练与预测等过程。在传统机器学习分类器基础上，不少研究者围绕MI-EEG信号的高维度等独有特性对传统分类器进行适当的改进，取得了良好的效果。但传统机器学习分类器与改进后的机器学习分类器，均需在分类操作前进行特征提取步骤。与这些分类器相比，目前深度学习分类器不仅可以对提取到的特征进行分类，也可以从原始信号中自行学习有鉴别性的特征，并完成整个分类过程。黎曼几何分类器因其具有高鲁棒性和较强的泛化能力，也逐渐用于MI-BCI的分类识别中。

反应式BCI主要以 SSVEP，P300为主，这类信号在分类前通常需要进行数据预处理(包括降采样、滤波、独立成分分析等)，目的是通过去除与任务无关的噪声以提高信号的信噪比。SSVEP分类算法根据是否需要训练数据可分为有训练和无训练解码算法两类。有训练解码算法主要包括任务相关成分分析(Task-Related Component Analysis,TRCA)及其改进算法，同时还包括部分需训练的CCA改进算法，这类算法利用被试个体数据来训练得到最优模型，并用其解码测试个体数据，能够取得较好的分类效果。无训练解码算法主要包括功率谱密度分析(Power Spectral Density Analysis,PSDA)、典型相关分析(Canonical Correlation Analysis, CCA)等算法，这类算法的优势是不需要额外的被试脑电数据作为校准数据，但分类正确率相对有训练解码算法较低。P300分类算法包括基于非空间信息的解码算法和基于空间信息的解码算法，非空间信息的解码算法包括线性判别分析LDA及其改进算法、支持向量机等算法。基于空间信息的解码算法包括典型判别模式匹配(Discriminative Canonical Pattern Matching, DCPM)、时空判别分析(Spatial-Temporal Discriminant Analysis, STDA)等解码算法。相比于非空间信息的解码算法，基于空间信息的解码算法将空间信息融入到解码算法中，能够取得较好的效果。

被动式BCI是通过检测脑电信号，来评估用户的精神和情绪状态。如采用脑电不同节律下能量的比值来区分不同脑力疲劳状态，并用这类特征指标构建分类器。目前被动式BCI的分类主要依赖传统的机器学习算法，如线性判别分析LDA、逐步线性判别分析SWLDA、支持向量机SVM等，都能够将欲研究的精神或情绪状态从周围环境的“噪声”中分离出来，但需要用户的训练数据进行校准。2016年，Schultz等人开发并测试了一种无监督(即不需要任何校准阶段)算法，成功实现对操作员的不同工作负载状态进行分类。

BCI分类算法近年来发展较快，不同类型的BCI分类算法在克服EEG信号变异性大、信噪比低等方面不断取得突破，分类准确率逐步提升。目前传统的分类算法在游戏BCI的应用中取得了较好的分类效果，但游戏BCI在交互过程中通常要求“易上手、好操作”，相比而言，无训练算法更能满足这一需求，因此有待无训练算法的进一步发展来推动游戏BCI的进步。

3 未来趋势与挑战

综上所述，游戏BCI在教育娱乐、康复医疗等领域已经表现出较广阔的应用前景[46-48]。然而，目前大多数研究中游戏BCI都被用于训练，且采用了简化的游戏机制，距离走出实验室面向大众还面临着很多挑战[49]。下面将从硬件设备、数据处理、游戏设计3方面分析游戏BCI存在的问题和未来的发展趋势。

在硬件设备方面，缺乏性能更好、成本更低的脑电设备是游戏BCI面临的一大难题。目前实验室使用的高性能科研级脑电设备存在成本高、体积大、佩戴复杂等问题，不适用于游戏领域。面向游戏的脑电设备应逐渐向便携化、智能化发展。另外，在视觉刺激的呈现上，虚拟现实系统也是未来的发展方向。与传统的平面显示器相比，虚拟现实系统能够提供更直接、更准确的反馈，用户能够获得较好的沉浸感，从而提高用户对游戏的投入度与积极性[50-52]。

在数据处理方面，现有脑电信号常采用有训练的方式。通过采集较长时间的用户训练数据，系统性能才能达到使用要求，且在游戏交互过程中脑电信号因其具有非线性、非平稳特性，受用户肢体动作和认知程度影响，难以满足游戏交互高反应速度、高分类正确率的需求。另外，脑电信号还易受到外界环境等因素的干扰，从而降低系统性能。因此，有待开发鲁棒性更强的数据处理方法[53]。

在游戏设计方面，市场上的游戏设计和视频图像与实验室中存在一定的差距。实验所用的BCI游戏场景，通常刺激过于强烈，容易引起受试者的不适，体验感较差，微弱刺激的范式也许是未来的重要发展方向[54]。另外，上文提到的多人控制游戏也表现出了较好的效果和较强的游戏乐趣，也将成为未来研究中的一个重要方向。

4 结束语

本文介绍了基于头皮脑电的游戏型脑-机接口技术，将其按控制信号类型分为主动式、反应式、被动式以及混合范式，介绍了不同类型游戏BCI的控制策略和应用场景，并对游戏BCI中目前常采用的分类算法进行分析，系统梳理了游戏BCI当前的研究进展，表明其在教育娱乐、康复医疗等领域有广阔的应用前景。最后讨论了BCI与游戏结合过程中的优势以及游戏BCI未来的发展趋势与挑战。现阶段，脑-机接口在游戏领域的发展还处在初级阶段，但随着科学与工程技术的进步，未来脑-机接口在游戏领域的应用前景十分广阔。