高宇航 司娟宁 何江弘 李梦
自20世纪70年代初, Vidal[1]首次提出“脑-机接口(brain-computer interface,BCI)”概念以来,BCI在神经科学、康复医学、人工智能等领域受到越来越多的关注。BCI技术不依赖于外周神经和肌肉组成的正常输出通道,直接通过解码大脑活动和控制计算机或其他外部设备,为存在运动、感觉、语言、认知等功能障碍的人群提供一种与外界交流的手段,也可以作为神经康复工具改善这些人的运动和认知能力,具有很高的实用价值和广阔的应用前景。近年来,随着科学技术的飞速发展,各种尺度(宏观、介观、微观)脑成像技术不断涌现,极大地推动了BCI技术的发展,常见的有脑电图(electroencephalogram,EEG)、功能磁共振成像技术(functional magnetic resonance imaging,fMRI)、功能近红外光谱技术(functional near-infrared spectroscopy,fNIRS)等。EEG是一种直接记录大脑神经元电活动的非侵入式电生理技术,具有安全、便携、低成本,时间分辨率高等特点。fMRI是一种基于血液动力学响应的间接反映神经元活动的神经影像学方式,具有很高的空间分辨率,然而磁共振扫描价格昂贵、设备沉重、对噪声敏感、对被试体内金属植入物限制、无法在日常环境下长时程连续扫描。fNIRS是新近发展起来的一种无创便携式光学脑成像技术,利用氧合血红蛋白(oxygenated hemoglobin,HbO)和脱氧血红蛋白(deoxygenated hemoglobin,HbR)在近红外光范围内独特的光学性质,实现脑功能活动的检测。与fMRI技术相比,fNIRS便携、低成本,具有较高的时间分辨率,可长时间连续检测,对运动噪声不敏感和环境要求低等优势,有较高的实用价值。
相比于单一模态,多模态融合技术可以充分发挥不同模态信息互补的优势,从神经元活动、血氧变化、能量代谢、神经递质释放等多方位、多角度联合表征大脑的功能活动,为研究BCI提供强大的推动力。本文综述了EEG、fNIRS及EEG-fNIRS多模态融合技术在BCI中的应用现状,归纳各技术的研究成果,探讨其局限性和改进方式,并对未来BCI的发展做了展望。
EEG技术是目前研究中最成熟的BCI技术。EEG是一种典型的非侵入式BCI,主要通过放置在头皮的电极,将脑部的自发性生物电信号加以放大、记录而得到波形[2]。EEG是脑神经细胞的电生理活动在大脑皮质或头皮表面的总体反映,具有安全无创、便携可移动、时间分辨率高、可长时程连续反复测量等优势,广泛应用于大脑信号的研究和检测各类脑功能疾病,如睡眠检测、癫痫诊断等[3-4],EEG技术还能通过电刺激的辅助激发大脑潜能,提升脑功能。近年来EEG-BCI研究的主要研究成果如表1所示。
表1 EEG-BCI的研究成果Table 1 Summary of EEG-BCI research achievements
Mishuhina等[5]在2018年提出了一种新的特征加权和正则化(feature weighting and regularization,FWR)方法,结果表明此方法在标准光谱模式和常规空间光谱模式上的应用效果良好,且通过第三届BCI竞赛IIIa数据集和第四届BCI竞赛IIa数据集分析验证,相比于传统的特征选择方法,FWR方法提高了分类准确率。近年来,随着人工智能技术取得的跨越式发展,深度学习方法也逐渐被应用于脑电分类识别当中。传统的脑电分类识别主要由人工完成信号特征的提取,而深度学习不依赖于人工提取特征,而是基于模型逐层提取数据中的特征,分类速度和准确性明显提高。许学添等[6]在2021年提出将图卷积网络算法应用到运动想象分类中,通过多个节点脑电信号的相关系数建立脑电图结构,最后通过全连接层输出分类效果,通过第四届BCI竞赛IIa数据集数据集验证取得80.9%的准确率。
Holz等[7]在2015年通过基于事件相关电位(event-related potentials,ERP)的BCI技术研究肌萎缩性侧索综合征(amyotrophic lateral sclerosis,ALS)患者的运动能力,证明在14周时间内ALS患者通过使用经典的P300拼写器能够在其家庭环境中操作必要的软件,如文字处理、绘画、电子邮件和控制家用电器等。Boonyakitanont等[8]在2019年综合总结EEG信号在表征癫痫发作时的特征描述及其解释,对分类性能指标进行综述,并进行独立的实验来检测每个特征的质量,结果表明根据方差、能量、峰度等特征能够很好地捕捉癫痫发作。张锦等[9]在2020年提出了一种简化深度学习模型研究癫痫脑电识别问题,利用经验模态分解选取不同阶次本征模态函数分量,结果表明对于五类不同的脑电信号,前三阶的本征模态函数分量的识别率达到92.1%。
由表1所示,基于EEG-BCI研究现状可以看出此项技术的可行性。EEG-fNIRS主要通过测量运动想象任务、认知任务等过程中,受试者任务相关皮质区域根据不同特征提取算法得到的频率、方差等特征指标,并利用机器学习算法基于提取的特征指标进行分类识别。
受试者任务相关皮质区域根据不同特征提取算法得到的频率、方差等特征指标,并利用机器学习算法基于提取的特征指标进行分类识别。针对健康被试,研究者主要通过在已有的经典算法中进行创新,希望能够实现新的算法或更优的算法组合以达到更高的分类准确率,从而提高BCI系统的实用性。在针对患者的研究中可以看出BCI可以有效检测到患者的残余意识,帮助具有严重功能障碍的患者建立与外界的交流通道,捕捉癫痫发病信号,为患者的及时治疗提供保障,或者一定程度上恢复运动障碍患者的运动能力,操作简单的软件。随着BCI技术的不断成熟,它会在未来造福更多患者。
然而,EEG也存在一些局限性。一方面,与传统的输入技术相比,目前BCI的性能水平仍然很低,不支持快速复杂的通信和控制。另一方面,由于EEG测量的复杂性以及精神任务(如运动想象、心算等)对于注意力的依赖性,将BCI系统从控制良好的实验室环境过渡到现实生活环境仍是一个挑战。
fNIRS技术是一种利用近红外光来检测组织血氧变化的无创、实时、可长时间连续监测的新型光学脑功能成像技术[22]。早在1977年,Jobsis等[23]在Science杂志上发表文章指出,近红外光(波长为550 nm-950 nm)可以穿透一定厚度的生物组织,可用于检测大脑的氧合水平。随后该技术获得了生物医学领域的极大关注,经过数十年的发展,目前该技术已被广泛应用于大脑的正常功能活动[16]、BCI以及疾病状态下的脑机制研究,如精神分裂症、抑郁症、癫痫、意识障碍等疾病[21]。此外,该技术在儿童、婴幼儿的认知发育或疾病诊断领域独具优势[24]。fNIRS技术低成本、便携、安全、具有较高的时间分辨率和适中的空间分辨率、对运动噪声具有较强的容忍力,而且可以同时测量HbO、HbR及总血红蛋白(total hemoglobin,HbT)浓度的变化,信息量更加丰富,非常适合于BCI研究,近年来fNIRS-BCI的主要研究成果如表2所示。
表2 fNIRS-BCI的研究成果总结Table 2 Summary of fNIRS-BCI research achievements
李玉等[16]在2020年研究fNIRS对单个肢体动作运动想象的可行性,以HbO 信号的相关系数等信息作为新的特征,并采用 SVM 对右脚3种运动想象动作进行分类,平均分类准确率约78%,结果表明基于 fNIRS 信号可以有效分类单个肢体不同运动想象动作。
Chaudhary等[18]在2017年利用fNIRS通过指导闭锁综合症(locked-in state,LIS)患者对几个问题思考是或否,并且使用开放式句子的交流,其中3/4的患者分类准确率超过75%。同年Androu等[19]利用fNIRS进行LIS患者脑功能检测的研究,在没有任何事先训练的情况下,一名LIS患者成功地利用运动想象打网球实现与外界提出的简单交流。Borgheai等[21]在2020年发了一种新的基于fNIRS-BCI系统,并结合单次试验视觉心理范式(visuo-mental,VM)来研究增强ALS患者沟通能力的可行性,结果表明相较于传统方法,fNIRS-VM的准确率显著提升。
由表2所示,经过数十年的发展,基于fNIRS技术的BCI在健康正常被试及特殊人群中取得了良好的应用效果。fNIRS-BCI主要通过测量运动想象任务、视觉任务、认知任务等过程中,受试者任务相关皮质区域的血氧响应函数(HbO、HbR、HbT)的均值、峰值、方差、斜率、相关系数等特征指标,通过机器学习算法进行分类识别,均取得一定的成果,为增强BCI系统的准确性与实用性,研究者将更多精力集中于算法的创新。在针对患者的研究中,BCI技术使闭锁综合征患者成功摆脱了语言和动作交流的局限,对于是否问题的判断有较高的准确率,同时实现了ALS患者与外界的交流和控制能力,并且逐步探索以增强这种能力,为运动障碍患者带来更大的福音。
然而,fNIRS技术也存在一些弊端,如空间定位能力有限,且容易受呼吸、心跳等生理噪声的影响。除了这两种技术自身的局限性,单模态BCI本身也存在一些不足:(1) 分类的精度和速度。去噪过程会增加计算复杂度和时间成本,若不进行去噪处理,分类速度虽然提升,但精度却明显下降,如何同时提升分类的精度和速度仍需要进一步研究。(2) 信号变化缓慢。 fNIRS的光信号不会受到电磁特性影响,但由于血液动力学响应的慢变特性导致血氧信号变化较慢。(3) 个体差异性。BCI对于不同受试者会产生不同的效果,反映出受试者大脑活动的差异,例如已经证实的“BCI盲[25]”问题,如何让BCI系统适合大多数被试需要进一步研究。(4) BCI系统的指令丰富性和实用性。目前单一模态的输出指令有限,需要更加丰富的指令实现更多功能。此外,由于BCI技术本身的限制,一般的实验条件都是出于实验室环境,将其过渡到现实环境仍然是一个挑战。
多模态BCI将EEG、fNIRS、fMRI等多种模态技术融合,相比单一模态,多模态融合技术可以实现从神经电生理、血氧活动及能量代谢等多个角度对脑活动的实时监测,充分发挥不同模态信息的互补优势,为研究大脑的功能活动提供强大的推动力。EEG技术具有很高的时间分辨率,但空间分辨率受限;fNIRS的空间分辨率适中,但实时性较差。基于EEG-fNIRS的多模态融合技术可整合二者的时空分辨率的优势。此外,这两种技术均具备安全无创、价格低廉、便携可移动、信号易获取、可在自然环境中使用以及可长时程连续监测等特点,二者的融合可同时获得大脑神经元电活动与血氧代谢变化,更加全面、准确反映大脑的功能活动。与单一模态相比,EEG-fNIRS融合技术通过融合不同类型(神经元电活动信号、血红蛋白浓度变化信号)的特征来提高分类精度,增加控制命令的数量,丰富和强大系统的功能。结合EEG-fNIRS的多模态融合技术目前已成为BCI发展的重要工具,近年来的主要研究成果如表3所示。
表3 EEG-fNIRS的多模态融合研究成果总结Table 3 Summary of EEG-fNIRS multi-mode fusion research achievements
Verma等[26]在2019年研究结合EEG和fNIRS同时分类运动图像任务的左、右抓取运动时BCI的表现是否有所提高,结果表明使用多模态方法的BCI与仅基于EEG的BCI相比,其分类准确率提高了约8%~10%。
Sargent等[27]在2018年通过基于EEG-fNIRS的BCI系统验证精神疲劳是否能够诱发大脑激活的变化,8名参与者参与了这项研究,其中2名ALS患者和6名健康对照组,结果表明EEG和fNIRS可用于评估长期脑机辅助使用期间的脑激活变化,将进行进一步的分析以确定精神疲劳的生物标记。
研究发现基于EEG-fNIRS多模态融合的BCI性能明显优于单一模态。EEG与fNIRS的多模态融合技术弥补了EEG技术空间分辨率低的问题,而且fNIRS测量信号产生的时间滞后问题可以通过优化选择特征和更复杂的算法来改善。研究表明,结合EEG和fNIRS的多模态BCI将脑电信号与脑血氧信号的特征融合到一起进行分类识别,不仅克服了单一模态的局限性,提高了系统的分类准确率,而且性能更稳定,应用更广泛。另外,多特征融合可以从多角度、多方位更加全面地反映脑功能的激活情况,使系统获得更多的指令信息,验证了其对于复杂机制的研究的优越性,进一步增强了BCI系统的实用性。综上所述,多模态BCI技术势必会成为未来BCI发展的重点研究方向,也势必会加快推进BCI的实用化进程。
然而,目前基于EEG-fNIRS的多模态融合技术也面临一些困难。一方面,由于时间分辨率不完全匹配和血液动力学响应固有的延迟,这会在一定程度上影响特征的同步性;另一方面,由于EEG和fNIRS记录位置的不匹配可能会影响大脑神经血管耦合机制解释。根据以往文献,已有学者给出了上述问题的解决办法。对于第一个问题,Morioka等[34]提出基于fNIRS信息的脑电皮质电流解码方法,使用fNIRS特征作为先验信息来估计EEG中的皮质脑电信号,证明在空间注意任务中此方法性能优于仅基于脑电信号的解码方法,Sangtae等[35]提出基于特征归一化的特征组合方法,通过归一化0~1范围内EEG和fNIRS的特征,并应用特征的总和,在检测疲劳驾驶任务中获得比单模态更好的BCI性能,尽管还需要进一步的优化探索,但这两种方法可能是未来的解决方案,可以克服目前在融合EEG-fNIRS特征方面的局限性。针对第二个问题,在实验准备阶段尽可能地匹配好EEG电极与fNIRS光极的空间位置,由于fNIRS记录到的血液动力学响应位于光源发射端和探测器的中间位置,因此EEG电极应该放置在发射端和探测器中间,从而使二者的空间位置匹配。另外,fNIRS信号的信噪比可能会受到被试头发的影响,实验准备环节一定要确保光极与头皮良好的接触。
脑机接口的相关技术日益趋向成熟,目前研究方向逐渐由实验室研究专用向日常生活普遍应用探索。根据总结脑机接口的已有研究和各类预测,其发展前景主要体现在以下几个方面。
(1) 医疗。BCI系统广泛应用在康复医学中,为存在严重功能障碍的患者提供与外界交流的通道,也可用于恢复运动障碍患者的运动能力,即通过被试指令性脑电信号控制外部设备,协助患者进行肢体运动,如机械臂、轮椅等,以便用户可以自由移动。为保障安全性,此系统不能承受高错误率,且需保障传输速率以提供实时控制。除此之外,通过对信号的分类识别处理能够实现对神经系统疾病和心理检测的监测与治疗,例如早期诊断阿尔茨海默病以降低发病率,预测癫痫发病,构建睡眠质量自动监测系统。
(2) 军事。BCI系统在军事应用的潜力主要体现在:① 提高作战人员的认知能力,为其提供融合BCI系统的头盔或其他装备,在计算机中实时监测军人的大脑活动状态,当出现紧急情况时及时提供反馈以减少军人的应激反应,提升军人的作战反应能力,近些年来美军提出了“感知操控”“代理战士”等概念,这种人机结合的方式必定是未来军事领域的重点研究方向;② 协助操控无人设备,代替作战人员深入危险区域,也可避免作战时的体力消耗,此项技术已在实战中被验证有效性;③ 进行高效保密的军事通信,此技术的成功将是对通信技术领域的一种革命式的改变。
(3) 游戏娱乐。目前的网上娱乐方式需要通过键盘、鼠标等设备来操控游戏,利用BCI的方式可以通过思维来进行操控,机器通过编码给予大脑反馈,让人类在大脑中实现触觉等感知效果,但真正实现还需要相关人员深入研究,BCI与虚拟现实技术相结合的研究将会成为游戏界一次革命性进展。
(4) 其他应用。除了上述应用以外,近些年BCI对教育、环境控制、智能通信等方面的研究也逐渐增多,其中环境控制领域,例如脑控智能家居对运动障碍人士非常有效。目前针对BCI技术的研究大多处于实验室阶段,将其过渡到现实环境中还需要各界科学人士进一步的探索研究,接下来BCI技术对于新的应用领域的研究以及如何将各种领域、各项技术相结合,开发一套实用、便携、综合的BCI系统是未来发展的一个重要方向。
BCI技术是一门涉及神经科学、康复医疗、人工智能等多学科的交叉技术,可以实现人脑与外界的信息交互。近些年来基于BCI的研究取得了不少令人瞩目的成果,研究人员也与日俱增。
通过对BCI的研究成果总结,基于EEG、fNIRS的BCI技术发展已经逐渐成熟,给予功能障碍患者极大的帮助,目前存在的主要问题是BCI系统的准确性与实用性,体现在分类的准确率和系统的传输速率,同时保障系统的稳定性,以及将受控的实验环境过渡到现实环境中,这就需要相关人员对基于传统算法上的创新研究。除此之外,通过对已有的研究分析可以看出目前单模态BCI本身还存在缺陷,而多模态融合技术可以实现从神经电生理等多个角度对脑活动的实时监测,同时获得大脑神经元电活动与血氧代谢变化,更加全面、准确地反映大脑的功能活动,已有不少研究证明其性能优于单一模态,因此一种多模态融合BCI的研究方式更值得期待。当然,目前多模态融合的研究也存在一些局限性,不过有些研究中已经提出了克服当前局限性的可能途径,为接下来的研究提供参考。针对BCI的研究会对医疗,以及军事教育等领域带来重大的促进作用。
目前BCI正处于快速发展的阶段,但目前这项技术还存在问题,由于它建立了一条大脑与计算机之间通信的道路,因此导致的传输速度问题、精度问题、适应性问题、实用问题还需进一步研究改善。相信随着BCI技术的深入研究会有更重大的突破,展现出更大的应用前景,给人们带来更多便利。