脑机接口中脑电图-近红外光谱联合分析进展研究

张力新 周鸿展 王 东 孟佳圆*② 许敏鹏② 明 东②

①(天津大学医学工程与转化医学研究院 天津 300072)

②(天津大学精密仪器与光电子工程学院 天津 300072)

1 引言

脑电图(ElectroEncephaloGraphy, EEG)通过放置在头皮表面的电极记录，能反映出脑皮层神经微弱放电的变化情况。EEG的电位记录具有较高的时间分辨率，从而使在时间细节上跟踪大脑活动过程成为可能[1]。近红外光谱(Near-InfRared Spectroscopy, NIRS)是通过外置光源和接收器，监测大脑特定区域血红蛋白浓度波动的方法。在特定脑区激活时，对氧的需求量增加，从而在大脑中发生代偿性血流动力学反应[2]，使相应区域血红蛋白浓度等生理指标发生变化。EEG以采集电信号的方式实现，NIRS以采集光信号的方式实现，两者所需的信号本身及其采集方式没有物理意义上的相互干扰，可以同时采集，故在现有的脑机接口(Brain-Computer Interface, BCI)中，EEG和NIRS是较常用的采集信号。目前，脑电活动及其对应的血流动力学活动的时空对应关系尚不明确，它们通过神经血管耦合机制[3]相互作用，各自具有独特的特征，将EEG和NIRS联合分析可能得到更精确、更详细的大脑活动状态[4]。相关的研究表明，与单模态BCI相比，将EEG和NIRS联合分析的混合BCI系统能在多种范式上提供更多的指令集，提高脑机接口系统分类的鲁棒性与准确率，也能够对情绪状态、持续注意等时间尺度较长的状态进行精细的识别与估计。对于这两种信号具体的融合方法，随着研究者对这两种信号本身及其相互联系的不断加深，其形式于近几年从较为简单的基于贝叶斯的决策层融合，到基于特征筛选和拼接的特征层融合，再到基于优化卷积神经网络(Convolutional Neural Network, CNN)、长短期记忆网络(Long Short Term Memory network, LSTM)等深度学习方法的数据层融合，由浅入深逐渐发展。就目前研究现状而言，决策层和特征层融合均能给混合BCI带来一定效果的提升，而利用深度学习方向的数据层融合方法，某些特定范式的指令融合分类准确率可达99%以上。本文以EEG与NIRS的信号融合层级为主线，综合概括了两种信号的融合方法及其应用场景，并对未来的信号融合的发展方向做出了展望。

2 信号融合层级

EEG和NIRS的联合分析与融合可以分为决策层融合、特征层融合与数据层融合。每个层级具体的处理过程如图1所示。

图1 决策层融合、特征层融合与数据层融合的处理过程示意图

本文将从这3个方向介绍相关研究进展，并进行总结归纳。

2.1 决策层融合

决策层融合一般指将各模态信息各自进行处理，并将得到的初步分类结果进行决策或权重分配，得到目标的最终分类结果的融合。各模态信息独立处理包括预处理、特征提取与分类等，也可以选定多种特征提取方法分别进行分类，最后根据各模态的分类结果进行自适应的决策。在EEG-BCI的相关研究中，根据同一实验任务引发的不同特征分别进行分类，最后通过自适应决策得出最终结果的方法已较为常见，如较为成熟的运动想象(Motor Imagery, MI)-P300 混合BCI使用决策层融合方法，相较于使用单模态特征，其分类正确率和所需的训练次数都得到了显著的优化[5]。在EEG-NIRS BCI中使用决策融合的方法是单模态BCI研究的自然延续。

决策层融合可对BCI输出结果进行预测与校正、增加BCI的指令集、提高EEG-NIRS BCI的分类准确率等。且由于决策层融合计算算法较为简单，实时性较强，更适合应用于对反应时间要求较高的BCI系统中。如在输出结果的预测与校正方面，在Fazli等人[6]的研究中，EEG与NIRS两系统是串联的关系。该研究以运动想象BCI为背景，通过最近时段的NIRS活动来预测EEG-BCI控制的性能波动。然后以基于NIRS的预测结果迭代鲁棒性更强的EEG分类器。此方法可以显著增强BCI分类效果，同时最小化性能波动，从而提高BCI性能的稳定性。Tomita等人[7]针对低频稳态视觉诱发电位(Steady-State Visually Evoked Potential, SSVEP)范式容易将受试者空闲状态识别为指令的问题，在枕区引入了NIRS通道用于识别“空闲”指令。具体而言，该研究综合EEG和NIRS的分类结果，判断决定当前是否为“空闲”状态。若判断为是，则让SSVEP-BCI系统暂停输出。该方法的引入成功降低了假指令出现的概率。在增加BCI指令集的方向上， Khan等人[8]通过受试者执行不同算术心理任务情况下的NIRS信号，得出轮椅向前和向后运动的控制命令；通过分析左右手的想象敲击对应的EEG信号得出向左和向右转动的控制命令，实现了轮椅的更灵活的控制。

提高分类准确率是决策层融合的直接目的。如在Fazli等人[9]的研究中，以基于运动想象的BCI系统为研究对象，对EEG和NIRS信号分别训练线性判别分析(Linear Discriminant Analysis, LDA)滤波器，在决策阶段综合3个滤波器估计1个元分类器，以最优地组合LDA算法的输出。通过这种融合方法，90%以上受试者的运动想象的分类准确率显著提高，平均提高5%。Kwak等人[10]对EEG和NIRS分别通过神经网络训练后，在分类阶段对分类结果进行加权。EEG-NIRS加权后的分类结果始终显著优于EEG独立分类的结果(对于运动想象，比单模态EEG分类准确率高2.82%；对于心算任务则提高了3.92%)，并缓解了NIRS响应延迟导致的BCI性能下降。Alhudhaif[11]则使用了含氧血红蛋白(Oxygenated Hemoglobin, HbO)浓度、脱氧血红蛋白(Deoxygenated Hemoglobin, HbR)浓度、HbO+HbR,EEG,EEG+HbO和EEG+HbR 6种数据组合方式，用K-means聚类中心差异属性加权方法(K-Means Clustering Centers Difference based,KMCCD-based)对各种选定的特征进行加权，最后使用LDA、支持向量机(Support Vector Machine,SVM)等分别进行分类，比较各种分类器的性能。分析结果显示，经上述处理，运动想象和心算任务的最终分类结果均达到98%以上，显著高于单模态分类结果。

决策层融合是根据已有的分类结果决定最终的分类结果的融合过程。一般而言，各模态的分类结果的决定策略或由训练集的结果确定，或在BCI的使用过程中自适应调节。现有的决定策略的选择一般为贝叶斯方法，构建混淆矩阵等纯数学方法，不涉及EEG和NIRS信号的内在机制或联系，这也导致决策层融合的研究深度有限。但由于决策层融合的算法复杂度一般较为简单，运行快速，这种融合方式有一定的实际应用价值。

2.2 特征层融合

特征层融合是对从不同模态信息中提取的特征向量或参数进行联合，有效的特征选取和融合方式能大大提高不同指令之间的可分性，从而提升BCI的表现。而缺点在于不同模态信息分开提取特征时无法表征模态间的信息联系，而盲目的选取和融合各模态的特征反而可能会降低系统的表现。经典的单模态EEG-BCI已有将MI和P300的混合特征直接训练、选择并组合的方法[12]，实现了单信号源自身的特征融合。以单模态信号的特征融合研究为基础，研究EEG-NIRS多模态信号特征融合方法是应有之义。而在目前EEG-NIRS BCI的研究中，如何选取EEG和NIRS信号的特征是特征层融合能否提高BCI系统性能的一个关键因素。

在实际的研究结果中，特征选取只要合适，无论简单或者相对复杂，均有良好的性能提升效果。对于简单的特征选取，如均值、功率、相关性等，不少研究均认为合适的组合能显著提升其分类准确率。Aghajani等人[13]以n-back任务为研究对象。EEG特征选取为特定频带功率，而NIRS特征选取为HbO, HbR浓度变化的斜率，HbO与HbR之间的相关性和神经血管耦合指数(该研究将其定义为EEG特定频带功率与HbO, HbR之间的相关性)，最后对合并的特征利用SVM进行分类。从分类结果来看，特征融合后的分类准确率高于两种单模态信号各自的分类准确率(较EEG高3.8%，较NIRS高8.5%)，表明多模态信号的特征融合和神经血管耦合在量化心理负荷方面的协同作用。Almajidy等人[14]以左手、右手、双手和双脚的运动想象为范式。采用HbO信号在特定时间窗内的斜率作为NIRS信号特征进行特征提取，采用8～30 Hz频段内EEG的功率谱密度作为EEG信号特征进行特征提取。组合两特征后采用线性判别分析特征选取进行分类。与纯脑电图特征相比，当使用多模态信号特征时，分类准确率的提高非常显著，平均达11.6%。其他研究[15-17]也采用了类似的特征以融合EEG与NIRS信号，并获得了有显著性的分类提升。对于复杂特征的选取，则一般使用信号处理过程中获得的某些参数。Shin等人[18]以心算任务和运动想象范式为研究对象，EEG特征选择了共空间模式(Common Spatial Pattern,CSP)方法中按典型特征值得分排序后前3个和后3个特征值的对数方差，NIRS特征使用5～10 s和10～15 s时间窗口内HbR和HbO在时间上的平均值。值得注意的是，该研究也尝试了NIRS信号的其他特征，如斜率和方差等，但除时间平均值以外的特征并没有提高分类性能。Han等人[19]以心算任务作为范式，也做了类似的研究。对于EEG，采用具有自动滤波选择的CSP分析方法，得到第1个和后两个CSP分量的对数方差作为EEG特征。对于NIRS则将HbO和HbR的平均值和斜率作为NIRS信号的特征。值得注意的是，与Shin等人[20]的研究相比，该研究实现了在线应用，表明了EEG-NIRS BCI的实际应用能力。在其他范式或任务中，类似的特征融合方法也有所应用[21-23]。Dehais等人[24]则在脑力负荷状态检测的研究中，EEG特征采用各频带(α,β和θ)的功率，NIRS特征采用了特定频率下的基于小波变换的相干性，也得出了高水平的分类结果，联合分类结果较单模态分类结果高出1.4%。可见，特征层融合对于提升BCI性能也有较好的效果，且融合方法多种多样，值得深入研究。

EEG数据和NIRS数据在原理和获取机制上有很大的不同，是两种不同的脑信号。当结合这两种不同类型的数据时，简单的特征拼接往往会导致机器学习算法的性能较差。因此，有必要在融合前对两者的特征进行归一化，在融合后进行特征选择。Qiu等人[25]提出了一种多模态特征级融合方法：归一化-重构方法。该方法在偏好音乐和中性音乐诱发的大脑活动分类中，准确性高达98.38%。而各模态信号通道之间的相关性计算过程中，也可以视为进行了归一化处理。Cao等人[26]将EEG的脑网络特征与NIRS的脑网络特征相融合，在工作负荷的分类中达到了较为先进的水平。

除了简单的特征拼接外，还有以优化EEG与NIRS特征之间互补性，降低冗余性为目的特征融合方法。Deligani等人[27]将互信息作为特征选择的工具，以最小化高维多模态EEG-fNIRS特征之间的冗余。在P300-speller BCI使用此方法进行特征融合后进行分类。基于互信息的特征选择比没有特征选择的混合选择分类准确率提高了16%，比使用EEG和fNIRS的单模态分类准确率分别提高了12%和23%。Zhang等人[28]使用基于时间和空间对齐的特征融合方法，在MI范式中得到了相对于非对齐方法显著提高的分类水平。

特征层融合的深入研究，不仅在于适合的特征选取与组合方式，更在于挖掘更多有效的、含义丰富的特征。目前，在特征层融合上，EEG信号与NIRS信号所应用的特征较为单一，尤其是对于NIRS信号特征的选取，多停留在峰值、均值等简单统计量，少有涉及NIRS信号内蕴含的丰富的空间信息。不仅如此，相关方向的研究多停留于1维特征的分类，对2维乃至高维的特征的融合方法仍有待发掘。实际上，以2维特征为分类依据的EEGBCI和NIRS-BCI均已问世，如以时频特征为分类依据的EEG-BCI[29]、以广义线性模型(Generalize Linear Model, GLM)分析为分类依据的NIRSBCI[30,31]等。对于2维乃至高维特征的融合是未来特征层融合的一个具有前景的研究方向。

2.3 数据层融合

现在的数据层融合研究可大致分为两种：第1种是根据一方的数据包含的信息或特征，对另一方的原始数据进行时域、空域等维度的筛选，从而得到与指令更相关，特征更明显的数据段；第2种是将EEG和NIRS的数据以某种方式融合为单模态的数据。第1种数据层融合通常方法简单易行，容易理解，但研究的可深入程度有限；第2种数据层融合的优点在于保留了较完整的原始数据，因此可以保持各模态数据之间的数学关联。缺点一是由于不同模态数据的时间、空间信息难以对齐，提高了融合后的计算复杂度，不适合对实时性要求高的系统；二是需要同时考虑不同类型信号的伪迹的处理，增加了数据处理模型的设计难度。

第1种数据融合方法着眼于提高数据质量，滤除冗余信号。对于单模态信号，滤除冗余信号的方法多基于统计方法，如将数据通过z分数标准化，然后通过对统计指标设定阈值后进行筛选[32]。对于多模态信号，由于各模态信号之间具有内在联系，相应的数据筛选方式也更为可靠。且由于该融合方法的意义简单直观，在EEG-NIRS联合分析中起步较早。如Shu等人[33]提出了一种针对BCI系统中单次试验分类问题进行时间窗最优选择的方法。由于EEG与NIRS之间存在耦合关系，该研究根据HbO的信号状态来定义受试者大脑的激活状态。具体而言，该研究将HbO波形峰值处定义为大脑被完全激活的时间点，然后以这个时间点为中心选择附近时间窗内的EEG数据。在特定选择的3 s时间窗下，与原始12 s时间窗相比，解码准确率从69%显著提高到79%。Khan等人[34]在空域上进行了类似的研究。该研究以HbO和HbR的空间平均值为指标筛选与运动活动相关的活动区域，然后选取该区域中脑电图电极数据进行特征提取与分类。结果表明，NIRS相关区域可以更准确地识别BCI的活跃脑区。在选定的EEG通道中使用SVM进行分类的平均准确率也高于选取所有通道的平均值。Al-quraishi等人[35]从运动皮层区域内选取EEG导联中事件相关去同步化(Event-Related Desynchronization, ERD)特征最明显的数个导联，同时根据NIRS信号中的HbO浓度确定数个最活跃的NIRS通道。根据选中的EEG导联和NIRS通道的皮尔逊相关性，最终确立用于分类的EEG与NIRS导联。使用最终确立的相关通道中的导联信号进行踝关节运动分类。结果表明，与单模态信号全导联分类相比，此研究提供的方法显著提高了踝关节分类准确率，为93.01 ± 5.60%。Meng等人[36]采用滑动时间窗对EEG和NIRS信号进行分割，然后将交叉时间窗与独立选择的EEG和NIRS中的每个片段相结合。此外，利用滤波器组共空间模式(Filter Bank Common Spatial Pattern,FBCSP)和统计方法(信号的均值和峰值)从每个样本中提取脑电图和NIRS特征。通过计算FBCSP和统计特征的互信息来表征交叉时间窗口的识别，并根据最大的互信息选择最优时间窗。该方法的分类准确率为92.52 ± 5.38%，高于其他方法，说明了该方法的合理性和优越性。Li等人[37]以运动想象范式为例，建立了一个由EEG调制的NIRS分析框架。在运动想象任务执行期间，对典型的EEG节律调制，并将其引入到NIRS的GLM的建立过程中。该方法提高了GLM分析的性能，实现了更高的检测灵敏度以及事件相关去同步显著性。还有研究将EEG中的矢量-相位分析特征作为筛选NIRS通道的依据[38]。与筛选前相比，筛选后的NIRS信号分类准确率由63.8%提升至86.0%，提升效果极为明显。

第2种数据层融合方法在近几年才出现，目前仍处于纯数据驱动阶段。常规方法在于寻找这两种信号的拟合关系，从而将数据类型归一化。如文献[39]提出了EEG和NIRS信号的张量融合方法和p阶多项式融合方法，在心算任务和运动想象任务中，相比于单模态信号分类结果均有更良好的分类表现，且融合过程的时间、算力成本不高的方法，具有较高的实用价值。

随着深度学习的发展，由于深度学习不要求多输入端的语义一致性，使其应用在EEG信号与NIRS信号联合分析相关研究时，无需研究两信号之间的生理联系即可进行数据层融合。Nour等人[40]提出了一种基于优化卷积神经网络的多频带分类方法的分类框架。该研究的主要工作在于提出了一种使用EEG和NIRS信号进行全连接层优化的CNN体系结构，然后根据受试者左-右运动想象，对测试集的EEG和NIRS信号进行分类。该方法比现有的分类方法具有更高的分类性能，准确率为99.85%。基于CNN的用于分类EEG-NIRS信号的神经网络还有诸多变体，如CNN-LSTM等[41]。Chen等人[42]对于MI范式提出了一种多通道融合方法，并设计了一种多通道融合混合网络，该网络结合了深度卷积层、通道注意机制和双向长短期记忆层，使其在空域和时域上具有很强的特征提取能力，在公开数据集上的平均准确率达到了99.64%。除此之外，还有对常规使用于EEG分类的EEGNet进行改造[43]以容纳fNIRS数据的方法等。长期来看，随着算力的发展，使用深度学习领域的方法搭建合适的神经网络，是未来数据层融合的主流方向。

在数据层融合上，目前的融合方法仍有可改进之处。对于第1类数据层融合，对信号的多维度筛选固然增加了信噪比，有利于分类准确率的提升，但是由于两种信号的信噪比本身不高，特征成分复杂且微弱，以信噪比为主要依据进行数据筛选可能损失其他未知的、有用的特征。对于第2类数据层融合，目前的相关研究不多，但因其保留了更多的信号的原始特征，在对信号的利用程度方面潜力更大，是更值得继续研究的方法。

3 总结与展望

就目前的EEG-NIRS BCI 研究而言，依托于机器学习和深度学习的发展，主流数据融合层级从决策层逐渐过渡到特征层和数据层。机器学习中的SVM, LDA等方法已成为EEG和NIRS数据的基础分类方法，并在数据的决策层、特征层融合中得到了广泛的应用；而数据层融合方法中，CNN，循环神经网络(Recurrent Neural Network, RNN)等深度学习方法由于其良好的工程应用能力，在信号融合BCI指令集分类的表现尤为突出。未来的EEGNIRS的信号融合相关研究将趋向于更新颖、更深层次的特征层与数据层融合方法。

在上述介绍的EEG信号与NIRS信号融合层级中，较非融合与决策层融合而言，由于特征层融合与数据层融合更能挖掘EEG信号与NIRS信号的内在联系，这两种方法是相对更值得研究的信号融合方法。研究特征层与数据层融合方法不仅可以在应用层面上提高BCI的性能，而且能促进研究者对脑电信号与脑血氧信号理论上的相互关联的认识与理解。特征层融合与数据层融合的研究现状仍较为初步。在特征层融合研究中，可选的有效特征仍较少，在NIRS信号的特征选择上尤其明显；在数据层融合中，将EEG与NIRS融合为单模态信号的融合方式更有潜力，但相关的研究多依托于深度学习框架。以神经-血管耦合等客观规律为基础融合两种信号的方法偶有出现[44]，但是并非较为普及的研究手段，相关的融合方法值得探究。进一步来说，两种信号可以在多个层级上渐进融合[45]，以充分利用两种信号各自蕴含的丰富信息。

EEG-NIRS信号联合分析的不足不仅在于其各层次融合方法的局限，也在于研究范式的局限。在EEG-NIRS信号联合分析的研究中，多数以运动想象、心算任务等作为BCI的研究范式，对其他范式涉猎较少。一方面，未来EEG-NIRS信号联合分析研究可以扩大其应用范式的范围，如P300-BCI等；另一方面，EEG-NIRS BCI与EEG-BCI, NIRSBCI均有差别，可以针对EEG-NIRS BCI的特征开发新的范式，为BCI的应用场景开辟新的领域。

EEG-NIRS数据联合分析在BCI研究领域中具有重要的作用与广泛的应用前景。当前的研究进展与结论说明了NIRS与EEG信号分别蕴含独特的信息，可以各自作为对方的补充，对两种数据不同手段的应用可以对大脑活动有更深刻的理解，得到对BCI系统的不同方面的提升。EEG和NIRS都是对脑皮层放电及其影响的不完全观测结果，两种信号之间必然存在共同性与互补性。在数据算法上的现有研究不仅提高EEG, NIRS信号进行建模分析，能让我们深入理解大脑的运作模式，也有利于研究者设计更准确、更高效、更多功能的BCI系统。