稳态视觉诱发电位信号的预处理滤波设计及实验评测*

李为龙,张睿芝,高国雅,刘培俊,桂志国,尚禹

(中北大学 省部共建动态测试技术国家重点实验室, 太原 030051)

0 引言

在现有的脑机接口(brain-computer interface, BCI)范式中,稳定性最高、信息传输速率(information transfer rate, ITR)最快的是基于稳态视觉诱发电位(steady-state visual evoked potentials, SSVEP)的脑机接口[1-2]。人的大脑中产生SSVEP信号的最重要区域是枕叶区[3],其作为视觉皮层(visual cortex, V1)中枢主要负责处理视觉信息。人体视野内的每一个点都可以在V1的特定区域中表示[4]。若施加大于6 Hz的周期性持续刺激[5],且刺激间隔短于单个刺激诱发的响应长度,大脑视觉皮层便会对该刺激产生相应的电位活动响应,从而形成SSVEP。

尽管目前SSVEP发展有了长足进步,但针对SSVEP数据预处理方法的研究仍不够系统、完善。由于脑电采集设备的复杂性与环境空间噪声的干扰[6],最初采集的脑电数据非常杂乱,特别是湿电极在SSVEP范式中的广泛应用[7],导致外部噪声进一步加大。因此,寻求一种处理流程规范、效果出色的全过程预处理方法非常重要。为此,本研究根据SSVEP原始信号中普遍存在的噪声类型,设计了一种全过程预处理方法。环节包括:去基线漂移、去工频干扰、频段选取、频谱分析,对其中每一环节的具体参数进行详细说明。

1 材料与方法

1.1 SSVEP信号诱发原理

SSVEP依靠大脑对周期性视觉刺激,产生具有与视觉刺激频率相同的基频和倍频成分[8],能够与刺激信号保持良好的锁时、锁相特性,且信噪比高、频谱相对稳定。锁时、锁相指SSVEP能够对周期性视觉刺激产生频率跟随的特性[9],即视觉皮层中枢对外加周期性刺激的频率可形成对应、相同的频率信号,此现象也被称为视觉皮层的光驱动响应[10]。

现有研究表明,在6～80 Hz频带刺激范围内均能诱发SSVEP[11]。据此,可将SSVEP划分为三个响应波段:低频(<12 Hz)、中频(12～30 Hz)和高频(>30 Hz)。一般情况下,中低频段SSVEP信号的振幅高于高频频段[12],检测更容易,信息传输速率也更快。本研究采用中低频刺激诱导的SSVEP作为通讯介质。

1.2 预处理滤波设计流程

本研究主要基于SSVEP中低频段数据,提出了一种预处理滤波方法。此方法的具体处理顺序为:低频滤波去基线漂移、陷波滤波去工频干扰、带通滤波进行频带选取、快速傅里叶变换(Fast Fourier Transform, FFT)频谱分析。

基线漂移主要是由环境、运动及肌电、心电伪迹引入的噪声[13],去除这类干扰的办法是减去通过低通滤波器的原始信号。低通滤波器的参数设置包括:滤波器阶数和归一化后的截止角频率(截止频率与采样的奈奎斯特频率值之比)。

工频干扰是由电力系统引起的一种干扰。其频率根据不同国家或地区交流电的工频频率而定[14](干扰频率:国内为50 Hz,国外多为60 Hz)。在SSVEP信号采集时表现为正弦波或其他信号与正弦波的叠加[15],从而形成对原始脑电信号的干扰,需将信号通过陷波滤波器进行去除。滤波器的参数设置包括:采样频率、陷波的中心频率、带宽、滤波器阶数(二阶及以上)。

在SSVEP信号处理中,频带的选取需要使用带通滤波进行,以滤除SSVEP基频和谐波响应外的低频和高频信号[16]。带通滤波器的一般参数设置包括:下限截止频率、上限截止频率、采样率、滤波器阶数。其中,滤波器阶数选择依据为在满足性能指标要求前提下的最小阶数。

频谱分析通过FFT进行,可大幅降低计算量,将SSVEP信号由时域迅速转换到频域[17]。假设数据采样率为fs、点数为N,做信号序列长度为2n>N的FFT补零运算;原始信号的峰值为A,经FFT后,结果中每个点(除第一个直流分量之外)的模值为A的N/2倍,第一个点为直流分量(即0 Hz),其模值是直流分量的N倍。此外,基准频率fn是信号经过FFT后在频域中所能分辨的最小频率,可表示为:

fn=(n-1)×fs/N

(1)

在信号经FFT变换后得到的频谱图中,横坐标是以fn为最小间隔的不同频率,纵坐标为FFT后的模值A1。因此,fn越小,在频谱图中所能分辨的频率分量越准确。

1.3 网格搜索优化滤波器参数

预处理滤波环节可去除原始SSVEP信号中的噪声与伪迹。为进一步优化在1.2节中所提到的全过程滤波器参数,本研究使用网格搜索方法来确定各类滤波器的关键参数[18]。其中,网格搜索的参数设计为:低通滤波的上限频率为0～0.3 Hz,步长为0.003 Hz;滤波器阶数为1～10,步长为1。陷波滤波的单边带宽为0.01～0.1 Hz,步长为0.001 Hz;滤波器阶数为2～11,步长为1。带通滤波的上限频率为81～90 Hz,步长为0.1 Hz;滤波器阶数为1～10,步长为1。

1.4 SSVEP信号频率识别算法

(2)

其中,ρ为相关系数。使用CCA进行SSVEP的频率识别,需要设计M个矩阵对应于M个刺激频率fm(m=1,2,…,M)的SSVEP系统,且每个矩阵(记为Ym)中都包含一系列正弦余弦波,作为第m个刺激频率及其H次谐波的参考信号(其中I2=2H)。

为更好地整合来自SSVEP信号的基频和谐波分量信息,本研究使用滤波器组典型相关分析(filter bank canonical correlation analysis,FBCCA)作为SSVEP信号的分类识别算法[20]。滤波器组分析可将SSVEP分解成子带分量,比标准CCA更有效地提取隐藏在谐波分量中的独立信息。使用高通零相位巴特沃斯滤波器产生n个子带,第n个子带的起始频率为8×nHz,终止频率为预处理中带通滤波的上限截止频率。在实现带通滤波时,每个子带的两侧增加2 Hz的额外带宽。然后对每一组的n个子波段应用CCA算法,将得到的相关性进行加权合并,见式(3)、(4):

(3)

w(n)=n-a+b,n∈[1,N]

(4)

2 实验方案

2.1 离线分析验证

本研究的离线分析验证采用2021 BCI竞赛中包含噪声与伪迹的原始数据。图1中,单次刺激块闪烁实验的数据长度为2.84 s。包括刺激开始前0.5 s,视觉反应延迟0.14 s,刺激2 s以及刺激后0.2 s。数据的初始采样率为1 000 Hz,下采样到250 Hz。

图1 2021 BCI竞赛数据采集流程示意图

2.2 在线实验评测

20名视力正常或矫正至正常的健康受试者(7名女性,年龄18～25岁,平均年龄22岁)参与了本研究。在所有受试者中,有10人已经在之前的实验中参与过SSVEP的离线测试,另外10人无此项研究的任何经历。本研究获得中北大学生物医学伦理委员会批准。在实验开始前,每位受试者都被要求阅读并签署一份知情同意书。

2.2.1脑电设备与刺激器 本研究使用的脑电图系统以1 000 Hz的采样率记录脑电图数据,并降采样到250 Hz。可调采样速率在250～1 000 Hz。记录时电极阻抗保持在10 kΩ以下。24位ADC,精度可至0.01 μv。采用扩展的10-20导联系统,由后脑枕叶区附近的8个电极(P3,P4,Pz,PO3,POz,PO4,O1,O2)记录脑电图。参考电极Cz放置在顶点[22],以达到最好的视觉采集效果。

2.2.2刺激拼写器设计 SSVEP的频率刺激被显示在一个21.5英寸的LCD屏幕上,分辨率为1 920×1 080像素,刷新率为120 Hz。刺激程序产生事件触发,并由计算机的并行端口发送到放大器,记录在与脑电图数据同步的事件通道上,被呈现为一个包含10个数字、标准26字母键盘并带有‘Space’和‘Back’的38字符拼写器,图3(a)为此38字符的刺激器。刺激和字符的大小分别为170×170、120×120像素正方形。

图2 脑电帽与放大器设备外观图

38个字符采用频率相位联合调制方法进行编码[23],各字符的频率和相位值计算如下:

f(kx,ky)=f0+Δf×[(ky-1)×5+(kx-1)]

φ(kx,ky)=φ0+Δφ×[(ky-1)×5+(kx+1)]

(5)

其中,kx,ky分别代表行索引与列索引;f0、Δf分别为8、0.2 Hz; 38个字符的起始频率为f0,频率间隔为Δf,产生的频率范围为[8,15.4 Hz]。φ0,Δφ是字符的起始相位与相位间隔,分别为0与0.5π,图3(b)为刺激器字符频率与相位的设定。

图3 38字符刺激拼写器设计图

2.2.3实验流程设计 在线SSVEP实验依靠自行设计的38字符刺激器,并以受试者自我引导目标选择任务的方式进行[24]。对于每名受试者,分别将进行不同时间窗(2、3 s)的6次相同实验,且有效刺激时间为时间窗的两倍,见图4。实验开始前,提前告知受试者本次实验中刺激块的观看顺序。受试者按顺序进行实验,在完成当前刺激块的实验时,要求受试者尽快将他们的目光转移到下一次目标上,所有刺激在屏幕上同时闪烁4.14或6.14 s(包含4或6 s的有效刺激时间)时开始。

单次实验包含6个目标字符的识别,对应所有38个字符的随机顺序。此外,在下一次字符目标开始前,将有0.5 s的注意转移时间。提醒受试者在整个刺激期间避免眨眼,在两个连续的实验之间休息10 min。整个在线过程的刺激时间控制在4.64或6.64 s。此外,由于视觉在不同刺激频率下存在视觉延迟,在BCI在线实验设计中,单闪烁块将增加140 ms的时间延迟[25]。在后续的数据处理中需将此段去除,只保留有效刺激部分。图5为8通道脑电数据的实时传输,利用本研究预处理滤波方法对在线数据进行处理,并使用FBCCA算法识别SSVEP信号频率。

图4 不同时间窗下的实验设计流程图

图5 OpenBCI信号实时采集界面图

2.2.4实验表现评价指标 基于SSVEP范式脑机接口的表现通常采用准确率与信息传递速率(information transfer rate,ITR)来进行评价[26]。在本研究的在线BCI实验中,定义分类频率界限如下:

(6)

其中,fr1、fr2、fr3为当前刺激字符的信号处理后所识别出的基频、二次谐波、三次谐波。ft1、ft2、ft3为当前刺激字符所对应的真实基频、二次谐波、三次谐波。当单字符刺激满足上式中的频率界限时,认为分类正确,即准确率P定义为识别成功字符数与实验的字符总数之比[27]。

ITR是描述数据传输系统的重要技术指标[28],计算如下:

(7)

其中,N代表刺激器中字符个数;P代表平均分类准确率;T代表完成一次字符识别所需要的平均时间。

3 结果

3.1 离线分析结果

3.1.1预处理前后时、频域数据对比 图6为原始信号与预处理滤波后信号的时域对比,可见未进行基线漂移去除的脑电信号表现为无规律、幅值高(μV)、基线漂移严重,去除后的信号相对稳定,呈现规律性变化。

图7为原始信号与滤波后信号的频谱对比。信号经低通滤波后,去除了低频中的“大漂移”现象,去基效果明显。陷波滤波器可消除50 Hz左右的工频干扰。带通滤波器可有效过滤出SSVEP研究中所需的6～80 Hz频段。

另外,在当前受试者POz通道中,平均3次单字符(对应10.25 Hz频率)刺激,频域中10.25 Hz基频及谐波频率(20.50、30.76、41.01 Hz)处出现了明显的峰值。此外,随着响应频率的增大,基频和谐波分量的峰值急剧下降[29],符合SSVEP信号的基础理论。

3.1.2预处理滤波器的参数确定 在2021 BCI数据集的2 s刺激时间下,固定分类识别算法与其它参数不变,以35位受试者平均分类准确率作为优化滤波器参数的准则。由图8可知,低通滤波的最优上限截止频率为0.21 Hz,滤波器阶数为5;陷波滤波的最优频带宽度为0.04,这意味着在50 Hz工频干扰存在的情况下,49.6～50.4 Hz范围内的陷波效果可以取得最佳的分类准确率,陷波滤波器阶数为6;带通滤波的最优上限截止频率为88 Hz,滤波器阶数为7。如1.3小节所提,通常在预处理的带通滤波后进行2 Hz的频带扩展,因此本研究在实际的预处理带通滤波中,确定6～90 Hz为最佳频段。在后续的在线实验中也将使用本节所确定的最佳滤波器参数,来进行预处理操作。

图6 原始信号(含噪)与预处理滤波后时域信号对比图

图7 原始信号(含噪)与滤波后信号的的频谱对比图

3.2 在线实验结果

3.2.1不同时间窗下预处理前后分类结果差异 根据上述在线实验的设计流程,图9(a)—图9(d)展示了在不同长度的时间窗下,20名受试者预处理前后的平均准确率与ITR。可见,在使用FBCCA分类识别算法的前提下,经本研究预处理滤波后的信号具有更高的识别准确率与信息传输速率。2 s时间窗下预处理前后的平均分类准确率为85.70%±2.72% vs 76.82%±3.28%,ITR为(118.00±4.74)vs(98.41±4.05)bits/min;3 s时间窗下预处理前后的平均分类准确率为89.39%±2.91% vs 82.73%±3.18%,ITR为(84.48±4.24)vs(73.98±3.98)bits/min。验证了本研究所设计的预处理滤波方法对原始SSVEP信号去噪方面的有效性,预处理后的数据可实现更好的分类识别效果。

另外,通过对结果进行时间窗上的分析显示,2 s时间窗可以获得较高的平均ITR,而3 s时间窗获得较高的平均精度。在实际应用中,平均100 bits/min的ITR可满足高速BCI的通信和控制需求[5],因此,本研究中2 s时间窗下在线系统的信息传输性能良好。

注:黑色圆圈为准确率最大的位置。

图9 不同时间窗下预处理前后的分类准确率与ITR

3.2.2初试/经验组结果差异 在实验结果分析中可见不同受试者的表现有较大差异,因此,本研究将10名初试/经验组进行划分,并使用预处理滤波后的数据结果进行对比分析。由图10(a)可知,初试组在2 s时间窗下的平均准确率为82.51%±3.08%,经验组为88.89%±2.36%。图10(b)为在3 s时间窗下,初试组平均准确率为87.10%±3.34%,经验组为91.67%±3.10%。配对2 s与3 s的单因素方差检验(one-way analysis of variance, NOVA),二者在准确率表现上有明显差异(P2s_acc=0.02,P3s_acc=0.02<0.05)。

3.2.3初试/经验组预处理前后结果差异 为进一步探究预处理方法对初试/经验组在分类表现上的影响,本研究探索了在2 s时间窗下(满足高速BCI需求),两组受试者预处理前后分类准确率的差异。图11(a)中,相较于经验组,初试组在预处理滤波前后的分类表现上差异性更大,平均准确率差异为11.41% vs 6.36%。另外,将初试/经验组预处理前后的分类准确率分别作差,差值大小见图11(b),配对ANOVA显示P=0.009 9<0.01,表明未曾有过SSVEP经验的受试者,在分类表现中受预处理滤波环节的影响更大。

图10 初试组/经验组在不同时间窗下的准确率

图11 2 s时间窗下初试/经验组预处理前后的分类表现对比

4 讨论

在连续的脑电图记录中,根据事件通道中所发生的刺激采集脑电数据是BCI实验的基础,随后进行数据的预处理。尽管不同BCI范式的脑机接口已经被广泛提到[30],但并未对其中的数据预处理工作进行深入探讨,而信号采集的预处理工作是决定脑机接口范式最终呈现效果的最初一步,也是极为重要的一步。

尽管本研究的实验设计已经对刺激时间以及单次实验间安排了尽可能长的休息时间,在线BCI实验的初试组与经验组的表现中仍存在较大差异。因此,未接触过SSVEP的个体在使用本研究设计的SSVEP系统前,需要进行适应性训练,在后续工作中,将尽可能缩短该时间,增强SSVEP-BCI系统的实际应用能力。

除本研究中提出的离线分析与在线验证外,还应该以不同的方式进一步构造更加丰富的数据集。首先,数据集可以用于针对不同的应用程序设计系统。参数的优化对于实际BCI系统的设计和实现具有重要意义[25]。其次,尽管受试者在两种时间窗上都能获得较高的准确度,但3 s时间窗的ITR明显低于2 s,如何根据更多的数据集来进行最佳时间窗的选择,将进一步提升在线BCI系统的性能。

除本研究所进行的相关分析外,其他范式的脑机接口可参照本研究所提出的的预处理滤波方法进行探索,有效的噪声去除和通道选择方法有助于可穿戴BCI研究。因此,本研究可作为一种在线BCI实验的基本参考。

5 结论

本研究提出了一种基于SSVEP中低频段的数据预处理方法。依据2021 BCI竞赛中的含噪数据进行了离线分析,预处理滤波前后的时、频域SSVEP特征对比,证明了该方法的有效性。使用网格搜索方法根据离线分类准确率的大小,进一步优化了预处理滤波各环节的参数设定。在线实验中,本研究设计了一个完整的SSVEP-BCI系统,通过比较不同刺激时间窗(2 s/3 s)下受试者预处理前后分类准确率与ITR,证明了该预处理滤波方法在分类识别中的有效性。此外,研究了初次进行SSVEP实验与有经验的受试者在分类表现上的差异,并证实了未曾有过SSVEP经验的受试者,在分类表现中受预处理滤波环节的影响更大。