不同信息类型工作记忆任务中基于脑电的脑力负荷评估

【作 者】关凯，王盛，张志敏，刘涛，牛海军

1 北京航空航天大学 生物与医学工程学院，北京市，100083

2 上海航空电器有限公司，上海市，201101

0 引言

在人机交互系统中，脑力负荷的准确评估对保障任务的正确执行和操作者的安全都具有重要意义[1-2]。常用的脑力负荷评估方法有主观测评法（如基于NASA-TLX、SWAT等量表评测）、任务绩效测评法（如基于反应时间、正确率等绩效指标评测）以及生理测评法（如基于脑电、心电等生理特征评测）[3]。与主观测评法和任务绩效测评法相比，生理测评法具有客观、在线实时、不影响任务执行等优势（许多研究者使用脑电、心电、眼动等生理指标对脑力负荷进行了评价研究[4-6]），但由于交互任务中信息类型的多样化，生理指标在不同信息类型任务的脑力负荷评价中，还存在任务特异性强、不同任务可能敏感于不同指标等问题[7]，尚未有研究明确提出能够在不同任务中均适用的生理指标。

相比心电、心率、眼动、体温等生理指标，脑电因能更直接地反映人脑的认知处理过程，被研究者认为是对脑力负荷变化最敏感的电生理信号[8]。在多个研究中，研究者提出采用脑电信号线性特征作为评价指标，比如时域的统计特征[9]、频域的频带能量特征[10-12]等，其中以Theta和Alpha频带能量作为指标的研究最为广泛，但研究结论并不一致。GEVINS等[10-11]在字符和空间两类信息N-Back任务中发现，随着任务难度的增大，额叶Theta频带能量增大，顶叶Alpha频带能量减小；不同类型任务的Alpha频带（更具体地为Alpha II频带：10.5 Hz～13 Hz）能量差异显著。KE[12]则在同样的任务中发现，不同任务难度下的额叶、中央、顶叶的Theta和Alpha频带能量均具有显著差异；而不同类型任务的Theta和Alpha频带能量差异均显著。

实际的脑电信号具有明显的非线性特性[13]，为了弥补线性分析方法无法有效描述非线性脑电信号复杂程度和规则性的缺陷，一些研究者在脑力负荷研究中引入了复杂度分析、规则性分析的非线性分析方法[14-16]，如LIU等[14]在字符N-Back任务中发现，额叶及中央脑区尺度大于15的脑电排列熵能够有效区分不同的任务难度。但脑电非线性特征在不同信息类型任务之间的适用性研究尚不充分。

综上所述，在脑力负荷评价中，脑电信号的线性和非线性分析方法各有优劣。频带能量能够反映大脑的激活水平，熵等非线性特征能够反映大脑内在的复杂程度，两种分析方法的结合有可能更有效地实现不同信息类型的跨任务脑力负荷评估。本研究通过设计不同信息类型的工作记忆负荷任务，结合脑电信号线性和非线性特征的提取，探索了特征用于不同任务脑力负荷评估的有效性，为跨任务脑力负荷评估提供依据。

1 实验与方法

1.1 被试者

共有18名健康成年人（年龄为25.6±2.4岁）参与实验，其中9名男性，9名女性，均为右利手，被试者视力或矫正视力正常。所有被试者均签署了知情同意书，并且本研究获得了北京航空航天大学伦理委员会的批准。

1.2 实验设计与脑电数据采集

实验采用N-Back范式，字符或客体信息呈现在九宫格的不同位置（如图1（a）所示）。任务类型包括字符、客体、空间（字符）和空间（客体）四种，每种任务类型设置三个任务难度等级，从低到高对应N取值从1到3，即每种任务类型包括3个Block，共计12个Block。在字符或客体任务中，被试者只需判断两个字符（或客体）是否相同，而不用关注他们出现的空间位置，在两种空间任务中，被试者则只需要判断两个字符（或客体）出现的空间位置是否相同。被试者按照随机顺序执行这12项任务。

图1 N-Back任务与信号采集通道Fig.1 N-Back task and EEG electrode locations

以图1（b）所示字符2-Back任务为例，屏幕上将呈现不断刷新的字符序列，字符呈现0.5 s后消失，2.5 s后呈现新的字符，受试需在这2.5 s内做出判断。当前呈现的字符与倒数第二次呈现的字符相同时，按“←”键，不同则按“→”键。每项任务（每种任务类型、每个任务难度，即每个Blocks）包含40个试次（50%为匹配试次），任务持续约2 min。任务执行过程中记录受试的反应时间，任务执行完毕后计算反应准确率，并让受试填写NASA-TLX量表。

实验在屏蔽间进行，采用NeuroScan系统实时记录受试60导联脑电信号（以10-20国际标准电极位置放置电极，采集位点如图1（c）所示），信号采样率为1 000 Hz。采集过程中，电极阻抗保持在10 kΩ以下。

1.3 脑电信号预处理

首先对信号进行带通滤波（0.5 Hz～40 Hz）以消除信号直流分量和高频噪声，经256 Hz重采样后的信号采用SASICA伪迹自动识别算法去除了眨眼、垂直/水平眼电、肌电等伪迹[16]；取各通道刺激呈现前0.5 s至刺激呈现后2 s的信号（2.5 s）进行特征提取与分析。

1.4 脑电特征提取

采用Welch方法进行脑电信号的功率谱估计（NFFT=1 024）。随后提取每个脑电通道的Theta（4 Hz～8 Hz）、Alpha（8 Hz～13 Hz）频带相对能量Pre，计算式为：

其中，Sk代表在k节律下的能量，k在Theta、Alpha中取不同的节律。同时提取各通道Theta/Alpha能量比值作为特征进行分析。

样本熵是信号非线性特性的一种测度，多尺度分析[17]能够在不同的时间尺度上量化时间序列的复杂性。本研究首先对不同通道的脑电信号进行了粗粒度处理，并选取尺度m=1～20进行信号重构，以重建新的时间序列。在此基础上，计算各尺度对应时间序列的样本熵值，即为多尺度样本熵。

1.5 统计分析

为了分析各频带能量特征以及多尺度样本熵特征同脑力负荷的关系，本研究采用重复测量方差分析方法对不同任务下的脑电特征进行分析，统计分析采用SPSS 23.0软件完成。

2 结果与分析

在进行重复测量方差分析前，首先分别对各脑力负荷等级下的行为绩效指标（包括平均NASA-TLX得分、平均准确率和反应时间）以及自发脑电信号指标（功率谱指标、多尺度熵指标）之间是否存在相关性进行了球形检验，检验结果显示，各项指标均不满足球形条件（P<0.05），故采用多变量方差分析方法进行后续分析。

2.1 行为绩效结果

图2展示了不同任务类型与难度下的平均NASA-TLX得分，其中“*”表示P<0.05。由图可知，四种类型的任务下，随着任务难度的增大，NASA-TLX得分增大。多变量方差分析（4个任务类型*3个任务难度）的检验结果显示，任务难度的主效应显著（P<0.01），事后比较结果显示，任务难度之间均具有显著差异（1-Back vs.2-Back：P<0.01，2-Back vs.3-Back：P<0.01）；任务类型主效应不显著（P>0.05）；两者的交互效应不显著（P>0.05）。

图2 各任务下的平均主观量表得分Fig.2 Average subjective scores for each task condition for all participants

不同任务类型与难度下的平均准确率和反应时间，如图3所示。由图可知，四种任务类型下，随着任务难度的增大，受试的反应准确率降低，而反应时间变长。统计检验结果发现，对于准确率，各个任务难度之间均具有显著差异（1-Back vs.2-Back：P<0.05，2-Back vs.3-Back：P<0.01）；任务类型主效应不显著（P>0.05）；两者的交互效应不显著（P>0.05）。对于反应时间，各个任务难度之间均具有显著差异（1-Back vs.2-Back：P<0.01，2-Back vs.3-Back：P<0.01）；任务类型主效应显著（P<0.01），事后比较结果显示，两类空间任务的反应时间均低于内容类型任务；两者的交互效应不显著（P>0.05）。

图3 各任务下的平均操作准确率和反应时间Fig.3 Average accuracy and response time for each task condition for all participants

2.2 脑电功率谱分析

本研究首先筛选出了能够反映脑力负荷变化的脑区及其对应的频带能量特征。图4展示了四种任务中Theta、Alpha频带能量及Theta/Alpha能量比值均随脑力负荷的变化而显著变化的脑区分布（P值地形图分布）。由图可知，四种任务中，受试额叶Theta频带能量、中央-顶叶Alpha频带能量及额-中央区Theta/Alpha能量比值均具有显著差异（P<0.05）。

图4 各任务下脑电线性特征均随脑力负荷显著变化的脑区分布Fig.4 Distribution of brain regions where linear EEG features change significantly with mental workload for each task condition

随后，本研究对四种任务下各个脑区各频带能量特征随脑力负荷变化的规律进行了分析。图5与图6分别为四种任务额叶（Fz通道）与顶叶（Pz通道）脑电信号的平均功率谱图，多变量方差分析结果发现，随着任务难度增大，四种任务Theta频带能量呈现先上升后轻微下降（1-Back vs.2-Back：P<0.05，2-Back vs.3-Back：P>0.05）的趋势；与Theta能量相反，Alpha能量则先下降后轻微上升（1-Back vs.2-Back：P<0.05，2-Back vs.3-Back：P>0.05）。图7显示了四种任务下额叶（Fz通道）脑电信号Theta/Alpha能量比值，随着任务难度增大，Theta/Alpha能量比值也表现为先上升后轻微下降的规律（1-Back vs.2-Back：P<0.05，2-Back vs.3-Back：P>0.05）。

图5 各任务下Fz通道脑电平均功率谱（3 Hz～20 Hz）Fig.5 Average EEG spectra over the 3 Hz～20 Hz interval for each task condition at Fz for all participants

图6 各任务下Pz通道脑电平均功率谱（3 Hz～20 Hz）Fig.6 Average EEG spectra over the 3 Hz～20 Hz interval for each task condition at Pz for all participants

图7 各任务下Fz通道脑电平均Theta/Alpha能量比值Fig.7 Average Theta/Alpha ratio for each task condition at fz for all participants

任务类型效应的检验结果显示，字符与客体两种任务间、两种空间任务间额叶Theta频带能量、中央-顶叶Alpha频带能量均无显著差异（P>0.05），而这两类任务间（内容类型与空间类型任务间）的Theta及Alpha频带能量则差异显著（P<0.05）；Theta/Alpha能量比值在四种任务中差异均不显著（P>0.05）。

2.3 脑电多尺度熵分析

同样，本研究对各个任务下能够有效表征脑力负荷的脑区及对应多尺度样本熵特征进行了筛选。图8展示了四种任务中脑电各尺度样本熵特征均随脑力负荷的变化而显著变化的脑区分布（P值地形图分布）。由图可看出，四种任务中，受试顶叶、右侧额-中央脑区尺度10以上的样本熵特征的脑力负荷效应均显著（P<0.05）。

图8 各任务下脑电非线性特征均随脑力负荷显著变化的脑区分布Fig.8 Distribution of brain regions where nonlinear EEG features change significantly with mental workload for each task condition

各个任务下顶叶（Pz通道）脑电信号的各尺度样本熵如图9所示。在任务难度的影响下，字符2-Back与3-Back任务尺度10以上的样本熵显著大于1-Back任务（P<0.05），而2-Back与3-Back任务之间无显著差异（P>0.05）；客体及两种空间任务下2-Back与3-Back任务几乎所有尺度样本熵显著大于1-Back任务（P<0.05），2-Back与3-Back任务之间同样无显著差异（P>0.05）。

图9 各任务下Pz通道脑电信号多尺度样本熵Fig.9 Multiscale sample entropy of EEG at Pz for each task condition

在不同类型任务间，字符任务与客体任务各尺度样本熵均无显著差异；在高尺度（尺度≥14）上，空间（客体）任务样本熵显著高于空间（字符）任务（P<0.05）；而字符、客体任务下的各尺度样本熵特征均显著低于空间类型任务（P<0.01）。

3 讨论

通过设计不同信息类型的N-Back任务，我们研究了脑电信号线性特征（各频带能量）与非线性特征（多尺度样本熵）在不同任务下的变化规律，分析了这些特征用于跨任务脑力负荷评价的有效性。研究发现，各个任务中额叶Theta能量、中央-顶叶Alpha能量、额-中央区Theta/Alpha能量比值以及顶叶尺度10以上样本熵特征均能有效反映脑力负荷的大小。其中，额叶Theta能量、中央-顶叶Alpha能量以及顶叶尺度10以上样本熵在字符与客体两种任务中均具有一致性，说明这些特征在这两类任务的脑力负荷评估中具有较高的适用性；Theta/Alpha能量比值在四种任务间具有一致性，预示着Theta/Alpha能量比值具有用于跨任务脑力负荷评估的潜力。

行为绩效结果显示，当任务难度增加时，受试者NASA-TLX得分增大、准确率下降与反应时间变长，这表明了本研究所设计的工作记忆任务有效诱发了不同等级的脑力负荷。值得注意的是，相比空间类型任务，操作者在内容类型（字符、客体）任务中需要更长的反应时间，可能反映了大脑对这两类信息加工的机制存在差异。

脑电线性特征的研究结果发现，随着脑力负荷增大，各任务中额叶Theta频带能量均增大，而中央-顶叶Alpha频带能量减小，这与先前的研究[10-11]所得结果一致。前额叶被认为是大脑信息加工最重要的脑区，在不同类型信息的存储与加工过程中均有参与，中央-顶叶则参与视觉信息的表征及存储[19]。脑电信号的Theta节律被认为与心理努力程度以及任务需求密切相关[10]，前额叶Theta频带能量的增大表明了受试者参与到更为复杂、脑力需求更高的任务时，需要付出更多的努力。而Alpha节律则反映了大脑的放松状态，脑电Alpha频带能量的下降意味着当任务负荷增大时，大脑从“空闲”状态向“活跃”状态的转变。另外，Theta与Alpha频带能量在内容与空间两类任务间存在显著性差异。视觉信息编码假说[20]认为，大脑信息加工的神经通路包含“what”（对物体内容敏感）和“where”（对物体位置敏感）两条通路。当进行内容类型信息加工时，“what”通路激活，字符或客体中的语义信息被提取并存储在记忆缓冲区，其过程涉及语言相关脑区的参与；而进行空间类型信息加工时，“where”通路激活，前运动皮层则更多地参与到信息的处理中。未来的研究需对两类信息在大脑中的动态激活过程进行更深入的探索。

熵是基于时间序列信息度量方法描述脑电信号复杂度的指标，LIU等[14]的研究表明，脑电多尺度熵可反映操作者脑力负荷的变化，但其在不同类型信息的任务中是否具有一致的变化规律尚不明确。与先前研究[14]所得结果一致，本研究发现，在不同任务下顶叶尺度10以上的样本熵均可有效区分脑力负荷，高脑力负荷任务下更高的样本熵值表明了大脑处于更复杂的信息处理状态。与脑电线性指标相似，内容与空间两类任务间样本熵的差异可能也是大脑对两类信息加工机制差异的体现。

多变量方差分析的结果发现2-Back与3-Back任务之间各个脑电指标的差异不显著，这可能与大脑工作记忆容限约束有关，即当任务负荷达到或超过了工作记忆容限时，大脑的响应接近平稳[18]。另外，本研究所采用的脑力负荷诱发任务为形式相同但信息类型不同的工作记忆任务。在实际的人机交互任务中，操作者常面对更复杂的信息类型或被要求完成更复杂的信息加工，我们仅从信息编码角度对指标在不同任务下进行脑力负荷评价的适用性进行探索，对于实际人机交互场景，尚存在一定的局限性，脑电信号线性与非线性特征在信息类型更复杂的脑力负荷任务中的适用性尚需更深入的研究。