多生理信号融合的飞行员脑力负荷分类研究

薛金娜，王长元，吴恭朴

(1.西安工业大学 计算机科学与工程学院,西安 710021;2.西安工业大学 光电工程学院,西安 710021)

脑力负荷(Mental Workload,MWL)是指在进行认知任务或思维活动时所需的心理资源和认知负担,反映了大脑在执行任务时的工作量和压力程度[1]。飞行员脑力负荷的研究对飞行安全和任务效率产生深远影响。了解和监测脑力负荷是确保飞行员决策准确和避免事故的关键因素。此外,这项研究有助于改善工作负荷管理、人因工程和疲劳管理,以提高飞行员的性能和决策质量[2-3]。随着技术不断发展,对脑力负荷的研究有助于推动智能飞行系统的发展,以满足未来航空需求。因此,飞行员脑力负荷研究对于航空业的整体运行至关重要。

统计学方法主要是通过主成分分析(Principal Component Analysis,PCA)、线性判别分析(Latent Dirichlet Allocation,LDA)及支持向量机(Support Vector Machine,SVM)等对脑电图信息和心率等进行分析研究判断脑力负荷程度[4-6]。例如文献[7]采用主成分分析法减少技术从心率变异率(Heart Rate Variability,HRV)参数和脑电图中提取特征在起飞和着陆阶段对工作负载水平进行分类,提高了基于分类精度的分类器性能评估,表明了在HRV特征下有助于区分飞行员脑力负荷水平,但准确率仅达到70%,还有待于进一步提高。文献[8]提出了基于脑电信号独立特征分量与操作任务相结合的脑力负荷分类方法,分别使用了LDA、KNN(K-Nearest Neighbor)、SVM多种分类器进行比较。使用独立分量方法进行信号获取,使得在脑力负荷分类过程中各分类方法准确率普遍提高了22%左右。证实了独立分量方法获取脑电信号的有效性。文献[9]使用脑电图(electroencephalogram,EEG)和功能近红外光谱(functional Near-Infrared Spectroscopy,fNIRS)进行信息融合互补,通过评估特征之间的互补程度和选择最有效的融合子集提高了分类性能。但基于混合的fNIRS和EEG数据对于脑力负荷分类任务相对较为复杂。

近年来,受到快速发展的深度学习的影响,基于深度学习的脑力负荷检测分类研究方法得到较多的关注。这类方法主要是将大量的训练样本数据输入到神经网络模型中,学习训练操作员任务难度与精神状态及脑力负荷程度的关系。文献[10]使用了灰狼优化算法(Grey Wolf Optimization,GWO)和深度神经网络组成的复合框架对不同难度的工作任务进行了估计,提出双向长期记忆和长期短期记忆相结合的深度混合模型对不同任务程度的脑力负荷进行了分类,其分类效果对于后期脑力负荷的相关研究具有较大的参考价值。文献[11]通过设计有限长单位冲激响应(Finite Impulse Response,FIR)滤波器,使其功率谱密度的曲线被耦合成脑力负荷的四种指标。提出了一个深度稀疏收缩自动编码器网络学习不同脑力负荷特征,并给出了操作员精神状态的识别结果。研究结果表明,该模型在局部特征提取和脑力负荷状态检测方面具有较好的性能。文献[12]通过研究测量操作者模拟机器人手术任务中的眼动注视熵特征来预测任务难度对脑力负荷引起的注视熵程度,结果证明注视熵随着任务难度的增加而增加。但视觉行为因外部环境及被试者的个体主观因素而使得脑力负荷的间接评估存在一定的误差。

目前对于脑力负荷的研究主要局限于单个生理信息上,而其他生理信息对于脑力负荷的影响容易被忽略;通过注视熵进行脑力负荷状态分析易受光照环境等因素的影响。针对上述问题,文中提出了从脑电、心电(Electrocardiogram,ECG)、肌电(Electromyography,EMG)等多生理信号入手,规避基于图像的判别手段,多方面获取脑力负荷敏感特征,进行多信息融合,建立深度神经网络决策模型。受自然语言处理的启发,该模型以卷积神经网络为基础,引入transformer中位置编码、多头注意力机制及编码器部分,使得生理信号特征被充分提取及放大,能够较大的获得全局映射信息,确保脑力负荷判别分类准确率。

1 数据预处理及特征提取方法

1.1 数据预处理

根据脑电信号的相关特征[13-17],选用了14个电极通道数据,其中有两个通道A1和A2为零势能电位不参与模型输入。剩下的通道分别为前额叶Fp1、Fp2;额叶F4、F8;中央区C3、Cz、C4;顶叶Pz、P4;枕叶O1、Oz、O2。选择的电极分布如图1所示。

图1 选择的电极分布位置

心电采集设备采样率为1 024 Hz,根据相关研究选取参考标准电极位置[18]。肌电设备采样率为512 Hz,电极位置选用了背部的斜方肌。在获得原始的生物电信号后,首先对脑电、心电和肌电进行50 Hz陷滤波与归一化(Normalized Least Mean Square,NLMS)自适应滤波降噪[19],其次降采样到 128 Hz,最后得到最终输入模型的时域数据量分别是原有信号数据量的1/2,1/8,1/4。

1.2 特征提取

进行基于脑电的脑力负荷分类研究中,主要使用脑电信号的不同特征进行相关性研究。EEG特征可分为频率、时间、线性和非线性四大类。不同脑电波段的功率谱密度(Power Spectral Density,PSD)可作频域特征处理[20]。时域特征主要是统计特征(均值、标准差、偏度和峰度);线性特征中文中选取自回归系数;非线性特征主要使用近似熵(Approximate Entropy,ApEn)和Hurst指数。下面将对不同特征进行详细分析。

1.2.1 频域特征

脑电的频域特征中最主要的特征是频谱功率谱密度。功率谱密度是指光谱能量随时间的分布,其总功率可以通过对频谱分量随时间的积分或求和计算。本次采用自相关序列的快速傅里叶变换(Fast Fourier Transform,FFT)计算PSD[21]。

1.2.2 线性特征

自回归系数作为一种重要的线性特征被用于脑电任务的估计。在脑电信号分析中,自回归(Auto Regression,AR)模型得到了广泛的应用[22]。对于时间序列分析,AR模型作为一种线性回归模型,在这种模型中,观测的未来预测是基于当前和一个或多个以前的测量结果进行的AR模型的参数称为自回归系数。

1.2.3 非线性特征

脑电信号的非线性特征主要包含了近似熵和Hurst指数,它们与脑电的规律性和相似性有关[23-24]。

1) 近似熵

近似熵(ApEn)用于测量时间序列数据的规律性。时间序列数据的规律性。它使用对数似然法计算使相似的数据模式在下一个时间步中保持接近。下一个时间步。高度规则的数据产生的ApEn分数较小、而规律性较低的数据则会产生较大的ApEn分数。为了计算ApEn考虑一个时间序列s(n),n=1,2,…,N,长度为N.根据该序列,可以创建一个长度为 (N-m+ 1) 的序列m和序列向量x(i)=s(i),s(i+1),…,s(i+m-1),i=1,…,N-m+1的时间序列s(n)。相关积分用(1)表示。

(1)

其中Θ为Heaviside阶跃函数,r是由时间序列中振幅的标准差定义的固定参数。数据模式的对数似然性可用变量Θm(r)和Θm+1(r)表示,其公式分别为

(2)

(3)

ApEn为

ApEn(m,r,N)=Θm(r)-Θm+1(r),

(4)

2) Hurst指数

Hurst指数(H)用于量化时间序列的自相似性和长期置信强度。它也被称为缩放范围统计(R/S)。Hurst指数(H)的广义形式为

(5)

式中:T为时间序列数据的跨度;R和S分别代表前n个样本的极差和标准差;H的取值范围为0～1。如果H=0.5,则表示时间序列没有相关性。对于长期反相关,H在0～0.5之间,而对于长期相关,H在0.5～1之间。

1.2.4 时域特征

脑电通道的时域特征主要表现为均值、标准差、偏态和峰度等统计特征[25-27]。

平均值:平均值是通过对每个通道的所有EEG数据样本的振幅值取平均值来计算的。它反映了该通道数据的整体集中趋势。

标准差:标准差是用来衡量每个样本相对于每个通道平均值的偏差。对脑电信号的各个通道进行标准差计算,可以了解数据的离散程度和波动性。

偏度:偏度用来描述分布的不对称程度。在一个信道中的所有样本均匀分布在均值附近时,这种分布被称为对称分布。在均值对称分布的情况下,中位数和众数具有相同的值。偏度的值可告诉我们数据是向左偏斜还是向右偏斜。

峭度:峭度用来衡量通道数据相对于正态分布的均值而言是重尾还是轻尾。如果通道数据具有高峭度,表示数据集中的值比正态分布更集中,有更多的极端值,可能存在噪声。

2 结合多头注意力机制的脑力负荷分类模型

2.1 数据集

根据飞行效果将飞行实验的脑力负荷状态分为高负荷和低负荷两类。脑电数据、心电数据和肌电数据进行同步采集。飞行实验分为不同的任务强度,不同任务强度所处的时间段不同,因此以时间切片进行数据样本划算,将不同时间段的脑力负荷状态数据进行整理,构成本次实验的数据集。

2.2 网络模型

脑力负荷决策模型的搭建受到了自然语言处理的启发,在自然语言处理中,特征提取与放大工作后会有多个连续的卷积模块和多个连续的全连接模块,这种操作在同样在使用深度神经网络进行信号的过程中是比较常见的[28-30]。将Transformer的部分网络模型结构与卷积神经网络(CNN)相结合,可以对不同程度的脑力负荷状态进行分类。

2.2.1 Transformer

Transformer[31-32]是一种基于注意力机制的神经网络架构。其核心思想是去计算一句话中的每个词对于这句话中所有词的相互关系,用此来反应不同词之间的关联性及重要程度,以此为依据调整每个词所占权重,进而得到一个更加全局的表达。使用了Attention机制,将序列中的任意两个位置之间的距离缩小为一个常量,Atention层能够一步到位捕捉到全局的联系,相比之下,循环神经网络(RNN)需一步步递推才能捕捉到,这是Attention层的明显优势。Transformer结构如图2所示。

图2 Transformer结构图

模型搭建中主要使用到Transformer中的位置编码(Positional Encoding)、多头注意力(Multi-Head Attention)和编码器部分。

1) 位置编码

Transformer与传统的卷积和递归神经网络的不同之处在于,它使用一种新的位置编码机制来捕获输入数据的时间序列信息。将各种频率的正弦和余弦函数嵌入到归一化输入序列中以进行编码,正弦函数编码如式(6)所示,余弦函数编码为

(6)

(7)

其中,pos表示数据在滑动窗口中的位置,并且J是特征空间中的第j维。编码器的输入是位置码加上相同维度的输入数据的总和,如式(8)

Xe-in=x′+PE。

(8)

每个数据点的位置码是固定的并且具有任意可缩放的长度,这确保了使用输入序列的模型并行训练。

2) 多头注意力

为了使模型集中于在编码阶段为输入时间序列信息分配不同的权重,通常使用注意力机制来量化它们之间的依赖关系。注意力分数确定了在未来预测中应关注与时间序列中的时间片相对应的信息的程度,并且可以使用注意力函数的缩放点积来计算注意力分数为

(9)

式中:Q,K和V分别是数据序列、键值和权值。为了扩展自注意机制对不同数据的注意能力,Transformer采用了多头注意力机制,是将输入数据的Q,K,V进行线性变化来映射到不同的空间,对每组数据分别进行注意力计算,并将结果进行拼接。其计算为

(10)

3) 编码器

编码器由N=6个相同层的堆栈组成,每个层包含两个子层。每个编码器层由两个剩余的子层初始化,这两个子层将查询输入连接到前一层的输出,然后,每个层被归一化。每个子层的输出为

Output=LayerNorm(y+Sublayer(y)),

(11)

式中:子层(y)实现子层y的功能。为了更好地促进残差连接,模型中的所有子层,包括嵌入层,都会产生维度输出。

2.2.2 基于CNN+Transformer的脑力负荷分类模型

多生理电信号融合的飞行员脑力负荷分类研究中,主要是通过改进Transformer中的多头注意力机制,同时结合卷积神经网络进行脑力负荷分类研究。

脑力负荷决策研究模型如图3所示。神经网络部分搭建了改进的Transformer结构,主要以一维卷积和全连接层为核心。

图3 脑力负荷决策模型

1) 卷积神经网络单元

CNN模块被赋予原始时间序列数据的子序列,而注意机制模块被赋予子序列的中点值。注意机制模块的输入序列比CNN模块的输入序列长,并且它覆盖分支中的CNN模块输入。CNN模块的输出特征与注意机制模块的输出特征逐元素相乘,并且每个特征的重要性通过其相对于其他特征值的值来反映。

2) 类Transformer模块搭建

在Transformer结构的改进部分中,去掉了原有的Embedding,Linear和输出部分的Softmax激活函数,保留了特征提取与放大部分,使其能够对序列数据进行操作,图4展示了研究所使用的类Transformer结构。

图4 类Transformer结构图

卷积模块使用了连续的最大池化、Dropout、一维卷积和激活层。从输入端到输出端池化层的核大小均为2,一维卷积核数量分别为2n(n=7,6,5,4,3),卷积操作的步长均为1。全连接部分使用了连续的五个全连接层,各层的全连接神经元个数分别为2n(n=4,3,2,1)。

3 实验设计及方法

3.1 实验平台及数据采集设备

3.1.1 实验平台

飞行员脑力负荷分类研究实验平台部署主要由六轴运动的飞行模拟器平台一台DELL计算机、三台高清显示屏(分辨率为2 560×1 440)、生理电信号信号同步采集设备,实验平台部署如图5所示。模拟飞行平台包含了显示器、飞行摇杆和主机等。模拟飞行采用DCS World数字战场游戏,使用可免费驾驶的由俄罗斯苏霍伊设计制造的战机进行模拟飞行操作。

图5 实验平台部署图

3.1.2 数据采集设备

实验使用北京津发科技股份有限公司提供的 ErgoLAB 人机环境同步平台脑电测量系统,该系统所配置的脑电设备为水电极脑电系统,以湿海绵作为传导介质,该脑电帽部分电极如图6所示。

图6 脑电电极端口分布图

所选用的心电设备是ErgoLAB ECG无线心电传感器,该传感器主要记录心脏从感应刺激至趋于平静,这一周期产生的电信号波动。该设备对被试的操作影响较小,抗干扰能力强。设备如图7所示,无线心电传感器配有三个电极,在穿戴时需使用导电电极贴片接触被试皮肤。其中,图7(a)为无线心电传感器,7(b)为连接对应方式,红色和蓝色电极主要负责提取皮肤两点的心电电位差,黑色为参考电极。

图7 心电采集设备及连接图

所选用的肌电设备是ErgoLAB EMG无线肌电传感器。设备如图8 所示,无线心电传感器配有三个电极,在穿戴时需使用导电电极贴片接触被试皮肤。其中,图8(a)为无线肌电传感器,8(b)为连接对应方式。

图8 无线肌电传感器及连接示意图

3.2 实验对象

实验招募了6名被试者,年龄在23～25岁之间,BMI 指数在22～26之间,参与实验的人员在近 1 年内没有用服用过精神类药物,没有接受过心理疾病问题相关治疗,没有先天性肢体残疾,没有语言表达障碍。所有被试人员均签署了知情同意书后进行实验,为确保被试人员的安全,实验在室内模拟器上进行。被试者都被告知了实验的具体内容,完全了解实验过程中采集到的生理数据将如何使用,并且每个参与者都是自愿参与实验,实验数据在监督下剔除了个人识别信息,只保留对实验有具体作用的数据。

3.3 实验设计

脑力负荷是飞行员为完成飞行任务所付出的认知决策能力,也可以理解为飞行员在当前状态下,为完成飞行任务所承受的认知决策负荷。在相关研究的文献中,操控脑力负荷可以通过围绕飞行员的信息处理能力和付出的注意资源两个方面实现量化分析。本次实验设计从这两方面出发,在五边飞行基础飞行航线上增加了随机触发的视觉注视类任务,用被试人员在较高强度的信息处理能力评判脑力负荷程度。信息处理强度表示在单个作业任务时间内工作人员所需要进行信息处理的总量或操作过程中信息的繁忙程度,即执行脑力工作实际有多忙。信息处理强度越高,操作员脑力负荷程度越强,反之则越低。考虑到不同的操作员对信息的处理能力不同,可以对比真实的飞行数据与五边飞行航线的差距,即飞行精度来确定不同信息处理能力的操作员脑力负荷程度。五边飞行航线如图9所示。

图9 五边飞行航向图

3.4 实验流程

实验流程如图10所示。原始信号在输入分类模型之前使进行了两次滤波操作,分别为50 Hz陷滤波降低工频干扰,NLMS自适应滤波剔除严重偏离均值的噪声。

图10 实验流程图

3.5 研究方法

研究同时设置了若干对照组,分别从模型输入内容和模型结构等方面进行对比。输入源对照组是在预处理基础上将其分为两组,一组直接将预处理过的三种生理信号输入模型;另一组将脑电的频率、时间、线性和非线性与心电和肌电信号一起输入模型,比较两种输入脑电信号模式在模型上的差异。模型结构对照组是对模型进行删减以考察不同结构对分类准确率的贡献大小。

4 结果分析

脑力负荷决策分类研究中,与神经网络相关的实验均采用 500 个 epoch 作为单次实验的训练批次,每个实验均进行10次训练。单次训练的最高准确率为单次实验中的最大值;单次训练平均准确率时为单次实验最后50个 epoch 中统计平均值。500个epoch训练深度神经网络在传统方法中是不够的,但能够实现快速训练以降低训练成本。另一方面,研究同样做了10次106个epoch训练对照,发现模型平均判别准确率在104个 epoch 后稳定在 98.79%便出现停滞,虽然比前者的最佳判别准确率而言提升 0.26%,平均判别准确率提升4.49%,但两者训练耗时相差20倍,这种投入产出比与研究的初衷相违背,故后续所展示的结果均以500个epoch作为训练批次数。

研究首先对比了在神经网络模型训练过程中使用交叉验证对模型性能的影响,实验结果如图11所示,是模型不同训练批次的准确率和损失。在没有使用10-fold交叉验证时,模型在某一次训练中获得了96.78%的最高分类准确率,10 次实验的平均准确率为91.86%,测试集平均准确率为 93.17%;使用了交叉验证后最高分类准确率提升至98.47%,10次实验的平均准确率为 94.27%,测试集平均准确率 96.45%。如果仅使用ECG和EMG信号作为模型输入得到的最高分类准确率为73.41%,平均分类准确率为71.06%。

图11 实验结果对比图

值得关注的是,研究过程中发现模型能够在很短的时间内完成训练,无论是否使用了交叉验证,判别准确率都能在第150个epoch附近达到90.0%以上,同时损失值也能在150个epoch前快速下降,统计发现平均每个 epoch 耗时约为2 s。这一特性意味着能够以较短的时间快速实现模型训练,为后期研究模型针对不同个体差异的动态调整提供了可能。

以往研究中仅使用单一的脑电通道可以获得很高的准确率,为了对比使用单一脑电通道与本研究所选用的脑电通道簇在分类准确率差异,研究添加了对照组,如图12所示。图12(a)为使用不同通道在模型上的分类准确率,其中“All”表示使用了上文中提到的 12 个通道。研究发现在结合ECG 和 EMG 信号后仅使用单一脑电通道也能做到85%以上的分类准确率,但如果不结合 ECG 和 EMG 信号,那么单一通道的分类准确率普遍在80%以下。

图12 实验对照组准确率

为了验证 Transformer 模块和卷积模块在判别任务中展现出的不同效果,添加了对照组。图12(b)是完整模型,Transformer+Dense,Conv+Dense 在是否使用 ECG 与EMG信号下的分类准确率。研究结果发现,使用 ECG 和 EMG 信息能显著提升模型分类准确率,模型的完整程度与分类准确率存在正相关,同时 Transformer 结构对分类准确率贡献要比卷积结构大。

由于研究发现Transformer结构对模型判别准确率有较大的贡献,将模型从中间层输出观察Transformer结构对输入信号进行的变化,发现通过该结构的信号特征得到了放大,同时将信号的值域控制在了较小的范围,并且对信号进行了归一化。Transformer对信号波动特征的提取和放大可能是模型判别准确率能够高于其他方法的原因之一。

使用不同波段的脑电信号用于低负荷与高负荷分类任务也是常见的操作之一,通过滤波器将原始信号中不同波段分离出来,输入模型进行分类。研究同样设置了相关对照组用于对比不同波段脑电信号作为模型输入的分类准确率。表1展示了不同波段脑电信号在是否附加 ECG 和 EMG 信号条件下的分类准确率。

表1 不同频段脑电信号在模型上的分类表现

前人在研究高负荷分类的过程中使用了多种方法,包括选用不同类型的熵,多种波段脑电信号的线性组合等手段。表2展示了本研究所得结果与其他相关研究结果所得准确率的对比。

表2 与其他方法判别准确率对比

5 结 论

探讨了深度神经网络在 EEG,ECG 和 EMG 多信号输入的高负荷检测模型性能,参考了自然语言处理中 Transformer 模型结构。通过原有结构进行修改,最终能达到96.54%的准确率。研究发现使用多种生理信号的脑力负荷检测模型要比使用单一生理信号模型的准确率高。前者在不对数据进行额外处理时仍能保持在一个令人满意的识别准确率,同时发现使用多种生理信号作为模型输入时候的鲁棒性更强。

讨论了ECG和EMG数据对模型判别准确率的影响,发现上述两类生理信号对本次所使用的模型提升判别准确率而言是不可或缺的。研究对Transformer与连续的一维卷积结构贡献度大小进行了对比。发现前者对模型性能的贡献要大于后者,但如果希望模型的判别准确率能够提升的话,一维卷积操作是不可或缺的。

研究对比了他人部分分类方法在本次数据集上的效果,发现先前研究者在高负荷判定的结论仍然具有很高的参考意义,他们在生物电信号类型选择和 EEG 通道选择上的结论有效地减少了本研究的工作量。