基于SSL⁃DDPM的脑电疲劳状态检测方法

摘 "要： 疲劳检测对日常生活是至关重要的，尤其对于驾驶领域。基于脑电（EEG）信号的疲劳驾驶检测已吸引了众多学者的关注，但由于高质量带标签的EEG样本稀少问题严重阻碍了疲劳检测领域的发展。因此，文中首次将自监督学习（SSL）与扩散模型（DDPM）相结合应用于EEG的疲劳检测研究中，提出一种基于SSL⁃DDPM的脑电疲劳状态检测方法。该方法分为预训练和下游任务两部分，预训练阶段中首先对原始信号进行DDPM扩增，然后以ResNeXt代替ResNet为骨干网络对扩增前后的EEG信号进行特征提取，最后对提取的特征进行信号重构。下游任务的网络以共享预训练网络参数为主，对扩增前后的信号进行疲劳检测。通过SEED数据集和Multi⁃channel数据集进行实验验证，最终分类准确率分别达到88.23%和86.14%，验证了文中疲劳状态检测方法的有效性。

关键词： 脑电信号； 疲劳检测； 自监督学习； 扩散模型； 骨干网络； 信号重构

中图分类号： TN911.7⁃34； TP391 " " " " " " " " "文献标识码： A " " " " " " " " " " 文章编号： 1004⁃373X（2024）21⁃0040⁃06

EEG fatigue state detection method based on SSL⁃DDPM

ZHANG Linhua1， GUO Caiping1， XU Xiaozhe2， FU Lizhen3， XING Zhenzhen1

（1. Department of Computer Engineering， Taiyuan Institute of Technology， Taiyuan 030008， China;

2. Shanxi Cultural Tourism Group Shantou Information Co.， Ltd.， Taiyuan 030008， China;

3. School of Software， North University of China， Taiyuan 030008， China）

Abstract： Fatigue detection is vital to daily life， especially to the field of driving. Fatigue driving detection based on EEG signals has attracted much attention. However， the lack of high⁃quality labeled EEG samples has hindered the development of fatigue detection seriously. Therefore， a self⁃supervised learning （SSL） combined with diffusion model （abbreviated as DDPM） is applied to the fatigue detection of EEG for the first time， and an EEG fatigue detection method based on SSL⁃DDPM is proposed. The method is divided into two parts， named pre⁃training and downstream tasks. At the stage of pre⁃training， the original signal is amplified by DDPM， and then ResNeXt is used as the backbone network instead of ResNet to extract the features of EEG signals before and after amplification. Finally， the extracted features are subjected to signal reconstruction. The network for downstream tasks performs the signal fatigue detection before and after amplification by mainly sharing the pre⁃training network parameters. The SEED data set and Multi⁃channel data set are used for experimental verification， and the experimental results show that the final classification accuracy rates on the two data sets reach 88.23% and 86.14%， respectively， which verifies the validity of the fatigue state detection method in this paper.

Keywords： EEG signal; fatigue detection; self⁃supervised learning; diffusion model; backbone network; signal reconstruction

0 "引 "言

脑疲劳导致注意力控制削弱、个体警觉性降低等，还会阻碍认知资源的合理分配[1]。在驾驶卡车、高速列车以及飞机等工作中，警惕性下降或注意力缺失会造成不可挽回的生命财产损失。驾驶安全被认为受到环境单调、睡眠剥夺、长期嗜睡等多种因素的影响，其中最主要的因素之一是疲劳驾驶[2]。因此，疲劳检测对降低驾驶事故的发生频率和严重程度具有重要意义。

疲劳检测模型的关键在于疲劳标签的划分，近年来，疲劳划分方法主要有三种：基于驾驶员的行为特征[1⁃5]，基于心理学的调查[6⁃7]，基于EEG[8]、眼电图[9]、心电图[10]或组合多种生理信号对疲劳进行检测。其中，基于EEG的方法被认为是最有效的方法之一，因为EEG可以直接反映大脑神经细胞的活动，从而揭示驾驶人在驾驶过程中心理状态的变化。

在基于EEG的疲劳估计中，分类和回归是两种基本方法。目前疲劳评测方法大多数通过监督学习对疲劳状态进行分类，旨在将大脑状态分为两个或两个以上的警戒和疲劳状态[5]。这种方法通常采用基于[δ]、[θ]、[α]、[β]，以及样本熵、模糊熵、近似熵、谱熵和小波熵等特征[11⁃13]，分别结合支持向量机（SVM）、线性判别分析、K最相邻、随机森林、多层感知器等机器学习或者深度学习方法[14⁃15]对疲劳状态进行识别。然而，在EEG信号采集过程中，容易受到环境、被试主观因素的影响，疲劳状态标签无法完全准确，导致监督学习方法在脑电疲劳状态检测中应用受限。同时由于疲劳诱导任务时间长，采集的疲劳状态下的EEG信号样本量较少，在网络训练过程中出现过拟合现象，使疲劳检测模型性能下降。随着深度学习的发展，自监督学习通过运用预训练模型至下游任务在一定程度上减少了带标签样本数量的使用。为此，许多学者将自监督学习方法应用于EEG信号分析研究中[16⁃17]。

为了提高疲劳检测模型的性能，对EEG信号进行数据增强至关重要。文献[18]提出了一种基于生成对抗网络的自监督数据增强框架用于EEG的情绪识别。文献[19]提出了一种结合时空特征的双编码器变分自编码器生成对抗网络用于情绪识别。这些方法忽视了EEG信号的内在结构，且在训练过程中模型可能出现不稳定和模型崩溃等问题，限制了数据增强技术在EEG信号疲劳检测领域中的应用。

为了提高EEG信号疲劳状态分类的正确率，解决高质量带标签EEG样本量稀缺的问题，本文首次将SSL与DDPM相结合应用到基于EEG信号的疲劳识别任务中，提出一种基于SSL⁃DDPM的脑电疲劳状态检测方法。该方法分为预训练和下游任务两部分，在预训练阶段先对原始信号进行DDPM扩增，然后使用预训练网络进行特征提取，最后对提取的特征进行信号重构，并计算MSE损失以不断更新网络参数。在下游任务中，将扩增前后的信号进行融合，通过共享与训练网络中的参数进行疲劳检测。该方法可以使更多未标记的数据用于疲劳检测模型的预训练过程，提高疲劳检测模型的预测性能。

1 "数据集介绍

1.1 "SEED数据集

为了收集EEG和EOG数据，文献[20]开发了一个基于虚拟现实的模拟驾驶系统。在真实车辆前方大型LCD屏幕上，可以看到以笔直为主的四车道公路场景，这样更容易诱发被试疲劳。软件中的车辆运动由方向盘和油门踏板控制，场景根据被试的操作同步更新，该实验共有21名被试参加。实验过程中采用1 000 Hz采样率的Neuroscan系统同时记录前额EOG信号以及后脑（CP1、CPZ、CP2、P1、PZ、P2、PO3、POZ、PO4、O1、OZ、O2）和颞叶（FT7、FT8、T7、T8、TP7、TP8）的18个通道的EEG，眼球运动同时使用SMI ETG眼动跟踪眼镜记录。对于SEED数据集的标签划分，以数据集中闭眼百分比（PERCLOS）作为指标，具体计算公式如下：

[PERCLOS=blink+CLOSinterval] " " （1）

[interval=blink+fixation+saccade+CLOS] " "（2）

式中：CLOS、blink、fixation、saccade分别代表闭眼的持续时间，眼动追踪眼镜所提供的眨眼、注视、扫视变量。

1.2 "Multi⁃channel数据集

该数据集由文献[21]在沉浸式驾驶模拟器的场景下采集的，采集实验从90 min持续注意力任务中获得被试的行为和大脑动力学，包括62份32通道的EEG数据。该实验邀请了27名被试在一条四车道的高速公路上行驶，车道偏离事件随机诱导，使汽车从原来的车道漂移到左车道或右车道，每个被试都被要求通过操控车轮让汽车行驶回原来的车道。为了避免在驾驶过程中受其他因素的影响，被试仅通过转动方向盘对车道扰动事件做出反应，不需要控制油门或刹车踏板。使用32通道quick⁃cap（Compumedical NeuroScan）记录EEG，分别为Fp1、Fp2、F7、F3、Fz、F4、F8、FT7、FC3、FCZ、FC4、FT8、T3、C3、Cz、C4、T4、TP7、CP3、CPz、CP4、TP8、A1、T5、P3、PZ、P4、T6、A2、O1、Oz和O2电极，在乳突骨上放置两个电极（Al和A2）作为参考，第33个信号为车辆位置。对于Multi⁃channel数据集EEG信号的标签划分，采用与文献[22⁃23]相同的方法进行标记，即将反应时长转化为嗜睡指数作为指标[24]，计算方法如公式（3）所示：

[DI=max0，1-e-（τ-τ0）1+e-（τ-τ0）] （3）

式中：[τ0]设为1；[τ]为自变量，在这里指反应时长。

2 "方 "法

2.1 "数据增强方法

DDPM[25]由于其在生成真实且丰富的数据样本方面表现卓越，广泛应用于图像和声音生成等领域。它包括噪声添加和噪声去除两个主要过程：正向扩散也为噪声添加过程，主要控制噪声扩散的程度；逆向生成也为噪声去除，主要根据降噪模型预估噪声以生成原始数据。

在EEG信号中，正向扩散主要是在原始信号[x0]的基础上采用马尔科夫链不断添加噪声[ε∈N（0，1）]直至信号为纯高斯分布噪声[xT]，逆向生成过程为正向扩散的逆过程。对于降噪模型，本文采用UNet网络，在UNet模型的编码部分模型会逐步压缩信号的大小；在解码部分则会逐步还原信号的大小。同时，在编码和解码间还会使用“残差连接”，确保解码部分在推理和还原信号时不会丢失掉之前步骤的信息。扩散具体过程如图1所示。

由于EEG信号是一段较长的时间序列，需要对其进行合理划分。为了最大程度地利用已有的脑电数据，本研究采用随机偏移零重叠采样方法[22⁃23]与DDPM相结合对脑电数据进行扩增。该方法首先通过随机偏移零重叠采样方法将原始EEG信号划分为数据段序列，然后将划分后的EEG信号片段进行DDPM扩增，最后将增强前和增强后的数据一起输入到自监督框架中进行疲劳识别，具体数据增强流程如图2所示。

2.2 "自监督学习

自监督学习主要分为预训练和下游任务两部分。本研究所设置的预训练任务是对增强后的特征进行信号重构，为后续下游任务奠定坚实的模型基础。在预训练网络参数迭代中，需要比较重构后的信号与原始信号的区别，即计算MSE损失作为网络的损失函数进行传播，使模型能有效学习信号中的每个细粒度特征。

由于不同个体的EEG信号差异较大，需要一种既能有效提取脑电疲劳状态的浅层特征，又能深入挖掘其深层结构的网络。ResNet是一种卷积神经网络，它主要是通过在浅层网络和深层网络之间添加跳跃连接的残差单元，以缓解在训练过程中出现的网络梯度消失或梯度爆炸问题。ResNeXt是ResNet的一种变体，它引入了一种新的聚合操作，允许通过增加分组卷积数量来增加网络的宽度，而不是增加层数，以此提升模型的表现。

由于EEG信号是一段连续的时间序列，EEG数据段之间的远程时间信息对疲劳状态的识别同等重要。因此，本文的预训练网络架构采用ResNeXt与时间序列提取单元GRU相结合，预训练的具体过程如图3所示。

下游任务主要包括一个特征提取器和分类器，其中特征提取器以共享预训练网络参数为主，从而融合预训练任务所学到的EEG信号的细粒度特征。分类器采用SVM，主要对所提取的EEG信号特征进行分类，并计算交叉熵损失（Cross_Entroy）进行下游任务网络的参数更新，从而提高疲劳检测模型的性能。下游任务的具体过程如图4所示。

3 "实验与结果

3.1 "参数设置

SEED数据集有21个被试，多通道数据集有27名被试，本文采用跨被试实验验证。设置如下：将数据集分为5份，采用五折交叉留一验证方法。优化器采用随机梯度下降（SGD），批量大小为128。预训练的动量为0.9，学习率采用余弦预热学习率调整方法，最小为0.05，下游任务阶段的学习率最小为0.09。预训练和下游任务阶段网络均未采用dropout策略。

3.2 "实验结果

3.2.1 "结果分析

在数据增强方法中，本文对每个被试的EEG信号都使用DDPM进行增强。当扩增了0、1 000、2 000、4 000、6 000、8 000、10 000个样本时，训练集为扩增后的样本和原始样本的集合，测试集样本不变，分别输入到本文方法中进行疲劳状态预测。SEED数据集的预测结果如表1所示，Multi⁃channel数据集的预测结果如表2所示。

从表1、表2可以观察到，在SEED数据集验证实验中，当每个被试的数据扩增6 000个样本时，准确率达到88.23%，比没有扩增样本时的准确率提高了11.21%。当继续扩增时，网络出现过拟合现象。在Multi⁃channel数据集实验验证中，当每个被试的数据扩增8 000个样本时，准确率达到了86.14%。当扩增到10 000个样本时，准确率为86.04%。因此，DDPM数据增强方法在增加样本量的同时提高了疲劳检测模型的性能，接下来本文以SEED数据集为例进行对比消融实验验证本文方法的优越性。

3.2.2 "对比消融实验

为了更进一步验证本文方法的优越性，本文以SEED数据集为例将所提方法与文献[22]提出的方法、ResNet50、未扩增样本的方法分别进行对比，其中本文方法中将每个被试的样本扩增了8 000个，对比消融实验结果如表3所示。

从表3可以观察到，将每个被试的样本扩增了8 000个后，本文方法的准确率仍然优越于其他方法，ResNet50的准确率最低。这可能是由于ResNet50主要通过增加网络深度来提升模型的性能，而ResNeXt重点在于通过增加宽度来提高性能，宽度增加代表网络的视野变大，能捕获较长的EEG信号的时间序列信息。

为了更详细地验证本文方法的性能，以SEED数据集中某个被试为例，展示文献[22]提出的方法、ResNet50、未扩增样本的方法和本文方法计算的疲劳指标曲线，如图5所示。

从图5可以观察到，图5d）曲线的拟合程度最好，图5b）效果最差。对位于200～400之间的峰值三种方法均做出快速上升响应，但对于变化幅度较小的波形，前两种方法的适应性较差。因此，进一步验证了本文方法的优越性。

4 "结 "语

为解决高质量带标签的EEG样本稀少问题，本文首次将DDPM与自监督学习框架有机结合应用至EEG信号疲劳检测领域，提出了一种基于SSL⁃DDPM的脑电疲劳状态检测方法。研究在预训练阶段中采用DDPM进行EEG数据增强操作，主要任务是利用DDPM进行EEG信号重构，使得模型在重构信号的过程中能更加清晰地学习到清醒、疲劳、困倦状态下的细粒度特征，从而捕获疲劳状态的通用特征。另一方面，由于脑电信号是一个连续的时间信号，疲劳状态的变化也是随时间变化的序列，因此在自监督学习中，本文采用ResNeXt作为骨干网络。ResNeXt具有更宽的视野，能融合更长先前的时间信号，通过对时间连续性的学习从而更精准地预测之后脑电信号的状态。下一步的研究方向是考虑不同诱因引发的疲劳特征及如何最小化这些疲劳特征之间的差异，进一步提高算法的鲁棒性。

注：本文通讯作者为郭彩萍。

参考文献

[1] LIU Y S， LAN Z R， CUI J， et al. Inter⁃subject transfer learning for EEG⁃based mental fatigue recognition [J]. Advanced engineering informatics， 2020， 46： 101157.

[2] 许龙铭.基于改进PERCLOS的疲劳驾驶检测系统的设计[J].现代电子技术，2023，46（22）：41⁃45.

[3] 徐敬一，田瑾，刘翔，等.基于注意力机制改进的疲劳驾驶检测方法[J].传感器与微系统，2024，43（4）：115⁃118.

[4] WANG F， WU S， PING J， et al. EEG driving fatigue detection with PDC⁃based brain functional network [J]. IEEE sensors journal， 2021， 21（9）： 10811⁃10823.

[5] ZENG H， ZHANG J M， ZAKARIA W， et al. An improved transfer⁃learning method for EEG⁃based cross⁃subject fatigue detection [J]. Sensors， 2020， 20（24）： 7251.

[6] YANG Z W， REN H J. Feature extraction and simulation of EEG signals during exercise⁃induced fatigue [J]. IEEE access， 2019， 7： 46389⁃46398.

[7] KRIGOLSON O E， HAMMERSTROM M R， ABIMBOLA W， et al. Using muse： Rapid mobile assessment of brain performance [J]. Frontiers in neuroscience， 2021， 15： 231733675.

[8] Al⁃SHARGIE F， HASSANIN O， TARIG U， et al. EEG⁃based semantic vigilance level classification using directed connectivity patterns and graph theory analysis [J]. IEEE access， 2020， 8： 115941⁃115956.

[9] MULAM H， MUDIGONDA M. Empirical mean curve decomposition with multiwavelet transformation for eye movements recognition using electrooculogram signals [J]. Journal of engineering in medicine， 2020， 234（8）： 794⁃811.

[10] LI R， WANG L， SOURINA O. Subject matching for cross⁃subject EEG⁃based recognition of driver states related to situation awareness [J]. Methods， 2022， 202： 136⁃143.

[11] 王忠民，郑镕林，赵玉鹏，等.基于脑电信号的疲劳驾驶检测研究综述[J].西安邮电大学学报，2022，27（6）：52⁃66.

[12] 王家曜，马亮亮，王飞，等.一种基于改进ResNet的疲劳检测方法[J].自动化与仪表，2023，38（11）：66⁃70.

[13] 吴天昊，张震，王家曜.一种基于卷积神经网络的疲劳驾驶检测方法[J/OL].控制工程：1⁃7[2023⁃12⁃21].https：//doi.org/10.14107/j.cnki.kzgc.20230854.

[14] WANG F， MA M， FU R， et al. EEG⁃based detection of driving fatigue using a novel electrode [J]. Sensors and actuators A： Physical， 2024， 365： 114895.

[15] CHEN Z Y， MENG Y H， WANG R Y， et al. A novel recurrent self⁃evolving fuzzy neural network for consensus decision⁃making of unmanned aerial vehicles [J]. International journal of advanced robotic systems， 2024， 21（2）： 7168⁃7183.

[16] ZHANG M， CUI Y L. Self supervised learning based emotion recognition using physiological signals [J]. Frontiers in human neuroscience， 2024， 18： 1⁃6.

[17] SUN J， XIAO C， WESTOVER M B， et al. Self⁃supervised electroencephalogram representation learning for automatic sleep staging [J]. Model development and evaluation study， 2023， 2： 46769.

[18] ZHANG Z， LIU Y， ZHONG S H. GANSER： A self⁃supervised data augmentation framework for EEG⁃based emotion recognition [J]. IEEE transactions on affective computing， 2022， 14（3）： 2048⁃2063.

[19] TIAN C， MA Y， CAMMON J， et al. Dual⁃encoder VAE⁃GAN with spatiotemporal features for emotional EEG data augmentation [J]. IEEE transactions on neural systems and rehabilitation engineering， 2023， 31： 2018⁃2027.

[20] ZHENG W L， LU B L. A multimodal approach to estimating vigilance using EEG and forehead EOG [EB/OL]. [2018⁃08⁃13]. http：//arxiv.org/abs/1611.08492.

[21] CAO Z， CHUANG C H， KING J K， et al. Multi⁃channel EEG recordings during a sustained⁃attention driving task [J]. Scientific data， 2020， 6（1）： 19.

[22] YUAN D Y， YUE J W， XIONG X F， et al. A regression method for EEG⁃based cross⁃dataset fatigue detection [J]. Frontiers in physiology， 2023， 14： 1196919.

[23] YUAN D Y， YUAN J W， XU H Y， et al. A regression model combined convolutional neural network and recurrent neural network for electroencephalogram⁃based cross⁃subject fatigue detection [J]. Review of scientific instruments， 2023， 94（9）： 094101.

[24] YANG Y， GAO Z， LI Y， et al. A CNN identified by reinforcement learning⁃based optimization framework for EEG⁃based state evaluation [J]. Journal of neural engineering， 2021， 18（4）： 046059.

[25] HO J， JAIN A， ABBEEL P. Denoising diffusion probabilistic models [EB/OL]. [2021⁃01⁃19]. https：//proceedings.neurips.cc/paper/2020/hash/4c5bcfec8584af0d967f1ab10179ca4b⁃Abstract.html.

作者简介：张麟华（1982—），男，山西阳曲人，硕士研究生，副教授，研究方向为智能数据处理。

郭彩萍（1981—），女，山西文水人，博士研究生，教授，硕士生导师，研究方向为信号与信息处理。

许骁哲（1990—），男，山西运城人，博士研究生，研究方向为人工智能。

富丽贞（1982—），女，山西大同人，博士研究生，讲师，研究方向为多模态信息融合。

邢珍珍（1987—），女，山西文水人，博士研究生，副教授，研究方向为深度学习。