基于深度信念网络的脑电信号疲劳检测系统

(1.浙江工业大学 经贸管理学院，杭州 330014; 2.浙江工业大学 软件学院，杭州 330014)

0 引言

疲劳是由长期高强度工作下引起的主观不适感觉，具体表现在注意力难以集中、反应迟钝等症状，给人们正常生活带来不便，严重时甚至会引起慢性疲劳等疾病，因此，对于疲劳状态进行检测可预防该类疾病的发生。脑电信号是由生物体脑部皮层神经产生的生物电信号，与脑部活动密切相关，可直接反映生物体精神状态，可作为精神疲劳评价指标[1]。虽然疲劳是主观不适感觉，但是在客观同等条件下会影响原来所从事的正常活动能力。疲劳主要表现结果是精力不集中、反应迟缓、预测能力下降。如果人们在正常工作中出现疲劳，不仅会降低工作效率，还容易出现重大交通事故问题，严重威胁人们生命安全。精神疲劳对人们正常工作带来了极大影响，其产生的机理还处于研究与探索阶段，从理论角度分析还难以做出准确描述，而从现象角度分析也具有较大个体差异，这给预防精神疲劳所引起的疾病带来较大难题，因此有必要建立一个定量、可观疲劳检测系统[2]。现有大多数疲劳检测系统仅适用于个别疲劳状态的检测，致使该类方法目前尚未形成有效且统一评价标准。采用传统面部特征检测系统对人脸各个器官进行定位，容易受到环境、光照因素影响，导致系统检测精准度较低；相比较来说，设计深度信念网络的脑电信号疲劳检测系统，不会受到测试环境限制，可检测日常工作中的精神疲劳，具有良好普适性[3]。

1 系统整体结构设计

深度信念网络是一个概率生成模型，该模型是在数据观察与标签联合分布基础上建立的，与传统判别神经网络模型相比，其判别是具有全面性的。深度信念网络是由多个限制玻尔兹曼机组成的，具体分为两个层次，分别是可视层和隐藏层，属于典型网络结构。虽然可视层和隐藏层表面是具有密切关系的，但实际上，两个层次内部结构是完全不相关的，其中隐藏层单元被单独训练捕捉相关高阶数据[4]。在该网络条件下，设计脑电信号疲劳检测系统，可直观反映出脑部神经细胞活动特征，精准表达精神状态。

脑电图可通过脑电极记录相关脑细胞群发性与节律性，是脑内大量神经元活动综合反映，而脑机能状态变化可引起脑电图发生改变[5]。虽然脑电信号经过颅骨、软组织、头皮，在空间上弥散开来，并和皮层其它位置信号相互混合，使头皮记录的电信号成为皮层电信号的混合体，使脑电图在空间上变得极为模糊。基于不同需求，人们设计出多种脑-机接口原型系统。该系统通常是有输入、输出、信号处理与转换模型组成的，其中输入环节可产生某种特性脑部活动特征信号，而信号处理是将连续的特征信号转换为某些特征参数数字信号，方便读取与处理，并对数字信号进行识别与分类[6]。

采集脑电信号，利用疲劳实时检测系统进行在线分析，通过对分析结果总结来验证该系统有效性，整个系统结构示意图如图1所示。

图1 系统整体结构示意图

由图1可知：脑-机接口在人脑与计算机之间建立直接交流通道，通过该通道人可直接通过大脑来表达想法，而不需要语言或动作，有效增强外界交流与外部环境能力，提高使用者活动便携性。在大脑产生动作意识之后，其脑电信号会发生相应改变，这种变化可通过一定方式检测出来，并作为动作发出特征信号，通过特征信号进行分类识别，分辨出引发脑电变化动作示意图，之后还可以通过接口转化，将人的思维活动转换为命令信号驱动设备，实现无肌肉和外围神经参与下的疲劳检测[7]。

2 系统硬件模块设计

疲劳检测系统硬件结构通常是由信号采集、显示输出、同步逻辑控制、图像分析和处理、结果显示与报警组成的，具体设计如图2所示。

图2 疲劳检测系统硬件结构

采用seed-vpm642作为硬件平台，设计硬件结构，支持4路制式信号输入。采用型号为TMS320DM642的DSP数字信号处理器和TVP5150型号信号编码器，可直接与信号解码器接口相连接，根据不同应用，编制不同处理程序，可实现各类信号处理，具有较大灵活性。

2.1 采集模块设计

硬件结构中的采集模块原理是通过CCD采集到连续特征信号，经过A/D信号转换，变成数字信号形式。通过数据处理模块对信号进行处理[8]。

在该模块设计过程中，采用某公司生产的SAA7115型号解码器完成数字化信号分离，采集模块电路图如图3所示。

图3 采集模块电路图

由图3可知：采用型号为TMS320DM642的DSP数字信号处理器，可连接所有信号端口，在设计过程中，将信号输入端口进行编号，分别为0和1，而端口2作为信号显示端口。其中端口1通过RCA类型插座连接低噪声的Video接口，输入的信号必须为合成信号，通过I2C总线接口实现存储器串行扩展，增加输出传输速度，提高信号采集精准度。

2.2 显示模块设计

将TMS320DM642信号端口与编码器相连接，利用现场可编程门阵列FPGA，在默认条件下可通过SAA7105编码器进行复合信号编码。FPGA为系统提供了FIFOs，可将信号端口2数据与FIFOs端口数据相混合，将混合数据通过空间同步模式EMIF输出到外部存储器接口进行存取。

采用seed-vpm642硬件平台，设计硬件结构，根据CCD采集连续特征信号工作原理，将特征信号转变成数字信号，通过信号预处理、分割、特征提出与识别，实现数字化信号分离。采用型号为TMS320DM642的DSP数字信号处理器，可对端口1的信号进行合成，对端口2的信号进行复合信号编码，通过DM642I2C总线进行配置，将混合数据存储到外部存储器处，由此完成系统硬件模块设计。

3 系统软件功能设计

系统软件功能设计可将深度信念网络训练分成两个阶段，分别是非监督贪婪逐层训练和监督训练。通过非监督贪婪逐层训练方法去训练每一层以获取生物模型权值，再通过监督训练对整个网络进行调整。

由于深度信念网络含有多个神经元，在计算过程中将每层输出都作为下层网络输入，通过每层参数来设置最底层输入的脑电信号数据。可视层与第一层隐藏层形成一个受限玻尔兹曼机，通过贪婪逐层训练方法使受限玻尔兹曼机达到能量平衡状态，并将训练结果输出，即隐藏层作为下一个受限玻尔兹曼机的输入，并单独进行参数调整，促使第2个受限玻尔兹曼机也能达到能量平衡，使用同样方法进行训练，直到最后一个受限玻尔兹曼机训练完成[9]。

将受限玻尔兹曼机提取的特征向量进行分类，调整深度信念网络，具体训练过程为：先通过正向传输，将输入特征向量沿着输入端传输到输出端；再通过反向传输，降低输出误差，由此获取的数据可从输出端反向传输到输入端，以此修改深度信念网络参数。

通过大脑发送的特征信号对其疲劳程度进行检测与跟踪，获取脑电信号特征参数，以此判断测试者是否疲劳，整个软件设计流程如图4所示。

图4 软件设计流程

根据硬件结构中的采集模块，获取精准数据。由于脑电信号包含随机成分，因此在大脑处于疲劳状态时，脑电信号复杂程度将会降低，信号呈规律性波形。因此，需对脑电时间序列近似熵进行分析，并提取相关未疲劳非线性特征，通过脑电波动指数，实现疲劳检测。

(1)近似熵。

使用近似熵定量描述时间序列的非线性动力学参数，其是一个非负数，可表示时间过程复杂程度，衡量时间序列中新特征出现的概率。在既定时间序列{a(x),x=1,...,Y}下，近似熵表示特征维数变化时间序列中所产生新模式概率大小，并反映出自相似程序，与其他非线性动力学参量相比，近似熵具有较强抗干扰能力。

(2)脑电波动指数。

根据脑电时间序列近似熵分析结果，对脑电波动指数进行研究。当大脑处于疲劳状态下时，其产生慢波波形，对应的频率大小应为5～35Hz。在深度信念网络下，分解多尺度脑电信号，选择频段在该范围内的尺度分量。通常情况下，疲劳状态下的脑电信号波动比未疲劳状态下的脑电信号波动较为剧烈，因此通过波动指数来说明脑电信号变化强度，计算公式如下所示：

(1)

公式(1)中：rk表示第k尺度上重构信号幅度；L表示脑电信号波长。

根据脑电信号变化强度，区分疲劳和未疲劳状态下脑电信号特征，以此完成系统软件功能设计。

4 数值实验分析

针对基于深度信念网络的脑电信号疲劳检测系统设计是否合理，进行数值实验进行分析。

4.1 参数设置

实验参数设置如表1所示。

表1 实验参数设置

根据实验参数，对数据进行采集。

4.2 数据采集

为了保证脑电信号的可靠性，要求采集环境必须是在无高频辐射环境下进行，并保证光线适中、通风顺畅，不会影响脑电信号突变。

实验选择9位受试者进行脑电信号采集，在实验前，要求这9位受试者，在12小时内不可进食，并保证充足睡眠。而在实验过程中，保证这9位受试者不进行任何大幅度运动，避免数据采集结果不精准问题的出现。

设置3种信号采集方式，分别是运动开始和停止信号采集、运动前进和后退信号采集、运动左转和右转信号采集，具体采集流程如图5所示。

图5 具体采集流程

由图5可知：在实验开始阶段，进行第一种脑电信号采集，在此过程中，需要测试者保持全身心放松状态，保证大脑处于放空模式。在时间为6 s时，测试者将会开始运动；在时间为8 s时，测试者将会停止运动；在时间为12 s时，测试者依然停止运动，进入休息状态；

同理，在第2种脑电信号采集与第3种脑电信号采集过程都与第一种脑电信号采集过程大体相似，只有第2种采集时间为12 s时，测试者将会进行后退运动；在时间为14 s时，测试者再次停止试验，进入休息状态；在时间为16 s时，测试者将会进行左转运动；在时间为18 s时，测试者停止试验；在时间为20 s时，测试者进行右转运动；在时间为22 s时，测试者停止试验，进入休息状态。

通过上述实验内容，对测试者不同程度脑电信号进行采集，并对数据进行初步处理。实验数据样本具有3种，分别是第一种数据中的7～8 s和9～10 s之间数据、第2种数据中的7～8 s、9～10 s和13～15 s之间数据、第3种数据中的7～8 s、9～10 s、13～15 s、19～21 s之间数据。本次实验采用Biosemi便携脑电采集仪，具有128 Hz采样频率，为了使实验效果更加准确，从3种数据中采集了27个数据作为实验样本，共分为3种，其中每种都包含了9个数据样本。

4.3 实验结果与分析

为了验证深度信念网络下的系统(DBN)疲劳检测效果，将基于深度信念网络下检测系统作为实验组，选择基于支持向量机检测系统(SVM)、面部特征检测系统(Ff)、基于特征数据检测系统(Fd)作为对照组。深度信念网络在进行脑电信号分类时，需对各个网络节点数和权值衰减情况进行设置与分析。由于深度信念网络每层节点数量较为庞大，对于有效节点选择极为困难，选择节点数量过多，将会影响原始信息表达能力，但选择节点数量过少，又会导致大量信息丢失。因此，通过反复实验确定网络既具备泛化能力，又不丢失信息，需在各层安置节点数量为800、500、300，保证网络具有良好识别效率。

深度信念网络学习效率与权值紧密相连，学习效率太大则会导致权值过大，影响结果精准度，因此，应保证网络处于缓慢收敛状态，设置学习效率为0.1。深度信念网络中权值发生改变，通常需要加入较大惩罚因子，避免系统拟合状态。对于第一种脑电信号只需分类运行开始与停止，对9位测试者在不同系统下疲劳检测效率进行对比分析，结果如表2所示。

由表2可知：对不同测试者疲劳情况进行检测，发现SVM系统、Fd系统和Ff系统检测效率都比DBN系统检测效率低。当通过Ff系统检测时，测试者E1，检测效率最高，为0.712；测试者E9，检测效率最低，为0.541。而通过DBN检测时，测试者E4，检测效率最高，为0.967；测试者E6，检测效率最低，为0.897。

针对第2种、第3种脑电信号，对9位测试者在不同系统下疲劳检测效率进行对比分析，结果如表3～4所示。

表2 第一种脑电信号不同系统下疲劳检测效率对比分析

表3 第2种脑电信号不同系统下疲劳检测效率对比分析

表4 第3种脑电信号不同系统下疲劳检测效率对比分析

由表3可知：当通过Ff系统检测时，测试者F7检测效率最高，为0.451；测试者F4检测效率最低，为0.227。而当通过BDN系统检测时，测试者F1，DBN系统检测效率最高，为0.995；测试者F8检测效率最低，为0.925。

由表4可知：当通过Ff系统检测时，测试者G1检测效率最高，为0.554；测试者G8检测效率最低，为0.442。而当通过BDN系统检测时，测试者G9，DBN系统检测效率最高，为0.924；测试者G1检测效率最低，为0.857。

根据上述对比结果可知，DBN系统检测效率比其它系统检测效率要高。

4.4 实验结论

在不同脑电信号下，SVM系统、Ff系统和Fd系统检测效率最高都没有超过80%，而DBN系统检测效率最低也超过85%，由此对比结果可知，采用基于深度信念网络的脑电信号疲劳检测系统设计是具有合理性的。

5 结束语

5.1 研究成果

结合深度信念网络设计脑电信号疲劳检测系统是一种全新思路，该网络具备高维特征向量，具有较强特征学习能力。通过深度信念网络能够从脑电信号中提取相关特征数据，并正确分类，经过对不同被试进行测试分析可知，采用该网络设计的系统检测效果优于基于支持向量机检测系统(SVM)、面部特征检测系统(Ff)和基于特征数据检测系统(Fd)，且最高检测效率可达到0.995，具有良好检测效果。

5.2 未来展望

虽然使用深度信念网络能够得到良好检测效率，但是只是对小范围内的运动脑电信号进行疲劳检测，对于未来工作可从如下几个方面进行：利用电子设备采集更多样本数据，结合深度信念网络检测复杂脑电信号，不断优化结构参数，有效提高脑电信号疲劳检测能力。