基于脑电信号特征的驾驶疲劳检测方法研究

祝亚兵，曾友雯，冯珍，时一凡，李奇

（长春理工大学 计算机科学技术学院，长春 130022）

基于脑电信号特征的驾驶疲劳检测方法研究

祝亚兵，曾友雯，冯珍，时一凡，李奇

（长春理工大学 计算机科学技术学院，长春 130022）

目前，疲劳驾驶已成为一种严重的社会问题，然而对于疲劳驾驶的检测与预防仍缺乏有效的技术手段。采用疲劳驾驶模拟实验、结合对象辨别实验和对被试面部表情变化分析，探索了脑电信号特征与驾驶疲劳状态间的相关性。提取脑电信号的δ波、θ波、α波、β波四种脑电节律的能量值作为疲劳驾驶的特征值，采用δ波能量值与θ波能量值之和与β波能量值的比值作为疲劳指数。结果显示，疲劳指数与被试疲劳程度呈正相关，验证了利用脑电信号检测疲劳程度的合理性与客观性，为疲劳检测提供了新的思路。

脑电图；驾驶疲劳；反应时间；小波包分解

近年来，随着汽车保有量的增加，道路交通事故发生率居高不下，已成为一个严重的社会问题。据世界卫生组织预测，到2030年由道路交通事故所造成的人员伤亡将会是人类死伤的主要原因之一［1］。Klauer等人的研究发现，由疲劳驾驶引发交通事故，其概率是正常驾驶的4～6倍［2，3］。因此，预防和及时发现驾驶疲劳是世界各国研究者亟待解决的重大科学课题。目前，国内外学者已经掌握了多种检测驾驶疲劳的方法。（1）基于皮尔逊疲劳表的主观检测方法:该方法由驾驶员本人通过主观感觉填写疲劳量表来判断疲劳程度；（2）图像处理检测方法:该方法对驾驶员面部表情、头部位移等特征进行测定，采用视觉技术对眼睛闭合程度、嘴角下垂情况进行精确地计算和分析［4］，由此判断驾驶员是否疲劳；（3）对驾驶操作行为及车辆状态检测的方法:该方法能够依赖驾驶车辆的速度、侧加速度、侧位移等参数的变化［5，6］对疲劳驾驶进行判断；（4）基于驾驶员生理参数测定的客观检测方法:主要包括脑电检测、肌电检测、心电检测等，该方法能够避免量表判断、车辆参数检测、面部表情及头部位移检测的主观性影响，更具客观性和真实性。相对于心电检测、肌电检测的方法，脑电检测受驾驶员动作影响较小，准确性和实时性特点明显。因此，脑电被誉为疲劳检测的“金标准”。

设计并实施了疲劳驾驶模拟实验，通过记录和分析被试在驾驶过程中的脑电信号特征变化，判断被试的疲劳状态，从而建立脑电信号与驾驶疲劳之间的对应关系。另外，为了客观评判被试在疲劳驾驶模拟实验中是否发生了驾驶疲劳，在实验过程中记录了被试的面部表情，并且在实验前后增加了对象辨别实验，通过分析被试的反应时间变化，客观的评判被试是否发生了驾驶疲劳。

1 实验设计

1.1 被试

6名来自长春理工大学的本科学生（3男，3女）作为实验的被试，年龄在20～22岁之间（平均年龄20.7岁）。被试均为自愿参加实验，配合度良好，右利手［7］，身体健康。

1.2 实验过程

疲劳驾驶模拟实验前，被试要完成一次对象辨别实验（辨别实验一），获得被试实验前的反应时间数据。模拟疲劳驾驶实验过程中，被试观看行车视频，实验人员实时记录被试的脑电信号和摄录被试的面部表情。疲劳驾驶模拟实验结束后，被试再完成一次对象辨别实验（辨别实验二），获取被试实验后的反应时间数据。实验流程如图1所示。

图1 实验流程图

1.2.1 对象辨别实验

利用presentation 0.71软件设计对象辨别实验。采用高斯光栅格作为实验刺激（3.3cm×3.3cm，视角1.1°），实验刺激分为两类:横高斯光栅格和竖高斯光栅格。实验刺激通过一台27英寸，分辨率为1920×1080的LED显示器呈现，如图2所示。实验过程中，被试坐在显示器正前方150cm处。两种实验刺激随机地呈现在屏幕中央注视点“＋”下3.2cm处，呈现时间为50ms，刺激呈现的时间间隔为800ms～1200ms间的一个随机值。被试的任务是盯着注视点，判断出现的刺激类型。当被试看到横光栅格时按鼠标左键，看到竖光栅格时按鼠标右键。要求被试在保证准确率的前提下尽可能快地做出判断。当刺激出现4000ms后被试没有做出反应，视为无效刺激。被试总共完成120个实验刺激的判断（其中60个横光栅格、60个竖光栅格），记录实验过程中被试的反应时间。在实验开始前要求被试完成20个实验刺激的预实验以熟悉实验刺激和实验过程。

图2 反应时间测试实验示意图

1.2.2 疲劳驾驶模拟实验

疲劳驾驶模拟实验在长春理工大学脑信息学研究室的专业隔音屏蔽脑电实验室内完成，采用澳大利亚Neuroscan公司生产的64导SynAmps2脑电放大器记录被试的脑电信号，电极配置采用国际标准导联10-20系统（10-20 electrode system）。实验平台如图3所示。

图3 实验平台示意图

被试坐在显示器正前方150cm处，一台摄像机放置在被试的右前方110cm处摄录被试在实验过程中的面部表情。采用一段60分钟的行车视频作为实验材料。行车视频通过笔记本电脑分屏显示。实验前，告知被试实验流程以及实验注意事项；实验过程中要求被试观看行车录像，想象自己在驾驶着汽车，记录被试的脑电信号。

2 数据处理

2.1 对象辨别实验

分析6名被试在疲劳驾驶模拟实验前后完成的对象辨别实验的反应时间。6名被试的平均反应时间结果如图4所示。

图4 反应时间实验前后对比

对象辨别实验一的平均反应时为420±56.7ms，对象辨别实验二的平均反应时为456±61.6ms。采用spss19.0软件对对象辨别实验一和辨别实验二的反应时间进行配对T-test分析。结果显示，对象辨别实验一的平均反应时间显著快于对象辨别实验二的平均反应时间（t（5）=-2.766，p=0.04）。

2.2 疲劳驾驶模拟实验

采用Neuroscan公司提供的专用脑电分析处理软件Neuroscan4.3和MATLAB 2012数学软件对脑电数据进行离线分析［8］。

为避免高频信号以及眼动对脑电信号的影响，对采集的原始脑电数据进行滤波及去眼电预处理，保留0～30Hz频率范围的脑电数据［9］，以获取优质数据源。

预处理后，将60分钟的脑电数据按时间等分成6段（每段10分钟），记为时间段1（时间段1为实验刚开始）、时间段2、时间段3、时间段4、时间段5、时间段6。取每个时间段的前5秒作为分析处理数据。

以往研究的实验表明，δ波、θ波、α波、β波四种脑电节律能量随着疲劳的状态变化明显［10］。本实验将对这四种脑电节律能量进行分析。

由于脑电信号具有微弱性、多频性、非线性及非平稳性的特点。单从时域或频域分析，不能得到明显的疲劳脑电特征和良好的分类效果。本研究采用小波包分解的方法，分析了脑电信号随时间变化的疲劳状态的特征［11］。

信号 f(t)的连续小波变换［12］为:

式中Wx(a,b)是小波变换系数，a是伸缩因子，b为平移因子，Ψ(t)是小波函数，t是时间。

实际应用中，将Mallat多分辨率算法［13］的概念引入小波变换，采用小波包分解［14］的方法分析处理信号。小波包将信号按任意的时频分辨率分解到不同的频段，并将信号的时频成分相应的投影到所有代表不同频段的正交小波包空间上。

运用MATLAB软件，实现两层小波包分解算法，将上述已分段好的脑电数据分解为δ波、θ波、α波、β波四种脑电节律，作为下一步分析的数据源。

3 疲劳检测模型建立

大量的数据表明，人在疲劳过程中，脑电节律的能量会出现不同趋势的变化。因此，研究不同脑电节律的能量，对检测被试是否处于疲劳状态具有重要意义。基于脑电节律的信号能量可按如下方法求得:

（1）对α波脑电节律 fα(t)进行傅里叶变换，得到 fα(t)。

（2）将Fα（t）平方，得到脑电特征的能量Eα。

（3）按照上述方式，求出β波、δ波、θ波能量，分别为Eβ、Eδ、Eθ。

通过对各电极通道脑电数据及脑电地形图的分析，发现在大脑顶区的脑电能量变化较为明显。因此，本实验选取Cz电极的脑电数据作为分析数据，得到Cz脑电信号四种节律的能量（表1）。四种脑电节律能量变化曲线如图5所示。

图5 不同时刻四种节律能量与被试面部表情对比图

表1 不同时间段各波段的能量

由表1、图5分析可知，随着时间变化β波能量逐渐降低，δ波、θ波和α波的能量逐渐增加。时间段1至时间段3这段时间δ波、θ波、α波的能量增长较慢，时间段3至时间段5能量增长速率变快。时间段5至时间段6这段时间θ波、α波能量保持在一定状态，而δ波能量继续增加。从实验过程中被试的面部表情视频数据可以看出，被试随着试验时间的增加，精神状态从清醒变为神情呆滞，到最后甚至出现瞌睡的状况（图5）。也就是说，当α波、β波占主导优势时，被试的意识是清醒的；而当δ波、θ波占主导时，人的意识模糊甚至出现睡眠。

由图5可知，被试在实验过程中疲劳程度发生变化，但不同脑电节律呈现不同的趋势。由于疲劳是多种因素共同作用的结果，单个节律能量的变化趋势不能客观衡量疲劳程度变化。因此，我们综合分析多个节律的能量变化设计了如下驾驶疲劳指数模型［15］:

由图6所示，随时间变化，被试的疲劳指数增加。

图6 疲劳指数曲线图

4 结论

通过疲劳驾驶模拟实验，我们发现随着疲劳程度的变化，β波能量逐渐降低，δ波、θ波和α波的能量逐渐增加。基于脑电不同节律的能量变化情况构造了疲劳驾驶检测模型。该模型能够对驾驶过程中驾驶员的疲劳程度进行客观、准确、及时的反映，这对检测驾驶疲劳，预防交通事故发生，保护人们的生命财产安全有重要的意义。未来随着脑电与疲劳关系方面研究的不断深入，脑电检测驾驶疲劳会更加普遍。另外，在其他很多方面，像矿工、建筑工人等疲劳工作极易产生危险的产业行业也将具有重要意义。

［1］ Toroyan T.Global status report on road safety［J］. Injury prevention:journal of the International Society forChild and AdolescentInjury Prevention，2009，15:286.

［2］ Maclean W，Davies D，Thiele K.The hazards and prevention of dring while sleepy［J］.Sleep Medicine Reviews，2003，7:507-521.

［3］ Jin L，Niu Q，Jiang Y，et al.Driver sleepiness detection system based on eye movements variables［J］. Advances in Mechanical Engineering，2013:1-7.

［4］ 马添翼，成波.基于面部表情特征的驾驶员疲劳状态识别［J］.汽车安全与节能学报，2010，1（3）:200-204.

［5］ 李力.驾驶行为智能分析的研究与发展［J］.自动化学报，2007，33（10）:1014-1022.

［6］ HarblukJL，NoyYI，TrbovichPL，etal.An on-road assessment of cognitive distraction:impacts on drivers'visual behavior and braking performance［J］.Accident analysis&prevention.2007，39:372-379.

［7］ 李健，郭冰，唐瑞阳.基于熟悉人脸范式的P300脑机接口字符输入系统的设计与实现［J］.长春理工大学学报:自然科学版，2015，38（4）:1-2

［8］ 张莉，何传红，何为.典型相关分析去除脑电信号中眼电伪迹的研究［J］.计算机工程与应用，2009，45（31）: 218-220.

［9］ 王小甜.不同情绪状态下脑电信号特征的研究［D］.长春:长春理工大学，2014.

［10］ 李明爱，张诚，杨金福.一种基于脑电信号的疲劳驾驶状态判断方法［J］.北京生物医学工程，2011，30（1）: 57-61.

［11］ 沈民奋，孙丽莎，沈凤麟.基于小波变换的动态脑电节律提取［J］.数据采集与处理，1999，14（2）:183-186.

［12］ 孙静，黄丹飞，乔洪勇.脑梗塞时心电信号和脑电信号的相关性分析［J］.长春理工大学学报:自然科学版，2014，37（1）:1-2.

［13］ Mallat S.Multi-resolution frequency channel decopmposition of images and wavel et models［J］. IEEE Trans on ASSP.1989，37（12）:2091-2110.

［14］ 许凤娟.脑电信号采集与分析系统的设计［D］.长春:长春理工大学，2011.

［15］ 房瑞雪，赵晓华，荣建，等.基于脑电信号的驾驶疲劳研究［J］.公路交通科技，2009，12（26）:125-127.

The Detection Method for Driving Fatigue Based on EEG Signals

ZHU Yabing，ZENG Youwen，FENG Zhen，SHI Yifan and LI Qi
（School of Computer Science and Technology，Changchun University of Science and Technology，Changchun 130022）

Fatigue driving has become a serious social problem in recent years.However，there is still a lack of effective technical measure for detecting and preventing the fatigue driving.The correlation between EEG signal characteristics and driving fatigue state was investigated by using a fatigue driving simulation experiment as well as an object discrimination experiment.The facial expression of subjects in the fatigue driving simulation experiment was recorded for analysis.The EEG energy of four rhythms ofβ，θ，α，and β waves were extracted.The ratio ofδ + θand β EEG energy was used as the model of driving fatigue index.The results showed a strong positive correlation between driving fatigue index and fatigue state，which verified the rationality and objectivity for fatigue detection by using EEG signals，and shed light on a new method for driving fatigue detection.

electroencephalograph（EEG）；driving fatigue；wavelet packet decomposition

TP391

A

1672-9870（2016）05-0119-04

2016-04-20

国家级大学生创新创业训练计划项目（2015S025）；吉林省科技发展计划大学生创业资金项目（20160521016HJ）资助

祝亚兵（1994-），男，本科，E-mail:zhu_yabingah@163.com

李奇（1977-），男，博士，教授，E-mail:liqi@cust.edu.cn