基于多源生理信号的驾驶疲劳检测

李江天 李敏 宋战兵

[摘要]为检测驾驶疲劳，基于移动穿戴设备采集了4h模拟驾驶的生理信号（肌电、皮电、心率、血氧饱和度），分析各生理信号确定疲劳阈值，然后将其融合建立驾驶疲劳检测神经网络模型，依据被试者对刺激信号做出反应的时问，并通过脑电指标δ/β和δ对模型进行检验。结果表明，在长时问模拟驾驶过程中，疲劳是一种突变行为；各生理信号可反映驾驶疲劳；多源生理信号融合提高了驾驶疲劳检测模型的准确率，可用于开发可穿戴设备。

[关键词]驾驶疲劳；多源生理信号融合；阈值；神经网络模型

[中图分类号]TN911.7；U491.254 [文献标识码]A [文章编号]1005-152X（2018）02-0078-06

1 前言

加班、熬夜、连续驾驶导致疲劳驾驶人群越来越多，疲劳驾驶也成为交通事故的主要因素之一。为避免此类交通事故，汽车厂商和研究学者基于驾驶员生理参数（脑电、肌电、心率、脉搏等）、驾驶员行为特征（眼睛闭合时间、平均睁眼程度、PERCLOS、注视方向等），以及车辆行为特征（车辆横向位置、横向加速度、方向盘转角等）进行了研究，其中基于车辆行为和驾驶员行为特征的检测都容易受环境影响，应用价值受限，且环境属于不可控因素，而生理参数检测的侵人性问题，可通过实验设备及实验方法解决，更具可行性。

以往生理参数检测的不足之处有：（1）侵人性问题。以往研究受限于技术条件，实验数据的采集设备侵入性强，干扰正常驾驶。（2）截面数据。仅能验证清醒和疲劳状态的差异，而无法从时间历程上动态观测和描述疲劳程度。（3）指标单一。可能存在工作盲区，降低了系统的可信度。本研究则弥补了以往研究的不足：（1）采用穿戴设备测量人体生理信号，解决了侵人性问题；（2）长时间连续模拟驾驶实验（4h），动态监测驾驶者生理指标的变化；（3）融合多源生理信号建立驾驶疲劳预警算法。为汽车厂商、可穿戴设备制造商、APP应用开发者提供了开发疲劳驾驶预警设备的理论基础。

2 实验设计

2.1 实验方法

募集12名驾驶员自愿参与实验（10男2女，年龄21-30岁，平均26岁），身体健康，视力良好，无睡眠障碍及驾驶恐惧等。实验在中午13：00到下午18：00之间进行，使用罗技G29驾驶模拟器、55寸显示器和计算机搭建模拟驾驶平台，LFS软件构建单调高速公路场景，Visual Studio编制信号灯刺激信号，然后让被试者熟悉设备，佩戴NE无线脑电仪、Bio-Radio生理监测仪和传感器手环，开始4小时的模拟驾驶，速度控制在60km/h-80km/h。在模拟驾驶过程中，被试者需要对刺激信号做出反应，操作相应的按键，以采集反应时间。整个实验过程通过相机记录，用以辅助分析。

2.2 实验数据采集

采集数据的主要设备有：罗技G29驾驶模拟器、NE无线脑电仪、Bio-Radio无线生理监测仪、传感器手环、相机。

NE无线脑电仪包括八个导联、干电极/湿电极、电极帽、信号采集和传输装置、NIC采集和分析软件等，脑部导联示意图如图1所示。八个导联可实时采集和传输大脑不同部位电信号，无线传输到计算机，其采样率可达500SPS，分辨率24bits-0.05uV。Bio-Radio生理监测仪能够检测呼吸、肌电、皮电、心电等人体生理信号，并且无线传输给计算机，其采样率250-1 600Hz，采样分辨率12-16bit。本实验中生理检测仪仅采集皮电、肌电信号。传感器手环记录驾驶员的心率和血氧饱和度信号。

2.3 实验数据预处理

傅里叶变换，可以将时域信号转变为频域信号，便于研究信号的频谱结构和变化规律。如果某函数f（t）满足傅里叶积分变化定理条件，则称F（w）为f（t）的傅里叶变换：小波分析，适用于大多数非平稳信号的分析和具有分形结构的信号分析，能较好的突出信号局部特征。小波分析原理一，是：对于任意连续信号f（t）∈L2（R）（能量有限空间），f（t）的连续小波变换为：

式中，a是伸缩因子，6是平移因子，φα，b（t）为依赖于α、6的连续小波基函数。

3 数据处理

3.1 信号图

为方便观察，将反应时间、心率、血氧饱和度进行适当处理整合在一个图中，如图2所示（8位被试者横向顺序）。图中X轴表示时间，单位为2min，Y轴表示采集的各信号指标值，分别为反应时间（ms）、心率（次/mln）、血氧饱和度。其中具体处理如下：

Pt =Rt×0.01，Pt一图中反应时间，Rt一真实反应时间；

Ph=Rh-55，Ph—图心率，Rh一真实心率；

Ps=Rs- 70，Ps一图中血氧饱和度，Rs一真实血氧饱和度。

表面肌电信号的频率范围是2-500Hz，主要集中在50-150Hz，在数据处理过程中，使用Butterworth高通滤波器滤掉50Hz的工频噪声，肌电电位增益1000。然后通过快速傅里叶变换，得到不同频率对应的信号功率谱。皮电信号处理方法与肌电相似，采用Bandpass滤波，带宽设置为0.02Hz-0.3Hz，阶数为2。得到肌电功率和皮电功率指标后，作出其随驾驶疲劳发展变化的过程图，分别如图3、图4所示（以被试者8为例）。图中X轴都表示时间，单位为2min，Y轴表示信号指标，肌电功率单位为y2，皮电功率单位为μV2。图3中，Pm=Rm×e7，Pt=Rt×0.01，其中Pm表示图中肌电功率，Rm表示真实肌電功率。图4中，Pg=Rg×e10，其中Pg表示图中皮电功率，Rg表示真实皮电功率。

3. 2统计分析

3.2.1 反应时间。对被试者反应时间出现突变峰值的时间点和反应时间进行统计，见表1。由图2和表1发现：除被试者3和被试者6之外，其余被试者在4小时的长时间模拟驾驶过程中，反应时间并非逐渐递增，而是发生突变，呈现周期性，即驾驶员进入疲劳后，由于某种身体自我调节机制和自我意识控制作用等原因，会返回到清醒状态，一段时间之后，再次进入疲劳状态。结合视频分析观察，疲劳持续时间10min左右，深度疲劳持续时间2-4min。

3.2.2 心率信号。图2中，由反应时间确定疲劳状态，观察心率发现：（1）疲劳状态时，心率较低，进入疲劳状态的过程中，心率变化剧烈。（2）清醒状态时，心率较高，心率变化平稳。对心率进行均值和方差分析，见表2。由表2可得：（1）疲劳状态下的心率（61- 64次/min）普遍低于平均心率（64次/min以上）。（2）反应时间突变点附近心率方差84%低于总方差，排除异点，反应时间突变点附近的心率方差均值为3.78，且81%的方差低于3.82，表明在疲劳状态下，其心率的波动情况较小。（3）81%的概率突变点后心率方差小于突变点前，即驾驶疲劳发生后的心率波动幅度小于疲劳发生前。查阅文献可认为这种现象由大脑自我意识的警觉性导致。

3.2.3 血氧饱和度信号。血氧饱和度的分析处理方法同心率。分析发现：（1）反应时间较长时，血氧饱和度较低，反应时间突变点附近，血氧饱和度变化剧烈；（2）清醒状态时，血氧饱和度大部分处于较高水平；（3）除被试者7以外，反应时间突变点附近的血氧饱和度全部低于整体均值，疲劳状态时70%的概率在96%-97.4%之间进行波动；（4）反应时间突变点附近血氧饱和度方差90%的概率低于整体方差，排除异点，方差范围80%的概率是0-1，正常情况下，方差高于1.2。

3.2.4 肌电信号。观察图3发现：（1）肌电功率随着时间历程呈现规律性变化，先增长，中间较低，后又逐渐增长；（2）随着疲劳程度的加深，肌电功率增加。

对肌电信号进行快速傅里叶变换后，统计分析不同状态下肌电功率的均值与方差，结果见表3，疲劳临界和清醒状态下肌电功率均值比值和方差比值如图5所示。分析表3发现：（1）75%的概率疲劳临界状态的肌电信号功率大于清醒状态，且是大一个数量级。被试者3在驾驶过程中没有进入深度疲劳状态，被试者6进入疲劳状态较快，对车辆的控制能力较弱，发生疲劳时肢体动作较小（视频分析）。（2）88%的概率清醒状态下的肌电信号功率方差大于疲劳临界或深度疲劳状态，异常情况可解释为行驶异常，被试者在努力恢复正常行驶，此时手臂动作较大，肌电电位变化剧烈。由图5可得：当疲劳临界和清醒状态下肌电功率均值比值范围在1-10之间，方差比值小于1时，可判定驾驶员处于疲劳临界状态。

3.2.5 皮电信号。观察图4发现：（1）皮电功率随着时间历程呈现规律性变化，刚开始皮电功率较低，随着驾驶时间延长，皮电功率增长，进入疲劳状态时，皮电功率恢复到低功率状态，疲劳状态消失后，重新出现高功率状态。（2）疲劳状态出现在波谷位置，疲劳前后驾驶员的皮电信号功率较大。

皮电功率分析处理方法同肌电功率。统计分析发现：（1）排除被试者7，其余疲劳临界状态的均值和方差均大于清醒状态。（2）观察图6，选取30min的时间段，当后者状态与前者状态的皮电平均功率比值范围在10-80之间，方差范围大于10时，可以判定驾驶员处于疲劳临界状态。

3.2.6 脑电信号分析。根据医学对疲劳的研究成果，选择位于头部枕叶部位的6号导联作为脑电信号的数据分析依据。使用小波包分解提取脑电信号的5个基本节律，通过NICOffline软件作出人体在不同状态下脑电信号的功率分布图，如图7所示。从图7可看出，随着疲劳程度的加深，6波功率越来越高，所占比例也越来越高，代表人体逐渐进入睡眠状态。然后选取α/β、θ/β和δ/β三个指标计算不同精神状态下功率的比值并进行显著性检验，见表4。由表4可看出不存在显著性差异，但是随着疲劳程度的加深，三个指标都呈现增长趋势，其中δ/β卢增长最为明显。故下文使用δ/β和δ对驾驶疲劳模型进行验证。

4 驾驶疲劳检测神经网络模型

基于多源信息融合的稳定性及可信度优势，将心率、血氧、肌电和皮电四种生理信号进行融合，实现驾驶疲劳的检测。根据前文分析各生理信号得到的阈值，使用MATLAB建立驾驶疲劳检测神经网络模型，如图8所示。模型第一层：采集人体心率、血氧、肌电和皮电信号；第二层：求出心率、血氧、肌电功率、皮电功率的均值和方差；第三层：根据前文分析得出的各生理信号阈值，对四种生理信号指标分别进行判断，决策模型见表5，返回值0-2；第四层：对返回值求和，输出数值0-8；第五层：依据上一层输出的数值进行疲劳分级，具体对应关系见表6。

5 模型验证

另外进行4组模拟驾驶实验，持续时间2.5h，根据驾驶疲劳检测神经网络模型建立的算法对采集的信号进行计算，得到疲劳等级，通过疲劳时驾驶员的反应时间和脑电指标进行对比验证。

由表7可看出：①通过驾驶疲劳检测神经网络模型计算出的结果均为疲劳，与反应时间分析和脑电指标分析结果一致，说明建立的模型准确度较好。②多源信号融合效果优于单一检测，提高了模型的鲁棒性与可信度。除被试者2的各单独信号检测结果能通过验证外，其余被试者都存在某些信号检测结果与疲劳验证结果不同的情况，例如被试者1和3的肌电与皮电信号、被试者4的皮电和血氧信号。信号融合则通過了疲劳验证。

6 结论

（1）长时间单调路况驾驶时，疲劳是一种突变行为，局部观察则为渐进行为。（2）各生理信号在清醒与疲劳状态时存在差异。疲劳状态时心率与血氧饱和度均低于清醒状态且波动更小，皮电信号功率则高于清醒状态；肌电信号功率在疲劳与清醒状态时无明显差别，但临界疲劳状态下却高于清醒状态。（3）采集生理信号的移动穿戴设备均无侵人性，多源生理信号融合能提高系统的鲁棒性与可信度，在此基础上建立的驾驶疲劳检测模型能较准确的检测疲劳，为可穿戴设备的开发奠定了理论基础。