基于视觉的汽车驾驶员疲劳检测系统设计研究

曹 卫

（厦门理工学院计算机与信息工程学院，福建 厦门 361005）

1 研究背景

疲劳驾驶是引发交通事故的一个重要因素。在法国，因疲劳驾驶导致的意外占人身伤害事故的14.9%，死亡事故的20.6%。我国每年因道路交通伤亡人数居世界首位，而且以每年10%的速度递增，疲劳驾驶所导致的交通事故也以相当快的速度递增。以北京为例，因疲劳所导致的交通事故占到事故总数的20%以上[1]。因此，如何有效避免疲劳驾驶是当前各国研究人员关注的热点。

对驾驶疲劳的判定识别是一个很复杂的问题。早期对驾驶疲劳进行识别主要利用了主观监测方法。它利用自我调查表、睡眠习惯调查表、斯坦福睡眠尺度表和皮尔逊疲劳度量表来评定驾驶员的疲劳程度[2]。主观监测方法识别驾驶疲劳实际上是根据驾驶员的持续驾车时间进行判定[3]。但是主观监测方法在设定时间标准时，没有考虑到驾驶员的个体差异性，比如驾驶员体质、开车前的精神状态、生活饮食情况、是否患病等，因此主观监测的结果随驾驶员个体差异变化很大。为了更加准确地检测驾驶疲劳，研究人员从驾驶员疲劳时表现出的客观反应出发，对疲劳进行了更深入的研究。对驾驶疲劳客观反应的研究表明，反映疲劳的客观特征可以归结为驾驶员的生理信号、驾驶员的物理反应和车辆行驶时的相关参数。与此相对应的客观疲劳检测方法包括基于驾驶员生理信号的疲劳检测、基于驾驶员视觉特征的疲劳检测和基于车辆行为的疲劳检测[4]。

由于基于视觉的非接触式检测方法不会对驾驶员的驾驶操作造成影响，相比于接触性检测方法还具有实时监测、性价比高的优点，因此本研究依据基于视觉的疲劳检测原理实现驾驶疲劳检测。

2 基于视觉特征的疲劳检测原理

基于视觉的疲劳检测是指通过图像传感器获取驾驶过程中的视觉特征，根据驾驶员在正常状态和疲劳状态的特征模式不同，对驾驶员的精神状态进行分类，从而检测到是否有疲劳产生。PERCLOS是公认的、有效的精神生理疲劳程度的测量指标，它不仅有很高的准确率并且不会对驾驶操作产生影响。本系统选择 PERCLOS作为疲劳驾驶的判定方法。

经研究发现，一般情况下人眼的闭合时间在0.2～0.3s之间，若汽车驾驶员在行车过程中眼睛闭合时间达到0.5s就很容易发生交通事故[5]。PERCLOS（Percentage ofEyelid Closure Over the Pupil Over Time）是由宾夕法尼亚大学智能交通实验室和NHTSA提出的概念，它定义为眼睛闭合时间占某一特定时间的百分率。从此 PERCLOS值是精神生理疲劳程度的测量指标，广泛应用于驾驶员疲劳检测的研究中。眼睛的生理特点与疲劳驾驶有关系是通过监视驾驶员眼睛的闭合持续时间与事故的关系来判断的，如图1所示：

图1 眼睛闭合持续时间与事故的关系

实验结果表明：眼睛闭合持续时间在事故前比在事故后要大，而在事故前 10秒，突然变短，眼睛闭合持续时间与疲劳程度有密切的关系，眼睛闭合持续时间在事故之前1分钟比起其他时间要大得多。因此通过测量眼睛闭合持续时间的长短就能够确定驾驶疲劳的程度。

PERCLOS法有三种判定标准，分别是P70、P80和EM。P70表示瞳孔被眼睑纵向遮住70%的时间比率；P80表示遮住80%的时间比率；EM表示眼睑均方闭合率。通过实验，研究人员发现P80与疲劳程度间的相关性最好。因此，系统采用P80作为驾驶员疲劳程度检测装置的判定标准。

3 系统设计方案

3.1 疲劳检测系统设计方案

系统基本设计思想是通过带有近红外光源的CCD或CMOS摄像机连续采集驾驶员头部图像，利用人眼对近红外光的生理反应作为寻找眼睛的可视特征，经过图像处理模块和一定算法找到可视特征的位置，即完成驾驶员眼睛的定位，再通过提取人眼的特征参数分析眼睛的开闭状态，计算出PERCLOS值，据此判断驾驶员是否疲劳[6]。

根据系统的设计思想，整个系统从功能上主要可分为三个模块：图像采集模块、图像处理模块和报警模块，如图2所示。图像采集模块是由近红外光源和模拟摄像机组成。采集到的模拟信号，经A/D转换器变成数字信号，然后送入以DSP为核心的图像处理模块中进行运算处理，最后报警模块根据计算结果判断是否发出警报。

图2 系统功能模块框图

3.2 疲劳检测装置设计

疲劳检测部分通过把一台智能手机安装在汽车内中央后视镜上或者固定于驾驶员正前面上方，在不影响驾驶员视线情况下，采集驾驶员的人脸图像信息，见图3。然后把采集的图像信息通过手机的4G网络传输到云服务器。在云服务器端通过检测驾驶员眼皮下垂程度来判断驾驶员是否处于疲劳驾驶状态，通过记录驾驶员眼球活动频率，来判断驾驶员生理活动状态，如驾驶员眼球长期不移动，或者闭眼时间过长，系统则判断其处于疲劳驾驶状态，云服务通过4G网络向手机端发出警报信号，手机，E端再通过蓝牙信号驱动震动提醒装置提醒驾驶员。疲劳检测系统架构见图4。同时云服务器将产生一条记录，记录驾驶员的姓名，发生疲劳驾驶的时间、地点、次数等，作为以后驾驶员考核的依据。疲劳检测运行示意图见图5。

图3 系统装置图

图4 疲劳检测系统架构

图5 疲劳检测运行示意图

3.3 疲劳检测流程

疲劳检测由Android手机端和云服务器两部分组成，通过手机的4G网络实现两部分的通信，达到实时检测驾驶员是否进入疲劳驾驶状态。其系统流程图如图6所示。

图6 疲劳检测流程图

3.4 疲劳预警系统

语音识别与声控软件系统将采用云运算技术，用户在车联网上不需安装语音识别软件便可完成语音控制功能。为了降低网络传输数据量，当用户启用声控功能后，其语音信号将先转换成第四代（4G）语音通信标准之适应性多重比特率（Adaptive Multi-Rate,AMR）语音编码格式，然后再传至云服务器进行语音识别，在本研究中将直接从AMR语音编码格式中撷取语音特征参数并进行语音识别的技术，借以提升语音识别运算效率与准确度，图7为其系统方块图。

图7 云语音识别系统方块图

报警系统是由蜂鸣器、三极管和电阻组成的，电路图如图8所示。报警系统是由DSP的GPIO口控制，当判定驾驶员处于疲劳状态时，则系统调用GPIO的程序，使其输出3.3V电压，驱动蜂鸣器发出声音。GPIO口选用的是标号为59的端口，通过一个电阻和一个NPN型的三极管与蜂鸣器相连。当DSP为高电平是，蜂鸣器发出警报声；当DSP为低电平时，蜂鸣器不发出声音。

图8 报警电路

4 疲劳检测系统展示

疲劳检测系统是利用安卓手机作为终端，和云服务器。在智能手机端开发能相应的APP模块。该APP整合了驾驶员的疲劳检测和动导航终端，负责通过手机4G网络适时传输驾驶员人员图像和驾驶员需要导航目的地的语音，云服务器收到驾驶员传送的人脸图像后，进行人脸识别，眼睛区域提取，并判断是否有疲劳出现，如有疲劳出现则由云服务器向手机端发出提醒，手机收到提醒信号后，通过蓝牙向单片机模块发向震动信号，以提醒驾驶员去服务区休息。疲劳检测系统如图9所示。利用手机的前置摄像头实时抓取驾驶员的人脸图像，以每秒3帧的速度通过手机4G网络向云服务发送。图10是利用单片机接收手机蓝牙信号控制步进电机实现模拟提醒驾驶员的目的。

图9 驾驶员疲劳检测系统

图10 疲劳提醒模块

5 结论

针对疲劳驾驶识别应用的实际需求，本文介绍了一种基于视觉的汽车驾驶员疲劳检测装置设计。本研究确定了整个疲劳检测系统的框架，包括系统采用的检测方法、系统的硬件结构和软件工作流程。整个系统能对驾驶员的疲劳状态进行判断，如果检测出驾驶员处于疲劳驾驶中，系统会发出报警声，提醒驾驶员注意行车安全。该研究对于提高道路交通安全具有较为重要的指导意义，具有较大的应用价值。