基于眼部特征的疲劳驾驶辨识方法研究

刘志强，宋雪松，汪　彭，周桂良

(江苏大学 汽车与交通工程学院，江苏 镇江 212013)



基于眼部特征的疲劳驾驶辨识方法研究

刘志强，宋雪松，汪彭，周桂良

(江苏大学 汽车与交通工程学院，江苏 镇江 212013)

为了提升疲劳驾驶的检测效果，以PERCOLS眼睛焦点的位置等眼部特征为参数，提出了支持向量机(SVM)疲劳驾驶检测模型。通过动感型模拟驾驶仪和ASL眼动仪等设备进行了眼部特征参数的数据采集，并以2 s的最优时窗长度对数据进行提取和筛选。完成了疲劳驾驶检测模型的训练和验证。结果表明：该模型的综合疲劳识别准确率高达83.92%，能有效地应用于疲劳驾驶检测中。

疲劳驾驶；眼部特征；模型检测；眼动仪；支持向量机

据统计，世界每年因交通事故而死亡的人数超过100万，且其中超过40%与疲劳驾驶有关[1-2]。作为交通事故的重要诱发因素之一，疲劳驾驶引起了各国的高度关注。瑞典的SmartEye公司推出的AntiSleep系统已经商用化，奔驰、沃尔沃的高端车系以及日本丰田公司在日本销售的13代皇冠也都标配瞌睡报警系统。

疲劳作为一种生理及心理机能失调的外在表现，其危险性在于降低了驾驶者的技术能力、感知能力以及思维判断能力[3]。目前对于疲劳的检测主要分为基于心电图(ECG)、脑电图(EEG)等生理特征的检测和基于方向盘转角、车辆行驶轨迹和驾驶者面部表情等驾驶行为特征的检测。文献[4]运用脑电记录仪对疲劳受试者进行了脑电波形的记录，通过平均功率谱和非线性关联维数方法，给出了评价驾驶疲劳的脑电判断标准。文献[5-6]则分别根据驾驶者的头部位置信息与正常坐姿的偏差和方向盘转角的标准差、角速度的标准差来建立疲劳判断标准，并以此判断是否存在疲劳驾驶。文献[7]基于眼动参数协议，提出了眨眼频率、PERCLOS、注视方向和注视时间4个特征参数的计算方法。文献[8]提出一种基于稀疏表示的眼睛状态识别的方法,利用K-SVD字典学习算法结合OMP算法获得较好的识别效果。

本文提出一种基于PERCOLS、眼睛焦点位置等眼部特征的疲劳驾驶检测方法。通过实时追踪驾驶者眼睛焦点的位置EFP(eye focus point)、眼球横向摆动状态和PERCLOS(percentage of eyelid closure over the pupil over time)等参数来对驾驶者的状态进行判断,并利用动感反馈式模拟驾驶仪进行实验分析与验证。结果表明：眼睛注视点位置(EFP)、眼球横向摆动状态和PERCLOS等参数能良好地识别驾驶者的疲劳状态。

1　实验过程

实验以6自由度动感型模拟驾驶仪SCANeRII为平台，运用ASL Mobile Eye-XG眼动仪系统采集10名驾驶者在清醒状态以及疲劳状态下的眼睛焦点位置(EFP)、PERCLOS和眼球横向摆动状态等数据。

1.1平台搭建

图1为动感型模拟驾驶仪实验平台。该平台配备180°广角视景屏、比亚迪F3实车驾驶舱、6自由度的液压路感模拟装置和VIEW4驾驶场景，具有高度逼真的实车驾驶质感和驾驶环境。如图2所示，实验通过ASL Mobile Eye-XG眼动仪设备对驾驶者的眼部特征参数进行数据采集。

图1　模拟驾驶仪

图2　ASL眼动仪

1.2场景设置

研究结果表明：疲劳驾驶的事故发生率与年龄没有直接关系，但会随着驾龄的减小而逐渐升高[9]。按照实验要求，募集10名合格驾驶者(编号1～10)进行本次疲劳驾驶实验，其中女性3名、男性7名，年龄分布在21～42岁(均值27.8岁)，1～12年驾龄不等。实验场景选用容易引发驾驶者疲劳的标准省级道路，公路总长50 km，汽车初始速度为40 km/h,公路为双向6车道。

1.3实验步骤

整个实验分为清醒驾驶和疲劳驾驶两个阶段，受试的驾驶者必须参加两个阶段的实验。为了避免连续实验给驾驶者造成生理和心理上的伤害，同时也为了避免第1阶段实验对第2阶段实验造成干扰，实验采取交叉方式进行(见表1)。

表1　实验顺序安排

第1阶段实验要求受试者必须保证充足睡眠，并且安排在大脑最为清醒的上午10∶00进行。实验持续1 h。第2阶段实验会对受试者前一天的睡眠进行必要的限制，睡眠时间为凌晨1∶00—6∶00。实验安排在大脑最为疲乏的下午2∶00进行。实验持续1 h，并且禁止受试者实验前补足睡眠[10]。

实验开始前会对受试者进行必要的驾驶培训和练习，严格按照使用手册佩戴眼动仪，以保证受试者能够顺利完成实验。为了保证实验数据的稳定可靠，整个实验过程只记录受试者中间40 min的实验数据，主要包括驾驶者眼睛焦点轨迹视频和眼部特征视频，采集频率为30 fps。

1.4评价标准

相关研究结果表明：人的自我疲劳评价与面部视频他人评价之间具有较高的一致性[11-12]。但为了避免自我评价对驾驶者的实验情绪产生影响，本文选取面部视频专家评审法，并以此确定驾驶者的疲劳程度。评审环节由5名资深相关研究人员主持，最终依据表2的卡罗林斯卡睡眠尺度(Karolinska sleepiness scale,KSS)对每位驾驶者进行疲劳打分(fatigue Score,FS)[11]。

表2　卡罗林斯卡睡眠尺度

2　数据采集和分析

实验中采集驾驶过程中驾驶者的眼睛焦点位置(EFP)、PERCLOS、眼睛横向摆动状态的初始视频数据，并在此基础上对视频数据进行帧处理,最终根据最优时窗对数据进行特征分析。

2.1眼睛焦点位置(EFP)

有数据显示：若驾驶者注意力持续3 s偏离安全区域，交通事故的发生率将会增加一倍。而疲劳时，由于人的意识模糊和自我控制能力下降，通常会导致驾驶者注意力长时间偏离安全区域。图3为某时间内眼睛焦点位置。

将车辆前方的道路和后视镜视景作为安全区域S1,其余视景为非安全区域S2。通过驾驶者注视非安全区域的时间与单位时窗的比例fs2来衡量当前驾驶者的驾驶状态。fs2的计算公式为

(1)

其中:n为单位时窗内注视非安全区域的次数；ti为每次注视非安全区域的时长；Ts为时窗长度(取3 s)。

ti计算公式为

(2)

其中:nj为一次注视非安全区域图像的帧数；fp为视频的拍摄帧速率。

2.2PERCLOS

通过研究发现:单位时间内眼睛闭合的时长(percentage of eyeIid cIosure over the pupiI over time，PERCLOS)能一定程度反映驾驶者的疲劳状态。美国联邦公路管理局在对9种疲劳检测指标的相关性实验中发现，PERCLOS指标与疲劳的相关性最高。眼睛闭合时间的长短与疲劳程度有密切关系,眼睛闭合时间越长,疲劳程度越严重。其中以P80(如图4所示，在眼脸遮住瞳孔的面积超过80%就计算为眼睛闭合的前提下，一定时间内眼睛闭合的比例)最为显著。

P80计算公式为

(3)

其中：nj为单位时窗内双眼同时闭合的帧数；Tp为单位时窗长度，本文取10 s；fp为视频拍摄帧速率。

图3　某时间内眼睛焦点位置

图4　P80示意图

2.3眼睛横向摆动状态

正常状态下人的眨眼间隔为2～4 s、眨眼耗时为0.25～0.3 s，并且驾驶者在注视安全区域的驾驶时间段内，眼睛横向交叉摆动频繁。而当疲劳出现时，由于目光呆滞，驾驶者眼睛会出现长时间零摆动状态。

单纯地依靠横向摆幅无法直观看出横向摆动与疲劳的关系。因此，以驾驶者视野是否改变和时窗长度对横向摆幅进行分段方差处理。如图5所示，当驾驶者的视野从A到B时认为视野改变。图6为某时间内眼睛左右摆动状态。

横向摆幅公式为

(4)

其中：DA为方差值；n为单位时窗(2 s)内图像的帧数；Ai为眼睛横向振幅。

图5　驾驶者视野

图6　某时间内眼睛左右摆动状态

3　疲劳检测模型

由于疲劳与眼部特征之间存在复杂的非线性关系，本文引入支持向量机(support vector machine，SVM)理论对疲劳检测进行模型建立。

3.1SVM理论

支持向量机(SVM)是一种以统计学为基础的机器学习方法，通过构建超平面对非线性关系进行高维映射,在样本有限的情况下对非线性问题仍具有良好的处理能力[13-15]。

3.2特征向量

以眼睛焦点位置(EFP)、PERCLOS、眼睛横向摆动方差为特征向量组作为支持向量机(SVM)的输入参数 X=[fs2,p80,DA]。

3.3数据采集

由于本文3个特征向量的时窗长度依次为3 s、10 s、2 s，当以2 s为时窗长度同时对上述参数进行提取时， fs2的数据重复率为33%,P80的数据重复率为80%，DA的数据重复率为0%。

选取每组实验过程中驾驶者眼部特征持续稳定时间大于20 min的时间段，以2 s为时窗长度进行数据提取和去重。筛选后共得到2 200组清醒驾驶样本和1 400组疲劳驾驶样本。

3.4模型训练

支持向量机模型中常用的核函数类型有多项式型、径向基型、sigmoid型等。由于核函数的类型决定着SVM模型训练的准确率，而径向基型核函数在人的注意力集中状态方面有着天然的优势，本文选取径向基为模型的训练核函数。

本文基于支持向量机的疲劳驾驶模型主要通过台湾大学林智仁教授开发的LIBSVM实现。从样本中随机选择1 500组清醒驾驶样本和9 00组疲劳驾驶样本进行训练，并运用网格寻优算法进行参数γ和惩罚参数c的选择，最终通过5-fold交叉检验法得出最优参数γ=8，c=0.25。

4　模型检测

4.1测试结果

用剩余数据对SVM疲劳驾驶模型进行测试，结果如表3所示。

表3　模型测试结果

由表3可以看出：模型对于驾驶者清醒驾驶正确识别575个，误识别125个，疲劳驾驶正确识别432个，误识别68个。本文选取准确率、真阳性率和真阴性率对模型结果进行有效评价，结果显示：准确率为83.92%，真阳性率为86.40%，真阴性率为82.15%。

4.2结果分析

由上述结果可知，在500组疲劳驾驶数据中，有68组被误识别为清醒驾驶。通过驾驶者面部视频资料分析发现导致误识别发生的因素主要分为采集设备佩戴不标准和疲劳程度识别错误两种，且1号和7号驾驶员具有较为典型的误识别诱发特征。

其中1号驾驶者由于身材瘦小导致视频采集眼镜佩戴过于松垮，从而在驾驶者不疲劳时的点头过程中致使眼部数据频繁波动，并且干扰了PERCLOS数据的采集；7号驾驶者由于是轻度疲劳，并且在实验过程中频繁通过睁大眼睛和转动眼球来使自己清醒，以至于欺骗了疲劳驾驶检测仪器。而在700组清醒样本中，有125组被误识别为疲劳驾驶。分析视频资料发现，误识别样本全部来自于1号驾驶者。由于1号驾驶者的眼镜佩戴问题，在清醒状态下不断人为去扶正眼镜，以至于造成设备对驾驶者眼球的追踪时常出现掉线情况，从而导致仪器误认为驾驶者因疲劳而长时间闭眼。

5　结束语

本文利用ASL眼动议设备，采集了10位驾驶者的清醒和疲劳状态下的眼部特征，建立了基于支持向量机的疲劳检测模型，并完成了模型检验。结果显示：通过眼睛焦点位置(EFP)、PERCLOS和眼睛横向摆动状态等特征能有效地完成疲劳驾驶的识别。1 200组样本的检测结果显示：准确率达83.92%，其中真阳性率为86.40%，真阴性率为82.15%。

本文采用的眼动仪为接触式信息采集装置，保证了眼部信息采集的准确率，但由于尺寸问题影响了1号驾驶者的正确佩戴，从而导致193组误识别。此外，由于模型只对眼部特征进行检测而忽略了其他方面，以至于对7号驾驶者发生了误识别。因此，包含面部特征、驾驶行为等多参数的融合模型将是后续研究的主要方向。

[1]李都厚,刘群,袁伟,刘浩学.疲劳驾驶与交通事故关系[J].交通运输工程学报,2010(2)：104-109.

[2]牟建霖.疲劳驾驶是交通事故的起因之一[J].公路与运输,2003(4)：14-16.

[3]张海山,田军.驾车疲劳的原因及预防[J].汽车与安全,1999(6):44.

[4]彭军强,吴平东,殷罡.疲劳驾驶的脑电特性探索[J].北京理工大学学报,2007(7)：585-589.

[5]田文杰,刘继承.基于头部位置特征的疲劳驾驶检测仪[J].仪表技术与传感器,2008(5)：92-96.[6]金立生,李科勇,牛清宁,等.基于方向盘操作的疲劳驾驶监测方法[J].交通信息与安全,2014(5)：65-69.

[7]牛清宁，周志强，金立生，等.基于眼动特征的疲劳驾驶检测方法[J].哈尔滨工程大学学报(自然科学版),2015(3):394-398.

[8]王冬梅,冯偲,王海鹏,等.疲劳驾驶检测中基于稀疏表示的眼睛状态识别研究[J].影像科学与光化学,2016(1)：95-101.

[9]任鑫峰,金治富,康慧.疲劳驾驶与年龄、驾龄的关系[J].道路交通安全,2007(5)：20-22.

[10]HORNEJA,REYNERLA.Driver sleepiness [J].Journal of Sleep Research,1995,4(S2)：23-29.

[11]张希波,成波,冯睿嘉.基于方向盘操作的驾驶人疲劳状态实时检测方法[J].清华大学学报(自然科学版),2010,50(7)：1072-1076.

[12]INGRE M,AKERSTEDT T,PETERS B,et al.Subjective sleepiness,simulated driving performance and blink duration:Examining individual differences [J].Journal of Sleep Research,2006,15：47-53.

[13]杨绍卿,王宪成,赵文柱,等.基于支持向量机的柴油机磨损模式识别方法[J].四川兵工学报,2015,36(8):96-99.

[14]王华秋,王斌.优化的邻近支持向量机在图像检索中的应用[J].重庆理工大学学报:自然科学版,2014(9):66-71.

[15]孔令彬,赵艳茹,王聚杰,等.基于支持向量机风速订正方法的研究[J].西南大学学报(自然科学版),2014,36(5):194-200.

(责任编辑刘舸)

An Identification Method of Fatigue Driving Based on Eye Features

LIU Zhi-qiang, SONG Xue-song, WANG Peng, ZHOU Gui-liang

(School of Automotive and Traffic Engineering, Jiangsu University, Zhenjiang 212013, China)

This paper presents a new method offatigue driving detection anda testing model of fatigue driving based on the Support Vector Machine (SVM) and eye features such as the focus location of PERCOLS eyes and so on for improving the test effect of fatigue driving. Besides, a large amount of data was collected with driving simulator, Mobile Eye-XG eyetracker and so on. With the sieving of the data by optimal time window and training of the model, the final test has been done. Result shows that: the accuracy rate of this fatigue driving detection model is up to 83.92%, which can be used to detect the fatigue driving effectively.

fatigue driving; eye feature; testing model; eyetracker; SVM

2016-03-24

国家自然科学基金青年基金资助项目(61203244)；交通运输科技项目(2014Y17)

刘志强(1963—)，男，江苏靖江人，博士，教授，博士生导师，主要从事车辆主动安全研究；通讯作者 宋雪松，男，硕士研究生，主要从事车辆主动安全研究，E-mail:song-xuesong@foxmail.com、

format：LIU Zhi-qiang, SONG Xue-song, WANG Peng, et al.An Identification Method of Fatigue Driving Based on Eye Features[J].Journal of Chongqing University of Technology(Natural Science)，2016(10):11-15.

10.3969/j.issn.1674-8425(z).2016.10.002

U471;TP18

A

1674-8425(2016)10-0011-05

引用格式：刘志强，宋雪松，汪彭，等.基于眼部特征的疲劳驾驶辨识方法研究[J].重庆理工大学学报(自然科学)，2016(10):11-15.