基于视频的驾驶疲劳检测技术的研究

邓正宏，黄一杰，李翔，张天凡

（1.西北工业大学自动化学院，陕西西安 710072；2.西安特种设备检验检测院，陕西西安 710068）

基于视频的驾驶疲劳检测技术的研究

邓正宏1，黄一杰1，李翔2，张天凡1

（1.西北工业大学自动化学院，陕西西安 710072；2.西安特种设备检验检测院，陕西西安 710068）

疲劳驾驶已经成为交通事故的重要因素，若能及时监测驾驶员疲劳程度并且对其进行警告，则可降低此类交通事故的发生率。在图像处理的基础上从驾驶员实际状况出发，从背景中分离驾驶员面部区域，分别采用优化等照度线法和优化mouthmap法提取眼睛和嘴巴特征参数，先在模糊神经网络的基础上建立疲劳分类器识别驾驶员疲劳程度，再在DSP系统上去实现疲劳驾驶检测系统。实验结果表明，该系统满足了一般疲劳的动态识别要求，具有较强的实用性。

疲劳驾驶；面部特征；面部识别；眼睛监测

据统计［1］全国范围内一次性死亡10人以上的交通事故，大概有一半发生在易困时间段内。疲劳驾驶成为除超载、超速外的三大重大交通事故成因之一。疲劳时人常会出现多种不同的状态如打哈欠、点头、频繁眨眼等，如能通过观察、识别这些状态就能提醒驾驶员，从而有效减少因疲劳驾驶所造成的事故率。Driving Research Centeryan成功研究了PERCLOS系统［2］，该算法是目前最有效的实时车载疲劳测评方法；Seeing Machines公司［3］开发了驾驶员状态检测系统DSS，通过将其安装在仪表盘，小型传感器能够实现测量眼睑闭合次数，以及驾驶员头部的偏转信息。本文在图像处理的基础上从驾驶员实际状况出发，从背景中分离驾驶员面部区域，分别采用优化等照度线法和优化mouthmap法提取眼睛和嘴巴特征参数，在模糊神经网络的基础上，建立疲劳分类器去识别驾驶员疲劳程度，并且在DSP系统上来实现疲劳驾驶检测系统。文章分别从硬件系统结构、算法实现和系统测试3个方面出发，阐述了基于疲劳驾驶检测系统的研究与实现过程。

1　系统硬件结构

系统以DM640为核心构建了硬件系统，分别完成视频采集、处理、显示及报警等功能，通过红外摄像头可24 h连续采集视频图像，采集的视频通过TVP515解码器转化为YCbCr 4∶2∶2格式的数字图像，存入SDRAM中以备后续处理。系统硬件结构框图如图1所示：

图1　系统硬件结构框图

系统核心处理器采用TI公司TMS320DM640，VLIW体系结构，内部时钟可达600 MHz，处理速度480 MIPS；CE0空间外接64MB SDRAM及CE1的4M Flash。在微BIOS系统上进行算法实现。

2　系统算法的实现

检测系统按处理过程分为视频图像采集、视频分析处理、特征参数提取及状态分析、警告提示系统。其中视频采集由DSP（200）经IIC总线控制TVP515视频解码模块来实现模拟图像到数字图像转化及存储。

2.1面部识别算法

面部检测算法主要是基于几何特征的方法、基于统计学习的检测方法、基于肤色模型的检测方法。

基于几何特征的检测方法是利用面部的几何特征［4-8］，如面部的轮廓特征等来识别面部的检测方法。人脸外形的不稳定性会产生很多面部表情，光照等也会给检测带来影响。通过利用统计分析和机器学习，基于统计理论的方法［9-10］进行寻求人脸样本和非人脸样本各自的特征，进而构造分类器来完成面部检测。基于肤色模型的检测方法是利用肤色在某个色度空间的聚类特性建立的肤色模型分离面部的方法。当然也可采用运动目标追踪匹配以多摄像头进行图像融合以进一步改善识别率［11-12］，但这无疑会增加系统成本运算量。

分析驾驶状态，视频序列为单一特性图像，即使有与肤色相近的噪声，可以通过跟踪等方法来消除，所以采用基于肤色模型的面部检测算法。

实验表明［13-14］：不同人的肤色在YCbCr颜色空间中的色度信息Cb、Cr满足二维高斯模型N（μ，C），向量x=（Cb，Cr）T均值μ=E（x），协方差矩阵C =E｛（x-μ）·（x-μ）T｝，拟合二维高斯模型，图像中任何一点像素的概率密度值可由（1）式计算：

根据肤色在YCbCr色度空间中的Cb、Cr分量分布规律图，由实验可得（1）式中均值及协方差参数取值为：

相似度的计算

根据人脸肤色信息Cb、Cr的高斯模型，（1）式中的基本为固定值，本文去除该固定值得到（2）式计算人脸肤色的相似度值。

阈值分割法

初始阈值T，通过这个阈值把图像分为两部分S1和S2，并计算2个区域像素的灰度值的概率η1和η2，再计算2个区域的概率平均值μ1和μ2，2个区域的类间方差采用（3）式计算实现阈值分割：

然而，人的活动对相邻帧图像来说是一个缓慢过程，PAL制式视频为24帧/秒，2帧图像有较大的差别，因此阀值处理流程如图2所示：

图2　阈值处理流程图

形态学运算及实现

系统采用形态学中的开运算实现噪声的消除，在DSP中实现Open运算是通过先腐蚀再膨胀来进行。

连通标记及其改进

采用基于线段的连通标记法，首先对每一行的线段根据线段起始位置判断方法扫描并记录起始坐标及终止坐标，再根据线段起始位置信息来判断是否为统一区域的标记方法。

2.2眼睛检测算法

眼睛的结构模型图显示，虹膜与瞳孔的形状类似圆形，且具有明显的边缘特征和明显的亮度变化，系统采用等照度检测眼睛算法。等照度曲线［15］不仅包含图像的灰度信息，而且还包含如边缘、表面的光滑性等形状信息。

假设灰度图像函数I（x，y），等照度线则被定义为I（v，h（v））=cosα，α为定值，曲率h″定义为切线是矢量h′的变化，对等照度线的隐函数求v方向微分，则：

从规范条件可知：Iv=0，可知h=0。再对v方向微分，得到

则曲率：

将（6）式倒置得到曲线的曲率圆半径，给半径加上梯度方向，则该矢量即指向中心：

｛Dx，Dy｝表示估计中心的矢量，不同的曲线有多个估计中心，把这些估计中心映射到累加器，并把这些累加器与高斯核卷积，得到这些曲线的估计中心。

在考虑硬件条件及实际使用时，部分运算是冗余了，系统采用梯度模值信息来实现筛选机制的建立，并且用Yale人脸数据库来验证算法准确性。

2.3唇部的检测算法

唇部检测算法主要通过唇色和肤色的色度差异来实现，截取CAS-PEAL中国人脸数据库中表情子库的肤色和唇色在色度空间的分布图如图3、图4所示：

图3　唇部的RGB分布图

图4　面部肤色的RGB分布图

文献［16］利用色度空间的Cr、Cb分量的不同建立唇部强化图像的构造方法（8）所示来识别面部的局部特征：

文献［16］实现的（8）式判别式中的是通过（9）式实现，而这给硬件实现带来了巨大计算量及复杂度，系统采用取η固定值法方法：

具体实现过程效果图如图5所示：

图5　mouthmap计算效果图

最终的定位效果如图6所示，从图可知，眼睛与唇部检测算法达到了较为理想的效果。

图6　眼睛与唇部的定位效果图

2.4疲劳分类器的建立

人清醒时每分钟眨眼次数约为10～15次，眨眼频率约为3～4 s，眼睛闭合时间约为0.12～0.13 s等。当人出现疲劳时，这些参数会随之发生变化。因此，可通过检测这些参数的变化以判断驾驶员是否疲劳。系统将Perclos值［17］和眨眼频率作为检测疲劳主要参数，将嘴部打呵欠的特征作为辅助参数，结合模糊神经网络实现疲劳检测。采用MATLAB中的模糊神经网络工具建立5层模糊神经网络结构如图7所示：

图7　模糊神经网络的模型结构

第1层：输入层，该层中的n个节点和输入分量xi建立对应关系，通过该对应关系可以将输入向量x=（x1，x2，…，xn）T传递给下一层；系统选择的3个输入参数分别为Perclos值x1、眨眼频率x2，打呵欠x3，则输入向量x=（x1，…，x3）T。

第2层：模糊化层，该层主要是为每个输入分量建立隶属度关系。系统采用了高斯函数作为其隶属度函数。则网络中输入的第i个分量所对应的模糊规则中的第j个规则的隶属度计算公式（10）所示：

式中，i=1，2为输入变量的位数，j=1，2，…，m模糊的规则；μij即为输入变量的均值，隶属度函数的中心，隶属度函数的宽度。

第3层：规则层，该层主要是完成节点构成的先决条件，计算每一条规则的强度。

式中，“∗”为S-范数。

第4层：归一化层，计算每条规则的强度几率：

第5层：输出层，该层的节点只有一个，对上层各节点间连接及强度的增强预算

式中，wj表示输出状态与隶属度建立连接的权值。

If-then规则如下：

表1　模糊规则

根据前文分析，输入变量采用PERCLOS值、眨眼频率BF及呵欠次数，参数模糊化如表2所示：

表2　疲劳的模糊化

最后将学习分类器移植到DSP系统，只能实现静态识别人的疲劳状态，不能实现动态在线学习功能。

3　实验结果及分析

最终实验中，将检测系统部署到车辆上进行实际运行环境测试，主要提取了Perclos、打哈欠次数等测试值，测试结果如表3所示：

表3　车载对比实验结果

表3中异常驾驶主要是指在驾驶过程中出现头部大幅度的摆动等。由实验结果可知在异常情况下3种检测算法的检测效果几乎无差别，而在正常驾驶状态下，模糊神经网络识别疲劳的检测较其他2种方法的正确率高，能满足系统的要求。

4　结 语

本文首先从背景中分理驾驶员面部区域，然后再分别采用优化等照度线法和mouthmap法提取眼睛和嘴巴特征参数，并且在模糊神经网络的基础上建立疲劳分类器进而识别驾驶员疲劳程度，最后在DSP系统上实现疲劳驾驶检测系统。通过将检测系统部署到车辆上进行实际运行环境测试，表明该系统满足了一般疲劳的动态识别要求，具有较强的实用性。

［1］ 王正国.全球道路安全现状［J］.中华创伤杂志，2010（5）：385-387

Wang Zhengguo.Global Road Safety Situation［J］.Chinese Journal of Traumatology，2010（5）：385-387（in Chinese）

［2］ Grace R，Byrne V E，Legrand J M，et al.A Machine Vision Based Drowsy Driver Detection System for Heavy Vehicles［C］∥Proceedings of The Ocular Measures of Driver Alertness Conference，1999

［3］ 邸巍.基于视觉的全天候驾驶员疲劳与精神分散状态检测方法研究［D］.长春：吉林大学，2010

Wei Di.Study on All-Day Monitoring Driver Fatigue and Distraction State Based on Visual［D］.Changchun，Jilin University，2010（in Chinese）

［4］ Miao J，Yin B，Wang K，et al.A Hierarchical Multiscale and Multiangle System for Human Face Detection in a Complex Background Using Gravity-Center Template［J］.Pattern Recognition，1999，32（7）：1237-1248

［5］ Yang G，Huang T S.Human Face Detection in a Complex Background［J］.Pattern Recognition，1994，27（1）：53-63

［6］ 梁路宏，艾海舟，何克忠，等.基于多关联模板匹配的人脸检测［J］.软件学报，2001，12（1）：94-102

Liang Luhong，Ai Haizhou，He Kezhong，et al.Face Detection Based on the Matching of Multiple Related Templates［J］.Journal of Software，2001，12（1）：94-102（in Chinese）

［7］ 卢春雨，张长水.基于区域特征的快速人脸检测法［J］.清华大学学报，1999，39（1）：101-105

Lu Chunyu，Zhang Changshui.Regional Feature Based Fast Human Face Detection［J］.Journal of Tsinghua University，1999，39（1）：101-105（in Chinese）

［8］ 王延江，袁保宗.一种快速彩色图像中复杂背景下人脸检测方法［J］.电子学报，2002，30（10）：1566-1569

Wang Yanjiang，Yuan Baozong.A Fast Human Face Detection Method from Color Images under Complex Background［J］.Acta Electronica Sinica，2002，30（10）：1565-1569（in Chinese）

［9］ Hsu R，Abdel-Mottaleb M，Jain A K.Face Detection in Color Images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）：696-706

［10］艾海舟，梁路宏.基于肤色和模板的人脸检测［J］.软件学报，2001，12（12）：1784-1792

Ai Haizhou，Liang Luhong.Face Detection Based on Skin Color and Template［J］.Journal of Software，2001，12（12）：1784-1792（in Chinese）

［11］Deng Zhenghong，Li Tingting，Zhang Tingting.An Adaptive Tracking Algorithm Based on Mean Shift［C］∥2nd International Conference on Advanced Engineering Materials and Technology，2012：2607-2613

［12］Deng Zhenghong，Wang Meijing，Bai Xiaoping.A New Multi-Focus Image Fusion Algorithm Based on Contrast Ratio and Discrete Wavelet Frame Transform［C］∥2nd International Conference on Advanced Engineering Materials and Technology，2012：1011-1018

［13］王航宇.基于YCbCr高斯肤色模型的人脸检测技术研究［J］.现代电子技术，2008，31（22）：102-105

Wang Hangyu.Research on the Face Detection Based on YCbCrSkin Gaussian Model［J］.Modern Electronics Technique，2008，31（22）：102-105（in Chinese）

［14］Yang J，Lu W，Waibel A.Skin-Color Modeling and Adaptation［M］.Springer，1997

［15］Lichtenauer J，Hendriks E，Reinders M.Isophote Properties as Features for Object Detection：Computer Vision and Pattern Recognition［C］∥IEEE Computer Society Conference on CVPR，2005

［16］Hsu R，Abdel-Mottaleb M，Jain A K.Face Detection in Color Images［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2002，24（5）：696-706

［17］魏小辉.基于人脸面部特征的驾驶员疲劳检测技术研究［D］.秦皇岛：燕山大学，2010 Wei Xiaohui.Driver Fatigue Detection System Based on Facial Features［D］.Qin Huangdao，Yanshan University，2010（in Chinese）

Researching Driver Fatigue Detection Using Video Technology

Deng Zhenghong1，Huang Yijie1，Li Xiang2，Zhang Tianfan1
1.Department of Automatic Control，Northwestern Polytechnical University，Xi′an 710072，China 2.Xi′an Special Equipment Inspection Institute，Xi′an 710068，China

Fatigue driving has become an important factor in traffic accidents；warning through timely monitoring of driver fatigue may reduce the incidence of traffic accidents.Using the image processing and the driver′s actual situation，we separate driver′s face in the background region，use optimized equal illumination method and optimized mouthmap method respectively to extract characteristic parameters of the eyes and h，firstly establish fatigue classifier to identify driver fatigue based on fuzzy neural network classifier，and ment the driver fatigue detection system in DSP system.Experimental results and their analysis show preliminarily that the system with strong practicability can meet the requirements of dynamic recognition of general fatigue.

accident prevention，automobile drivers，calculations，CCD cameras，conformal mapping，covariance matrix，digital signal processors，experiments，feature extraction，functions，fuzzy neural networks，image processing，membership functions，monitoring，neural networks，optimization，pixels，safety engineering；eyes monitoring，facial features，facial recognition，fatigue driving

TP391

A

1000-2758（2015）06-1001-06

2015-03-15

国家自然科学基金（F011102）资助

邓正宏（1975—），西北工业大学教授，主要从事飞行器自主运行、系统工程及图像智能分析等研究。