面部特征融合的电力作业头疲劳检测方法研究

贾小云，周玲羽，任江，张楠

（1.陕西科技大学电气与信息工程学院，陕西西安 710021；2.陕西农产品加工技术研究院，陕西西安 710021）

面部特征融合的电力作业头疲劳检测方法研究

贾小云1，周玲羽1，任江1，张楠2

（1.陕西科技大学电气与信息工程学院，陕西西安 710021；2.陕西农产品加工技术研究院，陕西西安 710021）

针对电力员工作业疲劳状态检测过程中存在光照不均、噪声干扰以及准确率低等问题，在AdaBoost级联分类器算法的基础上，提出一种对电力员工进行多特征疲劳状态检测的方法。首先，对图像进行预处理，利用Retinex算法对图像进行增强；其次，用Haar特征表示人脸特征，LBP特征表示眼部和嘴部特征，利用训练好的分类器进行人脸检测以及眼部、嘴部特征的提取；最后，根据眼部高宽比和嘴部宽高比分别对眼部闭合状态和嘴部张闭状态进行判别，并用PERCLOS原理统计员工眼部闭合频率，结合打哈欠时嘴部规律性闭合情况来完成疲劳状态判别。实验结果表明：该方法能在复杂背景下快速检测出疲劳状态，具有较强的适应性和鲁棒性。

疲劳作业检测；AdaBoost；Retinex算法；Haar特征；LBP特征

随着电网规模的不断扩大和操作过程的日益复杂化，电力各从业人员相应的作业越来越繁琐，安全工作环境和清醒工作状态尤为重要。然而，每年因工人疲劳作业所造成的事故不容乐观，疲劳作业逐渐成为社会关注的焦点。因此，研究一种能实时检测驾驶员疲劳状态的方法，具有非常实际的意义[1]。

目前疲劳作业检测研究方法可以分成2大类，第一类主要是从检查对象自身特征出发，通过图像采集设备获取生理参数特征或者视觉特征，用模式识别技术判别驾驶员是否疲劳；第二类是通过传感器获取车辆行驶过程中的各种参数，根据其异常情况判断驾驶员是否疲劳。其中第一类检测研究技术又可以分为2个方面：一是检测对象生理参数疲劳检测技术[2]，该方法是通过某些设备得出检测对象的有关生理参数，如脑电图（EEG）[3]、眼电图（EOG）[4]和心电图（ECG）[5]等，根据参数变化情况来判断是否产生疲劳[6]；二是驾驶员视觉特征疲劳检测技术，该方法是利用摄像机和计算机视觉、数字图像处理和模式识别等技术提取表征疲劳的特征，对特征进行分类识别从而判断是否产生疲劳[7-8]。本文所采用的是疲劳检测方法即驾驶员视觉特征疲劳检测技术。先

通过图像采集设备得到人脸视频图像，对其进行预处理后，通过AdaBoost算法训练分类器，将提取到的人脸眼部特征和嘴部特征分离出来，二者进行融合判断驾驶员是否疲劳。

1 AdaBoost检测原理

作业人员疲劳检测中的3个关键环节分别是人脸跟踪检测、眼嘴特征提取以及疲劳状态判别，根据这3部分利用OpenCV（open source computer vision library，OpenCV） 实现一种在AdaBoost（adaptive boosting，AdaBoost）算法提取疲劳特征的基础上，利用多特征融合来判断驾驶员疲劳状态的方法。在AdaBoost检测算法中需要对检测目标进行特征提取[9]，人脸特征采用Haar（haar-like，Haar）特征进行表示，眼部和嘴部检测将用LBP（local binary pattern，LBP）特征进行表示，并利用OpenCV提供的Adaboost训练器训练分类器。AdaBoost算法的流程图如图1所示。

图1 AdaBoost眼/嘴检测流程Fig.1 AdaBoost eye/mouth detection process

1.1 图像预处理

由于光照以及外界噪声等因素的干扰，在采集人脸视频图像时会出现光照不均的现象，对后续图像处理和检测结果产生一定影响[10]。采用MSR（multi scale retinex，MSR）算法对图像进行增强处理[11]，Retinex算法可以从3个方面（即边缘增强、颜色恒常、动态范围压缩）对图像进行增强处理，且能够在这3个方面达到平衡[12]，其优点是可以同时保持图像高保真度和对图像的动态范围进行压缩[13]。其公式为：

式中：S（x，y）为原始图像；r（x，y）为输出图像；*为卷积符号；F（x，y）为中心环绕函数；K为高斯中心环绕函数的个数；c为高斯环绕尺度；λ为尺度。通常取K=3，且W1=W2=W3=1/3，可保证MSR同时兼有SSR（single scale retinex，SSR）高、中、低3个尺度的优点，c分别取15、80、120会得到较理想的结果[14]。

1.2 人脸特征提取

选用积分直方图来快速完成人脸样本Harr特征的计算任务。Haar特征根据自然灰度差异来进行特征选择，主要应用于灰度图中，其最大优势是特征计算简单又快速[15]。主要使用的Haar特征模板如图2所示，其特征值定义为：白色矩形区域的像素和减去黑色矩形区域的像素和。

图2 Haar特征Fig.2 Haar feature

图2中矩形的4个顶点决定矩形坐标，当其中一个顶点坐标以及长和宽被获取，就能知道该矩形的坐标信息。在程序语言中矩形可以被描述为：Rect（left，top，width，height）。其特征值的计算可以描述为：

式中：ri权值为i，ωi为矩阵的内像素积分；N为组成特征Feature（k）的矩阵数量。

在积分图中每一点的坐标计算的都是其左上角包含的所有像素之和，且计算该点像素值时可利用已知像素值，能够节省大量的时间和存储空间[16]。设I代表原始图片，求取某一区域像素和，如图3所示。

图3 求图中某一小区域像素值和Fig.3 Calculating the sum of the pixel values in a small region of the graph

点1的积分值I1=sum（A），点2的积分值I2=sum（A）+ sum（B），点3的积分值I3=sum（A）+sum（C），点4的积分值I4=sum（A）+sum（B）+sum（C）+sum（D）。同理，在区域D内包含的所有像素值之和都可以被计算：即ID=I4-I2-I3+I1，通过计算积分图能够利用简单的4次快速查表得到任意大小区域内像素值之和。

1.3 眼部和嘴部特征提取

对眼部和嘴部特征的计算采用LBP特征，LBP指局部二值模式，是一种非常高效的局部二值模型纹理描述算子，它具有旋转不变性和灰度不变性等显著优点，其最主要的性质是它对光照的改变不敏感，且计算比较简单[17-18]。LBP算子公式可描述为：

当阈值为0时，每个像素点的LBP算子生成方式如图4所示。

图4 LBP算法原理图Fig.4 Principle diagram of LBP algorithm

通过图（4）来说明LBP值的求取，如对于3×3区域的中心像素点（上图中的54），把该中心像素点的灰度值作为一个阈值（即阈值为54），然后分别与跟它相邻的8个像素点的灰度值做比较，如果相邻像素点灰度值大于中心像素点灰度值，则在相邻像素点位置上标1，反之标0。按照逆时针方向将二值化后的结果组合为一个8位的二进制数，再把它转化为十进制整数，该十进制数就代表中心像素点的LBP值。遍历扫描整个图像后会获得一个LBP响应图像，把该响应图像转化为直方图即为LBP特征。整个图像中包含的点、边缘、局部特征等信息的分布均被包含在该响应图的LBP特征中。LBP的优越性在于纹理特征的提取不会只局限于某个点，因为LBP算子是从纹理局部近邻定义中衍生出来的，图像中的每个像素值的LBP值的计算都需要依附于其周围像素值[19]。

2 特征检测的实验仿真

首先准备正负样本，进行裁切并规整尺寸（通常取20×20像素），用CreateSamples程序建立正样本集，并将最终获得的分类器模型（通常是xml文件）利用HaarTraining和LBPTraining程序训练。

每个Haar特征和LBP特征可作为一个弱分类器，用hj（x）表示：

式中：fj为矩形特征；θj为分类阈值；pj为分类符号，h（x）=1为检测为人脸，h（x）=0为检测为非人脸。AdaBoost训练强分类器的算法流程描述如下。

1）输入n个训练样本：{（x1，y1），（x2，y2），…，（xn，yn）}，xi为输入的训练样本，正负样本由yi∈{0，1}表示，l为正样本数，m为负样本数，n=l+m，并对样本权重初始化。

2）①对每个t=1，…，T（T为弱分类器的个数），产生一个概率分布，这个概率分布是通过把权重归一化而得到的：。②对每个特征f，训练一个弱分类器h（x），并计算错误率εf，该错误率对应所有特征的弱分类器的加权（q）i值：③选择拥有最小错误率εt的弱分类器④重整3）获得的最优弱分类器的权重：其中ei=0代表分类正确，ei=1代表分类错误，

3）选取一些最优弱分类器组合成强分类器。最后的强分类器为：

根据流程1）～3），分别得到人脸、眼部和嘴部3个强分类器，通过将待测图像中已提取到的疲劳特征输入对应的分类器，进行判别是否为人脸、眼部和嘴部。人脸检测由OpenCV自带的源码performan-ce.exe这个程序来完成，该程序主要为performan-ce.exe -data data/cascade-info posdata/test.dat-w 20-h 20 -rs 30。眼部和嘴部分别使用OpenCV提供的函数createsamples.exe和cascadetraining.exe 2个执行文件进行训练，眼部和嘴部的训练结果存在于“.\scr

\eye_cascade_model.xml”和“.\scr\mouth_cascade_ model.xml”中，再用眼部检测函数DetectSingleEye和嘴部检测函数DetectMouth最终将眼部和嘴部分离出来。图5是实验中疲劳特征检测测试结果。

图5 检测结果示例Fig.5 The sample of test results

3 多特征疲劳状态检测

工作人员进入疲劳状态时，眨眼频率会随着疲劳程度加深而增加，眼皮遮盖眼睛的百分比也随之增加；同时打哈欠时嘴部也会有一定的张合规律。根据眼部高宽比判断眼睛是睁开或闭合，参考PERCLOS原理进行眼睛疲劳判断；根据嘴部宽高比在一定持续时间内规律性变化进行嘴部疲劳判断，由这两部分特征综合判断驾驶员是否疲劳[20]。

3.1 眼部疲劳状态判别

在定位出眼部区域后，将人眼区域进行直方图均衡化处理，再将之分割得到二值图像，画出眼睛连通区域的最小外接矩形，确定眼部高度和宽度比例，其中h为上下眼睑最大距离，w为左右眼角距离，当0.12<λ<0.23时判断眼部为闭合状态，0.23< λ<0.73则判眼部为睁开状态。主要采用PERCLOS原理来判断眼部疲劳状态。PERCLOS测量原理是眼睛闭合时间占特定时间的百分比：

在连续图像帧序列中，没有时间刻度，但是每秒得到的图像帧是固定的30帧，因此可以用图像帧数来代替时间求取PERCLOS值：

设某段时间内采集到的图像总帧数为G，其中闭眼图像帧数为F，则可用F和G的比值来表示PERCLOS值：

在清醒状态下，p值一般在0

3.2 嘴部疲劳状态判别

在定位出嘴部区域后，检测嘴部张开程度来判断是否有打哈欠现象产生，根据定位得到嘴部宽高值，为避免检测到的嘴部图像尺度发生变化，用嘴部外圈的高宽比表示嘴巴张开程度，其中h为嘴部张开程度，w为嘴巴宽度。通常打哈欠时嘴巴宽高比值先逐渐增大，到最大幅度时会停留一段时间后逐渐减小，因此统计持续一段时间内嘴部张开程度以提高判断准确率。当R满足以下条件即判定疲劳：

式中：M为该段时间内R≥0.5的图像帧数；N为该段时间内嘴巴图像总帧数，在持续时间为0.6 s内M超过10帧即可判断驾驶员进入疲劳状态。

3.3 疲劳检测结果

在实验室中模拟驾驶环境，通过视频采集设备每秒采集30帧图像，其大小设置为640×480像素。根据眼部和嘴部状态的连续时间数据统计决定疲劳状态。在此用“0”表示眼睛闭合状态和嘴部张开状态，用“1”表示眼睛张开状态和嘴部闭合状态，则疲劳状态就是由“0”和“l”组成的一个时间状态序列，根据该序列来判断驾驶员是否疲劳。通过此方法，在实验室进行了5组试验，时间分别为2～6 min，计算PERCLOS值及嘴部规律性张开次数百分比。采用OpenCV对判断疲劳驾驶所需算法进行仿真，用Visual Studio 2012作为系统编译调试环境。实验结果如表1所示。

通过实验得出，当PERCLOS值超过40%或嘴部规律性闭合帧数超过10帧时确定进入疲劳状态。该

方法总体上判别结果稳定，能够实现驾驶员疲劳状态的实时检测，只要驾驶员在正常范围内移动，该方法都能够有效地检测出其是否进入疲劳状态。

表1 疲劳检测试验结果Tab.1 The results of the fatigue test

4 结语

为了能够更精准地判别作业人员是否疲劳，文章在AdaBoost算法原理的基础上探究了一种多特征融合的疲劳驾驶检测方法。实验结果表明，经过大量的样本训练后提取出人脸中眼部和嘴部疲劳特征，再综合二者对疲劳状态进行判别，可使计算简单且判别速度快，同时对于作业人员在作业过程中需要发生脸部倾斜情况有较好改善，并且具有较好的准确率和鲁棒性。但是未考虑作业人员存在不良姿态作业或脸部旋转角度太大等情况下的识别率，需要在接下来的工作里继续完善整个检测识别系统，进一步提高系统识别的准确率。

[1]张立新，张春翠，何峰，等.体脑疲劳交互影响及神经机制研究进展[J].生物医学工程学杂志，2015，32（5）: 1135-1140.ZHANG Lixin，ZHANG Chuncui，HE Feng，et al.Research progress on the interaction effects and its neural mechanisms between physical fatigue and mental fatigue[J].Journal of Biomedical Engineering，2015，32（5）:1135-1140（in Chinese）.

[2]刘刚.基于眼睛状态判断的疲劳检测[D].大连:大连理工大学，2013.

[3]JOHAN VAN DER MEER，ANDRÉ PAMPEL，EUS VAN SOMEREN，et al.“Eyes open-eyes closed”eeg/fmri data set including dedicated“carbon wire loop”motion detection channels[J].Data in Brief，2016，125（15）:880-894.

[4]ANTOINE PICOT，SYLVIE CHARBONNIER，ALICE CAPLIER.Ngoc-son vu using retina modelling to characterize blinking:comparison between EOG and video analysis[J].Machine Vision and Applications，2012，23（6）: 1195-1208.

[5]BYRON H，GOTTSCHALK，JAVIER GARCIA-NIEBLA，et al.Adrian baranchuk new methodlogies for measuring brugada ECG patterns cannot differentiate the ECG pattern of Brugada syndrome from Brugada phenocopy[J].Journal of Electrocardiology，2016，49（2）:187-191.

[6]REILLY RICHARD B，LEE T CLIVE.II.3.Electrograms（ECG，EEG，EMG，EOG）[J].Studies in Health Technology and Informatics，2010（152）:90-108.

[7]杨海燕，蒋新华，聂作先.驾驶员疲劳检测技术研究综述[J].计算机应用研究，2010，27（5）:1621-1624.YANG Haiyan，JIANG Xinhua，NIE Zuoxian.Survey on research of driver fatigue detection technology[J].Application Research of Computers，2010，27（5）:1621-1624（in Chinese）.

[8]薛雷.考虑驾驶员生物电信号的疲劳驾驶检测方法研究[D].长春:吉林大学，2015.

[9]WANG Linping，WANG Zufeng.Application of agpsobased adaboost algorithm in human face detection[J].Energy Procedia，2011（13）:1221-1230.

[10]赵晓霞，王茹琳，李雪艳.基于多尺度Retinex的雾天降质图像增强算法[J].工矿自动化，2009（10）:62-66.ZHAO Xiaoxia，WANG Rulin，LI Xueyan.Image enhancement algorithm based on multi scale Retinex for fog degraded images[J].Industry and Mine Automation，2009（10）:62-66（in Chinese）.

[11]刘松，孙东，卢一相.基于单尺度Retinex雾天降质图像增强算法[J].微电子学与计算机，2013，30（11）:44-46.LIU Song，SUN Dong，LU Yixiang.Fog-degraded image enhancement based on single-scale retinex[J].Microel Ectronics&Computer，2013，30（11）:44-46（in Chinese）.

[12]沈文文.视频图像增强技术让视觉更完美[J].中国公共安全，2013（18）:162-164.SHENG Wenwen.Video image enhancement technology to make the vision more perfect[J].Chinese Public Safety，2013（18）:162-164（in Chinese）.

[13]许金元.改进MSR图像增强算法的分析与研究[J].科技通报，2013，29（9）:164.XU Jinyuan.Analysis and research on improved MSR image enhancement algorithm[J].Bulletin of Science Technology，2013，29（9）:164（in Chinese）.

[14]YANG Jie，WANG Li，QU Changqing.Illumination processing recogni-tion of face images based on improved retinex algorithm[J].Journal of Multimedia，2013，8（5）: 541-547.[15]王庆伟.基于Haar-Like特征的人脸检测与识别研究[D].江门:五邑大学，2014.

[16]候科.基于OpenCV的疲劳驾驶检测系统的设计与实现[D].武汉:华中科技大学，2012.

[17]LUO Yuan，WU Caiming，ZHANG Yi.Facial expression recognition based on fusion feature of PCA and LBP with SVM[J].Optik-International Journal for Light and Electron Optics，2012，124（17）:2767-2770.

[18]YU Wei，GAN Lin，YANG Sha，et al.An improved LBP algo-rithm for texture and face classification[J].Signal，Image and Video Process-ing，2014，8（1）:155-161.

[19]宁星.基于LBP的人脸识别研究[D].上海：东华理工大学，2012.

[20]赵雪竹，王秀，朱学峰.基于Adaboost算法的人眼检测中样本选择研究[J].计算机技术与发展，2010，20（2）: 133.ZHAO Xuezhu，WANG Xiu，ZHU Xuefeng.Research of samples selection in eye detection based on adaboost algorithm[J].ComputerTechnology and Development，2010，20（2）：133（in Chinese）.

（编辑 董小兵）

Research on Fatigue Driving Detection Method of Facial Features Fusion

JIA Xiaoyun1，ZHOU Lingyu1，REN Jiang1，ZHANG Nan2
（1.College of Electrical&Information Engineering，Shaanxi University of Science&Technology，Xi’an 710021，Shaanxi，China；2.Shaanxi Institute of Agricultural Products Processing Technology，Xi’an 710021，Shaanxi，China）

Aiming at the problems of uneven illumination，noise jamming and low accuracy in the process of driver fatigue detection，based on the AdaBoost cascade classifier algorithm，a new method is put forward to detect the fatigue state of the driver in this paper.Firstly，the image is enhanced using Retinex algorithm；secondly，the Haar feature is used to represent facial features，LBP features to represent eyes and mouth features，thus the trained classifier could be employed to implement face detection and extract eye and mouth features；finally，the eyes close or open state and the mouth close or open state are discriminated according to the eyes ratio of height and width and the mouth ratio of height and width respectively.And the statistics of the frequency of the staff’s eyes closed or open is made with principle of PERCLOS and combined with the situation of mouth closed or open when yawning to complete fatigue state detection.The experimental results show that this method can rapidly detect the fatigue state in the complex background，with strong adaptability and robustness.

fatigue state detection；AdaBoost；Retinex algorithm；Haar feature；LBP feature

2016-02-01。

贾小云（1971—），女，硕士，副教授，主要研究方向为图形图像处理、软件工程等；

周玲羽（1990—），女，硕士研究生，主要研究方向为图形图像处理；

任 江（1993—），男，硕士研究生，主要研究方向为图形图像处理。

西安市科技局农业信息化综合服务平台的研究与建设项目（NC1319（2））。

Project Supported by Research and Construction of Agricultural Information Integrated Service Platform of Xi’an Science and Technology Bureau（NC1319（2））.

1674-3814（2016）09-0017-05

TP391；TM08

A