一种基于机器视觉的眼睛闭合度计算方法

长治学院 韩尚儒

汽车驾驶人员会受到噪声，光照不均匀等因素影响，这些问题均会引发驾驶人员出现驾驶疲劳。本研究针对驾驶人员脸部识别，对眼部进行识别，应用perclos原理基础上使用眨眼频率辅助检测方法以评判驾驶人员疲劳度。首先提取和检测驾驶人员脸部特征，利用Gabor滤波法针对光照不均匀，YCbCr颜色空间实现人脸肤色分割，提取人脸特征后利用垂直、水平积分投影定位在人脸区域，在人脸定位前提下利用人眼位置特征，初定位人眼区域，计算各连通区域大小，以去除人眼图像噪声，最后定位于人眼区域，使用人眼高宽比来确定最终人眼闭合度，基于erclos的P80原理评判驾驶人员疲劳度。由于疲劳驾驶很难检测，因此规定执行过程中难度较高。本研究包含模式识别，图像处理，数据分析等多种知识融合，构建可用于检测驾驶人员疲劳度的系统。

1 驾驶人员脸部特征提取及检测

第一，光照预处理检测法。由于驾驶人员常年在野外驾驶工作，因此光照预处理需要重点考虑。针对光照变化不敏感图像的表示法可参考Gabort函数滤波法。图像边缘图可利用人脸器官横纹特征，进而对光照不敏感特性等图像二维Gabor函数滤波，其类似加强图像边缘轮廓，灰度图像一阶及二阶导数，对于周边光照变化不敏感，在图像增强中非线性变化也经常使用上述方法，对光照变化有一定的补偿，但会存在局限性。

第二，Haar-Like特征提取，国外研究学者提出Haar-Like特征，研究学者采用不同类别特征应用该算法进行实物检测，可通过该策略获取像素点灰度值，之后计算该图像可获得特征值。

第三，颜色空间选择。RGB是人们所熟悉的颜色空间，主要面向彩色显示器等硬件设备，在自然界中全部色彩可用红绿蓝组合描绘，人眼视觉细胞对红绿蓝灵敏度较高，所有RGB颜色均能够表现出色彩，对于彩色照片RGB颜色空间不仅能够代表颜色，同时还能够代表图像亮度，因此三种颜色具有一定的相关性。但该方法在创建肤色模型时也适用性不强，为能够使人肤色部分与非肤色部分进行有效区分，需要在RGB空间中使用不同肤色模型进行数据分析。

2 驾驶人员眼部特征提取及检测

对于驾驶人员疲劳度可通过多种方法进行检测，比如借助计算机视觉进行分析人眼部位可获得结果，因此如何评估驾驶员疲劳状态通常需要多种方法参与。本研究使用计算机算法进行眼睛状态，之后根据驾驶人员疲劳度，判断其是否真实处于疲劳驾驶状态中。计算眼睑率的方法可用于获取目标图像边缘，因此眼睑作为人眼上部区域，可使用拟合算法拟合与上眼睑最接近曲线，具体算法如下所示：

在上述公式中眼睑曲线变化率用Δθ表示，补偿用ΔL表示，眼睛的高度和宽度，用eyehigh以及eyewidth表示，因此眼睑曲率近似公式如下所示：

如果所计算眼睑曲率大于0表明眼睛处于睁开状态，反之则为闭合状态。该方法对于眼角定位需求较高，同时对眼睑曲线拟合也会形成无法遇到预料的误差。虹膜面积计算法，主要通过虹膜面积测量眼睛实时状态及检测眼睛闭合程度，该方法能够实现对眼脸准确定位，然而在光照变化度较高的基础上很难确定眼睑位置，而在眼睛闭合状态下，眼睑与红膜无较大差别，因此检测虹膜面积难度较高。SVM法，是复杂数据集数据处理方法，能够使数据集不同种类合理区分，利用这种分类器进行人眼分类可获得超平面，之后使用分类法获得睁眼图像和闭眼图像，在这种训练过程中计算量较大，因此很难准确判断眼睛实时状态。

2.1 基于投影法人眼区域特征提取

投影法能够提取人眼部重要信息，根据投影策略可获得有效信息。整体来看，该检测策略具有实时性效果，本研究使用投影算法进行人眼判别，通常人双眼轮廓和长宽比基本一致，在驾驶员开车过程中两只眼睛的眨眼频率基本一致，因此可选择一个眼睛数据来判断两只眼睛实时状态。结合前人研究，可利用投影计算法，获取人眼坐标之后提取对应的眼部信息，测试人眼状态，在图像观察时可发现该区域图像精确度和复杂度是与之前图像存在的差别，不仅包含眼睛，肤色，同时眼睛中还包含眼白，虹膜等细微特征，如果设置图像灰度值为0到K，则K为灰度值高峰值，可将像素分为S0和S1，各灰度值为像素点个数比像素综述。

S0的出现概率如下公式所示：

S1的出现概率如下公式所示：

两组方差如下公式所示：

在处于0到K之间，当方差取最大值时t值为最理想阈值T，将所获得的阈值T对人眼区域图像进行二值化处理。

2.2 数学形态学运算

使用图像处理策略能够获得较好信噪比图像信息，结合上述图像可判断该图像中包含部分干扰因素，比如睫毛等均会对图像处理产生干扰，这些干扰也会影响眼部信息分析，因此在图像处理过程中可使用开运算和闭运算进行图片分析，以提高图片信噪比。形态学是模式识别中的重要理论，该理论目前已获得一定发展，相比传统图像处理算法来说，数字形态学采用结构性算法进行图像处理，在图像处理中数学形态学包含开运算和闭运算等。

开运算能够起到先腐蚀再膨胀的效果，腐蚀时将边界无意义点去除之后，开展膨胀操作，能够使图像边界逐渐恢复原有形状，经过腐蚀图像基本无意义边缘点存在，因此开运算能够起到平滑图像边缘的功能，可用于去除小像素点且不会改变原有图像形状。

针对上述结果发现，无论采用开运算或闭运算均能够实现图像边缘平滑，但开运算同时能够去除图像边缘毛刺，进而去除噪音点产生的干扰，因此对于眼部处理时使用开运算进行操作时获得。

根据上述研究发现，经过开运算之后人眼区域相对明显，小区域干扰因素能够被完全去除而保留眼睑部位，因此采用开运算用于眼部图像处理是比较合适的。

3 人眼状态特征提取

经上述研究可找到人眼边缘数据，为能够检测驾驶人员实时位置同时利用该方法还能够实施检测人员状态，判断其是否处于驾驶状态中。眼睛闭合程度是利用计算机对应算法获取人眼闭合程度，同时借助积分投影确定人眼轮廓观察，即可获得人眼实时状态。采用遍历法对人眼各个部位检测进而获得人眼长度，宽度的相关信息。

利用该方法能够获取在完全张开时人眼λmax值和完全闭合时的λmin值，包含其他状态人睁眼参数。针对眼睛图片进行大量训练并获取λmax值为0.43，λmin值为0.16，利用这些信息能够测试眼睛困倦度。眨眼频率，一个完整眨眼，包含睁开、闭合这两个过程，眨眼频率是指在单位时间内完成眨眼的次数，眨眼频率通常可反映驾驶人员疲劳状态，如果其处于十分疲劳则眨眼频率则为异常状态。

在特定视频中可对10s内眼睛闭合度进行实时监测可以发现，每个波谷代表驾驶人员眨眼动作，在本次实验中将0.2设置为判断眨眼的阈值。

4 驾驶人员疲劳状态判定

本研究可借助perclos原理，该原理是在单位时间内检测人眼睛闭合所占时间比例，通常该原理包含三大标准，可用于判别驾驶人员眼睛闭合所占时间包括P70，P80以及EM标准。P70以及P80是判断人眼闭合度高于70%和80%，这种情况下可判定驾驶人员的眼睛处于闭合状态，EM的判定标准是根据人眼闭合速率均方差，进一步判断驾驶人员的疲劳度。但综合实验来看，采用P80的标准可获得理想实验结果，利用该原理判断驾驶人员疲倦在于其原理要求首先识别人脸方位，进而识别人眼方位，能够获得人眼具体信息，根据P80标准判断人眼状态，即可设置阈值f，当人体出现应激反应时f值会快速升高并高于阈值。比如驾驶人员眼睛进沙或受到强烈光照，如果其处于疲劳状态系统所测量的f值会高于阈值，这时系统会给驾驶人员提出警告指令，如果驾驶人员处于精神精神状态则不会发出警告信息。结合研究发现，人眼受到眼睛刺激之后会形成眨眼条件反射，根据perclos标准可判断其眨眼为疲劳导致反射，这种情况下应当引入眨眼频率的判定公式，本研究设置眨眼频率高于30次每分钟则代表是应激反应，而不是驾驶人员的疲劳状态。

总结：总而言之，本研究针对驾驶员的脸部特征进行提取检测，利用Gabor滤波法进行光照不均匀图像光线预处理，同时采用Haar特征法进行人脸特征提取，利用垂直，水平投影积分定位于人眼区域。基于人脸定位前提下利用人脸位置特征粗定位人眼区域，去除人眼图像噪声，采用形态学开运算和闭运算提高眼睛定位准确度，最后利用积分投影定位在人眼中，借助perclos原理中P80标准进行驾驶人员疲劳状态的判断。由于驾驶人员开车时会受到应激刺激而出现眨眼，这种情况下判定疲劳程度的f值会快速提高，导致系统出现误判，因此需使用眨眼频率联合P80标准进行疲劳程度的判定，能够提高系统检测准确度，最终将阈值f定为0.16，这种情况下驾驶人员可被判定为处于疲劳状态。