基于改进GIPF和形态学滤波的快速人眼定位方法

王金海，吴立平，崔 军

（1.天津工业大学电子与信息工程学院，天津 300387；2.天津市医学电子诊疗技术工程中心，天津 300387）

基于改进GIPF和形态学滤波的快速人眼定位方法

王金海1，2，吴立平1，崔 军1

（1.天津工业大学电子与信息工程学院，天津 300387；2.天津市医学电子诊疗技术工程中心，天津 300387）

针对传统积分投影方法易受眉毛、睫毛、阴影、遮挡及噪声等干扰的问题，提出了一种改进梯度积分投影（GIPF）和形态学滤波相结合的快速人眼定位算法.该算法首先采用二维梯度算子计算人脸图像的行列积分投影，完成人眼粗定位，减少眉毛和光照等的干扰；其次，利用形态学滤波平滑图像边界的特点，准确分离出瞳孔区域；最后采用不规则矩求质心的方法精确定位人眼.该方法在耶鲁大学的YaleB图像库、ORL及日本表情库（JAFFE）上表现优异.实验结果表明，本方法不易受眉毛及噪声干扰，对不同光照条件及头部姿态都有良好的鲁棒性，并且运算速度更快.

人眼定位；积分投影；索贝尔算子；形态学滤波；GIPF

眼睛作为人脸的主要特征之一，在人脸检测中起着重要作用.人眼的准确定位是人脸其他部位检测、提取的基础.由于眼睛在脸部的位置特点，眼睛定位易受眉毛、刘海及皱纹的干扰，因此眼睛定位正朝着准确且快速的方向发展.目前，人眼定位方法主要有：①形状模板匹配法[1-3]，此方法能够同时得到眼睛的位置和形状信息，但模板表示复杂，且存在能量函数收敛的问题；②基于统计学习的方法[4-5]，这类方法对眼睛形状鲁棒性较强，但是需要大量训练样本；③基于灰度特征的方法[6-8]，此方法具有计算量小以及尺度不变性等优点，被广泛应用于人眼定位[9-10].传统的基于灰度特征的人眼定位方法IPF（integral projection function）、VPF（variance projection function）和HPF（hybrid projection function），主要是在某一行或某一列上的投影，这种一维的投影方式使得投影结果对头发、阴影等造成的灰度影响非常敏感，常常会在投影曲线中形成多个波峰或波谷，因此在实际运算过程中必然增大了运算误差，从而导致定位的准确度降低.在人脸图像中眼睛区域上面如果受到了额发的干扰，即使额发较稀少，干扰很轻，也会直接导致IPF、VPF和HPF的投影结果都产生众多的波谷，这就使得确定瞳孔位置的操作变得十分困难，增大了误检的概率.为了减小这种线状或小的片状干扰带来的误差，文献[11]提出了梯度积分投影（GIPF）的方法，此方法解决了眉毛干扰问题，但原有GIPF算法中的一维梯度算子易受光照的影响，产生的投影曲线不平滑，毛刺较多，受人脸背景、面部光照及虹膜亮点的干扰严重.本文提出了采用索贝尔算子作为梯度算子，索贝尔算子根据像素点上下、左右邻近点灰度加权差，在边缘处达到极值这一特点，减弱了光照的影响，产生的投影曲线更加光滑.针对人眼模块进行形态学滤波处理减少了计算量，很好的提取出瞳孔的图像；最后采用不规则矩求质心的方法精确定位人眼.

1 GIPF算法

一组梯度算子能够突出图像的局部灰度变化，即在局部灰度显著变化的区域（如虹膜和巩膜交界处）响应较大，而对噪声和模糊的边缘响应较小.因此，GIPF采用如图1所示的长度为7个像素的一维梯度算子分别计算图像中各点的行梯度和列梯度.

图1 梯度算子Fig.1 Gradient operator

GIPF算法图像的梯度模值由式（1）计算得到.

式中：H为行/列梯度算子；f（x，y）为人脸图像.

采用传统GIPF一维梯度算子卷积后该部分的行梯度模值，具体表示如式（2）.

经过梯度算子滤波后所得曲线的极大值处为人眼的位置，此值越大，该曲线对人眼定位的贡献越大，权值也应该越大；极大值以外的其他数据越平滑，则对人眼定位的干扰越小，相应权值也应该越小.由上式可以看出传统的GIPF采用的一维梯度算子，由于只结合了该点上下的灰度值进行求梯度运算，虽然对图像边缘更敏感，但是当出现干扰时，某个区域的梯度肯定会发生变化，从而降低了该算法的抗噪声能力，导致该算法对光照很敏感，因此得到的曲线不够平滑.

2 基于改进的GIPF和形态学滤波的人眼定位

2.1 改进的GIPF

通过上述对GIPF算法的阐述分析得知，GIPF法虽然可以独立使用投影法定位人眼，但一维梯度算子受人脸背景、面部光照及虹膜亮点的干扰严重.为了解决这个问题，本文采用索贝尔算子作为梯度算子进行人眼模块的分割.如式（3）所示，该算子包含2组3*3的矩阵，Hx、Hy与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值.

本文的行梯度模值Gx具体计算如式（4）所示.

索贝尔算子根据像素点上下、左右邻近点灰度加权值，在边缘处达到极值这一现象检测边缘.对噪声具有平滑作用，提供较为精确的边缘方向信息，当出现光照干扰时考虑到上下左右灰度的加权值，这一区域的梯度变化不会凸现出来，得到的曲线会更加平滑，使得干扰减小.相比较一维梯度算子滤波，在光照的影响下图像中眉毛区域响应更弱，消除了眉毛对人眼定位的影响，并且眼睛区域的响应更加明显.

2.2 人眼区域的提取

传统投影方法确定人眼区域时，需要利用“三庭五眼”的规则，分割出的人眼区域多数包含眉毛.而眉毛对传统投影方法会有很大的干扰.通过上述对改进的GIPF算法的分析得知，改进的GIPF算法能够有效地突出图像局部变化，且对光照的影响不明显，所得到的曲线更加光滑.

利用上述算法进行了测试，人脸图像样本和梯度投影结果如图2所示.从图中可以看出瞳孔位置出现明显波峰，达到了很好的眼睛粗定位效果.

图2 人脸图像样本和梯度投影结果Fig.2 Rough localization process of human eyes by GIPF algorithm

本文首先对人脸图片进行边缘检测，以加强图片的边缘效应，效果如图2（b）.加强边缘后，先进行行积分投影，投影效果如图2（c）.本文取人脸图像的行梯度投影积分函数的最大值位置作为人眼中心的水平位置，从最大值位置开始分别向上、下两个方向寻找其上下第一个波谷的位置作为人眼区域的上下两条边界.针对上一步提取出的眼睛条状模块用索贝尔列梯度算子进行列梯度积分投影，而不是直接对整幅图片做列积分投影.因为经过裁剪的条状模块剔除了与眼睛不相干的干扰信息，同时与全图相比包含的像素数少，积分投影时，占用较少的资源，提高算法的总体执行速度，投影图如2（d）所示.对比眼睛条状模块可以看出，眼睛边框部分梯度变化最明显，在两个眼眶部分形成了波峰.因此，从投影图波峰位置开始分别向左、右两个方向寻找其左右第一个积分投影值为0的位置作为人眼区域的眼眶宽度，并用白色的方框将左右眼眶框出来.部分图像定位结果如图3所示.

图3 部分人眼粗定位实例Fig.3 Examples of coarse localization by improved GIPF algorithm

2.3 人眼精确定位

前两步得到的眼睛窗口中主要包含灰度值较小的瞳孔和虹膜区域以及灰度值较大的巩膜和皮肤区域.一般认为虹膜中心即是眼睛的中心位置，本文提出了一种对形态学滤波后的图片求不规则矩中心的方法定位虹膜的中心.由粗定位提取的人眼块经过预处理后所得到的边界是很不平滑的，而且具有一些错判的孔洞，背景区域散布着一些小的噪声物体，不利于精确定位.本文利用形态学分离物体、平滑边界的优点进行精确定位.通常的形态学运算经常被用在人眼的粗定位上，容易受眉毛和嘴部的影响，要消除的物体边界过于多，不能完全利用形态学的优势.在本文先提取眼睛模块的基础上，排除了眉毛等器官的影响，直接对眼部图像进行预处理和形态学滤波处理，不仅计算量明显减少而且速度和准确度明显提高.具体实现方法如下.处理效果如图4所示.

图4 形态学滤波精确定位Fig.4 Precise location by morphological filtering

（1）对人眼块进行预处理：首先采用直方图均衡化的方法增强局部的对比度.其次，为了确定虹膜区域，要对图像进行图像分割[12].本文采用阈值分割的方法将图像二值化，确定出虹膜区域.图4（a）为眼睛模块通过预处理后的效果图.

（2）分离出瞳孔.因为低尺寸结构元素的腐蚀操作很容易去掉图像中分散的椒盐噪声，所以本文选用3× 3矩形，锚点在中间的结构元素对二值化后的眼睛图像进行4次开运算（当低于4次开运算时得到的图像不够平滑，4次开运算时得到的图像达到较好的滤波，大于4次开运算，增加了算法的运行时间，降低了执行效率和鲁棒性），效果最佳，眼睛部分的最大连通区域效果明显.

从图4（a）、（b）可以看出，经过开运算之后，虹膜被准确地提取出来，形成了不规则的连通区域.针对瞳孔的连通区域本文提出了采用不规则区域矩的方法计算眼睛的中心，把一个归一化的灰度级图像函数理解为一个二维随机变量的概率密度，如式（5）所示，定义为mp，q.

式中：M和N为图像水平和垂直方向的维数；f（m，n）为图像在点（m，n）处的灰度值.设图片中心坐标（Xc，Yc），则Xc=m10/m00；Yc=m10/m00；在二值图像的情况下，m00为白色区域的0阶矩，表示域的面积.m10和m01为其两个1阶矩.这样通过提取滤波后的0阶和1阶矩，计算出眼睛的中心.经过实验分析证明了上述分析的合理性.

3 实验结果与分析

首先，在当前图像的灰度图像中，根据眼睛所在连通区域的坐标，计算瞳孔的特征向量，然后，通过计算得出眼睛坐标，在截取的人脸图像中用红色点标定出来.

实验 1：该实验程序采用 Qt4.8编写，采用opencv2.0的动态链接库，硬件平台为：windows7 2G RAM INTEL Core i3 3.3 GHz.分别在耶鲁大学的YaleB人脸数据库、剑桥大学的ORL数据库和日本女性表情图像库The Japanese Female Facial Expression（JAFFE）3个数据库分析算法的整体性能.YaleB人脸库包含38个人、9种姿态和64种光照的21 888种图像，因此，用此人脸库能较好地验证出算法对光照的适应性.本文从中随机选取光照水平角在40°以内的400张人脸图像作为一个测试集，用于考察算法对光照的适应性.选取由剑桥大学实验室创建的ORL数据库，包含40人共400张面部图像作为一个测试集，部分志愿者的图像包括了姿态、表情和面部饰物的变化，用以考察算法对姿态、面部遮挡物的适应性.选取JAFFE人脸库中包括215张图像，通过该测试集可以考察算法对表情及人脸边缘的适应性.测试结果如表1，部分测试图片效果如图5所示.

表1 测试结果表Tab.1 Test results on three databases

图5 部分定位效果图Fig.5 Part positioning effect results in Figure

表1给出了本文算法在3个图像库的定位准确度和定位时间，可以得出本文提出的方法在JAFFE和ORL上的测试结果明显高于YaleB上的结果，这主要由于YaleB中的样本存在光照变化，并且样本小角度姿态变化使脸部光照的影响更加严重，而光照对定位的影响较表情、姿态及边缘的影响要严重.图5给出了本文算法的部分定位结果，该算法在大角度偏光、强光照、姿态变化及存在夸张表情等情况下，都能成功定位.

实验2：对文献[13]中的混合投影函数（HPF）的眼睛定位方法和文献[11]中的梯度积分投影（GIPF）方法研究，并在光照复杂的YaleB人脸数据库上进行实现.经过实验对比，3种方法在YaleB库上的定位准确率及运算时间如表2所示.

表2 不同人眼定位方法的定位率及平均运算时间Tab.2 Comparison of accuracy and computation time by three algorithms

表2给出了不同人眼定位方法的定位率以及平均运算时间，可以看出，由于YaleB数据库中的图像存在光照问题，以上2种方法的定位都受到了影响，本文的方法在一定程度上减小了光照的影响，虽然前期二维算子的运算时间高于一维梯度积分投影算法时间，但是减小了光照影响，后期采用的形态学滤波方法进行精确定位时计算量小，运算速度快.从而本文方法整体运算速度很快，平均时间最短，人眼定位准确度提高.与HPF、GIPF法相比，本文方法减弱了光照对人眼定位的影响，运算速度较快，人眼定位准确率较高.

4 结束语

传统投影算法对人脸边缘、表情及光照适应性差，易受眉毛、刘海及皱纹等干扰，并且无法从人脸图像中自动获取人眼区域.针对上述问题，本文提出了一种改进的梯度积分投影与形态学滤波结合的人眼定位算法.该算法能够减弱光照的影响，大大提高了算法的鲁棒性.本文算法不仅能够从光照复杂及存在背景的人脸图像中自动获取人眼区域，而且能够克服表情、阴影、眼镜及皱纹等的影响，快速实现人眼定位.从人脸库测试结果看，本文采用改进二维梯度积分投影与形态学滤波结合的算法优于传统投影算法，并且综合运算时间短，提高了识别速度.

[1]HANSEN D W，J I Q.In the eye of the beholder：A survey of models for eyes and gaze[J].IEEE Trans Pattern Analysis and Machine Intelligence，2010，32（3）：478-500.

[2] 刘源.基于模板匹配算法的人眼定位方法[J].火力与指挥控制，2014，39（5）：124-126.

[3] 郑玉铎，田杨萌，靳薇.基于AdaBoost和ASM算法的人眼定位[J].北京信息科技大学学报，2013，28（3）：73-76.

[4] 胡涛，王家乐.基于支持向量机的人眼检测[J].计算机工程与应用，2008，44（24）：188-190.

[5]KIM H，KIM W.Eye detection in facial images using Zernike moments with SVM[J].ETRI Journal，2008，30（2）：335-337.

[6]黄彬彬，唐琎．一种新的人脸图像中眼睛定位方法[J].液晶与显示，2009，24（2）：278-282.

[7] 李爱平，魏江，郝思思.基于灰度投影与改进Hough变换的人眼定位算法[J].电子设计工程，2014，22（16）：171-173.

[8]王文成，常发亮.一种基于区域投影的人眼精确定位方法[J].光电子·激光，2011，22（4）：618-622.

[9]辜小花，龚卫国，杨利平.有监督图优化保局投影[J].光学精密工程，2011，19（3）：672-680.

[10]王力，唐琎，许海柱．一种基于Harris角点检测的快速瞳孔定位方法[J].液晶与显示，2008，23（11）：87-90.

[11]孟春宁，白晋军，张太宁，等．基于梯度积分投影和最大期望算法的人眼定位[J].光电子·激光，2012，23（10）:1971-1976.

[12]翁秀梅，肖志涛，杨洪薇.基于边缘检测和区域生长的自然彩色图像分割[J].天津工业大学学报，2008，27（1）：50-52.

[13]韩文静，李晶，孙农亮.基于HPF和Hough变换的人眼精确定位[J].计算机工程与应用，2008，44（10）：64-66.

Fast eye localization method based on improved GIPF and morphological filter

WANG Jin-hai1，2，WU Li-ping1，CUI Jun1
（1.School of Electronics and Information Engineering，Tianjin Polytechnic University，Tianjin 300387，China；2.Tianjin Medical Electronic Treating-Technology Engineering Center，Tianjin 300387，China）

To overcome the effects of eyebrows，eyelashs，shadows，occlusion and noises in traditional integral projection methods，this paper presents a fast algorithm for eye localization combined an improved gradient projection function （GIPF）method with morphological filtering.First of all，it uses a two-dimensional gradient operator to calculate the integral projection of a human face to locate the human eyes roughly.Secondly，in order to separate the pupil area accurately，morphological image filtering algorithm is used to get a smooth boundary.Finally，the precise position of human eyes can be obtained by centroid calculation with irregular shape image moments.We have compared this method with the Japanese expression database （JAFFE），the YaleB database and the ORL database.This method is much faster for eye localization，without influences by the eyebrows，furthermore，it shows good robustness to different light conditions and head poses as well as other noise interferences.

eye localization；integral projection；Sobel operator；morphological filtering；GIPF

TP391.4

A

1671－024X（2015）01－0055－04

2014-10-08

天津市应用基础及前沿技术研究计划项目（13JCYBJC37800）

王金海（1966—），男，工学博士，教授，研究方向为信号检测与智能处理.E-mail：wangjinhai@tjpu.edu.cn