眼部特征自动检测定位方法

张 超，卢韶芳，周付根

（1.北京航空航天大学 宇航学院，北京100191；2.吉林大学 通信工程学院，长春130022）

0 引 言

在机器人立体视觉系统下的面部图像配准中，很多是基于面部特征点进行配准，其中眼睛是人脸的重要器官，含有重要的特征信息，所以虹膜及眼角的准确定位具有重要意义。经过多年的发展，国内外对这方面做了大量的研究，冯建强［1］对面部的二值图像采用积分投影的方法对虹膜定位，这种方法对图像二值化的分割阈值要求较高，分割阈值的准确性对虹膜定位结果有很大的影响；Li［2］将AdaBoost和Harris算法相结合，但该方法没有考虑眼皮对虹膜的遮挡，只能提取可见虹膜区域，降低了虹膜中心定位的精度；Zhang［3］和李亚利［4］采用抛物线型模板拟合上下眼皮，利用两个抛物线的交点定位眼角，该方法所用参数较多，计算较为复杂。Hamouz［5］使用Gabor滤波器检测眼睛的内外眼角和眼睛的中心位置，此方法对图像中的纹理特征过于敏感，当图像纹理细节过于复杂时检测结果会受到一定的影响。

本文在现有研究的基础上提出了一种眼部特征自动检测定位新方法。首先利用AdaBoost算法在复杂背景下实现人脸检测，然后根据人脸区域的方差积分投影提取眼睛区域，同时设计了可变形圆形模板，并对优化匹配函数进行改进，以此来确定虹膜中心及半径，最后在此基础上将设计的线形模板与Harris角点检测算法相结合，对眼睛的内外眼角进行精确定位。实验结果表明，本方法可以很好地对复杂背景下面部图像中人眼的虹膜及内外眼角进行准确定位。同时与经典算法相比较，本文提出的虹膜检测方法在检测精度上有一定的提高。

1 眼部及眼睛区域提取

1.1 脸部区域提取

AdaBoost算法［6－7］是具有自适应的boosting算法，是对boosting的有效改进。算法的基本思想是将弱分类器叠加起来，构成一个具有很强分类能力的强分类器。

本文中将级联结构人脸检测分类器的每一级都采用AdaBoost算法进行训练。通过AdaBoost算法将Haar－like特征生成的弱分类器叠加成为强分类器，使之具有很强的检测能力。图1是人脸面部检测结果。

图1 面部检测Fig.1 Face detection

1.2 眼睛区域提取

原始图像是彩色图像，由于彩色图像为三维数据，为了不丢失彩色信息，这里用HSI彩色模型中的I分量来代表灰度图像。因为在图像采集的过程中，外界环境及摄像机内部不可避免地会对图像质量产生影响，例如，噪声及光照不均会对特征的识别和定位产生一定的影响，所以必须在处理之前对图像进行预处理。中值滤波是一种能有效抑制图像噪声的非线性信号处理技术，它对于干扰脉冲和点状噪声有良好的抑制作用，同时又能保护好图像边缘，所以本文采用3×3中值滤波器对采集到的图像进行滤波。另外，用灰度均衡化来增强图像的对比度，减少不均匀光照对图像质量的影响。

在提取出面部区域后，根据面部特征的先验知识，计算面部区域图像中的竖直及水平方向的方差积分投影［8］，然后通过对积分投影函数值的分析来提取眼睛区域。

根据先验知识，从图2可以容易看出第一个谷点A1为眉毛中心区域，第二个谷点A2为眼睛中心区域。根据人脸器官的比例分布规律，眉毛与眼睛之间的距离大约为眼睛的高度，所以计算图2中A2点的横坐标A2x与A1点的横坐标A1x之差可以估计眼睛的高度，即眼睛的高度为A2x－A1x，所以在第二个谷点位置，左右各加减（A2x－A1x）／2，最后得到眼睛区域，如图3所示。

图2 竖直方向方差积分投影曲线Fig.2 Vertical variance integral projection curve

图3 眼睛区域Fig.3 Eye region

图4 水平方向方差积分投影曲线Fig.4 Horizontal variance integral projection curve

从图4可以明显看出：左右两边各有两个较低的凹谷，因为眼睛区域的灰度强度较低，所以这两个凹谷区域就是眼睛所在区域。根据“三停五眼”的规律，其中“五眼”指面部正面横向可以分为五等分，以一个眼长为一个单位，即从外眼角垂线至外耳孔垂线之间为一个眼的距离，两眼之间的距离为一个眼的距离。这里两个最低谷点位置A3和A4可以看作眼球的中心位置，根据“五眼”的规律，在图4中这两个最低点的横坐标之差应为两个眼睛的距离，所以可以算出一个眼睛的距离，即为（A4x－A3x）／2，把这两个最低谷点的位置左右各加减半个眼睛距离，即左右各加减（A4x－A3x）／4，最后可以得到两个眼睛的区域，如图5所示。

图5 双眼区域提取结果Fig.5 Result of eyes region detection

2 虹膜检测定位

对于虹膜区域的检测，关键是确定虹膜的半径及虹膜的中心位置，所以虹膜检测定位方法分为3步，第一步是粗略地估计虹膜半径的范围；第二步是确定虹膜的真实期望半径R；第三步是用半径为R 的圆形模板定位虹膜的中心位置。

2.1 虹膜检测定位方法

因为虹膜的上部和下部可能会被眼皮遮挡，所以本文用Sobel的垂直分量对边缘进行检测，检测到的边缘图像为S（x，y）。

因为虹膜区域的灰度较低，并且是圆形的，所以本文设计了一个可变形的圆形模板和圆环模板，圆形和圆环模板设计形状如图6所示，图中黑色区域表示像素为0，白色区域表示像素为1。

图6 圆形和圆环模板Fig.6 Circular and ring template

把上面两个模板在眼睛区域图像上进行匹配，其主要是对灰度强度I（x，y）和边缘强度S（x，y）进行匹配。通过计算优化匹配函数来确定虹膜位置。设计的优化匹配函数如下：

式中：A 为圆形模板中圆形区域；l为圆环模板的圆周；r为模板半径；P1为圆形模板覆盖下的灰度强度；P2为圆环模板覆盖下的边缘强度。

通过分析可知：当式（3）中W（r）达到最大值时的位置可以确定为虹膜位置。但由于实际虹膜大小不确定，所以模板的大小也就不能确定，另外，图像中伪虹膜边缘等的干扰使得匹配函数很容易陷入局部极值。为了解决这个问题，本文在此基础上进行了改进，将圆形模板设计为可变形圆形模板，同时引入虹膜期望半径R 和灰度强度与边缘强度权值C1和C2。即只有当圆形模板的实际半径r和期望半径R 相同时，优化匹配函数达到最大值的位置可以认定为虹膜位置，所以改进后的加权优化匹配函数如下：

式中：C1和C2分别表示灰度强度和边缘强度的权值，本文中C1和C2定义为：

式中：rmax为模板实际半径最大值，本文中rmax可取为图5中眼睛图像高度的一半。

2.2 虹膜期望半径范围粗略估计

因为实际虹膜半径的不确定性，同时也为了提高计算速度，缩小期望半径的搜索范围，需要预先估计期望半径范围。

图7 眼睛区域竖直方向方差积分投影曲线Fig.7 Vertical variance integral projection curve of eye region

在提取出图5中的眼睛区域后，用1.2节的方法计算眼睛区域竖直方向方差积分投影。左眼区域的竖直方向方差积分投影如图7所示。从图7中可以看到中间有一个明显凹谷，由于虹膜区域的灰度强度较低，所以可以推断出中间的凹谷就是虹膜所在区域。计算图7中曲线两测的拐点r1和r2的横坐标r1x和r2x，虹膜估计半径R′＝（r2x－r1x）／2，所以粗略估计虹膜期望半径范围为［R′－ε，R′＋ε］。用同样的方法可以得到右眼虹膜的期望半径范围。

2.3 虹膜期望半径R 的确定

虹膜期望半径范围确定后，令圆形模板半径r从R′－ε到R′＋ε分别计算改进后的优化匹配函数W（r），本文令ε＝4。图8分别是图5中左眼、右眼改进后的优化匹配函数变化曲线。半径r过大或过小都得不到正确结果，所以这里计算得到的W（r）值会随着半径r的变化上下波动。

从图8可以看出：当半径较小时，曲线不规则地上下波动，即半径r小于期望半径R，只有当半径r达到期望半径R 时W（r）才能达到一个波峰，并随着半径的继续增大，即当r大于期望半径R 时，W（r）持续递减。所以，把曲线一直持递减状态的最大点对应的半径认定为期望半径R，从图8可以得到左眼、右眼虹膜的期望半径R，即为图8中A5点和A6点的横坐标。

图8 改进后的优化匹配函数变化曲线Fig.8 Improved optimization matching function curve

2.4 虹膜中心位置定位方法

在上面计算得到的期望半径R 的基础上生成半径为R 的圆形模板，用此模板在眼睛图像上找到令W（R）达到最大值的点，并把此点作为虹膜的中心。检测结果如图9所示。

图9 虹膜检测结果Fig.9 Result of iris detection

3 眼角检测定位

3.1 眼角方向检测

在图像经过预处理后，首先进行Sobel边缘检测，然后在边缘图像上检测最左侧和最右侧的边缘点，以此来估计眼角的大概粗略位置。以虹膜中心为圆心，眼角的粗略位置与虹膜中心的距离为半径，规定以两个眼睛虹膜中心连线为零度方向，上下各30°（共60°）画圆弧FG。从上到下圆弧上每个点与虹膜中心连线L（k），其中k＝1，2，3，…，60，计算每条连线L（k）上的灰度强度均值D1（k），并画出D1（k）曲线，如图10所示，其中水平轴为角度方向，纵轴为D1（k）值。

根据眼睛的结构可知：虹膜中心到眼角的连线上经过白色虹膜区域是最多的，所以在眼角方向的连线上D1（k）值应是最大的，所以找到D1（k）最大值时的圆弧角度方向即为眼角所在方向。在图10中A7点对应的圆弧角度就是眼角相对虹膜中心的角度方向，即弧FG 上的E 点，如图11所示。

图10 外眼角D1（k）曲线Fig.10 curve D1（k）of outer canthus

图11 眼角方向检测Fig.11 Direction detection of canthus

3.2 眼角位置检测

眼角具有很强的角点特征，而Harris角点检测算法［9］具有旋转不变性，同时对图像亮度和对比度的变化不敏感，所以本文利用Harris角点检测算法对眼角检测。其主要处理过程如下：

式中：Ix和Iy分别为x 向和y 向的梯度；G 为高斯模板；det为矩阵行列式；trace为矩阵的迹；D2为角点响应值，角点响应值越大表明该点越有可能是角点，所以通过计算某点的角点响应值D2的大小就可以确定该点是否为角点。

眼角相对虹膜中心的方向确定之后，就在这个方向下搜索眼角的具体位置。在图11中连接OE 并延长，与虹膜边界交于B 点。以B 为起点沿着射线BE 的方向，计算射线BE 上的每一点的Harris角点响应值D2，并画出D2曲线如图12所示。

图12 射线BE 上每一点角点响应曲线Fig.12 Corner response curve of ray BE

因为眼角具有明显的角点特征，在图12中的曲线上，眼角处的Harris角点响应值应处于一个波峰，另外眼角距离B 点最远，所以在图12中取最后一个波峰为眼角所在位置，即A8点。实验结果如图13所示。

图13 眼角检测结果Fig.13 Result of canthus detection

4 实验结果分析

本文选用IMM 人脸库作为实验数据。IMM人脸库中共240幅面部图像，包括40位不同人的面部图像，其中33位为男性，7位为女性，图像尺寸为640×480。本文对库中的120 幅正面人脸图像、40幅单侧强光图像和80 幅大角度偏转面部图像分别做了实验。部分实验结果如图14所示，图14（a）为正面人脸图像检测结果，图14（b）为单侧强光图像检测结果，图14（c）为大角度偏转面部图像检测结果。

图14 部分实验结果Fig.14 Part of experimental results

为了表明算法的准确率，本文采用文献［10］提出的方法，该方法用检测值与实际值之间的相对误差来判断检测的准确率，即：

式中：derr为检测特征点与实际特征点的欧式距离；f 为眼睛内外两个眼角的实际距离；规定当err 小于10%时为正确检测，否则为错误检测。

统计了本文方法分别应用于正面人脸图像、单侧强光图像和大角度偏转面部图像检测的准确率，实验结果如表1所示。

表1 实验结果Table 1 Experimental results

表1表明，应用本文方法可以较准确地提取眼部特征点。其中，本文方法对正面人脸图像、单侧强光图像及大角度偏转面部图像下的虹膜定位准确率较高，均保持在96%以上。针对眼角的检测，本文方法对正面人脸图像及单侧强光图像下的眼角检测准确率较好，但对大角度偏转图像下的眼角定位准确率略低，其主要原因是在面部发生偏转后，虹膜与眼角较近，之间的眼白区域较小，使得眼角方向定位错误，使D1（k）陷入局部伪极值所致。

针对正面人脸图像的虹膜检测，本文与Wildes［11］提出的边缘检测结合Hough变换的经典算法做了对比，本文方法的准确率为98.3%，Wildes方法的准确率为98.1%。Wildes方法应用Hough变换对虹膜检测前需先进行边缘检测，而有些图像在边缘检测时会受到睫毛等细节的影响，使得虹膜中心的定位不准；同时，有些图像在进行边缘检测时还会受到虹膜内部光斑的影响，在用Hough变换检测虹膜时，检测结果局限在实际虹膜内部，使得检测结果比实际虹膜要小，而本文方法在虹膜的整体区域上，利用可变形圆形模板的匹配函数来优化定位虹膜中心和计算虹膜半径，避免了睫毛和光斑等局部细节的影响，使得检测结果相比经典方法准确率较高。

5 结束语

针对面部图像中人眼虹膜的检测及眼角定位提出了一种自动检测定位的新方法。在虹膜检测上，将圆形模板设计为可变形圆形模板，为了提高检测的准确率，将优化匹配函数进行加权改进，以此来确定虹膜中心及半径。实验结果表明，本方法不仅可以对正面人脸图像进行检测，同时克服了单侧强光及面部大角度偏转的不利因素，其检测准确率均保持在96%以上，所以在虹膜检测上本文方法具有很好的应用价值和前景。在眼角定位上，本文方法仅需要两步。提出用线型模板来确定眼角相对虹膜中心的角度方向，然后在该方向下搜索眼角的最佳位置。实验结果表明：本文方法对正面人脸图像的眼角定位具有较高的准确率，对单侧强光影响较小，但对大角度偏转面部图像的眼角定位准确率略有下降，因此有待于继续研究，进一步提高对大角度偏转面部图像的鲁棒性。

［1］冯建强，刘文波，于盛林.基于灰度积分投影的人眼定位［J］.计算机仿真，2005，22（4）：75－76.Feng Jian－qiang，Liu Wen－bo，Yu Sheng－lin.Eyes location based on gray－level integration projection［J］.Computer Simulation，2005，22（4）：75－76.

［2］Li Xue，He Li－qiang.The implementation of eye location using adaboost and harris algorithm［C］∥2010International Conference on Management Science and Engineering（MSE2010），Wuhan，China，2010：462－463.

［3］Zhang Bai－zhen Ruan Qiu－qi.Facial feature extraction using improved deformable templates［C］∥2006 8th International Conference on Signal Processing，Beijing，2006：4.

［4］李亚利，王生进，胡斌，等.基于改进型抛物线Hough变换的眼睛特征提取［J］.清华大学学报：自然科学版，2010，50（1）：100－103.Li Ya－li，Wang Sheng－jin，Hu Bin，et al.Eye feature extracti on based on modified parabolic Hough transforms［J］.Journal of Tsinghua University（Science and Technology），2010，50（1）：100－103.

［5］Hamouz M，Kittler J，Kamarainen J K，et al.Feature－based affine－invariant localization of faces［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（9）：1490－1495.

［6］Madhuranath H，Babu T R，Subrahmanya S V.Modified Adaboost method for efficient face detection［C］∥2012 12th International Conference on Hybrid Intelligent Systems（HIS），Pune，2012：415－420.

［7］史东承，郑超.基于相位的人眼状态检测［J］.吉林大学学报：工学版，2013，43（增刊）：265－269.Shi Dong－cheng，Zheng Chao.Eye states detection algorithm based on phase information［J］.Journal of Jilin University of Technology（Engineering and Technology Edition），2013，43（Sup.）：265－269.

［8］夏海英，严国萍，王标.加权方差投影在眼角定位中的应用［J］.中国图象图形学报，2011，16（2）：273－277.Xia Hai－ying，Yan Guo－ping，Wang Biao.Weighted variance projection for eye corner location［J］.Journal of Image and Graphics，2011，16（2）：273－277.

［9］Das A，Ghoshal D.Human eye detection of color images based on morphological segmentation using modified harris comer detector［C］∥2012International Conference on Emerging Trends in Electrical Engineering and Energy Management （ICETEEEM），Chennai，2012：143－147.

［10］Jesorsky O，Kirchberg K J，Frishchholz R.Robust face detection using the Hausdorff distance［C］∥Proceedings of the Thrid Internation Conference on Audio and Video based Biometric Person Authentication，Halmstad，Sweden，2001：90－95.

［11］Wildes R P.Iris recognition：An emerging biometric technology［J］.Proceedings of the IEEE，1997，85（9）：1348－1363.