对称边界搜索的虹膜中心定位

徐国庆

（武汉工程大学 计算机科学与工程学院 智能机器人湖北省重点实验室，湖北 武汉430205）

0 引 言

在自然光照下，对一般分辨率的人脸图像进行虹膜中心定位和注视方向检测在近年来逐渐成为计算机视觉和人机交互的研究热点。在全局主动表观模型的基础上，为进一步提高眼睛局部区域的定位精度，使用局部主动表观模型，较好地应对嘴部表情变化等导致的全局主动表观模型定位精度不足。

在眼睛局部区域，眼角点和上下眼睑位置的确定对眼睛中心点的定位影响较大，使用在线纹理，结合人脸在眼睛局部区域的边界角点特征，实现对眼角的精确定位。在定位眼睛中心点时，结合特征投影［1－3］简单、计算量小的优点，同时将眼睛局部区域进行双侧投影，初步实现眼睛中心区域的限定。考虑到眼睛的虹膜区域为一个近似的圆形，圆积分法［4－7］在眼睛虹膜区域比较显著显示时可以获得较好的计算定位效果，但是在低分辨率的图像上会出现较大的偏差。虹膜区域在正面的人脸图像中具有明显的对称特征，并且单侧虹膜在其边界区域具有两侧对称性，眼睛的初始中心点依次向虹膜的边界区域搜索，针对眼睛局部区域的高光照亮斑、上下眼睑遮挡的处理，设定搜索方向和搜索策略。在眼睛区域出现较大的遮挡时，也能获得较好的效果。

1 算法描述

1.1 局部主动表观模型的眼睛定位

基于主动表观模型 （AAM）［8］的人脸对齐算法实现了对人脸关键点的定位，由于AAM 算法的目标函数是全局匹配误差最小，为了提高眼睛局部区域定位精度，使用眼睛局部主动表观模型，利用AAM 统计表观模型的优势，在全局最优收敛的情况下，提高局部对齐的精度。

从眼睛的具体结构来看，两侧以及下方的关键点处的肤色区域趋于平滑，没有明显的边界或梯度纹理特征，而主动表观模型的目标函数中的表观模型是基于图像关键点处的x、y方向的梯度特征以及灰度和边缘信息，如果关键点处的上述特征不明显，会出现较大的对齐误差。

对釆集的人脸图像截取眼睛区域 （包含眉毛），并在标准AAM 模型人眼区域点的基础上，釆用手工方式在训练样本集上标注关键点，500 个训练样本分别取自典型人脸数据库。设计样本数据时，在眼角外两侧、眼睛下方区域扩展8个关键点，一共选择了54个关键点。这些关键点处有明显的边、角特征，可以提高AAM 算法的对齐精度。

1.2 在线纹理特征的眼角精定位

在人脸的眼睛区域含有丰富的边、角特征，眼睛内部区域和人脸其它区域的肤色特征对比也比较明显。为了准确定位眼睛的边角位置，将人脸区域进行肤色分割以去除人脸肤色的影响。在分割肤色的人脸上，眼睛、眉毛以及鼻孔、嘴巴区域具有明显的二值特征，对眼睛局部区域做边缘提取，可以获得眼睛的边角点特征。

考虑到边界图像上眼角区域表现为上下眼睑的交点，局部近似为一个扇形区域，参考文献 ［8］，眼角区域可以通过计算两个扇形区域积分，在计算中眼角的初始位置为使用局部AAM 模型所检测的眼角位置，考虑到眼角区域的灰度边缘图像会出现较为平缓的区域，因此眼角点的搜索范围可以扩展到一个矩形区域内。由于借助了眼睛局部区域的先验信息，排除了非眼睛区域对于检测结果的干扰，结合眼睛在线纹理特征提取其在线边缘图，从而提高了眼角定位的精度，为下一步的眼睛区域特征点计算提供准确的定位信息。

1.3 基于独立投影的虹膜中心检测

局部AAM 表观模型定位的眼睛区域，可以确定两只眼睛的眼角位置，在此基础上可以进一步进行虹膜中心的定位。考虑到人脸图像可能出现一定的偏转［9－11］，针对脸部的面内旋转，采用图1 的模型对眼睛的旋转进行归一化处理。

其中的A2、B2为两个眼角区域，θ 为眼睛的旋转角，眼角连线上下浮动范围取为A1、B1、A3、B3，依据定位的眼角信息，进行下述处理：

（1）连接内外眼角 （xi，yi）、 （xo，yo），计算其连线的中点Mio及连线的欧式距离Dio

图1 眼睛位置校正

（2）以Mio为圆心，Dio为直径绘制一个圆，这个圆完整地包含眼睛区域。

（3）绘制圆的外接矩形，以A2、B2的连线作为直径绘制一个圆，将圆周确定的外接矩形作为眼睛的局部扣取区域。使用这种扣取模型可以完整地保留眼睛的虹膜区域，在脸部发生较大的偏转时仍然可以完整地去除眼睛的局部区域图像作为进一步处理。

在对齐的人脸图像上，由于脸部的面内偏转，使两眼的中心位置不在同一水平直线上，直接使用积分投影，会在垂直方向出现重叠，使虹膜中心位置产生误差，如图2左图所示。通过对人眼区域进行分割，提取单个眼睛图像，并对其进行逐一投影，可得到比较鲁棒的定位效果，在水平方向上，由于两眼的水平距离较远，在小范围的脸部偏转情况下，不会发生水平方向的投影曲线重叠的情况，两只眼睛的水平方向上的投影对虹膜中心的响应比较明显，结合上述的垂直方向投影函数，即可实现虹膜中心位置的定位，修正后的投影结果如图2的右图所示。

图2 眼睛区域独立投影

1.4 对称边界搜索的虹膜定位

对于人脸对象，由于受到局部光照影响，在眼睛局部区域会出现较强的反光，这给精确定位虹膜中心带来一定的困难。在一般情况下，人脸所受到的光照来自前上方，因此在虹膜区域会在中心点偏上方留下一个或多个亮斑，而中心点的下方则不会受到高光亮斑的影响，因此，本文使用基于对称边界搜索的虹膜中心检测算法，该算法从虹膜区域的中心点下方开始搜索，可以在一定程度上减少上方的光照亮斑的影响，进一步提高定位的精度。

对称边界搜索确定虹膜边界的算法如图3所示，从眼睛区域的水平投影曲线可以对虹膜的中心位置进行初始定位，连接眼角的直线将虹膜分为上下两个部分，在正立人脸、正视的情况下，虹膜的中心点位于眼角连线的上方，而虹膜的左右区域呈现对称性，因此可以利用此特征，沿着投影确定的虹膜的中心初始位置进行对称搜索，如图所示，两侧的对称方向一共选择了6个：分别为：水平向右、右上方45度、右下方45度 （i＝1，2，3）；水平向左、左上方45度、左下方45度 （j＝4，5，6）。其中斜向下方的两个搜索方向可以适应于虹膜中心点位于眼角连线下方的情况。虹膜中心点处向两侧搜索，搜索的方向满足

式中：Icur——当前像素点的灰度值，Ii，Ij——左、右下一个像素点处的灰度值，在左右各3个方向上进行搜索，最匹配点作为下一步前进的方向。权重值ωi，ωj是为了提高对不同搜索方向上的鲁棒性。对于一般的正视情况，上方的两个方向i＝2，j＝5的可能性最大，下方的两个方向i＝3，j＝6可能性小，对上方、水平方向、以及下方的3组方向分别赋以权重值ω 为1，1.2，1.5。

图3 对称边界搜索确定虹膜边缘

每一步搜索的输出结果为前进方向，前进步长为1像素，斜向的步长为水平和垂直各1个像素。每一步决策输出后，下一步的搜索均在此次定位点的6个方向基础上进行。当左右3 个方向的计算结果均不小于给定的阈值时，可以判定搜索到边界点，则停止搜索，输出定位结果。

对称边界搜索算法通过对虹膜区域的灰度特征进行像素搜索，可以比较好的应对虹膜局部区域的光照和遮挡影响，为虹膜区域边界点的确定提供较为鲁棒的定位输出，一般情况下眉毛等遮挡仅在虹膜的上半部分，照明引起的光斑也位于虹膜的上班部分，因此使用对称边界搜索，可以较好地避免对这部分遮挡和高光影响引起的误判。

2 实验结果分析

图4是对图像中的人眼进行虹膜定位在FERET 数据库上进行实验。在AAM 初始眼睛区域定位的基础上，第一行、第二行、第三行分别采用投影函数、对称边界搜索、圆积分投影进行眼睛虹膜边界检测，从实验结果来看，使用对称边界搜索 （第二行）可以较好地适应虹膜区域的光照影响。

图4 眼睛区域的投影定位算法比较

需要指出的是，FERET 数据库中的人眼区域大小约为40×40像素，虹膜区域的分辨率约为15×15像素，从图像定位结果来看，使用积分法时 （第2、3行），当上眼睑比较厚重 （第4列）、或眉毛区域与上眼睑距离较近 （第2、3列）、眼球表面有较明显的高光 （第2、6 列）时，积分定位结果向灰度强烈的眉毛或上眼睑靠近，向上偏离真实的虹膜中心点。而使用对称边界搜索法，由于搜索的起始点位于真实的虹膜中心点水平线以下，当搜索到虹膜中心点水平线时，再向上搜索其灰度值会向内收缩，搜索过程即会停止，而不会出现定位点上移的情况，因此，使用对称边界搜索算法可以取得最佳的定位效果。

对于低分辨率视频图像，图5显示了使用对称边界搜索对虹膜中心的定位结果。图中的视频图像分辨率为320×240像素，眼睛部分的像素为20×20像素，由于眼睑的遮挡，虹膜区域的水平像素点约为8个像素宽度，垂直方向像素点约为5个，使用对称边界搜索可以降低上下眼睑对垂直方向像素点个数减少的影响，当眼睛虹膜转动时仍然能够获得精确定位。

图5 低分辨率图像虹膜中心点定位

为从量化角度对比本文提出的对称搜索算法的可行性进行讨论，引入眼睛虹膜中心检测精度参数，采用下式计算

式中：dl，dr——检测到的左、右眼虹膜中心与手工标注的中心位置的距离，dlr——手工标注的左右眼的虹膜中心的距离。图6是对上述3种算法的虹膜定位精度对比，3条曲线从上到下依次为：使用带初始虹膜中心点投影的积分投影变换 （ItgDiff with oiginal center，OriItgDiff－Ori）；使用积分投影后，再运行圆积分求导后的定位结果 （ItgDiff）；使用对称边界搜索（SBS）。可以看出，直接使用积分投影容易受到局部光照影响，误差最大，使用投影窗初始定位虹膜中心后再使用圆积分求导检测的精度和使用对称边界搜索算法检测的精度接近，而后者取得了最佳的检测精度。

图6 虹膜中心点定位算法比较

对称边界搜索算法直接从初始的虹膜中心投影点的估计位置开始搜索，整个计算过程没有涉及像素点的积分，在计算耗时上要比统一投影法和圆积分投影梯度法少。表1是这3种方法对相同图像数据集的虹膜中心点定位时间比较，测试机器为4G 内存，2.8GHzCPU，数据集为公开的FERET 数据集中选取500 幅图像 （分辨率为256×384），以及自采的500幅摄像头视频低分辨率图像 （320×240）。从结果可以看出，对同一数据集，使用带初始虹膜中心点投影的积分投影变换的OriItgDiff－Ori算法由于涉及到投影和积分变换，计算耗时最长，而直接使用对称边界搜索算法SBS由于没有进行积分运算，因此能够获得较快的计算速度。使用对称边界搜索SBS算法在计算时间耗费上比积分投影变换ItgDiff算法低约47.6%，比带虹膜中心点预定位的ItgDiff－Ori算法低55.5%。

表1 3种算法的定位时间比较／ms

通过对称边界搜索，可以较好地避免使用投影窗定位带来的全局计算的眼睑遮挡和光照影响，能在较短的计算时间内取得较高的定位精度。

3 结束语

考虑到虹膜区域在水平方向上处于白色的巩膜内部，并且在眼睛处于睁开状态时，其边缘部分是一直可见的，使用从虹膜中心点依次向左右方向进行对称边界搜索，可以充分利用边缘梯度特征，在较少的步骤和较低的图像像素分辨率时也能够获得较为理想的定位结果。由于该算法成功的前提只需要虹膜左右边界可见，对于正面人脸图像具有一般适应性。对于眼睛区域存在较强的高光亮斑，特别是光斑位于虹膜中心点下方，以及眼睛虹膜左右偏转角度较大以至于其左右边界被眼角遮挡时，其精度会下降，这也是对称边界搜索算法的一个不足。

［1］Shinfeng D Lin，Jia－Jen Lin.Sleepy eye’s recognition for drowsiness detection［C］／／International Symposium on Biometrics and Security Technologies，2013.

［2］HU Min，ZHU Hong，WANG Xiaohua.Expression recognition method based on gradient Gabor histogram features ［J］.Journal of Computer Aided Design ＆Computer Graphic，2013，25 （12）：1856－1861 （in Chinese）. ［胡 敏，朱 弘，王晓华.基于梯度Gabor直方图特征的表情识别方法 ［J］.计算机辅助设计与图形学学报，2013，25 （12）：1856－1861.］

［3］DU Zhijun，WANG Yangsheng.Eye locating algorithm for frontal view face image［J］.Journal of Computer Aided Design＆Computer Graphic，2009，21 （6）：763－769 （in Chinese）.［杜志军，王阳生.正面人脸图像中眼睛的定位算法 ［J］.计算机辅助设计与图形学学报，2009，21 （6）：763－769.］

［4］Audrius Bukis，Rimvydas Simutis.Face orientation normalization using eye positions［J］.Computer Technology and Application，2013，4 （10）：513－521.

［5］Khosravi MH，Safabakhsh R.Human eye sclera detection and tracking using a modified time adaptive self－organizing map［J］.Pattern Recognition，2011，41 （8）：2571－2593.

［6］Kawaguchi T，Hidaka D，Rizon M.Detection of eyes from human faces by hough transform and separability filter［C］／／Proceedings of the 7th IEEE International Conference on Image Processing，2010：49－52.

［7］Roberto Valenti，Theo Gevers.Accurate eye center location and tracking using isophote curvature［C］／／Proceedings of the 21st IEEE International Conference on Computer Vision and Pattern Recognition，2010.

［8］CHEN Ying，AI Chunlu.Face features tracking with conditional active appearance model［J］.Journal of Computer－Aided Design ＆ Computer Gralhics，2013，25 （4）：510－5185 （in Chinese）.［陈莹，艾春璐.条件主动外观模型下的人脸特征点跟踪 ［J］.计算机辅助设计与图形学学报，2013，25 （4）：510－5185.］

［9］WANG Kejun，ZOU Guofeng，FU Guixia，et al.An approach to fast eye location and face plane rotation correction［J］.Journal of Computer Aided Design ＆Computer Graphic，2013，25 （6）：865－879 （in Chinese）.［王科俊，邹国锋，傅桂霞，等.一种快速眼睛定位与人脸平面旋转校正方法 ［J］.计算机辅助设计与图形学学报，2013，25 （6）：865－879.］

［10］Xu Guoqing，Wang Yangsheng.Real time detection of eye corners and iris center from images acquired by usual camera［J］.International Journal of Intelligent Engineering ＆ Systems，2010，3 （1）：25－32.

［11］XU Guoqing.Real time face alignment using online features model ［J］.Computer Engineering and Design，2013，34（11）：4021－4025 （in Chinese）. ［徐国庆.在线模板的人脸特征点对 齐 ［J］.计 算 机 工 程 与 设 计，2013，34 （11）：4021－4025.］