基于KINECT的人眼视线方向估测方法研究

宋金淼，王楠楠，王心瀚,段晓东

(大连市民族文化数字技术重点实验室,辽宁 大连 116605)

基于KINECT的人眼视线方向估测方法研究

宋金淼，王楠楠，王心瀚,段晓东

(大连市民族文化数字技术重点实验室,辽宁 大连 116605)

提出一种基于KINECT的视线方向估测方法，通过KINECT获取人脸图像数据及人脸网格信息，检测和消除人眼区域的光斑，进而利用人眼灰度分布特点对瞳孔进行粗定位得到瞳孔中心；通过计算眼睛参考点与瞳孔中心形成的距离和其连线与坐标轴形成的角度关系对视线方向进行分类处理，完成视线方向的估测。实验结果表明所提出的方法在低分率的图像条件下能准确地估测出人眼视线方向。

视线方向；瞳孔粗定位；光斑检测和消除；眼部特征分析

视线方向是一个人观察外界物体的方向，通常被定义为眼球中心与虹膜中心连接的直线方向，亦可定义为虹膜边界所在支撑面的法线方向[1-2]，即眼球围绕眼睛中心旋转一定的角度所形成的几何关系，反映被观测者的兴趣和注意力。视线方向估测常被广泛用于军事、助残、人机交互、空中导航、犯罪心理分析、驾驶员疲劳检测等各个方面。

视线方向按估测方法主要依据眼部特征分析。视线追踪技术中广泛运用的方法叫做“瞳孔—角膜反射方法”(the pupil center cornea reflection technique)，其利用眼动过程中保持不变的特征，是眼球角膜上的一个亮光点，由进入瞳孔的光线在角膜外表面上反射(corneal reflection)而产生。文献[3]首先通过Hough变换计算出在低分辨率的情况下，人眼的上眼睑圆周及内外角点、虹膜中心，然后在检测视线方向上采取了分部处理的方法，先判断视角，然后计算视线方向。该方法虽适用于低分辨率的图像，但涉及的方法较多，增加了计算的复杂度。文献[4]根据透视原理，首先利用椭圆来拟合虹膜，然后恢复成圆，并得到视线方向，但依然存在在低分辨率的条件下拟合精度不高的问题。文献[5]提出了用混合投影的方法对虹膜进行定位，从而实现视线方向的估计[6-8]，但是这种方法存在抗干扰性差和对阈值敏感的问题。

眼动仪作为记录人眼动轨迹特征的重要仪器已经得到广泛使用，商业的眼动仪价格昂贵从十几万到几十万不等，而且操作复杂。KINECT2.0具有头部运动和面部特征点实时跟踪功能，此外提供红外、深度和彩色视频流。本文研究如何在廉价的KINECT传感器的基础上构建一种视线方向估测的方法。该方法利用KINECT采集人脸红外图像，利用图像特征对瞳孔进行粗定位得到瞳孔中心，通过计算眼睛参考点与瞳孔中心形成的距离和其连线与坐标轴形成的角度关系判断视线方向。

1 基于KINECT的眼部定位

根据瞳孔位置与参考点形成的角度与位置关系对视线方向进行分类处理，完成视线方向的估测[9-10]。本文依据KINECT人脸几何网格数据实时对眼睛进行区域定位，进一步完成眼部光斑检测与消除和瞳孔定位。

人脸网格对眼睛区域进行定位。KINECT可通过主动红外对人脸进行快速检测和特征点定位[11]。KINECT主要通过追踪技术自动检测出人脸位置，并采用区域生长法，从具有彩色信息的深度图像中自动分割出完整的人脸区域，利用移动最小二乘法对人脸图像进行滤波，并采用最近点迭代算法对人脸进行特征点定位，然后从KINECT获取特征点中提取眼部特征点进而获得三维人脸网格确定眼睛位置，具体流程如图1。

图1 眼部区域定位流程图

眼部区域定位是视线方向估测的重要阶段，对于确定视线方向的参考点具有重要的作用。三维人脸网格特征点定位可以确定上下眼睑和内外眼角的位置信息，实验前，利用这4个坐标位置确定眼部区域，并获取红外图像、彩色图像和深度图像等区域的信息。经多次实验表明，KINECT人脸网格定位眼部区域时，特征点会产生误差，进而导致视线方向检测出现误差，为减小由于定位时产生的误差，实验中将眼睛区域在以获取眼部区域大小的基础上扩大10%，以减少特征点定位时产生的误差。

1.1 光斑消除及瞳孔定位算法

在瞳孔定位之初，受外界可见光影响，可能会产生光斑。为保证瞳孔定位的准确性和稳定性需对光斑进行处理。本文采用灰度信息与梯度信息组合的方式来提取光斑。为方便描述，现做出如下假设：设彩色图片为gf，灰度图片为gi，每个像素点的灰度值为di，平均灰度值为q，差值阈值为σ，噪声点位置集合为k。

眼部定位算法1：

Step1：将彩色图片gf进行灰度化得到图片gi；

Step2：求取图片gi的灰度平均值，向上取整后赋给q；

Step3：对灰度图像gi进行遍历，计算每一像素点灰度值并赋值给di，若|di-q|>σ，该点被视为噪声点；

Step4：将噪声点的坐标存入集合k中，继续执行Step3，直至结束，集合k即为要提取的光斑区域。

光斑提取完成后，利用局部灰度平均值填补噪声点，以此消除光斑。如图2左上角第1幅图所示，灰度值高于周围其他点的四个白色点即为噪声点。文中以消除灰度值为150的噪声点为例，描述噪声点消除的过程。首先顺时针向上选取左上角三个临近点，求取三者的平均值并对其进行向上取整，用该值代替相应噪声点的灰度值，重复以上步骤直至光斑完全消除，光斑的消除过程如图2。

图2 光斑消除过程

1.2 瞳孔粗定位

本文在消除光斑的图像上对瞳孔进行粗定位。瞳孔区域虽然灰度信息丰富，但灰度级却相对较为明显，瞳孔最小，虹膜次之，其他区域(除睫毛外)则灰度值较大[12]。文中利用瞳孔区域灰度分布特点对瞳孔中心进行粗定位。实验中使用普通摄像头获取人眼彩色图像，然后对其进行灰度处理，消除由于外界光源引起的光斑后得到如图3(b)所示的灰度图像。然后采用固定阈值的方法，对灰度化后的眼睛图片进行二值化处理，初步区分虹膜与巩膜区域。其二值化后的图片如图3(c)。通过遍历二值化后的图片，找到虹膜区域(即图3(c)所示的白色区域)，然后以该区域的密度最大点的灰度值作为瞳孔中心的灰度值，以该区域的质心位，置为瞳孔的坐标，记作A(x,y)，点A即为粗定义后的瞳孔位置，图3(d)中以中心区域的黑色中心点来表示。

图3 瞳孔定位过程

2 视线方向估计方法

本文在上述实验的基础上提出了一种新的用于估测视线方向的方法。首先对动点和参考点的选取，然后计算两者的位置关系和角度关系，根据计算得出的关系提出了一种判别视线方向的思想，并将其应用到实际的视线方向检测中。

当人眼处于红外光环境下，在人眼中形成的反射光斑，由于眼睛结构可近似的看作一个球体，在单一光源下反射光斑是相对不动的，因此人们常将反射光斑作为人眼的参考点，通过计算瞳孔位置与参考点之间的关系确定视线方向。但是利用此方法，要求人的头部要保持不动，尽管识别的准确率比较高，但中间需要涉及大量图像处理和模式识别方面的知识，因此就有较大的难度。文献[13]采用人眼角点作为参考点，主要依据人脸表情发生变化时很少影响人眼角点的位置发生变动，且其位置检测也比较容易。该方法摒弃了传统的mark点和反射光斑作为参考点时的缺点，允许头部进行小幅度偏转，但当眼睛角点识别不准确时，会影响整个参考系统。

本文在上述研究的基础上，简化动点和将人眼结构抽象为一个矩形，矩形的几何中心作为人眼的中心位置即为参考点，而瞳孔的位置作为动点，具体情况如图4。

图4 动点和参考点的选取

现设ti时刻瞳孔的坐标位置为(xip,yip)，眼睛的参考点坐标为(xr,yr)，瞳孔与参考点的距离为di，角度为ai，计算公式表达为：

实验时计算出的角度都是弧度制下的角度，在实际的应用中需要进行相互转化。其具体的转换关系见表1。

表1 不同象限下角度变换关系

研究表明人的两个眼球不同于其他器官一样可以独立运动，双目视觉运动要受到很多条件的约束[14]。人的两只眼睛运动具有一定规律，海林等发现人的两只眼睛运动时方向要么相同要么相反，且运动的距离大小是相同的，因此研究一只眼睛的运动情况就可以估测另一只。文中将视线方向粗略分为上、下、左、右、左上、左下、右上、右下、和中间等9个方向。文中将眼睛区域抽象为一个矩形框，眼睛框的几何中心点O作为参考点。

图5 依据划分原则建立的视线方向参考系

其方向划分方法为：首先以中心点O点为参考点，将矩形区域按角度八等分，每一份即为视线观测的一个方向。然后以O点为圆心，r为半径作圆。根据瞳孔中心点与参考点的位置关系确定视线方向，当瞳孔中心点位于圆内或圆上时，视为看中间位置；否则视为其他八种情况。其中为视线方向看中间时，瞳孔中心最大活动范围，由多次实验测定得出，是一个常数。依据划分原则建立的参考系如图6，其中向右为水平方向，向下为竖直方向。

图6 视线方向的区域划分与及其对应的角度范围

经过计算，获得ti到时刻瞳孔位置位置为A(xip,yip)距与参考点O距离di，点O与瞳孔A所形成的向量OA与水平正方向的夹角为ai，视线方向检测及判断过程如下：

Step1:计算瞳孔位置A距中心点C的距离为d；

Step2：若di

视线方向检测的结果如图7。为方便观测在其上侧用箭头的形式表示其观测方向。

图7 视线方向检测结果

3 实验结果及分析

实验的硬件环境为Intel(R)core(TM)i3-3240CPU@3.40GHZ6G内存，软件环境为Windows7、VS2010。本文共采集152名测试者的136 805帧视频图像建立人眼特征数据库，实验时从人眼特征数据库中选取15 000帧图像数据作为实验样本，其中12 300帧作为训练集，2 700帧作为测试集，分别对应九种视线状态。经测试得其准确率见表2。

表2 测试结果

表2中，向右看、向左看时，系统识别的准确率最高，已达到95%；看中间、向左上看、向右上看、向上看系统识别的准确率也都达到90%以上，这是由于在上述状态时，瞳孔位置偏离中间参考点的幅度比较大，瞳孔也较容易被检测到。而当眼睛向下看时，眼皮对于虹膜的遮盖区域较大，判断的准确率明显下降。

4 结 语

基于KINECT的视线方向估测方法使用KINECT普通摄像头得到低分辨率下的图像，通过分析瞳孔位置与眼睛参考点之间形成的距离和角度关系，提出了一种视线方向判断的方法。通过实验可以得出，该方法对低分辨率下的图像具有较好的识别效果，但所有的检测结果都是基于头部不动和发生微小偏转的假设下得出的，没有针对头部的偏转建立相应的坐标补偿机制，需要在以后实验过程中进一步完善。

[1] 李涛. 基于视线角度的人眼视线检测研究[J]. 计算机技术与发展, 2009, 19(8):37-40.

[2] 李东平, 郝群, 黄惠明. 基于普尔钦斑点的人眼视线方向检测[J]. 光学技术, 2007, 33(4):498-500.

[3] 孙兴华, 陈国勇, 赵春霞，等. 基于Hough变换和梯度信息的人眼视线方向估计[J]. 小型微型计算机系统, 2007, 28(6):1123-1128.

[4] 许洁. 基于透视投影的人眼视线方向估计算法[J]. 微型电脑应用, 2009, 25(9):36-38.

[5] 耿新,周志华,陈世福. 基于混合投影函数的眼睛定位[J]. 软件学报, 2003, 14(8):1394-1400.

[6] 罗兴贤, 魏生民, 刘雅婧，等.基于图像处理的视线方向跟踪研究[J]. 现代制造工程, 2007(1):87-90.

[7] 王霞, 陈华础. 视线方向上飞机红外特性计算方法[J]. 大气与环境光学学报, 2008, 3(3):217-222.

[8] 李阳, 郑华兵, 史册，等. 安全驾驶中驾驶员视线方向的检测研究[J]. 计算机测量与控制, 2010, 18(4):766-769.

[9] 吴艳繁. 基于视线追踪的人机交互系统[D]. 长春：吉林大学, 2014.

[10] 于琼. 视频图像序列内的视线跟踪研究[D]. 武汉：武汉理工大学, 2011.

[11] 孟春宁. 人眼检测与跟踪的方法及应用研究[D]. 天津：南开大学, 2013.

[12] 罗兴贤. 基于视频图像处理的视线方向跟踪研究[D]. 西安：西北工业大学, 2007.

[13] 李郝. 人眼跟踪与视线检测算法研究[D]. 成都：西华大学, 2010.

[14] 叶永强, 沈建新, 周啸. 基于瞳孔灰度特征的快速虹膜定位[J]. 光电工程, 2010, 37(3):127-132.

(责任编辑 赵环宇)

Eye Gaze Direction Estimation Method Based on KINECT

SONG Jin-miao, WANG Nan-nan, WANG Xin-han, DUAN Xiao-dong

(Dalian Key Lab of Digital Technology for National Culture,Dalian Minzu University,Dalian Liaoning 116605, China)

This paper proposes an eye gaze direction estimation method based on KINECT. The process of the estimation method includes getting face image and face grid information through KINECT， detecting and eliminating spots around the eye area， utilizing the gray-scale distribution characteristics of the human eyes to roughly position the pupil and then get the pupil center， classifying and processing the sight directions by calculating formulated distance from the eye reference point to the pupil center and the angle relationship formed by this distance connection and coordinate axis to complete the eye gaze direction estimation. The experimental results show that the proposed method can accurately assess the human eye gaze direction under the condition of the low rate of image.

gaze direction; pupil coarse positioning; spot detection and elimination; feature analysis of the eye

2017-03-14；最后

2017-03-28

国家自然科学基金项目(61672132，61370146);辽宁省科技支撑计划项目(2013405003)；中央高校基本科研业务费专项资金资助项目(DC201502100401)。

宋金淼(1987-)，男，黑龙江齐齐哈尔人，助理工程师，主要从事模式识别和智能系统研究。

王楠楠(1980-)，女，辽宁沈阳人，工程师，主要从事民族信息化与智能系统研究，E-mail:wnn@dlnu.edu.cn。

2096-1383(2017)03-0263-05

TP391

A