头戴式眼动跟踪系统设计与实现*

宫德麟 施家栋 张广月 王建中

摘 要：为提高未来战争中士兵操控无人武器系统的作战效率，文章构建了头戴式眼动跟踪系统，基于角膜反射光斑和瞳孔中心定位算法相结合的视线估计方法，在Linux系统下使用结合OPENCV的开发语言，采用阈值分割法进行瞳孔粗定位，运用最小二乘椭圆拟合算法确定瞳孔中心坐标，以多项式函数的形式建立瞳孔中心与注视点之间的映射关系，实现了人眼注视方向的估计，为无人武器眼动跟踪瞄准奠定了基础，实验表明，该方法具有很高的定位精度。

关键词：眼动跟踪；瞳孔-角膜反射法；椭圆拟合；最小二乘法

引言

无人武器系统是未来战争重要的武器装备，目前无人武器完全自主运行的技术仍不够成熟，主要还是依靠操控人员的远程手动操作，这难以满足战场的时效性需要。通过眼睛注视跟踪目标，可以提高操控效率。例如士兵佩戴装有眼动跟踪系统的头盔操控小型无人武器，瞄准攻击敌方士兵，可解放双手、减轻操控负担、提高作战效率。由于人员目标体积小、灵活度高，为实现精确打击需要较高的定位精度。

眼动跟踪[1，2]是近几十年来活跃的研究领域，它在人机交互[3]、驾驶员疲劳监测、游戏操作和心理学等领域有着广泛的应用前景。按硬件构成不同，可以将眼动跟踪系统分为桌面式和头戴式两类[4]，桌面式眼动跟踪系统[5]是当前热点研究方向，但用户在使用过程中不可转动头部，轻微的偏移都会导致系统精度显著下降。头戴式眼动跟踪系统[6]具有便携性，由于其摄像头只拍摄眼部图像，图像清晰度高，瞳孔定位精度高，且允许头部自由运动降低了对用户的约束。

文章研究的眼动跟踪系统实现了对人眼注视方向的准确估计，具有测量准确、误差小且对佩戴人员干扰小的优点。

1 眼动跟踪系统设计

1.1 基本原理

眼睛结构如图1所示[7]，主要包括瞳孔、虹膜及巩膜。文章采用Le Grand眼球模型，Le Grand模型考虑了角膜和眼球曲率的不同，整个眼睛看作是两个不同曲率球体的叠加。人的视线方向由头和眼睛的方位共同决定，在头部保持不动情况下，中央凹的位置固定不变，此时人眼视轴方向的变化主要反映在瞳孔中心位置的变化。

本系统采用瞳孔-角膜反射法，该方法使用一固定红外光源照射眼球，在角膜上会形成一个红外光斑，称为“普尔钦斑点”。由于红外光源、摄像头与头部的相对位置保持不变，因此，斑点的位置也是相对于头部固定的，并不随眼球的转动而变化。根据瞳孔中心与斑点中心的位置关系可以获得眼球的运动信息，从而实现对眼球运动的跟踪。

1.2 系统组成

硬件系统主要由嵌入式处理板、头盔、固定支架、人眼摄像头、红外光源和显示屏组成，如图3所示。

人眼摄像头用以采集眼睛区域的红外图像，选用WX2000型号的工业级微距摄像头，可手动调焦，最大分辨率达到640×480，镜头与显示屏平面夹角为40度。采用单个红外光源，安装在摄像头附件，光源波长为850nm，在此波长的红外光照射下，虹膜反射较大，瞳孔基本完全吸收，采集到的人眼图像中瞳孔和虹膜有较高的对比度，便于后续图像的处理。采集到的人眼图像将传输至后端的嵌入式处理板上进行相关的图像处理和计算，选择NVIDIA型号为TK1的处理板。

由于该系统预期应用于远程无人设备的操控，通过设备上的摄像头将视频信号传送至眼动跟踪系统中的显示屏，显示屏直接采用iphone3gs，既可以采集场景图像又能将图像实时显示出来，使用时调整固定在与人眼合适距离的平行位置上，使用者注视显示屏时人眼与显示屏固定在同一水平线上，其间距为11cm。

使用Linux系统下结合OPENCV[8]开源代码库的开发语言，计算出人眼的瞳孔中心和普尔钦斑点中心的坐标并得到二维偏移向量；然后利用偏移向量与注视参考点坐标之间的映射关系，通过多项式拟合计算出注视点在显示屏上的坐标，基本框图如图4所示。

2 特征参数提取

能否实现准确的眼动跟踪主要取决于特征参数提取的准确性，主要包括四部分：预处理图像、灰度图阈值分割、Canny算法边缘化和最小二乘椭圆拟合。

2.1 瞳孔中心坐标提取

采集到的人眼图像中存在的噪声会对瞳孔边缘的提取造成很大的影响，通过滤波可以减少图像上的噪点或者失真，改善图像质量。文章选用高斯滤波，其实质是用一个模板扫描图像中的每一个像素点，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，这里高斯内核的大小为5×5，处理后的图像如图5（b）。为提高图像处理速度，只需提取瞳孔光斑所在矩形区域，通过指定矩形的左上角坐标和矩形的长宽以定义一个矩形区域，即ROI区域，原图尺寸为640×480，提取后尺寸为100×100，如图5（c）。

为方便获得图像的灰度直方图，将图像灰度化如图5（d）。选取合适的二值化阈值分割点T，将图像数据分为大于T和小于T的两部分，大于T部分像素点为255，小于T部分像素点为0，可以看出得到的图像使得人眼图像特征更加显著，如图5（e）。

采用Canny算法邊缘化[9]提取瞳孔轮廓，Canny的目标是找到一个最优的边缘检测算法，使用变分法以满足低错误率、高定位性和最小响应。经过滤波、增强、检测得到一系列候选点，如图5（f）。Canny算子的主要思想是先用高斯函数对图像进行平滑，再由一阶微分的极大值确定边缘点。其具体过程如下：

（1）首先用二维高斯滤波模板进行卷积以消除噪声，高斯函数在连续空间表示为

（2）利用导数算子找到图像灰度沿着2个方向的偏导数并求出梯度的大小为：

（3）计算梯度的方向：

（4）将边缘方向大致分为水平、垂直、45度、135度这四个方向，通过梯度的方向，找到这个像素梯度方向的邻接像素。

（5）遍历图像，去除非边缘像素，若某个像素的灰度值与梯度方向上前后两个像素的灰度值相比不是最大的，那么这个像素值置为0，即该像素不是边缘。

（6）使用双阈值算法检测和连接图像的边缘，凡是大于高阈值的一定是边缘，凡是小于低阈值的一定不是边缘，如果检测结果大于低阈值但又小于高阈值，就要看这个像素的邻接像素中有没有超过高阈值的边缘像素，如果有的话那就是边缘，否則不是。

最后在确定了瞳孔边缘后，利用最小二乘法进行椭圆拟合[10]，椭圆的平面二次曲线一般方程可以用式（4）来表示

为避免零解，必须限定 才能保证拟合的曲线为椭圆，所以问题可以转化为求点到二次曲线的代数距离平方和最小，即

由极值原理，欲使f（a，b，c，d，e）最小，必有

（6）

由此可得一个线性方程组，然后结合约束条件求得方程各系数的值，得到椭圆中心横纵坐标、长轴和短轴长以及旋转角度，可以得到瞳孔中心坐标，如图5（g）。

2.2 普尔钦斑点坐标提取

采用2.1节的方法能够同时拟合出瞳孔和斑点的坐标，如图6所示。由于采集的人眼图像中瞳孔和斑点的对比度非常高，所以在图像二值化后二者分别呈现为黑色和白色。另外，瞳孔的长短径远远大于斑点的长短径，程序很容易识别出瞳孔和斑点。

3 标定

为实现眼动跟踪，就必须给出使用者注视显示屏时的具体位置坐标，通过标定可以建立人眼特征参数与注视参考点坐标的关系。标定过程[11]主要分两步：给定一系列确定的注视参考点，使用者通过注视各个点，测量得到瞳孔中心和普尔钦斑点中心坐标，可以认为瞳孔到普尔钦斑点的二维偏移向量和注视点在注视平面上的位置是一一对应的，并确定二者之间的映射关系；使用者注视新的注视参考点，可以根据测量得到的新的偏移向量及映射关系，确定使用者在显示屏上注视的参考点坐标。

假设注视点坐标为（xg，yg），瞳孔中心坐标为（xp，yp），反射光斑坐标为（xs，ys），偏移向量为（xe，ye）。

（7）

偏移向量与注视点坐标满足以下关系：

（8）

为求a0～a5，b0～b5这12个未知数，至少需要12个方程，一组偏移向量与注视点坐标可以建立2个方程，因此至少需要使用者注视6个不同的参考点来获取数据，从而确定映射函数。

4 实验及结果分析

4.1 标定实验

在室内办公室环境中，使用者头戴眼动跟踪系统，显示屏上显示12个参考点，如图7所示。

系统标定过程中使用者依次注视显示屏上12个参考点，共采集6组，获得72张人眼图像，根据上一节提出的标定方法，求解映射方程系数，得到映射方程为：

（9）

4.2 注视点估计实验

然后注视新的6个注视参考点，采集6组实验数据，将实验获取的普尔钦斑点与瞳孔中心坐标偏移向量代入上述映射方程，进行实验验证，计算估计视线与真实视线的误差，结果如图8所示。

图8 估计视线与真实视线比较

经分析可知，水平方向最大误差为8.143451个像素点，竖直方向最大误差为11.250186个像素点，图中存在偏移较大点的原因是轻微的头部运动产生了误差，在误差距离不超过5个像素点时，人眼定位准确率为90.74%。

5 结束语

文章提出了一种基于头戴式眼动跟踪系统的视线估计方案，在图像处理的基础上，研究了瞳孔到普尔钦斑点的二维偏移向量与注视点坐标的映射关系，实验验证视线估计准确率高达90%以上，实现了高精确度的眼动跟踪，具有广阔的应用前景。

参考文献

[1]Duchowski A T. Eye Tracking Methodology：Theory and Practice[M].Eye Tracking Methodology：Theory and Practice. Springer London，2003.

[2]Jacob R J K. The use of eye movements in human-computer interaction techniques： What you look at is what you get[C]. ACM Transactions on Information Systems. 1991：152--169.

[3]Poole A，Ball L J. Eye Tracking in Human-Computer Interaction and Usability Research： Current Status and Future[C]. "Prospects"，Chapter in C. Ghaoui（Ed）：Encyclopedia of Human-Computer Interaction. Pennsylvania：Idea Group，Inc. 2005.

[4]Li X， Wee W G. An efficient method for eye tracking and eye-gazed FOV estimation[C].Proceedings/ICIP ... International Conferenc

e on Image Processing，2009：2597-2600.

[5]董大洼，董兰芳，余家奎，等.桌面式眼动跟踪系统研究[J].电子技术，2014（9）.DOI：10.3969/j.issn.1000-0755.2014.09.001.

[6]龚秀锋.头戴式视线跟踪系统关键技术研究[D].中国科学技术大学，2010.DOI：10.7666/d.y1705541.

[7]刘瑞安，靳世久，宋维，等.单摄像机视线跟踪[J].计算机应用，2006，26（9）：2101-2104.

[8]毛星云.OpenCV3编程入门[M].电子工业出版社，2015.

[9]Huo Y K，Wei G，Zhang Y D，et al. An adaptive threshold for the Canny Operator of edge detection[C].Image Analysis and Signal Processing （IASP），2010 International Conference on. IEEE， 2010：371-374.

[10]Liu R A，Jin S J，Xiao-Rong W U，et al. Adaptive Regulation of CCD Camera in Eye Gaze Tracking System[J].Optics & Precision Engineering，2007，15（6）：1-4.

[11]Morimoto C H，Koons D，Amit A，et al. Keeping an eye for HCI[C].Computer Graphics and Image Processing，1999. Proceedings. XII Brazilian Symposium on. IEEE，1999：171-176.

作者简介：宫德麟，男，24岁，汉族，北京理工大学在读研究生，兵器科学与技术专业。