眼动跟踪技术研究进展

石建军 许键

摘要：眼动跟踪是指通过测量眼睛注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。介绍了眼动跟踪技术及近年来相关研究进展，分析了各种眼动跟踪技术原理，详细比较了各种测量方法的利弊。通过对几种最新眼动跟踪设备特性的比较，进一步了解国内外眼动跟踪发展趋势。最后介绍了眼动跟踪技术的研究方向，并对眼动跟踪技术应用前景进行了展望。

关键词：眼动跟踪;眼动测量;眼动仪;微机电（MEMS）

中图分类号：TP39 文献标志码：A

引言

人的思想和意图可以通过眼球的运动得到充分反映，基于人们所看到的事物采取眼动研究的方法可以确定他们的思想内容。对眼球运动进行跟踪也就是测量眼球的运动，该领域的研究通常交替使用眼睛跟踪、凝视跟踪或眼睛注视跟踪等术语。大约80%的外界信息是通过眼睛获取的，对眼动的最初研究可追溯到古希腊时期，然而真正使用实验仪器对眼动进行测量却始于中世纪。到20世纪30年代才真正意义上出现眼动跟踪的概念，人们最初的研究目的是出于商业考虑，由于受到传感器技术及信息处理速度的限制导致其发展缓慢。伴随着光信息技术、传感技术、计算机技术、人机交互技术等各项技术的快速发展，眼动跟踪技术也取得巨大突破，应用领域也在不断拓展，已经广泛应用到军事、教育、医学、市场调研、心理学等诸多领域。近年来，该技术广泛应用到可穿戴设备、VR/AR、人工智能及游戏等，显示出该技术越来越大的应用前景和价值。

1眼动跟踪的人眼结构和基本概念

1.1人眼的生理结构

眼睛是人类感官中最重要的器官之一，大部分知识和记忆都是通过眼睛获取的，眼睛能够分辨不同颜色和亮度的光线并将这些信息转变成神经信号传送给大脑。人眼的主要组成部分如图1所示，主要由视网膜、角膜、虹膜、巩膜等构成。眼睛大致呈椭球形，直径约24mm。通常眼窝中可见的眼睛外侧部分为巩膜、虹膜和瞳孔。

结构上，眼球壁分为三层，内层是视网膜，中层是血管膜，最外层是纤维膜。视网膜由三层神经细胞构成，分别是光感受细胞、双极细胞和节状细胞。外层主要由透明无血管的组织构成，这层透明组织叫角膜，光线通过角膜进入眼内，角膜是一种透明没有血管的保护膜，覆盖住虹膜。虹膜在血管膜的前部，是圆盘状的薄膜，中央有一圆孔，称为瞳孔，为光线进入眼球的唯一通道。外部光线强，则瞳孔缩小;光线暗，则瞳孔变大，从而调节眼睛接收的光线总是刚刚好。对内部眼球结构起保护作用的巩膜，其特点为白色不透明，厚度小，是我们经常看到的白色眼球部分。此外，最外层的纤维膜对眼球也起着重要的保护作用。

1.2眼动的基本概念

所谓的眼动跟踪方法是通过记录眼动的注视时间、位置、轨迹等指标来了解人们对实时信息的获取和加工过程。眼动的方式比较复杂，其主要方式为注视、眼跳、平滑追随运动、眨眼及眼球震颤。

人们获取的信息大部分是通过注视完成的，也就是人眼的中央窝对准要观察的物体时间超过100 ms，该过程中被注视的物体要成像在中央窝上才能获得充分的加工以形成清晰的像。当眼睛切换观察对象时，注视点突然发生改变，两个注视点之间眼睛的快速运动，通常称之为“眼跳”，该过程中可获得时间空间信息，但不能形成比较清晰的像。当个体与被观察物体存在相对运动时，为了确保眼睛总是注视该物体，眼球会追随物体移动，称之为“追随运动”。眨眼是一种快速的闭眼动作，也称为“瞬目反射”。眼睛不自主、节律性的往返运动被称作眼球震颤。通常为了更好的选择信息以便形成清晰的像，上述几种眼动方式可同时交替进行。

2眼动跟踪的测量方法

眼动跟踪的测量方法经历了早期的直接观察法、机械记录法，随着技术的发展，出现了接触镜法、眼电图法、角膜反射法、双普金野象法、虹膜一巩膜边缘法、瞳孔一角膜反射向量法等方法，最终发展到现如今的视频电视法，基于微电子机械系统（MEMS）技术相结合的方法。

2.1直接观察法

最原始的眼动跟踪测量方法是直接用肉眼观察被试者的眼球运动。1897年Javal通过放置在被试者面前的镜子，站在其背后进行直接观察，1925年Miles使用窥视孔法，即躲在阅读材料的后面，通过阅读材料中间的小孔观察被试者阅读材料时的眼动。在最初对眼动的研究中，观察法发挥着重要的作用，眼动的一些基本规律，如注视、眼跳等都是通过观察法发现的。但同时它只能对眼动进行比较粗略的了解，而且观察的结果具有不确定性，现如今该方法很少被用于眼动研究。

2.2机械记录法

眼动的机械记录是指把眼睛与记录测验装置用机械传动方式连接起来实现眼动记录。该方法充分利用角膜凸起的特点，借助一个杠杆来传递角膜的运动情况。1898年Richardson等利用橡皮膏將一个杠杆连接在眼球上，第一次记录了被测试者阅读过程中的眼动轨迹，如图2所示。机械记录法一般有3种：支点杠杆法，角膜吸附环状物法，气动记录法。眼动的机械记录法所使用的装置较复杂且不易调整，更重要的是实验结果的准确性也很低，现在普遍被准确性相对较高的方法所取代。

2.3瞳孔一角膜反射法

角膜反射法是眼动跟踪领域广泛认可的方法，其原理是基于眼角膜从眼球表面凸出的生理特性，当需要保持眼睛相对头部位置不会改变的情况下对眼动进行测量时，可使用瞳孔一角膜反射法。用相机拍摄红外光照射眼睛后的反射图像，利用亮瞳孔和暗瞳孔原理，然后通过计算机处理，提取所拍图像中的瞳孔和角膜，把角膜反射点作为相机和眼球相对位置的基点，瞳孔中心位置坐标就表示凝视点位置。该方法具有准确性高、误差小、无干扰等优点，但对计算机图像处理能力要求比较高。

2.4眼电图法（EOG）

正常情况下眼球的视网膜具有很高的代谢水平，这就导致视网膜与角膜代谢作用的速度有所差异，眼角膜代谢速率小，而视网膜则相对较大，正是这种差异形成了角膜网膜电位差。当眼球转动时，眼球周围的电势也随之发生变化，分别将两个贴在皮肤表面的电极放在眼部上下两端，眼球向上移动时，网膜的阴极便接近下面的电极，而阳极接近上面的电极，这样便产生一定的电位差，若眼球向下移动便产生相反的电极差。同理，1955年Woodworth记录了左右方向上的运动。眼球方向上的变化所产生的电位差，经放大后得到眼球运动的位置信息。记录的结果并非实际运动情况，需要间接的转换计算，被测试者的个体电位也存在差异，从而不能保证测量结果的准确性，且该测量方法技术上较为复杂。电极分布如图3所示。

2.5接触镜法

接触镜法是一种最精确的眼动跟踪测量方法，同时也是最具侵入性的方法。首先将机械或光学的参照物安装在眼镜的接触镜上，然后直接佩戴并使用附着在角膜上的石膏，通过机械连接记录笔进行眼动记录，后来逐渐演变成使用装有安装杆的现代隐形眼镜。虽然隐形眼镜方便易携带，但同时需要更大的尺寸以保证能覆盖角膜和巩膜。构成接触镜的附着装置最常用的工具有反射磷光体、线图和线圈。其原理是根据眼动确定光学装置的方向，进而推算眼动的方向，安装在角膜上的反射镜可以将眼动产生的光束反射到各个方向以便提取眼动信号。

嵌入巩膜隐形眼镜的搜索线圈和电磁场框架如图4所示，隐形眼镜嵌入眼睛的方法如图5所示。虽然接触镜法是最精确的眼动测量方法之一，但镜片的插入操作要十分小心，佩戴后可能引起不适。

2.6基于MEMS技术的跟踪方法

MEMS是采用微电子技术、集成电路技术及其加工工艺制作而成的微米级机械器件，具有体积小、功耗低、易集成等优点，逐渐取代传统机械器件。MEMS驱动器也可以实现眼动跟踪功能，其独特的优点使眼动跟踪技术具有更大的发展潜力。

一种基于MEMS的微型眼动跟踪系统如图6所示，系统主要由微型摄像机、MEMS驱动器、分析处理器及相关配套设备构成。首先相机拍摄眼睛的图像，MEMS装置控制相机的视角方向，水平方向上的MEMS驱动器连接在摄像机后端来产生水平方向的移动，垂直方向上的MEMS驱动器连接在上端或下端产生竖直方向的移动，处理器接收摄像机拍摄到的眼睛图像，根据所拍摄的图像确定相机图像内眼睛的位置，并控制MEMS驱动器以保持相机指向眼睛并确定图像中眼睛的特定位置及大小，以保持对眼睛的实时追踪。该系统可应用于移动端的微型眼动追踪系统。

另一种完全基于MEMs的方法则不采用上述体积较大的摄像机，该方法适用于小型眼动追踪系统，系统设计的原理是基于眼睛与眼角膜的直径不同。利用一束低辐射的光束，从激光光源发出后射向扫描仪，该扫描仪内嵌MEMs驱动器，且具有平面镜的功能，能够将入射的光线反射，接着由扫描仪操控该光束射向眼角膜，然后从角膜表面反射到一个能接收光信号并产生电信号光电二极管，其输出的电信号随输入光强的增大而增大。随着眼睛的转动，扫描仪控制光束追踪眼角膜上能够使光电二极管接收到最大信号的点，进而实现系统的眼动跟踪。

3眼动跟踪技术存在的主要问题及解决方法的探索

3.1米达斯接触问题

米达斯接触是指计算机很难识别由于随意性视线运动而产生的意图，这种不确定性导致计算机不能准确分析出由于用户眼动而产生的真正想法，如何避免产生米达斯接触问题是眼动跟踪技术研究领域一直探索的问题，眼动跟踪技术的挑战之一就是避免米达斯接触。

3.2数据获取的准确性问题

由于对眼动跟踪定义的角度太多，例如从注视点和眼跳这两个角度来定义眼动就有所差别，概念的多样性导致定义偏差，不能完全统一标准，这就造成对数据获取的方式、角度、渠道产生很大差异，最终对数据的获取及分析产生巨大影响。此外，通过实验对数据获取时，并不能保证被测者在设备上固定不动，这种人为的随意运动，同样对数据提取产生困难，也降低了数据获取的准确性。

3.3测量精度及舒适度问题

硬件的测量精度相对较高，但是舒适性较差，需要一些外部硬件设备对头部或眼部进行固定，复杂的设备佩戴给佩戴者带来心理压力和不舒适感，同时降低了自由性，测量不方便。而软件测量相对硬件测量精度低，自由性限制少，增加了用户的舒适性，但获得的测量数据准确性不能够保证。综合上述分析，我们可以结合硬件测量和软件测量的优点，提出既能够提高精度又能增加舒适性的方法，从而改善眼动跟踪技术测量精度及舒适度的问题。

3.4算法及多通道整合问题

构建理想的算法模型，充分体现以人为中心的设计理念，才能更准确地优化眼动跟踪的准确性，由于眼动跟踪自身的特性，视觉通道只有与其他通道配合才能发挥更大的作用，多通道整合需要从多个并行、协作、互补的通道中，采用非精确输入方法以获得用户想传达的任务信息，这是实现多通道整合问题的首要前提，也是面临的重大挑战。

4国内外研究状况及各类眼动仪性能对比

国内对眼动的研究及相关设备的研制起步较晚，多数是引进国外设备作相关实验的研究。20世纪80年代末，张名魁和孙复川等研发出了红外光电反射眼动测量系统，它是通过红外光发射管、光敏管等器件发射及接收眼球水平运动时角膜与巩膜反射红外光线大小的变化来测量眼动。该技术已达到国内外文献报道的先进水平，成功利用该系统进行了阅读研究。20世纪90年代，西安电子科技大学自主研发出了头戴式眼动仪，该设计主要依据红外摄像法，其跟踪过程依次是眼睛图像的获取，高速信号实时处理并提取瞳孔中心坐标，最后与外景图像进行叠合。

对于精确测量眼球运动的眼动仪，其结构一般由光学系统、瞳孔中心提取系统、视景与瞳孔坐标迭加系统、图像和数据记录分析系统4个部分构成。理想的眼动跟踪设备应需要提供广阔的视野且很好地接触到头部和脸部，不能直接接触眼睛，尽可能拥有稳定的人工视网膜图像。由于眼动跟踪设备的精度易受到非线性、失真、噪声、滞后和其他误差的影响，因此对分辨率的要求较高，这样才能检测眼睛位置的微小变化，此外要求能够提供良好的时间动态、响应速度且对眼睛平移不敏感，易于拓展到双眼记录，能很好的同时兼容头部和身体的记录，更重要的是可广泛应用到不同的佩戴者身上。根据英国科学研究所建立的眼动仪数据库公布的结果，全世界有超过44家眼动仪生产商。主要的产品有加拿大SR公司利用角膜反射法生产的Eyelink型眼动仪，德国SMI公司生产的iView型眼动仪，美国应用科学实验室（ASL）生产的H6型眼动仪，日本ISCAN公司生产的ETL500系列眼动仪，澳大利亚SEEING MACHINE公司生产的faceLAB非接触式眼动仪，瑞典Tobii系列眼动仪，其性能对比见表1。

5眼动跟踪应用前景

近年来眼动跟踪技术的应用越来越广泛，随着研究的深入在传统眼动跟踪原理的基础上提出了许多创新的跟踪方法。眼动跟踪技术与其他技术结合的方法成为发展的趋势，为眼动跟踪研究提供了全新的思路，眼动跟踪与MEMS技术、VR/AR技術、生物识别技术等相结合，积极服务于与人们生活相关的各个领域，具有广阔的应用前景。基于MEMS技术研发的眼动跟踪设备使眼动技术应用到小型化设备，将会使系统具有更高的性能以及更广泛的用途，这对推动相关领域的发展具有重大意义。眼动跟踪技术的研究对现代化建设也具有重要意义，航空领域对眼睛视线分析的研究、医疗领域对残疾人通讯的研究、安防领域对生物识别的研究、交通领域对驾驶员状态的研究等。

随着眼动跟踪技术的发展，相应的眼动跟踪设备也不断被优化完善。凭借眼动跟踪技术所具有的独特优点，完全可以创造并改变人们的生活，眼动跟踪技术的研究也代表着跟踪领域未来的发展方向，应引起企业和研究机构的高度重视。