面向舱外航天服的眼动交互技术研究

马宝元，赵歆波，彭明地

（西北工业大学计算机学院，西安710072）

1 引言

航天员需要在近地轨道或天体表面脱离母船，执行包括维修、装卸、更换和回收各种有效载荷、组装大型空间结构（如空间站）和科学试验等复杂任务，这些任务的完成依赖于舱外航天服的信息管理、信息显示和控制功能。目前，出舱活动过程的支持主要依赖出舱航天员与舱内航天员或地面任务支持中心的语音联络，舱外航天服为航天员提供的实时信息支持极为有限，影响了出舱活动的有效展开［1］。因此，开发具备视听一体化的实时通信显示系统和多通道人机交互系统成为保障舱外任务顺利完成的必要手段。

近年来，国内外研究机构均对舱外航天服的头戴式信息显示系统进行了科研探索，例如杨新军等人依据我国舱外服头盔的结构特点开发了穿透型航天员舱外头盔信息显示系统［2］；美国洛克西德马丁公司为NASA研制了头盔型舱外航天服信息微显示系统原型［3］。这类头戴式显示系统虽然能够提供文字、图表和视频等信息，但操作人员仅能通过实体按键控制器对系统进行控制。随着出舱活动的复杂化，实体按键控制器（需要手操作）影响了出舱活动的工作效率。因此，可以将解放双手的眼动交互技术引入对头戴式信息显示系统的控制系统，实现多通道的人机交互。眼动交互技术是一种利用计算机和图像处理对视线进行精确跟踪、利用视线信息完成人机交互的新技术［4］。目前眼动交互技术主要应用于残疾人辅助设备和军事领域，例如，李姗等利用眼动交互技术设计了面向残障人士的绘画系统［5］；美国相关研究机构将眼动跟踪技术应用于新一代战斗机（F⁃35） 飞行员头盔［6］、实现武器的自动瞄准［7］等。但是，目前国内外鲜有将眼动交互技术应用于舱外航天服设计的公开研究内容。

因此，本文提出一种将头戴式显示技术（Head⁃Mounted Display，HMD）和眼动交互技术引入舱外航天服的设计方案，利用HMD设备实现增强现实（Augmented Reality，AR）的信息显示功能，设计一种基于注视停留时间触发和长眼跳触发的眼动交互模式，通过眼动交互设备及软件实现航天员的眼控人机交互，为下一代先进舱外航天服的人机交互技术奠定基础。

2 眼动交互总体方案

由于出舱航天员在执行维修、装卸、更换和回收各种有效载荷等复杂任务时，现有的语音指挥系统不足以提供大量的实时辅助信息；舱外航天服的实体按键需要航天员用手操作，降低了出舱任务的工作效率。因此，本文引入HMD和眼动交互技术为航天员提供文字、图表和视频等多媒体信息，使航天员在执行任务时双手被占用的情况下也能基于HMD界面对舱外航天服做出有效的控制，辅助航天员完成各种复杂任务。

眼动交互技术的实现在硬件方面依赖于HMD和眼动仪，考虑到航天头盔内头戴式设备的佩戴舒适度，本文将HMD设备集成到眼镜式眼动仪的结构设计，具体硬件架构如图1所示，将眼动跟踪模块、场景图像采集模块和增强现实显示模块集成到眼镜式框架上，同时利用3D打印成型技术完成硬件框架加工。为保证眼动跟踪的准确性，头戴式眼动仪的场景图像采集模块与增强现实显示模块的位置相对固定，只需要对两个模块进行一次标定运算就能得到场景相机与虚拟投影面的坐标转换关系。

图1 头戴式眼动仪硬件架构Fig.1 The hardware architecture of head⁃mounted eye tracker

本文依托集成HMD的眼动仪设计了眼动交互的总体方案。首先通过眼动跟踪算法得到的视点信息，然后对视点信息进行预处理，最后根据设计的基于注视停留时间触发和长眼跳触发的眼动交互模式来进行交互系统测试。航天员通过规定的眼睛运动方式对HMD界面进行人机交互，如眼动实现界面菜单和按钮的选择与触发、眼动控制维修手册的翻页、眼动控制视频请求与关闭等。方案流程如图2所示。

图2 眼动交互方案流程图Fig.2 Flowchart of eye movement interaction

考虑到眼动交互作为一种面向用户的人机交互方式，为了验证眼动交互的可行性，从以下方面对眼动交互系统进行试验验证：1）眼动交互的准确性、实时性；2）用户对眼动仪及眼动交互方式的满意度。

3 眼动交互系统详细设计

3.1 眼动跟踪获取视点

眼动跟踪的准确性与实时性严重制约了眼动交互的准确性与实时性，本文硬件上使用头戴式眼动仪，保证了头部与硬件测量设备相对静止，可以获得较高的测量精度。软件设计选择成熟的眼动跟踪算法——瞳孔⁃角膜反射向量法［8⁃9］。 眼动仪对佩戴者者侵扰程度小，算法耗时短，并可获得较精确的视线方向。眼动跟踪需获取两个重要特征：红外光源下获得的清晰瞳孔图像以及红外光源反射在角膜上的亮斑。在眼动仪与头部的相对位置保持不变的情况下，利用角膜反射亮斑作为参照量，获取与瞳孔中心的方向向量来确定眼动跟踪注视点。其基本流程如图3所示，通过一个标定的过程得到场景中注视点位置与眼部特征参数的映射关系，然后实时获取眼部特征参数来获得注视点位置。

图3 眼动跟踪算法流程图Fig.3 Flowchart of eye tracking algorithm

3.2 眼动数据预处理

人眼的眼球漂移和微小震动等生理特性会降低视线跟踪的准确性［10］，所以在眼动交互前需要进行眼动数据预处理。眼动交互系统需要的有意义的数据主要有注视（fixation）和眼跳（saccade）两种运动，其主要表征如表1所示［10］。为了从原始数据中提取出所需的两种运动信息，须对眼动数据进行预处理，具体操作有去噪滤波，剔除无效信息，合并微型眼跳等。

表1 注视及眼跳特征［10］Table 1 The characteristics of fixation and saccade［10］

在眼动信息预处理阶段，眼睛的不自主震颤会导致原始眼动注视点在某一位置产生抖动的现象，由于注视停留时间的触发方式对系统的注视点精确性敏感，此现象会造成用户体验差的后果。由此我们在预处理时利用均值滤波g（x，y，t） ＝∑f（x，y，t） （其中，m 为当前参与均值滤波处理的数据总数， f（x，y，t） 为原始眼动注视点数据，g（x，y，t） 为经滤波处理后的注视点数据）的数据处理方式消除了这种视觉上的剧烈抖动，并且保证了系统注视点的精确性，但这样不可避免的导致运动中注视点的信息精准度下降，我们的目标为在注视点的精确性和下降的信息精准度之间寻找一个最佳的折中。我们分别将去抖动滤波窗口设置为 0.5 s时长、0.8 s时长、1 s时长、1.2 s时长和1.5 s时长进行眼动注视行为试验，发现当窗口大小设置为0.5 s时长时，用户会感觉到注视点的剧烈抖动；而当窗口大小设置为1.5 s时长时，用户会感觉到注视点在跳跃时有明显的延时现象，造成系统不精确的主观印象；当滤波窗口设置为约1 s时长数据区域时，用户主观上不会感受到注视点的抖动现象和注视点跳跃时的延时现象，获得了较好的用户体验。

3.3 眼控触发方式

眼动交互是一种利用眼睛的运动信息实现人机交互的方式，具有比常规交互方式（如手持操作设备交互）更直接，更符合人类思维习惯的优点。对增强现实显示界面的控制需要采用命令式交互的模式［5］，利用眼动交互系统中的眼动仪得到的原始眼动数据，进行数据处理后，判断命令触发条件，触发交互命令。本文基于注视和眼跳等眼动信息设计了两套眼控触发方式，用户可自主选择使用长眼跳触发或注视停留触发两种方式进行交互。

3.3.1 对角线式的长眼跳眼动交互方式

通过规定用户的眼动点有序地在多个界面对象上进行跳跃来产生命令，这种眼动交互输入机制仅仅依赖于界面对象之间的相对位置关系，对眼动设备的精确度不敏感。

眼动交互系统中，眼动信息在经过预处理后，需要判断是否为长眼跳状态。规定眼跳交互的起始功能区为S区，终止功能区为T区，两者满足对角线方位，如图4所示；眼跳起点和终点分别为s x，y( )和 t x，y( )。 判断眼跳的起点 s x，y( )和终点t x，y( )是否落入相应的功能区S区和T区（即对角线圆圈）内，若符合，则执行眼动命令，算法流程图如图5所示。

图4 对角线式长眼跳触发界面对象示意图Fig.4 The diagram of diagonal long saccade trigger interface

图5 长眼跳触发算法流程Fig.5 The process of long saccade trigger algorithm

3.3.2 注视时间触发方式

当用户注视界面中某些对象超过一定时间阈值时，系统会触发相应的功能做出响应。将注视点停留时长设置为100～1500 ms的可调参数，由于不同的用户对眼动操作的熟练程度不同，可根据主观感受选择参数。若注视时长过短的话很容易造成误操作，注视时长过长的话造成用户体验很差，所以要找到一个合适的注视时长阈值达到较好的用户体验，基于注视的眼动交互对于用户认知有较小的负荷，符合用户的使用习惯，本系统利用眼动注视在增强现实显示界面能够实现菜单的唤醒与隐藏，二级菜单项触发，文档的查看与翻阅以及视频通信等功能。算法流程如图6所示。

3.4 眼动交互界面

考虑到人在认知过程中不能同时处理大量的信息，需要对信息进行了一定的选择和加工，因此交互界面显示的信息不宜过多造成人的视觉及认知上的疲惫感［11］。根据人眼的注视特性，人眼在注视某一点时，并非完全静止，包含微小眼跳、眼球漂移、微型震动等，即一个不超过1°视角的微小区域。当用于交互方式设计时，交互功能区域不应小于1°。本文为保证交互的流畅性和系统的准确性，将功能区域设置为1.5°视角范围；并在交互系统中加入了错误反馈机制，该机制可使错误触发恢复至上一状态。

图6 注视点触发算法流程Fig.6 The process of fixation stay trigger algorithm

系统的主要界面包括两部分，分别为后台监控主界面和前端投影界面。后台监控主界面主要由场景图像监控区域、眼部图像监控区域和控制面板等组成，如图7所示。控制面板可完成的功能有：建立／断开通信连接，眼动数据处理参数调节，定标提示，九点标定及结果的保存与读取，实时数据显示（亮斑中心、瞳孔中心、场景注视点、虚拟场景注视点和眼控交互状态显示等）。

图7 后台监控主界面Fig.7 The main monitoring interface of backstage supporter

前端投影界面显示虚拟场景信息及叠加的AR信息，其中虚拟场景信息是由系统初始化设定的信息，如图8（a）所示，叠加的AR信息为系统在眼动命令触发后依照功能需求显示的信息，如图8（b）～（d）所示。佩戴者实际视野展示如图8（e）～（f）所示。功能需求包括主菜单的显示与隐藏，一级菜单与二级菜单的触发，文档的翻页和视频通信等。

图8 前端投影界面Fig.8 Front projection screen

4 试验与分析

4.1 系统验证环境搭建

为验证眼动交互方法的可行性与准确性，开发头戴式眼动仪（图9（a））、搭建硬件平台及实现测试软件对眼动交互方法进行模拟验证。

在验证系统中头戴式眼动仪与航天员身上携带的可穿戴计算机相连，用于数据的采集与传输；光学透视式投影显示模块，将计算机处理后的AR画面实时投影到航天员前方投影面上，便于航天员与后台进行交互；用于模拟空间站／地面站的后台计算机通过无线网络传输的形式，接收来自可穿戴计算机的眼部图像和场景图像并进行处理。整个软件以客户端／服务器端的形式实现，客户端采集到的眼部图像和场景图像经图像传输模块传输到服务器端进行预处理与眼动跟踪计算得到注视点，最终实现基于注视点完成眼控交互测试任务。验证系统搭建如图9（b）所示。

4.2 系统可用性评估

考虑到本系统的主要目的在于眼控交互功能的实现，令用户参与到可用性评估［12］中，所以系统的可用性评估由眼控人机交互的实时性、准确性和用户满意度决定。

图9 头戴式眼动仪及原理验证系统Fig.9 Head mounted eye tracker and the principle of verification system

系统选用30 FPS的眼部摄像机和300 M无线USB网卡，视线估计算法用时约32±5 ms，能够以25帧／s的速度获取注视点，达到了实时性的要求。视线跟踪的准确度可用式（1）所示跟踪误差来衡量［10］：

其中，H为被测者到测试目标所在平面的距离，α为允许的误差视角，R为目标所在平面上估算视线与真实视线的误差圆半径。本文将眼控交互功能触发区域半径设置为α为1°对应的误差圆半径R，统计其功能触发的正确率作为系统的准确性评估。

为了评估系统的准确性和用户满意度，本文招募了30名测试者来完成以下测试任务，各个测试者视力情况均正常，统计测试结果并通过调查问卷的方式收集用户的满意度信息。

1）测试者佩戴眼动仪分别在不同注视时长阈值（100～1500 ms）下完成了10轮眼控触发的试验，并对主菜单的显示与隐藏，一级菜单与二级菜单的触发，文档的前后翻页及关闭和视频通信及关闭共计11个控制对象的准确率进行了统计，结果如图10所示。

图10 不同注视时间阈值下的准确率Fig.10 The accuracy rate of different fixation time

结果显示，注视停留时间越长，功能触发的准确率越高，但是时间越长用户体验也就越差，给用户留下系统延时太高的主观印象。注视停留时间越短的话，功能触发的错误率越高，由于不同的用户的适应能力不同，导致在不同时间阈值下的错误率不同。

2）针对长眼跳触发的可用性评估，30名测试者佩戴眼动仪完成了长眼跳触发实现文档的前后翻页功能测试且每名测试者有间隔的完成了10轮测试，将文档的主对角线方向的长眼跳设置为向前翻页，而副对角线方向设置为向后翻页，分别统计了10轮测试中的功能触发的准确率，结果如图11所示。

图11 10轮测试下长眼跳触发准确率Fig.11 The accuracy rate of long saccade trigger in 10 rounds

随着测试轮数的推进，系统长眼跳触发的准确率在慢慢增加至80%以上，这符合人的认知规律，长眼跳触发需要经过学习训练来达到提高准确率的目的。

3）对调查问卷进行统计，30名测试者佩戴眼动仪完成测试后对系统进行打分，分别就头戴式眼动仪外观及佩戴舒适程度、交互系统界面、注视停留时间触发功能和长眼跳触发功能的满意程度进行主观评价，每项打分均为10分制。对调查结果进行统计得到平均满意度如表2所示。

表2 用户主观评价Table 2 User subjective evaluation

通过测试结果数据分析可知：测试者对系统的整体表现基本满意，系统能够实现视线跟踪；功能触发的总的正确率为90%以上；用户能及时搜索到交互对象，即界面设计满足规范性与易理解性；综上所述，面向舱外航天服的头戴式眼动交互系统实现了所需功能，交互错误率低，用户满意度高，且界面友好，易于掌握。

5 结论

本文基于HMD和眼动交互技术设计的面向舱外航天服的头戴式眼动交互系统的可行性通过得到了验证。基于注视停留时间和长眼跳触发相应控制命令，佩戴者能通过眼动命令准确地对HMD界面的图标、菜单和按钮进行控制，眼动触发功能的准确率达到90%以上。

眼动交互为舱外活动提供了一种新颖的人机交互方式，兼具鲁棒性与可靠性，满足了人机交互系统中眼控触发灵敏、交互界面友好和用户满意度高等需求，具有较好的应用前景。

［1］ 周晓晶，李潭秋，夏林根，等.可穿戴计算机及其在先进舱外航天服中的应用［J］.载人航天，2009，15（2）：10⁃15.

Zhou Xiaojing， Li Tanqiu， Xia Lingen， et al.Application of wearable computer for advanced extravehicular activity space suit［J］.Manned Spaceflight， 2009， 15（2）：10⁃15.（in Chi⁃nese）

［2］ 杨新军，吴华夏，余晓芬，等.穿透型航天员舱外头盔信息显示系统［J］.红外与激光工程，2010，39（2）：241⁃245.

Yang Xinjun， Wu Huaxia， Yu Xiaofen，et al.Helmet⁃mount⁃ed display system for supporting extravehicular activity of as⁃tronaut［J］， Infrared and Laser Engineering， 2010， 39（2）：241⁃245.（in Chinese）

［ 3 ］ Marmolejo J A.Helmet⁃mounted display and associated re⁃search activities recently conducted by the NASA Johnson Space Center［C］ ／／Helmet⁃and Head⁃Mounted Displays and Symbology Design Requirements.International Society for Op⁃tics and Photonics， 1994， 2218： 281⁃292.

［4］ 王向军，蔡方方，刘峰，等.非接触动态实时视线跟踪技术［J］.计算机科学与探索，2015，9（3）： 266⁃278.

Wang Xiangjun， Cai Fangfang， Liu Feng， et al.Non⁃contact dynamic real⁃time eye tracking technology［ J］.Journal of Frontiers of Computer Science and Technology， 2015， 9（3）：266⁃278.（in Chinese）

［5］ 李姗，潘纲，李石坚.面向残障人士的基于眼动交互的绘画系统［J］.电子学报， 2011， 39（S1）： 163⁃167.

Li Shan， Pan Gang， Li Shijian， et al.Eye⁃controlled painting system for disabled［J］.Acta Electronica Sinica， 2011， 39（S1）： 163⁃167.（in Chinese）

［6］ 贾宏博，师国伟，姚钦.眼动跟踪技术及其在军事领域的应用［J］.航天医学与医学工程，2016， 29（5）：385⁃390.

Jia Hongbo， Shi Guowei， Yao Qin.Eye tracking technology and its application on military［J］.Space Medicine ＆ Medical Engineering， 2016， 29（5）： 385⁃390.（in Chinese）

［7］ 尹露，王雨婷，罗斌，等.基于眼动跟踪的自动瞄准技术研究［J］.兵工学报， 2014（S1）： 74⁃79.

Yin Lu， Wang Yuting， Luo Bin， et al.Study of automatic ai⁃ming technology based on eye tracking［J］.Acta Armamenta⁃rii， 2014（S1）： 74⁃79.（in Chinese）

［8］ 张闯，迟健男，张朝晖，等.一种新的基于瞳孔⁃角膜反射技术的视线追踪方法［J］.计算机学报，2010，33（7）：1272⁃1285.

Zhang Chuang， Chi Jiannan， Zhang Zhaohui， et al.A novel eye gaze tracking technique based on pupil center cornea re⁃flection technique［J］.Chineae Journal of Computer， 2010，33（7）： 1272⁃1285.（in Chinese）

［9］ Li D， Winfield D， Parkhurst D J.Starburst： A hybrid algo⁃rithm for video⁃based eye tracking combining feature⁃based and model⁃based approaches［C］ ／／IEEE Computer Society Confer⁃ence on Computer Vision and Pattern Recognition.IEEE，2005： 79⁃79.

［10］ 张昀.视线跟踪技术及可计算眼动建模研究［D］.西安：西北工业大学，2010.

Zhang Yun.Research on Eye Tracking and Computable Eye Movement Modeling［D］.Xi’an： Northwestern Polytechnical University， 2010.（in Chinese）

［11］ 谢欢，赵歆波，侯阳.适用于手机的眼动输入方法研究［J］.计算机与现代化， 2013（4）： 81⁃85.

Xie Huan， Zhao Xinbo， Hou Yang.Eye⁃input interaction for mobile phones［J］.Jisuanji Yu Xiandaihua， 2013（4）： 81⁃85.（in Chinese）

［12］ 刘颖.人机交互界面的可用性评估及方法［J］.人类工效学， 2002， 8（2）： 35⁃38.

Liu Ying.Usability evaluation and method of human⁃computer interaction interface［J］.Chinese Journal of Ergonomics，2002， 8（2）： 35⁃38.（in Chinese）