眼动追踪在虚拟现实中的用户体验研究

赵文轩 章立

摘  要：随着元宇宙时代的兴起，虚拟现实中交互体验也越来越受到重视，而显示硬件技术与感知技术的发展，使得眼动追踪技术应用也渐渐成熟，在虚拟现实交互系统中扮演着不可或缺的角色。文章着重对眼动追踪技术原理、应用案例进行分析，得出沉浸式自然交互、用户体验度量和拟真人眼显示三种眼动追踪应用于虚拟现实中的较为成熟且广泛的方向。最后总结出眼动追踪在虚拟现实中的应用策略，并在此策略的基础之上对无锡“金莲桥”“御碑亭”及其周边环境进行虚拟现实眼动交互实践开发。

关键词：虚拟现实；眼动追踪；用户体验；自然交互

常言道：“眼睛是人心灵的窗户。”眼睛不单单是人类获得视觉信息的方式，也是表达内心世界的窗口。眼动追踪技术正是通过对眼睛行为的捕捉，进而获得眼球的行为数据，是一种基于生理心理学的获取技术。近年来，眼动追踪技术在认知科学、心理行为学、神经科学等领域均有广泛研究与应用。本文将着重探讨眼动追踪在虚拟现实中交互体验的应用。

虚拟现实技术因其可以带来沉浸式的体验、拟真的情景模拟现已广泛地应用于军工、医疗、教育、设计等领域，且发挥着不可估量的作用。同时虚拟现实技术也是一类集合了显示硬件技术、传感器感知技术等诸多高精尖技术知识为一体的集合[1]。随着虚拟现实技术发展，虚拟现实的使用属性也渐渐从传统的观看转变为主动的交互。与此同时，虚拟现实对大众的吸引力也日益变高，大众不满足于简单的虚拟现实游览和游玩体验，而是期望得到更加新奇、更加自然和沉浸的感官体验[2]。面对各个领域的需求，虚拟现实以往的交互模式已无法满足深层次的应用情景需求，从而需要更为人性化、更为自然和主动的交互方式。

随着感知技术的发展，眼动追踪技术应用也已渐成熟，通过对眼球行为的捕捉和分析可以进一步了解主体的思维方式和认知过程，从而理性判斷主体的意识行为。眼动追踪技术目前已广泛应用于人机交互、行为评估、心理认知等领域，在早期，眼动追踪技术并不成熟，往往应用于对眼睛的识别、注视点的观测等，只作为简单的记录工具，但随着硬件识别精度和准度的提升，眼动追踪技术现已可以应用于眼部动作的捕捉、记录眼跳和瞳孔的变化等更为细致、微观的眼部行为。眼动仪器也渐渐广泛应用于各类硬件显示设备之中，例如智能手机、显示器、虚拟现实头盔等。

一、虚拟现实中的眼动追踪的技术原理

眼动追踪实验原理可大致分为获取阶段、处理阶段。在获取阶段，虚拟现实硬件设备中大多内置光学传感器和内置摄像头，光学传感器以超高频率向眼睛发射人眼不可见的红外光，该红外光会在眼球上产生一个光点——普尔钦斑。随后摄像机使用瞳孔角膜反射法（通过角膜中心和瞳孔中心的连线进行眼动追踪），定位瞳孔位置，获取瞳孔中心坐标，得到眼球的移动轨迹[3]。在处理阶段，计算机根据光点的移动进行计算机视觉分析，得出人眼的行为数据，并实时记录。由于红外光人眼并不可见，所以眼动追踪的过程并不影响体验者正常的行为体验。

二、虚拟现实中的眼动追踪体验应用

（一）用户体验评测

视觉获取的信息为人类主要获取信息的方式之一，眼动追踪与沉浸式虚拟现实结合将为视觉注意的研究方式带来转变并为专业研究领域带来新的可能性，如心理学、行为模式研究、学习和效能评估等。虚拟现实硬件内置的摄像机、陀螺仪传感器等感知仪器一起同时记录主体的3D空间位置、注视时间、注视顺序、瞳孔大小、眨眼次数、眼跳、眼睑闭合度等数据，用来发现能够吸引人们注意力的因素，了解人们感知其周围事物的视觉方式以及驱使人们作出决策的因素，捕获不受被试者或主试者意识影响的自然反应。例如，注视时长和注视顺序往往会反应出主体的兴趣程度，眨眼程度的变化可以反映出主题的注意力是否集中等。收集的数据可以二次导入虚拟情景进行可视化还原，并制作成热点图、透视图等更直观的观察方式，以供进行用户行为研究。

（二）沉浸式自然交互

自然交互是指当交互主体在参与交互过程中可以根据以往经验与认知，进行无障碍交互，整个过程具有安全性、高效性、高可用性的特征。自然交互的介入，使得交互主体更加易于学习任务目标，且快速和正确地执行。

感知技术的成熟使得人机交互更快速、更直观。如果设计完善，此技术可帮助用户在虚拟情景中进行自然行为操作，甚至根据潜意识进行交互。再者，自然交互的加入可以极大程度抛弃虚拟情境中具有割裂感的二维交互界面。传统平面式的交互界面不符合体验者的现实认知，且缺乏交互的趣味性。眼动追踪的使用为VR用户提供一种全新的人机交互方式，通过凝视实现更自然的互动，打造出沉浸式虚拟体验。眼动追踪早在几十年前就已投入专项系统的使用。例如在医疗辅助设备方面，瘫痪患者能够通过目光的移动操控轮椅和通讯工具。此外，眼动追踪功能在智能手机和平板电脑上的应用也已广为人知。然而最能体现眼动追踪技术优势的还是VR和AR此类的应用场景。

截止目前，已有100多款游戏加入了眼动追踪功能。Cineon与Aquila Jet Training合作开发了针对航空机长训练系统，利用VR眼动追踪技术提供反馈眼动训练（FBEMT）。该系统监视受训人员的视线，通过凝视、注视时长等模拟真实的航空飞行，从而提高训练者的洞察力。相似的案例还有《NeosVR》，这是一款在VR环境下提供给多人实时合作创造绘画、影像等作品的社交类游戏。眼动追踪技术使得玩家间在游戏中可以使用眼神进行交流，大大增加了用户交流信息的带宽以及用户体验，同时也增强了游戏的社交性。

（三）拟真人眼显示

人类眼睛的工作机制与照相机有很多的相似之处：光线在一个物体或场景产生的反射通过一个透镜进入眼睛。不过，由于人眼的视网膜在光线感知上的分布并不均衡，这使得眼球带有折衷性的特征。例如，将人眼视野范围的中央移动至周边时，我们只能看到注视区域的细节，而我们视野中的较大部分周边区域则处于模糊不清的状态，该区域产生的图像模糊且色彩较少。在这两个区域之间，存在着一个叫做副中央区域的过渡区域。在此区域，当我们从中央窝向周边区域移动时，图像的模糊程度会逐渐增加。

虚拟现实给体验者身临其境的沉浸感需要满足诸多条件，例如逼真的画面、高赫兹的刷新率等，而快速渲染以假乱真的画面给计算机算力带来了极大挑战。与传统屏幕相比，虚拟现实硬件多为高刷新率的双屏幕显示方式，两块屏幕分别对应人的两个眼睛，如此一来，进一步加剧了算力的负担[4]。以HTC VIVE PRO硬件为例，该硬件的单眼分辨率为1400*1600，双眼分辨率达到了2800*1600，远高于常见的2K分辨率。注视点渲染技术指的是通过眼球追踪来识别用户在VR中的注视点，从而动态地将注视范围中心附近渲染清晰，而将边缘区域进行模糊渲染。如此一来，注视点渲染方案大大降低计算机的运算负担。根据NVIDIA与Tobii共同公布的注视点渲染技术数据显示，注视点渲染技术可将渲染效果最高提升57%。与此同时，注视点渲染技术呈现的图像更接近真实人眼的视觉习惯，减少了视觉疲劳、眩晕症等诸多生理性不适情况。

三、眼动追踪在虚拟现实中应用的设计策略

在进行眼动虚拟现实体验设计时，应提前设计眼动信息的获取方式并记录，以便后续展开用户体验评测。眼动信息的收集不可影响体验者正常的行为体验。由于注视点渲染技术的逐步完善和普及，给予虚拟现实画面更大的发挥空间。设计者可以考虑设计制作光影更加真实、人物动作更加生动、细节更加清晰的虚拟情景，来提高体验者的临场感。

眼动追踪的加入给予了虚拟现实自然交互系统发展更多的可能性，眼动自然交互使得体验者可以充分解放双手，使用先天的眼动行为习惯进行表达和交互，降低学习成本。设计者应着重考虑体验者在虚拟情景下的自然眼动行为，如扫视、注视、阅读等进行交互方式的设计，使得体验者可以更加自觉地完成交互体验。在信息策略设计上，由于三维虚拟情景具有真实性、沉浸感，应尽量避免出现过多以文字、图形、界面为元素的二维交互界面，若设计不当，则会导致体验者的沉浸感大打折扣。

四、在虚拟现实中的眼动交互设计策略案例实践

（一）金莲桥及御碑亭概况简介

无锡惠山寺前的金莲桥，是市内现存最古老的石梁桥，建于宋，位于惠山寺御碑亭前，是由宋代抗金名相、无锡人李纲修建，距今已有800多年历史。金莲桥是由抱鼓石、石梁、螭首、望柱、栏杆、桥墩、桥面七种结构组成的三孔石梁桥结构，栏杆两侧具有荷叶净瓶、缠枝牡丹等富有吉祥寓意的传统纹样，极具艺术审美韵味[5]。御碑亭，坐落于金莲桥西侧，始建于1770年，在四面墙壁上共有十二孔圆窗，寓意四通八达。亭内中央树立一碑，四面各有一首乾隆四下江南所提的四首御诗，乾隆笔下行云流水、妙笔生花。

目前大多虚拟现实产品中面临着交互体验差、沉浸感与临场感差的问题。眼动追踪技术的加入使得眼动交互成为可能。本实践是一个基于眼动交互的建筑文化遗产VR作品，侧重于将最新的虚拟现实交互技术应用于建筑遗产的沉浸式体验。在交互体验的设计开发中，笔者研究了HTC VIVE PRO的眼动追踪技术，在沉浸式场景中，实现了眼动交互的信息互动方式。

（二）虚拟现实眼动交互原型开发

笔者研究了HTV VIVE PRO中的眼动追踪功能，并在此基础之上开发完成了一组虚拟现实眼动交互系统，系统中交互方式以眼动交互方式减少了用户学习手柄复杂的按键映射关系，大大降低了学习成本。首先，收集金莲桥以及御碑亭的文献资料，使用摄影测量的方式对金莲桥以及亭内的御碑进行了高保真的数字化重建，获取其表面纹理以及三维模型信息，并在此基础之上进行了多边形拓扑，使其可以在实机中更加流畅地运行。其次，在Unity3D中搭建虚拟场景，完成金莲池、古樟树、院落等三维资产的搭建，并使用光照烘焙技术使场景光照更加真实（如图1）以此還原金莲桥周边古色古香的园林生态原貌。最后，在虚拟场景中介入HTC眼动SDK，并进行“拆解桥梁”“阅读碑文”环节的眼动交互流程设计，完成对应功能开发。

用户进入虚拟现实眼动应用后，可自由使用手柄基础的移动功能进行唯一、自由地参观，也可使用眼动交互进行系列操作。视野中会出现圆形小球，即用户实现的注视点，给予用户实时的眼睛注视点反馈，以便完成系列操作。

（三）眼动交互设计

目前大多虚拟现实交互应用多为手柄交互为主，其原理是用手柄代作为拟世界中的手，完成选择、瞄准、拿取等交互行为。眼动交互则可以根据虚拟现实中获取的眼动数据，测算出用户实时的注视点，以此来代替传统手柄交互的选择性行为。在应用中，眼动交互的设计主要集中在“眼动交互UI”“拼接桥梁”和“阅读碑文”上。

如图2所示，笔者在虚拟情景中设立了一系列眼动交互UI，当用户注视UI一段时间且不中断后即可激活。在注视期间，被注视物体出现选中提示并播放等待动画，出现声音反馈，完成后进入下一交互流程。区别于传统手柄瞄准后按下的交互方式，自然式眼动交互使得用户可以在虚拟情景中充分解放双手，更加自主交互，同时提升了用户的沉浸感。

在“拼接桥梁”功能的开发上也采用了眼动交互的方式（如图3）当用户注视金莲桥某处结构时，会出现相应的交互反馈，保持注视一段时间后便会在结构周围出现对应结构的注释和详解。而在“阅读碑文”功能开发上（如图4），当用户在阅读碑文的同时，就会获取用户的注视点，并激活注视点所在的诗句，显示为高亮，并在一旁显示诗句的解释，长时间不被注视的诗句则会消失高亮。眼动交互的方式更加符合用户在现实中搜索的自然习惯，同时，无意识的交互行为大大提高了交互的趣味性和反馈感。当用户在虚拟情景中进行阅读诗句体验期间，眼动交互给予的解释反馈与现实中阅读并理解古诗的诉求不谋而合。

五、结语

据经Super Data预测，VR产业在2020年的全球收入将会达到29亿美元，2023年就会增长至57亿美元。任何新技术的到来都会经历一次“N”型曲线，虚拟现实自2016年的“VR元年”之后便处于发展瓶颈期，一蹶不振，但随着计算机算力的提升、虚拟现实硬件价格的亲民化、更多感知技术的完善和开发引擎功能的迭代，VR近期在不知不觉中再次成为热点。笔者相信，虚拟现实未来的交互模式绝不局限于目前基础的手柄与传感器，而会是一种更加自主与沉浸式的交互方式。而眼动追踪技术的加入使得这一需求得以实现。在今后虚拟现实的用户体验发展中，眼动追踪将会越来越广泛地应用于虚拟现实用户体验之中，且发挥着不可估量的作用。

参考文献：

[1]黄心渊，陈柏君.基于沉浸式传播的虚拟现实艺术设计策略[J].现代传播（中国传媒大学学报），2017（1）：85-89.

[2]苗岭.虚拟现实技术在博物馆叙事性设计中的应用探索[J].包装工程，2018（4）：15-18.

[3]侯守明，贾超兰，张明敏.用于虚拟现实系统的眼动交互技术综述[J].计算机应用，2022（11）：3534-3543.

[4]章立，赵文轩，邱钰，许文广.基于自然交互的建筑文化遗产传播模式研究——以金莲桥为例[J].包装工程，2021（22）：20-25.

[5]朱蓉，查娜，李镇国.无锡古桥梁建筑艺术特色研究[J].创意与设计，2013（6）：83-87.

作者简介：

赵文轩，江南大学设计学院艺术设计专业硕士研究生。研究方向：交互艺术、数字娱乐设计。

章立，江南大学设计学院副教授，硕士研究生导师。