眼动技术在互动装置艺术中的应用

达妮莎，郑海期

（大连理工大学 建筑与艺术学院，辽宁 大连 116024）

“装置艺术”是西方当代艺术中的一个流派，这一艺术流派从20世纪70年代开始被人们所熟知，逐渐引起人们的广泛关注和研究①。装置艺术是指在特定时空环境、材料的象征意义、艺术家的个人情感、目的性的创作和实验下的综合展示艺术。无论在创作观念上，还是表现形式及材料应用等方面都表现出开放性和包容性，多媒体和互动是装置艺术总的发展方向②。新媒体互动装置艺术，就是在装置艺术的创作中可以跨界融合多媒体等现代技术的艺术。其中数字媒介材料及其产品设备既是创作的媒介材料，也是创作和传播展示的工具。在数字技术与数字媒介的参与和支持下，互动装置艺术更具交互性，其呈现方式也更具多样化。

海德格尔曾言：“每个时代都有一个时代的命题。”在新媒体与各领域不断碰撞与融合的今天，新媒体的概念相对于旧媒体而言发生众多变化，其内涵更加丰富，具有交互性、数字化、虚拟化和非线性等特点。交互性赋予了新媒体装置艺术实验性，这与眼动技术所提倡的实验精神有异曲同工之处。眼动技术及其相关实验的研究视角为新媒体互动装置的创作提供了宝贵的信息，这是可用性测试、问卷调查、后台数据挖掘等研究手段难以实现的，同时眼动技术还为互动装置艺术提供了更准确的效果预估，让观众能够与装置更好地实现人机互动，充分享受沉浸式交互体验。

一、眼动技术在新媒体领域的应用背景及现状

眼动技术研究在20世纪60年代由荆其诚教授从国外介绍引入中国，90年代后随着数字媒体技术迅速发展，国内开始利用眼动技术进行阅读研究。直至21世纪，在新媒体背景下眼动技术以其无干扰性、适用范围广、时间精度和空间分辨率高、采集信息多样等优势受到国内传媒业的关注并开始通过视觉行为来预测受众的交互意图，其应用范围也逐渐扩展至多学科、多领域并形成跨界融合的发展趋势。

新媒体交互艺术的发展依附于人与机的基础之上，其与眼动技术的融合意味着“跨界”，在艺术领域即为“交叉”与“超越”。跨界使内容各异的文化和理念相互交错、碰撞，归纳整合为新的质点。目前，国内外的互动装置艺术案例中，众多新颖的视觉效果以及多感官的交互体验的产生得益于打破了固化的艺术传统思维和常规思维定式。

近年来，国内外对于眼动技术的研究已经有了一定的理论基础和实践作品，形成了较为完备的设计体系。眼动技术在新媒体领域的研究主要集中在利用眼动技术归纳总结受众在接受和反馈信息过程中的认知模式、交互行为以及审美心理，借以优化网页设计、人机交互界面及相关视觉化应用。但研究内容多停留于平面设计方向，涉及互动和沉浸式界面的研究有限，尚未充分利用眼动技术相关理论进行融合，这意味着在新媒体交互艺术创作中有待于进一步发挥眼动技术优势，从而，为新媒体艺术领域提供更广阔的设计空间。

二、眼动技术在互动装置艺术中的应用范畴

（一）互动装置艺术的认知模式

交互性是互动装置艺术区别于传统装置艺术与非互动装置艺术的最主要特征，改变了单向传达模式，在受众对作品给予反馈过程中分析出受众对新媒体装置艺术的认知模式并把其提升为参与者。受众通过感知、注意、记忆和情绪等认知行为获取信息、加工信息、贮存信息及使用信息的高级心理历程。在与装置艺术互动的过程中常借助感知系统来“感知”艺术中的色彩、声音，或作品中的某些互动内容。

首先，眼动技术与新媒体艺术认知模式里的视觉刺激感知有着密切的联系。新媒体装置艺术作品需要视觉感官的参与，受众首先通过眼睛观察，捕捉装置交互界面中的颜色、形状、大小等信息，经由整个视知觉过程，对艺术作品留下初步的视觉审美体验。眼动技术可以利用热区、注视时长、注视点数等数据进行分类统计整理，基于视觉感知通过不同装置界面区域的趋近或回避反应来对装置进行改进。

其次，眼动技术与新媒体艺术认知模式里的“集中注意”这一特点也有着重要联系。一切心理活动都离不开注意，它代表有选择性地感知事物，只有引起观众视觉注意力的装置才能更好地和观众互动从而达到设计目的。受众在与装置进行互动过程中会主观地选择感兴趣且符合需求的内容，并能够长时间、持续性地集中视觉注意力。眼动技术可以进一步分析受众的注意力，利用眼动仪可以清晰地看到受众的视线轨迹，眼睛先大致浏览装置，然后观察眼睛集中于装置的哪个区域。眼动技术还可以分析出受众视线停留的热区，通过热点图中不同颜色来辨别装置中引起注意力集中或分散的区域。眼动技术在互动装置艺术中的运用有利于满足受众的需求，寻求最佳关注点、兴趣点并引起受众对装置相对长时间的注意，从而更好地使受众在互动中感受艺术家所传达的设计理念。

最后，人们在与装置产生互动的过程中需要处理记忆并最终实现与互动装置之间的情感共鸣。眼动技术可以通过记录一次完整的装置互动体验来抽取交互体验样本数据，与受众感兴趣的记忆点进行对比分析，例如注视时间长短与兴趣记忆点的关系等，最终产生装置交互界面与受众的交互情况、喜好程度的反馈评价。

（二）互动装置艺术的交互性

新媒体艺术交互特性在多通道交互③、虚拟现实④、全息投影⑤、体感交互⑥等技术的支持下，开始通过摄像头、触摸屏等手段突破单一的视觉感官体验，不再局限于常规的交互模式。艺术家在新时代背景下创作了一系列具有多感性、反馈性、多元性、虚拟性、沉浸性等交互特性的互动装置，而眼动技术恰为这些交互特性提供了可用性测试途径。

眼动技术实验的可用性，包括有效性、效率和满意度三个指标，可以帮助艺术家在创作新媒体装置时处理交互信息。眼动实验中的卡尔曼滤波预测原理，类似于视线跟踪人机交互中头部运动引起视线估计误差的特点，可根据此特点判断视线追踪互动装置系统是否需要重新标定，来提升装置艺术的创作效率及其有效性和交互性。

再如，眼动技术中的光流特征追踪原理对运用运动的物体为表现媒介的交互装置有很大帮助，运动对象在人眼视网膜上形成一系列连续变化的图像信息。这种图像如“光流”一般赋予每一个像素点一个速度矢量，这样便形成了一个图像光流场。光流计算是研究利用图像系列中像素强度信息的时域变化和相关性来确定各像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。同时光流特征追踪原理采用红外光源避免图像质量受自然环境光的影响，增强了普尔钦斑点更易于追踪的眼动轨迹，有利于受众更好体验装置中的人机交互过程，提升受众对装置的满意度。

（三）互动装置艺术的审美特征

新媒体交互艺术颠覆了传统艺术作品的静态之美，赋予了装置艺术可操作性，将美感置于受众与装置艺术互动所产生的不同层级的愉悦情感体验之中。互动装置艺术所传达的跨领域化、去疆域化的情感美学特征要求我们在创作中与不同的领域进行合作，形成多领域合作的趋势。眼动技术作为科学性研究手段，通过与新媒体艺术的碰撞与融合，创造了新的美学观并产生新的艺术创作形式。

眼动技术在审美范畴内为艺术家从审美角度抽取被试对象样本，比较出吸引注视的区域、获得被试对象的审美偏好，以及围绕不同媒介构建审美概念模型等方面做出了一定的贡献。同时使眼动技术在互动装置中的应用从认知心理拓展到设计的审美心理研究，致力于审美与情感的融合。通过眼动技术所呈现出的实验数据，对互动装置的审美评价进行量化分析，去测量受众对互动装置的情感化审美体验，从而改善艺术家对艺术创作的美学视角。

三、眼动技术在互动装置艺术中应用的优势

（一）提供技术支持

互动装置艺术在其发展过程中，从单纯的材料组合和对现成品的利用，发展到以各种光学、电子、动力、声音、互动、气味和温度等新媒介和新技术的数字手段及感应技术来呈现更加多样化的变化⑦。由于大量数字媒体和数字技术出现，当代互动装置常常体现出数字技术与媒介的互动性与网络化特性。无论在艺术观念上，还是媒介材料特性的应用和实验上，以及在艺术语言的表达方式上，眼动技术都迎合了互动装置艺术的要求，并拓展了其艺术表现领域和呈现空间。不仅如此，互动装置艺术在呈现形态和空间体量等方面也日趋庞大和复杂，这也意味着互动装置艺术中亟需多学科之间的交叉，来实现技术与艺术之间的跨界融合。

互动装置艺术在呈现形态和空间技术等方面的复杂性还表现在科学技术与观众的互动所产生的能动作用。眼动技术不仅被广泛应用于广告的效果评估及视觉界面的设计和传播，也可运用到受众对互动装置艺术的认知行为实验中。例如眼动仪通过采集注视、眼跳在时间、空间维度上的指标，呈现追随眼动的轨迹，以此来分析调动参与者与装置互动的能动因素，让装置创作更为严谨，更加便利地获取互动信息。

（二）增强互动体验

互动装置与交互体验紧密相关，设计师不仅要衡量互动装置在情感或体验上能对受众产生多少共鸣，还要思索互动体验的构成。对于受众体验结构的理解，最简洁也最广为引述的描述来自Jodi Forlizzi和Shannon Ford，前者来自卡内基·梅隆大学设计学院和人机交互学院，后者是前Scient Corporation成员⑧。两位作者表明：所谓一次体验，少了一些来自人自身的掌控，因为人本身参与到体验过程中；而作为故事的体验又把控制权交给人，因为当体验结束后，是由人来把握如何分享其体验。这意味着创造精妙的交互体验不仅依赖于体验本身，并且需要设计师把关注点放到创建“体验发生的场景”的结构上，通过构建良好的交互场景及运用合适的交互模式来增强参与者对互动装置的代入感。

在以新媒介为主的互动装置中，受众作为交互的主体，有起着触发人机交互的作用。艺术的内在逻辑就是艺术家与受众的交互联系，在进行艺术创作时，需考虑受众的认知心理、行为特点、情感需求等，让受众由被动地接受装置所传递的信息转为双方信息的交换与互动，并在欣赏艺术作品时有更加流畅的体验，更好地与艺术家展开情感交流。眼动技术可以通过数据客观反映受众的感知响应力、注意力、参与度，并辨别装置可操作性以及是否与认知相符。如新媒体互动艺术家郑达创作的《虚拟的肖像—入侵计划》（Virtual Portrait—Invasion Project）是一个采用虚实交互和视听交互两种形式，从而让受众身体与虚实空间互动的电子影像装置。认知模式由刺激受众的视觉和听觉系统开始，使受众的注意力集中于爆炸的建筑物以产生兴趣并更好地更换动作参与互动。眼动数据可以分析出最佳的建筑物爆炸区域让观众产生强烈沉浸感并把爆炸反应的震撼感最大化，增强受众与装置之间的互动体验。

（三）审美心理预测

信息化的高度发展促进了新媒体艺术的发展，艺术家不再是单一的主体，审美的客体也不再是单一的媒体，而是实现了多种媒体的整合和主客体的统一。互动装置艺术中的审美主体性逐渐升华为主体间性，客体的多媒体性多角度地刺激了审美主体的感觉器官，赋予审美的主体更多参与的可能性。在众多衡量互动装置艺术的方法和指标中，眼动技术的应用愈加普遍，这与其自身优势是分不开的。

眼动技术与目前心理学实验原理相结合，从审美和心理层面实现受众对互动装置艺术参与体验的效果的预测。两者结合有助于互动装置艺术更好地实现心理旋转、调控、视觉搜索、预视效应等效果。同时，眼动技术可以根据研究目的和研究需要将被试视觉对象划分成不同的兴趣区（Area of Interest，AOI），并由此得出每个兴趣区内的眼动数据⑨。也可利用眼动仪记录被试对象在参考外部框架时的眼动特征来实现兴趣区域的心理预测，使现场审美过程具备强大的吸引力，以此削弱受众与互动装置之间的距离感。

四、存在问题

目前眼动技术所需要的Eyelink系列眼动仪及Tobii系列眼动仪被广泛应用于广告效果评估、视觉传播等研究，但针对互动装置艺术适配的眼动测试仪器数量较少且适用的情境较为单一，在数据的测量精度和实验的生态效率、设备的性能等方面仍存在较大的提升和拓展空间。随着艺术边界日趋模糊，艺术通过跨界研究形成了多种交叉模式。对于互动装置中交互体验的增强，仍需结合眼动技术开发将人机互动置于新高度，进行多学科、多领域的跨界融合，进一步探索技术与艺术作品之间的相互作用、相互影响与相互关联。

结语

威尔伯·施拉姆认为，“对我们来说，传播是一种自然而然的、必须的、无所不在的活动。我们建立传播关系是因为我们要同环境、特别是我们周围的人类环境相联系。”⑩

眼动技术的应用迎合了互动装置艺术的传播需求，在对自然建立与受众及其所处互动空间的联系及推广艺术家的设计理念上起到关键作用，使受众不仅从思想上，还能从行为上去揣摩作品表达的内涵，达到体验、思索和升华的目的。但眼动技术若能克服设备缺陷且不局限于平面视觉传播范畴，则将在未来成为连接技术与艺术跨界融合的纽带之一，引领艺术与多学科交叉发展新趋向，并适用于更多新媒体领域，创造更大的价值！

注释：

①赵明杰，胡维平.新媒体时代交互艺术的本质——以装置媒体艺术为例[J].美与时代（上）.2014（1）：25-27.

②许江，吴美纯.非线性叙事（新媒体艺术与媒体文化）[M].杭州：中国美术学院出版社，2006.

③多通道交互：多通道交互（Multi-channel user interface，MCUI），是指综合使用多种输入通道和输出通道，用最恰当的方式传递服务，满足用户需求，具备实现多设备协同和跨设备场景迁移的价值特征。

④虚拟现实：虚拟现实技术（Virtual Reality，缩写为VR），又称灵境技术，是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。

⑤全息投影技术：全息投影技术（front-projected holographic display）属于3D技术的一种，原指利用干涉原理记录并再现物体真实的三维图像的技术。

⑥体感交互：作为一种新型的人机互动体感控制系统，能够将运动与娱乐融入生活。操作者可以用自己的肢体去控制系统，并且实现与互联网玩家互动，分享图片、影音信息。

⑦宫林，栾伟丽.虚拟构象（下）·创意与表达[M].北京：人民邮电出版社，2017.3.

⑧〔美〕科尔科（Kolko，J.）.交互设计沉思录[M].方舟，译.北京：机械工业出版社，2018.12.

⑨李文清，张珊珊，徐琨鹏.眼动仪在认知行为实验中的应用及选择[J].软件导刊，2020（2）：80-83.

⑩威尔伯·施拉姆.传播学概论[M].北京：新华出版社，1984：168.