基于通感体验的浸没式交互装置艺术探究

摘要：艺术家将自己的观念与当代技术相结合的互动设计称为交互装置艺术。文章以米兰设计周展出的灯光互动装置艺术“Breath of Light（呼吸之光）”和创作的直播交互装置C-Social（《古典社交》）作品为例，对交互装置艺术进行分析，说明基于通感的浸没式体验将是未来交互装置艺术发展的重要方向。

关键词：交互装置艺术;浸没式体验;通感体验直播装置

中图分类号：J5 文献标识码：A 文章编号：1004-9436（2021）23-0-03

0 緒论

交互装置艺术注重人与作品的互动，观众通过声音、触觉、气味等感官与作品产生互动，作品以视觉或听觉发生变化的形式给观众带来反馈。笼统地说，灯光装置艺术以场景与灯光艺术的组合变换给观众带来极大冲击，使观众眼前一亮，心理上产生高兴或是惆怅的情绪，反思其背后隐藏的文化意义。

1 浸没式体验

1.1 理念的提出与解释

沉浸式相关理论最先出现于20世纪70年代，主要描述人们全身心投入日常活动的某一特定情境之中[1]。与沉浸感相近的说法有齐克森米哈伊于1977年提出的“流”的观点。

心理学家齐克森米哈伊对“流”作出了这样的解释：“当人们把注意力和精神力完全投入某种活动时所收获的整体感。”观众在与作品交流互动时，注意力会高度集中，自觉将干扰的感受过滤掉，不被无关思想影响，不受不相干信号的干扰，有明确的目标，并对其产生清楚的反应及回馈，观众处于控制环境的状态，并且可以操作它。

人们进行日常活动时，会将自己完全投入情境当中，并过滤掉不相干的知觉进入一种沉浸状态。只有出现高挑战兼高技能时，这种沉浸状态才能长久维持，也就是所谓的浸没式体验。在人机交互过程中，观众的想象力没有被激发或者维持时间过短，则不能称为浸没式体验。如果参观者只为拥有视觉的绚丽效果，由最开始的代入感带来的兴奋感很快就会消退，激情感减退了，注意力开始分散，感受不一的知觉随之而来，因而无法达到浸没式体验效果。

1.2 从观众的角度作心理解释

浸没式体验体现为观众可以全身心投入而不是远距离观看。观众通过极强的参与性与艺术作品自由交流、互动，艺术不再局限于二维平面。如今的艺术能够通过科技手段，创造一种意境，给观众带来一种感受真切的代入感。这种体验是观众、环境和技术三大因素配合的交互动作，观众可能产生视觉、听觉或触觉上的任何一种感觉，从而触发艺术空间中观众对其的想象和注意力。

世界知名的水晶产品制造商宝仕奥莎在米兰设计周上展出的灯光互动装置艺术“呼吸之光”，给观众带来了强烈的浸没式体验。该装置艺术由漫天的玻璃吹制的水晶灯构成，每一颗灯都汇聚了吹制工匠的用心以及对精致产品的追求。在装置中，观众向玻璃灯吹气，玻璃灯接收观众的气息，发送亮灯的信号，灯接收信号然后变亮的过程便是传播的过程，由此可以联想到麦克卢汉的“媒介即人的延伸”的传播理论。在此过程中，观众是主角，观众定义作品的存在，每个观众对作品的理解都不同，这些都是体验发挥的作用。动作“吹”被设计师重新设计在观众参与环节，唤起观众的孩童记忆。这让人联想到《小猪佩奇》动画中的“跳泥坑”，因其背后隐藏的文化内涵引起了观众的强烈共鸣，而使该片颇受欢迎。

1.3 营造的氛围

在“呼吸之光”装置中，灯与光的结合相映成趣，观众只需向小的接收器传输气息，力度可轻可重，接收器接收到气体进入的信号后，水晶灯便逐个变亮，亮灯的数量随接收器接收的气体力度而改变。观众的气息被接收器收集扩散，发光体灯芯感受到气体的力量后就会自觉地把灯体点亮，传播到玻璃灯内的灯光会扩大，往空间的各个方向扩散到消失为止。玻璃灯逐渐变亮，仿佛被施加了魔法，若无观众参与此流程，则装置就会失去创作意义。黑荔枝的著作《呼吸的意义》是一本寻找“呼吸”的意义的书：“呼吸”是存在的表现，是生命延续的重要评判标准。该书作者将呼吸当作一种关于成长的隐喻童话，以此将自己的思想传达给读者：画画的意义如呼吸，为创作者提供了生存的保障，生活因此继续下去。空间氛围感需要观众发挥想象力，从而确保最终呈现的作品是由每一个观众共同参与完成的。犹如看一场戏剧，所有的场景变换和故事发展都在观众身边，打造真实的体验感，观众则是故事的主角。“呼吸之光”散发出朦胧美，引人入胜，为观众带来了一次身临其境的体验。

2 装置的通感体验

假如把交互装置艺术看作一条无形的绳子，可以将空间、人、设备三者串联起来，那么，其中的交互关系则是使三者产生联系的桥梁，交互装置艺术一边连着艺术家和工程师，另一边连着参与者。因此，基于“人—机器—人”循环而产生的空间互动关系发生了一定的逻辑变化，这样的逻辑是将人和机器之间的相互反映作为基础平台，通过人的外部感觉等多感官参与方式，并通过多感官引导、多感官转化、多层次感知的感觉纽带，灵活地将设计师与观众双向连接起来，使观众可以全身心投入作品当中。在上述灯光交互装置艺术中，视觉、听觉联想的触觉体验能够更好地为观众带来浸没式体验，让观众拥有更加丰富的情感体验和通感体验。

2.1 通感原理

用户形成认知、产生体验的前提和基础是感知通道和理性认知[2]。数据表明，当人在接收外界信息时，感觉通道接收到的信息比例是不同的，其基本数据如下：视觉60%，听觉20%，触觉15%，其余5%[3]。在文学鉴赏中，各种感觉器官是相互作用的，一种器官的感觉会引发另一种或多种不同层次器官的感觉。所谓通感，就是指在人的机体内产生的一种系统的、自觉的连带感觉体验。从艺术家和工程师的角度来说，通感的创作手法可以使互动装置多元化而富有灵活气息，从而激发观众脑海中有关作品的相似影像或隐形记忆，唤醒人们在日常生活中与动态图像相关的元素中体现的生活感觉，调动观众的五觉，使其互相融合，彼此影响。

2.2 通感在装置艺术中的应用

钱钟书在《通感》一文中指出，人的心理感觉“基于联想而生通感”[4]。

联想是通感最大的特点，是听觉、视觉、味觉、嗅觉、触觉两者或两者以上互相交融，通过感觉转移、沟通等心理反应产生的联想。这为交互装置艺术提供多维度多感官体验带来更多的可能。

2.3 通感体验与交互的完美结合

数字媒体艺术装置交互体验可分为感官体验、探索体验和思想体验[5]。

从设计者的角度来说，观众与装置艺术互动的过程，一定程度上也是对装置的再创造。观众可以通过多感官体验将自己的情感作用于装置中，并进行艺術思考，得到一次奇妙的人机交互体验。

站在互动性角度来说，当代互动装置自带趣味性，由于其参与互动的感官更加多样，也有更加丰富的互动方式，如做出手势、声音控制的互动方式，观众与装置互动时，视觉、听觉、嗅觉、触觉等多感官相互作用，作品背后的深层含义被观众感知，被赋予计算机语言的机器通过与观众互动，为观众带来更有趣的技术体验。

3 直播装置的交互体验

近些年，科学技术日新月异，传统文化不可避免地受到冲击，如何正确处理传统文化和现代科技之间的关系，如何充分认识和积极借助现代科技的优势弘扬中华优秀传统文化成为新的挑战和机遇。新媒体时代，如何实现文化与科技的交流融合，给受众传递新的文化价值，唤醒参与者对传统文化的记忆，是创作互动装置艺术时应深入思考的问题。

笔者以“复活”古代画作为画面内容，通过交互装置的形式，选取古代著名的人物，结合现代直播的互动方式，以观众为交互设计中心，创作出基于通感理论的直播交互作品。作品选取传统文化中古代名画人物，对其进行重新设计，利用体感交互技术，结合现代直播，呈现出立体的空间感，带给观众不一样的直播体验。保留古典画作的人物气质，将现代文明以社交媒体的方式融入其中，这种文化冲突让观众参与直播互动进而引发其思考，不仅能让观众体验到直播类互动装置的乐趣，更能使其体会到传统文化的魅力，赋予传统文化新的生命力，为观众带来身临其境般的浸没式交互体验。

笔者希望观众在与作品互动时，能够通过视觉、听觉及触觉不同区块之间的相互联系引发联觉现象，唤醒参与者对传统文化的思考，作用于装置，与画作近距离接触，使静态的画作产生化妆、弹琴、跳舞的动态效果，感受古人“直播”的乐趣。

3.1 直播装置的心理体验及现存问题

基于通感体验的设计理念，采用当下最火爆的直播技术，将其与古代名人的画作相联系，为观众创造创新交互概念中的交互场地，用特定的体感技术，创新直播的打开方式，给观众带来极强的参与感，营造沉浸式的直播现场，以达到C-Social的设计目的。目前国内有很多让古代画作数字化的装置，且设计逐渐成熟，特别是技术与直播结合的效果，但在装置设计中，由于只关注动画本身的华丽设计，未考虑到参观者接触到作品时的感受，忽视了动画设计与参观者之间的交流和互动，容易导致装置效果空洞。

C-Social装置让古人“直播”，并通过装置艺术呈现出来，给观众带来跨时空、跨维度的直播体验。C-Social选取著名的古人，分别是杨贵妃和苏轼。设定杨贵妃为才艺主播，苏轼为美食主播。观众可以通过送礼物、发弹幕与主播互动，重现当下真实的网络直播环境。站在参与者的角度来说，观众通过欣赏和互动体验，能让审美体验和情感共鸣加倍，这正是通过社会经验积累达到通感体验的魅力。在直播互动装置中，数字动态画面能满足观众的视觉享受，语音交互能满足观众的听觉享受，由苏轼联想到东坡肉的味道等联觉现象皆为感官互相作用带来的通感体验。装置识别观众的声音并播放相应的动态画面，直播内容由观众决定。观众走近装置感应区，系统在一米之内识别人体并传递信号，感应器接收信号开始直播;若无观众，画面则处于静止状态;若观众在交互时走出感应区，则直播暂停。

3.2 人与画作之间的交互

在直播装置艺术中，观众可以通过身体移动改变装置，产生互动效果，如通过发出声音、抬起胳膊、发送弹幕等，改变通过计算机屏幕表现的虚拟空间对应的装置状态，从而获得人机互动的直播交互体验。交互设计师需要对物理世界和虚拟世界进行有效配对，创造合理的组合形式，更直观地引导参与者在两者之间互动。在直播环境中，观众触摸和看到装置的形状和颜色，这些都是真实感知到的。真实和虚拟环境有着明确的界限，通过对古人的联想，这层界限被打破，真实环境与虚拟环境产生了联系，基于观众和直播装置互动的联想，改变虚拟空间对应古代画作的具体形态。可以通过观众眼前真实的直播环境再创造无数个被感受的虚拟环境，虚实结合的联想能够为观众带来与古人互动的真实体验。

通过体感技术和声音控制可参与整场直播，此直播互动装置将观众与直播的互动体现得淋漓尽致。该直播互动装置需要正确处理中国传统文化和现代科技之间的关系，充分认识和积极借助现代科技的优势，弘扬中华优秀传统文化。选取古代画作，结合网络直播的跨界和融合，不仅能使观众体验到直播类互动装置的乐趣，更能使其体会到传统文化的魅力，赋予传统文化新的生命力。画作采用工笔画法实现逼真的效果，使古代人物不再局限于书本上，而是转变为活跃在荧幕上的“有趣主播”。观众走近装置，并举起双手，可为主播送礼物，如奔驰、宝马、游艇、钻石等，在最终的展示效果上选用第二代Kinect（由微软发布的一款体感传感器）体感技术投影实现。通过声音传感器控制声音，当画面切到杨贵妃时，观众可以发出“跳舞”“化妆”“弹琴”等声音，系统通过声音识别内容，从输入端传送给输出端的直播画面产生相应的动效，音画交互也是该直播交动装置的创新之处。希望该作品对古代画作的数字化展示，能够拉近古人与观众的距离，通过与古人进行交互，唤醒观众对历史人物的记忆。

4 结语

浸没式互动装置体验打破了艺术空间的限制，在各大艺术设计展览上更表现出了对传统艺术的突破和创新。当前处于互动装置艺术发展的探索阶段，随着浸没式体验的多样化创新及科学技术的日益成熟，交互装置设计师将致力于不断探索交互装置艺术所体现的浸没式体验与艺术融合。在不久的将来，交互装置艺术将秉承沉浸式体验的态度与现代各种数字技术手段交流融合，呈现出前所未有的繁荣景象。

参考文献：

[1] 齐林青.沉浸式交互体验在展陈设计中的应用[J].西部皮革，2021（23）：148-149.

[2] 钟鸣，何人可，赵丹华，等.基于通感转化理论的交互装置体验设计[J].包装工程，2021（4）：109-114.

[3] 陈柯辰.通感在线上购物界面设计中的应用研究[J].设计，2019（19）：141-143.

[4] 钱钟书.七缀集[M].北京：生活·读书·新知三联书店，2002：55-57.

[5] 张凯，林鸿.通感中感觉挪移在产品设计中的应用[J].包装工程，2018，39（6）：20-23.

作者简介：李宜芳（1998—），女，河南济源人，硕士在读，研究方向：数字媒体艺术。