基于“联觉- 通感”层次分析的沉浸式展陈交互设计研究

王毅 宣怡潇 郭勃锐

关键词：联觉 通感 沉浸式 交互设计 展陈设计

引言

当前数字技术与展示设计的结合，创造并改善了观众与展物之间的信息传达和交互形式。如何通过交互设计创新，丰富观众感官体验的同时，提高沉浸式展陈与观众的情感交互成为产品数字化展陈领域研究的重点。沉浸式展陈交互设计的关键在于多感官交互、情感交互。在多感官交互方面，沉浸式展陈交互设计会使用视觉、听觉、触觉等多种感官整合或联觉，以營造更加真实的展示环境、展示内容的感知体验；在情感交互方面，则会通过不同模态信息的艺术创作手法，如利用“通感”的艺术创意表现来引发观众的情感共鸣，从而提高展品的感染力和吸引力。“联觉”从生理层面阐释了五感之间的联系，各个器官的感觉复合，是人对事物的复合感受。此外，不同感官的感觉在附加了人的经验和意识后，也会出现复合感知，继而将生理层的感觉刺激形成认知并上升到情感层，甚至达到“通感”的情感境界。英文中“synesthesia或synaesthesia”汉语翻译为“联觉”“通感”，与当前国内有关“联觉”与“通感”研究的领域、概念以及界限划分存在一定的模糊认知[1]。高志明学者提出“通感”的形成是一个动态的过程，它主要包括“生理联觉、心理移觉和语言通感”三个维度[2]。如何在展陈交互设计中，从人的多感官交互出发，激发人的“联觉”效应，探讨基于“联觉”并形成“通感”的情感升华过程，进而在艺术文化的语境下引起观众对展陈艺术的情感共鸣，是本文研究的出发点，以更好地基于人的多感官联觉效应优化交互设计，提升观展体验效果，满足观众对产品数字化展陈的情感交互需求。

一、沉浸式展陈交互设计研究现状

（一）沉浸式展陈交互设计的发展现状

传统产品展陈设计一般通过实物、海报和视频等形式呈现给观众[ 3 ]，但是，伴随2 0世纪70年代西方兴起的互动装置艺术（Interaction Installation Art）的发展，传统的展陈设计逐渐开始强调观众与展物或装置之间的互动，以增加观众在展览中的具身体验[4]。近几年，智能计算、传感器的感知识别、数字化技术的发展和融合，带动了沉浸式新媒体艺术的发展，观众与艺术内容、形式或艺术装置的交互越来越呈现出“多维度”和“多感官”的特征[5]。设计师巧妙运用人机互动装置，通过多媒体设备将艺术创作与声、光、电、增强现实（AR）、虚拟现实（VR）、混合现实（MR）等技术相结合，让观众沉浸于某个特定的文化语境中，通过交互成为艺术展中不可或缺的构成要素的同时，与艺术创作产生情感共鸣，例如韩国现代汽车品牌展览、迈阿密科学博物馆、波士顿科学博物馆以及其他沉浸式互动艺术体验展等给观众创造了前所未有的沉浸式体验，不仅增强了艺术表现的感染力，也提高了观众观展的乐趣，表1。

（二）沉浸式展陈交互设计中的感知体验

沉浸式展陈交互设计通过研究“视觉、听觉、触觉、嗅觉、味觉”等多元化的五感体验，来满足观众的多感知和情感需求，以提高展陈的体验价值。越来越多的研究开始在产品的展陈设计中关注“五感、联觉、通感设计等”。Jinsop Lee提出的交互设计较为注重一种感官体验的过程，将体验与设计相互融合。原研哉提出的五感设计则关注“信息的构筑”，并以“感觉刺激→记忆唤醒→组合印象”的方式将设计师的想法传达给受众[5]。基于多感官的交互设计，打破单一的视觉感官刺激，从人的多感官入手，多交融、多层次地激发人多感官通道内的信息融合，而形成一定的联觉感知。

当人在参与交互的过程中，五感位于基础层级，由五感结合认知经验而成的综合感知是知觉层级，以文化意识为主导的、精神层级的体验感可以归为情感层[4]。所以，基于多感官交互，用艺术手法创造展陈中的文化氛围，形成情感语境，让人在沉浸体验中，由生理感觉上升到认知、再到情感共鸣的这一过程涉及到了人的多感官、联觉、通感等。这里的联觉，不同于生物领域中的“联觉”概念。艺术与设计领域认为由于人生活环境、文化和思想存在一定的共性，因此在艺术创作或设计时，利用“跨模态”信息交互实现不同感官之间的联觉，能更好地激发出人与展物的情感交互，达到艺术语言表达的高级修辞“通感”，即“在描述事物时以一种感知代替另一种感知进而达到通感的感知体验”[6]。

（三）“联觉”与“通感”的联系与差异

“联觉”与“通感”都是在人的五感基础上形成的概念，二者既有相关性也有差异性。为此，文中运用Citespace进行文献知识图谱分析，分别以“联觉”和“通感”为主题词在中国知网核心期刊中检索，如图1和图2所示。

图1所示“联觉”的相关研究大多在音乐领域和艺术设计中的实践，包括音乐欣赏和审美等。“联觉”常指人在认知经验的影响下，在发生了一种感官刺激后会产生另一种感官的刺激感受。虽然“联觉”在生物领域研究中是一种遗传性的生理现象，目前在少数人的测试中被发现。但由于人在感知事物时，也会存在与生理性“联觉”特征相似的现象。例如在手机屏幕阅读中进行翻页的操作，这一触觉和视觉的感受让人仿佛听到了翻页的声音。这种“联觉”效应的触发是基于一定的认知经验，发生了感官通道之间的信息交换和迁移。具有不同生活经验的人会发生的感官“联觉”体验的程度或效果有所不同[7]。所以，个体之间的认知差异会使得人在感官刺激中获取不同的体验。

有关“通感”的研究中，涉及心理机制、情感以及文学修辞等领域的研究较多（图2）。“通感”在早期的研究中常常被视为“联觉”的另一种叫法，后来在认知语言学领域中不断有学者提出“通感”与“联觉”在触发机制和现象呈现中存在内在差异，除了感官之间的互通以及联想和认知的整合以外，还存在复杂的感受机制。“通感”在人的感知和联想基础上融入了人的文化背景和生活情境而产生的一种“基于联觉”的情感衍生现象。在语言文学领域将“通感”定义为一种修辞现象，通过语言文字的描写使人达成情感的生发。由于艺术创作也是为艺术语言的创作，所以，艺术与设计领域中，“通感”也可谓一种艺术创作的“修辞”表达的效果。因此，本文通过“联觉”与“通感”之间的内在联系和递进关系构建层次分析，提出“联觉-通感”层次构建的沉浸式展陈交互设计方法。

二、沉浸式展陈交互设计“联觉-通感”的层次分析

（一）生理基础——多感官整合的交互感知建设

五感是人的生理基础，是人与外界信息接触的感官通道，感官之间相互联系、相互影响，共同使人们感受周围环境[8]。当不同形式的信息匹配到视、听、触、味、嗅的五感通道后会转换成不同的信号传输到大脑中，形成感知。人通过多感官感知获取信息叠加，使人的感受更加丰富和全面。从交互设计的角度来看，沉浸式展陈交互设计首先需要根据感官通道的信息感知特点设计交互形式，建立这种生理层次的多感官叠加与整合的交互感知，才能实现人在观展时的交互体验，例如展陈设计中色彩和造型的视觉设计、声音的听觉设计、材质和温度等触觉设计、味道的嗅觉和味觉设计等是多感官整合的、交互感知的基础建设。

（二）知觉衍生——“联觉”效应下的交互认知赋意

当位于生理层的“感知叠加与整合”附加了人的认知记忆和经验，便可上升到知觉层的体验，继而激发“联觉”效应。例如视觉上的色彩设计或造型设计与声音的听觉设计之间应当存在某种关联，这种关联与人的认知和阅历经验相联系。当观看展陈设计的观众在接收感官信息的过程中，在相关记忆的刺激下出现感知和联想上的心理变化，便从生理层的交互体验转移到了知觉衍生阶段。在交互设计中，为确保广大观众群体能够更好地感知和理解展陈设计中的艺术文化符号，由生理层的感觉上升为知觉层体验，挖掘文化意涵，对交互的形式表达进行赋意，激发观众在共同文化认知的经验下触发知觉层的“联觉”效应，奠定了情感共鸣的生成条件。例如利用水波的视觉形象来反映声音的传递，让人仿佛听到了声音，甚至感受到了声波振动的触感。

（三）情感升华——情感共鸣下的“通感”语境创建

“通感”作为一种文学语言的修辞现象，也可以运用到艺术设计领域，作为“艺术语言修辞”，把受众的情感激发出来，是一种高级的艺术表达方式[9]。张凌浩学者针对符号转译的体验设计，提出了通感设计的认知模型，并应用到产品设计中，指出通感是符号设计的创作表达方式之一，是一种情感现象的表达[10]。在展陈交互设计中，情感激发不仅需要在认知经验的基础上对交互的“形式符号”赋意，还需要搭建观众解读这些符号意涵的语境，从而实现观众与展陈艺术的情感交互。

综上分析，如图3所示，文中将交互设计中，由联觉到通感的转移过程划分为“生理层、心理层、情感层”。该层次模型阐释了交互设计中，人从多感官感知到情感共鸣的生成过程。

三、沉浸式展陈交互设计实践

（一）企业产品展陈设计诉求分析

产品展陈伴随数字化技术的发展，也逐渐开始倾向人可参与的沉浸式、互动式展示。多维度的展示设计，可以更好地让参观的人感受企业品牌的文化，加深品牌記忆。文中以西安新艺维工业设计公司的产品数字化展陈设计为例，来探讨基于“联觉-通感”层次分析的产品数字展陈交互设计的效果。

“新艺维工业设计”致力于工业产品造型设计产业。该展陈设计力求将多年的成果作品进行归纳和展示。公司的诉求一：将成果以一种新颖且现代的交互方式展现出来；诉求二：能够加入数字化科技元素，增强观众观展的沉浸式体验感、互动感和参与感，进而达到深入人心的效果；诉求三：能够为观者传递公司理念，即“物善致远，勤奋求真”，为公司作品展陈形式提升人文高度。

（二）多感官整合的视听触交互感知建设

依照前文提出的“联觉-通感”层次分析理论，文中以生理层和知觉层的多感官联觉为基础，根据企业对展陈设计的“诉求一、诉求二”进行多感官整合的视听触交互感知建设。

为实现“诉求一”所述“新颖且现代的展现方式”，首先确定了多媒体技术和带有物理传感技术的交互艺术装置展示形式；其次为满足“诉求二”所述的增强沉浸感、互动感和参与感，设立了触摸交互和体感交互来控制展区光影动效和数字展示内容的输出效果，从而实现视觉、听觉和触觉的多感官功能叠加，丰富观众在生理层次的感知形式来增强沉浸感，如图4所示的展陈艺术装置中的软硬件交互感知的设计架构。其中，视觉感知部分包括数字艺术动效的投影展示、展板展示、实物展示、数字展示和灯光变换效果展示；听觉感知包括语音讲解和背景音乐；触觉感知包括交互装置中物理传感器的触摸和屏幕触摸的操作。

（三）“联觉”效应下的色光交互认知赋意

硬件交互部分以皮电传感器为核心，当观众将手指放置于两个触点上时，传感器检测观众的情绪波动，从而引起灯光装置交互，装置中的灯带发出七种颜色的变换。在造型设计上，将“七彩色光”围绕“透明亚克力模块”并组合内嵌于装置下方实体中，并赋意“似锦前程”，从而使观众在“太阳光照射在半空中的水滴上形成七彩色光”的认知经验下，触发知觉层的“联觉”效应，使观众产生联想，如图5所示。不仅如此，位于墙体上的灯带也会随着装置的交互触发而与装置上的七彩色光形成交互变化，让观众有一种人与环境相呼应、相融合的沉浸式体验；装置上数字展示动效也随之变换，并与投影投射在墙上的产品展示内容相呼应。实现多种形式的触觉-视觉交互，并将这一色光交互形式赋意为“努力就有成效”。

软件交互部分是一个产品展示系统平台，依托装置的触控屏幕展示。平台首页如图6所示，观众可以通过轻触屏幕中的任意位置跳转至如图7所示的产品数字展示页面，该页面中展现企业所有产品的3D效果，每个产品都持续浮动在页面中。观众可通过点击屏幕中任意一个感兴趣的产品，实现跳转至产品详情页的功能，并且在跳转页触发的同时播放语音讲解，触发听觉交互，达成将触觉-视觉和触觉-听觉的交互结合的效果，硬件交互与软件交互相结合的形式，并赋意为“合作共赢”。实现了观众生理层感知跃升到联觉、知觉层体验过程。

（四）基于企业文化理念的“通感”语境建构

将“新艺维”工业设计的企业理念分解为“悟善致远”和“勤奋求真”两个层面，首先用叙事的手法将企业发展历程与流线型“红、橙、黄、绿、青、蓝和紫”色光流动的墙体灯带设计构成企业发展前程似锦的文化语境，传递“和、善、致远”的内涵。将手指放置于展区控制屏的触点上，通过触感增强模拟观众情绪高涨，七色光的变化频率加快，屏幕展示内容结合声音设计，增多、增快，构建出“勤奋求真”的文化语境。通过增强观众参与的效能，获取不同的内容输出和色光交互等，为观众形成“努力就有效果”，“小设计，大空间”感知效果，进而传递“新艺维工业设计”的主张——“设计无大小，‘巧设为用。巧用艺术与工程的耦合设计为企业打造应市而生的产品，为企业提供多维度整合的、战略性的创新解决方案，用创新设计艺术拓展企业产品可持续发展的价值空间，引领市场”。

基于“通感”的艺术修辞表现，让观众从参与中仿佛感受到了该企业正在用设计为合作者缔造“新艺术、新维度”而付出的激情，进而满足了企业“诉求三”中所述的“传递公司理念和提升企业设计的人文高度”。如图8所示，文中利用“联觉-通感”层次分析方法，对企业设计作品展陈进行的交互感知构建、交互形式赋意以及满足观众高级情感交互的“通感”语境创建。

结语

传统产品展陈设计，融入数字化技术，创造了更多维的沉浸式艺术设计形式，也使得观众与展物、展陈装置的交互方式更加多元化，实现了观众与展物的“共融”、自由互动和探索，增强了观众的参与感和体验感。为了更好地通过交互形式打动观众，基于交互设计的“联觉-通感”层次分析和设计思路，有效地实现了观众“从生理层的多感官感觉出发，再到知觉层的联想，最后到情感层的情感升华”，提升数字展陈的文化价值，为沉浸式产品展陈的情感化交互设计提供了思路。