媒体艺术的观众沉浸效果特征研究

吴立安 谈嗣徽 王振宇

21 世纪数字技术发展的产物——媒体艺术是科技与艺术充分合作的典型，它是以计算机技术为代表的科技和以视觉美学为代表的艺术二者完美结合的产物，媒体艺术正在成为美化真实世界、虚拟真实世界的艺术途径之一。博伊斯（Joseph Beuys）认为，未来的艺术是“通感艺术”，强调艺术活动的综合性，试图打通视觉、听觉、嗅觉、触觉和意识。随着技术和设备的进一步发展，媒体艺术所呈现的“沉浸效果”（Immersion effect）具有身临其境、视觉展示、感官刺激、肢体交互等特征。

以中国为例，2021 年文旅部发布《“十四五”文化产业发展规划》，提出要打造100 个具有沉浸效果的媒体艺术项目。《2020 中国沉浸式产业发展白皮书》显示了2016 年以来打造的媒体艺术沉浸式项目（图1）。目前，中国沉浸式媒体艺术项目涵盖戏剧、电影、演出、展览、餐厅、城市空间等各个方面，所有具有沉浸效果的体验内容的形成都需要媒体技术的参与。笔者针对沉浸式媒体艺术作品的大众喜好、艺术形式进行网络调研，调查对象包括大学生、艺术类工作人以及非艺术类工作人士。（表1）在“能否接受在城市空间（广场、公园、展览馆等室内外空间）出现沉浸性媒体艺术作品”的问题上，赞同者高达97.47%。根据调研发现，无论是从政府导向、项目数量还是大众的认可度等方面，各方面对沉浸式媒体艺术均保持肯定的态度。

表1 考察者职业类型

图1 2013 年至2019 年中国沉浸式体验项目数量型

媒体艺术带来的沉浸效果在近几年来成为研究的热门主题，但主要是从技术角度出发，分析媒体艺术带来的沉浸效果，技术层面的理论已趋成熟。同时伴随生物学和心理学的研究深入，可以发现人类是感性生物的本质，在特定条件下会激发获得沉浸效果的本能。因此，本文研究的重点是从观众角度研究沉浸效果的特征，尝试从多维角度分析获得新观点，补充沉浸性理论的认知。

一、相关理论

（一）三维动画作为媒体艺术及其沉浸效果概述

王德峰提出，艺术的创作首先需要关注作品所追求的真谛、时代背景、民族性差异等因素，即内在视域（internal vision），还需关注技术变化对艺术创作形式的改变，即外在视域（External vision）。自本雅明（Benjamin）发表著作《机械复制时代的艺术》以来，20 世纪的艺术作品走向了大众化、工业化、商品化的道路，工业化下的新材料成为作品创作的新探索，同时赋予它们新的象征意义，即艺术作品的“外在视域”改变引起“内在视域”的变化。

媒体艺术是人类文明发展到数字信息时代时一种全新的艺术形态，媒体艺术成为技术、媒体、艺术三者跨界融合的时代产物。德国学者沃尔夫冈·韦尔施（Wolfgang Welsch）称当下被数字技术围绕的时代是“电子天堂”，依靠媒体技术，我们似乎正在不仅同天使，而且同上帝变得平等起来。马歇尔·麦克卢汉（Marshall McLuhan）提出“媒介即信息”，他认为人类文明的发展很漫长，信息不是各时代中具象的传播信息，而是每个时代所使用的技术手段形成人类交流和社会生活的改变。人类的文明史就是一个人类在生产和活动过程中持续创造和使用新的媒介，并让社会文明系统不断走向先进和完整的历史过程。麦克卢汉以强大的自身逻辑和分析能力，将几千年人类文明传播历史中的环境、文化、媒体、社会状态、性格模式等信息进行综合分析，判断需要经历“部落化—脱部落化—再部落化”的三阶段（表2）。他认为，现在的电子媒介（数字媒体）已经渗透到人类生产和生活的方方面面，这会使人类以全新的现代方式重新体验部落化社会中村庄聚集式的接触和交流。人类依靠的不再是理性的单一性认知模式，他们要面对一个由电子媒介所带来的全新世界。

表2 麦克卢汉分析的媒介三阶段

2015 年，美国媒体艺术家拉玛·豪特森（Rama Hoetzlein）基于媒体理论、科技、艺术相结合提出“媒体艺术谱系图”。2017 年，李四达提出近60 年的媒体艺术发展图谱。通过图谱研究可以发现，20世纪末至21 世纪初，媒体艺术成为当代艺术领域最重要的内容之一。特别是自21 世纪开始， 三维动画技术的成熟让媒体艺术的内容和形式更加丰富精彩，成为当代艺术最具活力和创造力的部分。[1]166现在人们把目光投向高清画质、可以混淆真实世界的虚拟现实技术，它把人类带到了一个全新多感官体验的新世界，呼应麦克卢汉对现代社会走向“听、触觉及感官多重体验”的判断，沉浸性带来的效果由此开始进入人们的视野。

“Immersion effect”可以翻译为沉浸效果或侵入效果，从翻译看，它是一种带有体验性的人类行为活动。沉浸效果是指观众完全身处由媒体技术制作的虚拟世界中，它重构了观众欣赏艺术作品的模式，使观众完全沉浸在虚拟环境之中。从媒体技术角度看，理想的沉浸效果环境可以让观众忘记世界，降低对物理世界的感知，完全沉浸在人造空间之中，通过媒体技术激发起观众的视觉、触觉、味觉、声觉、嗅觉等一系列与身体有关的感知，达到难以分别真假的程度。

动画经过几十年的发展至今，是集合了视觉、听觉、触觉的综合性艺术形式，它具有交互性、重构性、虚拟性、符号化、等特点[2]34，特别是三维动画技术已经成熟，因高清画质、虚拟性强等特点已经成为虚拟现实技术主要的信息输出内容。当三维动画作为媒体艺术所呈现的虚拟特征成为一种表现方式的时候，实际上拓展了媒体艺术的体验边界。想象一下，当一个空间被多个屏幕所覆盖，整个空间都是三维动画输出内容形成的虚拟空间，会使观众从原本单一的内容关注点延伸至对整体空间的体验，形成具有“沉浸效果的空间”。三维动画通过影像内容与空间环境结合的展示方式，正在成为当下媒体艺术的主流。这种新方式，提高了观众的感官体验和情感享受，让观众降低了对时间和物理世界的关注，全身心地投入三维动画媒体艺术的展示之中，形成沉浸性的效果。

（二）心流（Flow）理论概述

美国心理学家米哈里·契克森米哈赖（Mihaly Csikszentmihalyi）对沉浸性产生的心理学层面的理论具有巨大贡献。他针对沉浸性的特点提出“心流”（Flow）理论，米哈里认为：“人在心流状态下获得快乐，心流的心理活动是沉浸在一项活动和所在情境完全投入和集中的状态。包括戏剧、艺术、游戏、宗教仪式、体育在内的心流活动，主要功能在于提供乐趣，有助于让观众进入极为愉悦的心理状态。”[3]125-140米哈里与研究团队使用独特的“体验抽样法”（EMS）对采访对象进行研究，得出可以影响心流的两种要素：参与难度（challenge）和参与技巧（skill）。这两个因素并非处在高值就是最佳，它们之间是相互影响的关系，需要达到一定的程度才可以实现最完美的沉浸性体验。

“心流”的体验是一种可以跨越性别、文化差异的心理学活动的普遍现象。所有的心流活动，无论是什么样的形式，都有一个共同点：心流会带来一个新的发现、一个新的创造，把体验者带入一个新的现实。心流促使体验者去适应环境以获得更好的表现，让意识达到一个从未体验过的境界，让观众获得自我成长是心流的核心（图2）。基于心流理论，米哈里在2000 年提出沉浸性效果产生的几种条件，需要对参与难度进行软性调节、行动和意识的统一、有明确的目标、得到及时的反馈、获得控制感、集中于眼前的任务等，都可以有效地让观众丧失自我意识以及时间感，使观众自动进入沉浸效果的体验，形成单一维度体验向整体沉浸性体验的转变。

图2 心流产生理论模型（作者根据原理论改进）

虽然随着三维动画技术的不断发展，未来还会有新技术的迭代，同时也会进一步促进沉浸效果应用的发展与变化，但从心流理论看，仅依靠设计三维动画内容的技术优势，使观众获得沉浸效果的理论仍不够全面。

（三）“镜像神经元”概述

意大利帕尔马大学的科学家贾科莫·里佐拉蒂（Giacomo Rizzolatti）在1996 年一次偶然的机会发现猴子在模仿同类或者人类行为时，其前额叶皮质F5 区中产生特定神经的放电活动。这一伟大的发现经过数十年的研究，直到2006 年才被生物界完全认知。里佐拉蒂在人类身上同样发现了与猴子类似的神经元细胞，并将其命名为“镜像神经元”（Mirror Neuron）。[4]59-69人类的镜像神经元比猴子身上发现的任何一种镜像神经元都更为灵活、进化程度更高。人类是精巧的社会生物，其生存依赖于对身处环境和他人行为意图的理解，镜像神经元让人类本能地通过对细胞的直接刺激获得情绪感受，而不是通过逻辑推理去获得理解。因此，人类对外界的理解是感觉，而非思考。

丹尼尔· 西格尔（Daniel J.Siegel）于2013年提出镜像神经元系统与其他脑部区域共同构成相互联系的“共鸣环路”，共鸣环路已经被证实不仅能控制人类意图，对同理心的形成起着基础作用，更重要的是可以引起情感共鸣，这是个体与整体之间情感统一的结果。[5]32美国思想家杰里米·里金夫（Jeremy Rifkin）对上述理论进行延展，他认为镜像神经元的发现确定了人类的身体可以激发感觉的事实，身体并不是单纯被动地接受外部刺激，它会主动性、自发性地与自身经验相结合，形成“刺激—目的”的关系。通过身体的作为外部感觉的刺激，启动人类作为内部感受的感知效果，这是一个由外部向内部、由感性认知到反思的过程。人类可以直接通过所在环境判断带来的不同情绪，获得情感共鸣，就像我们不需要思索就可以知道不同的音乐是悲伤的还是欢快的。

通过上述理论可知，人类的身体构造具有天然的情感共鸣的能力，所以人类才可以轻松地获得不同情绪的体验，可以说“镜像神经元”系统的存在才能触发“心流”行为，观众才有感知沉浸效果的可能。

二、Teamlab《涂鸦与自然》的沉浸效果

（一）高清晰画质内容助力沉浸效果

Teamlab 是成立于2001 年的日本媒体艺术团队，它刷新了人们对沉浸式媒体艺术的认知。2016年米兰世博会上，团队的作品创造了观众进入日本国家展览馆需要排队8 小时以上的奇迹。《涂鸦与自然》是这个艺术团队在2021 年创作且富有社会意义的作品之一。作品通过媒体艺术与技术重现了由参与者绘制的各种生物组成的自然世界，观众创造的生物时而出现在空中，时而消失幻化成另一种形式飘落地面，随后绽放出无数绚丽的花朵，花朵是寓意提供养分孕育出新生命的符号，艺术团队期望以此循环展现一个由参与者亲手创造的“生态系统”（图3）。作品通过360 度的全屏覆盖，把整个空间变成通过三维动画内容来叙事的媒体艺术的世界，地面的起伏时刻暗示观众这里是另一个真实的“自然世界”。观众将所有的注意点置于寻找他们创造的生物之上，这是观赏者参与创作的有利证明。从参与者寻找创造生物那一刻开始，已经不经意间进入了艺术团队所期盼的那样——观众完成了作品创作的最后一步。

图3 涂鸦与自然（图片来源自网络）

麦克卢汉提出的“热媒介”理论（Hot Media）[6]52在作品中得到充分的体现。三维动画的“热媒介性”展现高清晰、高还原度的画质技术的优势，让人一眼就可以从众多生物中识别属于自己创造的生物。如此高质量的夹杂着梦幻感与真实性的动画影像为虚拟物体存在于真实的物理世界提供了必要的条件。三维动画与“冷媒介”的漫画相比，视觉上的高清晰度是一个充满信息的状态，不需要人们把过多的精力消费在理解抽象漫画造型所遗漏下来的形象联想问题和分镜画面隔断所导致的剧情贯通问题。观众可以轻易看懂画面，把思绪留在不断变化的“生态世界”内容之上，达到沉浸式的虚拟体验效果。

从心流理论来看，《涂鸦与自然》通过精湛的技术、仿真的内容让观众轻易地融入作品的语境中，让观众停留在获得探索虚拟世界的乐趣的心理行为之中，达到弱化自我意识、自动体验的目的。对应心流理论看，高技术带领观众到达“新发现”的坐标点，从而达到“新体验”的重要路径。另一方面，镜像神经元的客观存在，观众本能地激发了同理心，现场愉悦的情绪得到渲染、同化、放大，逐步让整个场景内参与者的情绪走向统一，获得愉悦的沉浸效果。

（二）适当的参与方式让观众关注于沉浸效果

根据米哈里心流理论的描述，正确参与方式的选择搭配良好的制作技术可以让观众达到最佳的心流效果，获得正向的沉浸效果。地球上有超过1000 万种生物，在艺术作品中实现这个量级的工作是一项需要奇迹的挑战，Teamlab 团队期望可以由观众来完成这项艰巨的工作。想要实现从0 到1的创造则需要参与者有绘画造型能力等基本素养，显然这样的方式极大地限制了参与的群体，会让大部分观众陷入怯懦、逃避、否定的情绪之中。针对这一风险，团队设置了非常巧妙的方法，让观众可以轻易参与作品又不必过于为难。《涂鸦与自然》的展示现场为参与者提供各类生物的黑线图稿，观众按照个人喜好为之涂装色彩，使之获得新生，随后将彩色的生物放进扫描设备，专属的生物会立刻出现在虚拟的“生态系统”之中（图4），完美地避免了不善于艺术造型的观众可能产生的郁闷以及放弃的念头。轻松愉悦的参与方式将参与者留在了迸发想象力的洪流之中，他们只需要心无旁骛地沉浸在色彩的海洋之中。Teamlab 的《涂鸦与自然》项目通过合适的方式，让观众更多地参与到作品中，避免踩入心流理论中“参与难度”的陷阱，使观众走向焦虑情绪的误区，甚至意识过早地抽离虚拟空间而导致失败。

图4 参与者创作步骤（图片来源自网络）

三、中国美术学院《拙政问雅》的沉浸效果

（一）虚拟空间与自然空间融合，调动观众全感官刺激

园林在中国的地位和斗兽场（Colosseo）在罗马人心中的地位相同，始建于16 世纪的苏州拙政园已然成为一个文化符号，人们观赏浓缩于园林中的微观自然也是了解园林的普遍价值。《拙政问雅》并非只有1 件媒体艺术作品，而是根据实际物理环境定向设计创作、需按照固定路线游览的23 件作品。来自中国美术学院的艺术团队将整个传统园林变成三维动画媒体艺术的展示空间，变成具有沉浸效果的虚拟世界的天堂。制作团队非常熟悉沉浸效果达成的条件，将作品设置“仅限夜间观赏”，黑夜没有自然光线的条件下，物理环境才有可能被视觉弱化，进一步突出媒体艺术的优势。媒体艺术作品所展现的电子技术非常多元化，有全息投影、动态影像、交互性影像、模拟自然的声效、光学动作捕捉技术等。

《拙政问雅》是由媒体艺术作为媒介所塑造的虚拟空间与物理空间结合的尝试，实际上证明了麦克卢汉提出的“人类延伸的媒介二重性”[7]。媒介的改变势必会带来人类感官的自我麻痹与放大，所有传播媒介都是人类感官的延伸。媒体艺术的内容画面是观众视觉的延伸，声音是观众听觉的延伸，光学动作捕捉带动的内容变化是观众四肢的延伸。虚拟空间与物理空间的结合形成了一个全新的世界，是一个不同于以往认知的融合空间。因此，在媒体艺术的主导下，园林的物理空间已经成为虚拟空间的一部分而被观众所接纳，所以园林中的植物、流水及空气中弥漫的自然气息是观众嗅觉的延伸。物理空间与虚拟空间的结合方式是一次极有意义的实践。物理空间（园林）的熟悉感搭配虚拟空间（动画媒体）的新鲜感，充分调动了观众全感官的“刺激—反应”体系，让观众在享受的过程中逐渐丧失自我意识，集中于眼前的沉浸效果空间，从而获得对园林的充分探索。

（二）非线性动线唤起观众好奇心

案例中23 件媒体艺术作品的创作是基于艺术团队对园林文化的解读和重构，它们是同一文化语境下的产物，但又都有独立的内容主题，所有作品之间无法实现唯一线性的叙事模式，正因为非线性的叙事方式反而展现出此案例的最大特色。非线性的叙事方式，得益于媒体技术的复制和编辑能力，媒体艺术专家珍妮特·穆瑞（Janet Murray）以“万花筒”作为这种非线性叙事的隐喻。[8]传统媒介由于技术的限制，只能以交互叠加的方式处理同时性观赏的情况。而作为电子媒介的三维动画媒体艺术使创作者可以将所有同时发生的事件置于同一网格，允许参与者在它们之间浏览，以多种路径为同时性的行动提供了机会。在万花筒效应的影响下，观众在不同场景中穿梭，在这样的过程中靠自身的路线把非线性结构组成一个合理的个人性的线性故事。在这样的情况下，唤起观众的好奇心，引导参与者从一个场景进入另一个场景之间，并来回切换（图5）。

图5 案例的不同场景（图片来源自网络，作者制作）

作品所传播的信息避免向观众进行单向输出，是把参与方式的主动权还给观众，动画媒体的数字化、模块化的参与方式让观众的行动与自身意识相融合，自由的浏览方式甚至让观众获得良好的“自我控制感”，从而得到明确且正向的感知反馈。从心流理论看，作品高水平的技术、新型场景的融合、参与方式的多样性三大特征，让观众直接进入心流通道的最佳位置。但这个案例的效果不仅这些，在技术和参与方式的双重刺激下，观众继续深入新的发现并创造新的心流路径，最终参与者在体验过程中与空间融合，获得一种全新的自我认知，达到艺术构建的最佳沉浸效果。

（三）超前经验有利于调动观众情感共鸣

中国传统园林的人文价值在于通过人类干预的方式重现自然的场景，是一种自然再现的自然，在漫长的历史发展中已经成为人们熟悉的文化符号。梅洛-庞蒂（Merleau-Ponty）具身性（Embodiment）的概念可以解释这样的情况,他肯定了身体同心灵一样是审美直接的接收器[9]，他认为人类具有客观的身体（Leib）与主体意识的躯体（Krper），二者之间存在必然的因果关系，通过客观的身体接受外部的信息，主体意识的躯体消化信息获得知觉，融合至外部空间，成为空间的一部分。所以身体的一种重要功能是“构造经验”，躯体是感知经验的“阀门”，不断地修正人类对世界经验的理解。如同Teamlab 案例的生态世界一样，媒体艺术呈现的内容与观众自身的经验引起呼应，观众可以不费力地理解内容传达的信息，这恰恰证实镜像神经元的存在引起了同理心、模仿记忆以及共鸣。作为文化符号的传统园林早已是人类共有的超前经验，参与者周遭由媒体艺术媒介改造的环境激发了身体的自发性感官刺激，让躯体寻找相匹配的经验适应新环境，躯体可以把感觉对象化，与梦境、联想、幻觉、欲望进行交织，最终将外部影响的因素向内转变，与自身经验相结合，获得情感共鸣，产生自我陶醉的状态，把心流的沉浸效果推向更高层次。

四、结论

自2018 年以来，媒体艺术带来的虚拟技术所呈现的沉浸效果研究成为热点板块，引入心流理论与镜像神经元理论是从第三方（人）的视角对媒体艺术产生沉浸效果研究的补充。通过案例分析不难发现媒体艺术的观众沉浸效果的关键要素有以下几点（表3）：

表3 观众沉浸的特征

1.媒体艺术呈现的图文内容是沉浸效果的前提。三维动画的高清晰度内容是引导观众进入超真实世界的前提条件，也是进入沉浸性世界的大门。高清画质的动画可以让观众忘记主观意识而沉浸于内容之中，因此在此范畴内，沉浸性具有热媒介性和超真实性的特征。

2.共鸣观众本身经验是提升沉浸性的催化剂。内容的超真实性固然重要，但若无法与观众本身的经验进行匹配，就无法完美激化观众沉浸性的化学反应。相反，过于难懂的内容会让观众产生负面情绪，无法走入良好的心流通道。所以沉浸效果拥有观众情感共鸣性的特征。

3.平衡媒体艺术的参与交互难度。偏高的参与难度会让观众将过多的注意力放在枯燥的操作层面，陷入逻辑层面的难题，会让参与者没有获得感而放弃进入作品预设的沉浸效果目标。所以沉浸效果有反馈性和专注性的特征。

4.巧妙的空间设计对沉浸性的提升。空间塑造是沉浸性产生的第二个重要因素，本文的视角依然是物理世界中虚拟效果的运用。因此，以往单屏幕的动画展示方式会使屏幕变成画框，从而与观众之间形成传统的欣赏模式，不利于观众降低自我意识进入虚拟空间之中。空间的虚拟化是调动观众整个身体器官的沉浸效果的催化剂，具有全感官性特征。

5.多场景的万花筒效应优势。多场景的切换实际上不断激发了观众适应场景的能力，并获得新的经验和新的成长， 寻找到观众自我成长的完美路径。所以非线性的叙事方式导致的多场景模式呈现的沉浸效果具有激发性的特征。

想让观众获得沉浸效果的最优体验，关注的不仅是媒体艺术所表达的视觉信息，还需关注所表达的内容信息、与观众的联系、参与作品的交互方式、空间等方面的因素。当今高质量的媒体艺术内容制作，导致设备价格与人工成本极为昂贵。通过研究发现，高科技设备和高清晰画质并非获得沉浸效果的唯一路径，想让观众获得最佳的体验仍有漫长的道路，需要设计师们不断摸索，持续迭代。