VR应用于舞台空间与观演体验创新研究

■王 琛，谢 欣 Wang Chen &Xie Xin

(1.华南理工大学设计学院，广东广州 510006；2.哈尔滨工业大学人文与社会科学学院，广东深圳 518055）

千百年来，演艺一直是人类社会不可或缺的消闲活动。作为舞台艺术的集大成者，戏剧堪称众多演艺活动中发展最完善的一种形式。舞台设计是戏剧空间的创造者，空间是舞台设计的对象。由于需要在原本“空的空间”中创造出多时空戏剧场景，为演员的表演与动作提供支点，实现空间、时间与动作的综合，因而相比其他空间类型而言，舞台所涉及到的技术更显前卫复杂、综合集成。纵观戏剧艺术发展的不同阶段，舞台空间的观念、表现形式与设计方法，每一次重要变革都与当时所采用的新技术密不可分，观演体验也随之不断推陈出新。进入二十一世纪，舞台空间中开始融入更多的数字化技术元素和观念，其中又以VR（Virtual Reality,虚拟现实技术）最具革新性，迅速成为戏剧、舞蹈等艺术领域研究与演艺行业应用的热点与前沿。

1 舞台空间中的VR应用

1.1 VR应用于舞台空间的溯源

VR采用以计算机为核心的相关技术，在一定范围内生成与真实环境在视、听、触等感官方面高度近似的数字化环境，或称虚拟环境（Virtual Environment,VE）[1]。20世纪90年代初，少数具有跨艺术与技术专业背景的艺术家或机构敏锐地嗅探到VR这一原本应用于军工领域的技术，率先尝试将其应用于新媒体艺术创作。1992年至1994年期间，在加拿大班芙艺术中心（Banff Centre），由计算机科学家与艺术家合作，开创性地完成了一系列将真人表演与计算机虚拟环境相结合的新媒体艺术作品，包括《占位符》（Placeholder）、《渗透》（Osmose）、《与虚拟苦行僧共舞：虚拟身体》（Dancing with The Virtual Dervish:Virtual Bodies）等，这些作品中的舞台空间不仅为参与者营造出高度的沉浸式体验，还为其身体与虚拟环境之间的复杂交互提供了可能。同一时期，美国堪萨斯大学（University of Kansas）虚拟现实探索研究所（The Institute for the Exploration of Virtual Realities，简称i.e.VR）也开始了VR及其衍生技术在戏剧制作和表演中的应用研究，其代表作品《加法机》（The Adding Machine）（1995）被公认为第一部使用实时的、VR布景的戏剧现场表演作品。

总体而言，在初始阶段，VR在舞台空间中的应用十分有限，究其原因，主要受限于昂贵的技术装备、不菲的资金投入、跨专业的专家团队协作等。近年来，VR从尖端科学领域“降槛”成为大众化的传播媒介，特别是在被称作“VR元年”的2016年前后，VR在娱乐、教育等民用领域中得到广泛地推广和应用，在戏剧、舞蹈等表演舞台空间中的应用也逐渐增多。

1.2 VR应用于舞台空间的发展现状

VR及其衍生技术应用于舞台空间可创造虚实程度不同的戏剧场景，演员与观众沉浸其中并通过身体与数字场景发生实时交互，也产生与以往迥异的观演体验方式。

1.2.1 虚拟现实舞台空间

VR包括立体头盔（Head-Mounted Display,HMD）与大型沉浸（或半沉浸）式投影型系统两种图形显示方式[2]，分别与舞台空间结合产生两类不同的观演体验方式。

①HMD。在场或不在场观众通过HMD与互联网，获得近距离、多视角、可交互的观演体验。从VR内容上划分，一是由计算机生成一个完全虚拟的舞台空间以演绎戏剧内容，班芙艺术中心1992年至1994年期间创作的表演与虚拟环境结合的系列作品基本都属于此类；二是全景化录制真实剧场中的演出，以直播或录播的方式呈现，观众使用HMD观赏。例如，非在场观众可以通过Jaunt VR多视点观看百老汇《狮子王》（The Lion King）（2015），包括站在演员中间去观赏舞台演出。

②大型沉浸式投影。将360°三维图像投影在舞台屏幕或物理对象上作为全景布景，并可与身体发生交互，观众裸眼或借助偏振眼镜进行观赏。笔者设计的哈工大（深圳）机器人表演数字小剧场中，将VR-CAVE系统（Computer Automatic Virtual Environment，俗称“洞穴”）与舞台三维空间整体结合，实现一种裸眼观赏的沉浸交互式虚拟现实舞台空间，营造出“人在画中游”、步移景异的观演体验（图1）。

■图1 哈工大（深圳）机器人表演数字小剧场

1.2.2 混合现实舞台空间

VR衍生出的AR（Augmented Reality，增强现实技术）将由计算机生成的虚拟信息实时准确地叠加到真实舞台空间中，可增强现实环境效果，构造出介于完全现实与完全虚拟之间的一种混合现实舞台空间。相比虚拟现实舞台，其优势在于观众不必佩戴沉重的VR设备，或者被迫进入一个由计算机生成的封闭空间，演员和观众定位更加容易，同时依然允许在新的行为领域间进行交互[3]。AR包括透视式HMD（AR眼镜）、手持显示与投影显示三种图形显示方式，他们分别将虚拟数字场景信息在近观众端或近舞台端呈现并与舞台实体场景叠加，产生两类混合现实舞台空间及相应的观演体验方式。

①观众端混合现实。虚拟信息在观众佩戴的透视式HMD或手持显示屏中呈现，同时与舞台现实场景匹配叠加。例如在《翅膀》（Wings）（1996）中，观众通过透视式HMD既可以看到舞台上的演员演出，也可看到HMD中展现角色内心世界的虚拟图像，观众耳机中的声音与现场声同步混合（图2）。在《仙踪元素》（Elements of OZ）（2017）中，观众可通过移动终端APP看到虚拟成像与舞台空间实景的叠加效果（图3）。

■图2 《翅膀》透视式HMD中的场景

■图3 《仙踪元素》观演方式

②舞台端混合现实。在实体舞台空间中，将计算机生成的虚拟信息直接投影到真实场景物体上，为舞台空间提供立体布景、虚拟角色或道具等场景环境要素。例如在《魔笛》（The Magic Flute）（2003）中，投影屏围绕着舞台表演区，将整部歌剧置于虚拟环境之中，“龙”是其中的虚拟角色（图4）。

■图4 《魔笛》混合现实舞台场景

2 舞台空间与虚拟环境的本体同一性

尽管基于计算机技术的VR概念直到上世纪80年代方才正式出现，但人类对虚拟环境的追求由来已久。在艺术领域，人们从未停止过对其基本幻象的塑造，而这种基本幻象实际上就是艺术的本质特征所在[4]。正如新媒体艺术家黛安·格罗玛拉（Diane Gromala）所说，“VR的历史先例可以追溯到通过仪式、模型、艺术、文学和戏剧的虚拟仿真建立起来的虚幻世界……唤起和感知一个共享的但另外一个世俗的地方，在其中人类可以延伸和投射他们的代理”[5]。在戏剧观演中，演员通过想象与观众“合谋”，让观众萌生出“自愿暂时停止怀疑”的共鸣，一处空荡荡的舞台因此成为戏剧中角色生活的场景。可以说，无关乎技术的介入程度，舞台空间本质上都是一种虚拟环境。从更广泛意义上讨论，VR创造虚拟环境的方法与戏剧艺术相似，都是通过模拟、虚拟来再现与表现生活的意义。

苏珊·朗格（Susanne K.Langer）认为，“舞台无论有无描述性布景，都为虚构的动作提供了一个‘天地’，由于要把一个布景变成一个‘场所’，舞台设计往往创造出一种造型幻象”[6]。舞台设计在某种程度上可以混淆戏剧场景与现实世界的界限，使观众沉浸在由演员和舞台空间构成的戏剧世界之中。文学剧本中形形色色的故事场景首先会出现在舞台设计者的想象之中，舞台设计者进而将文学剧本中的戏剧性“有形化”，使之成为观众可直接感受到的景象。广义而言，舞台空间中所涉及到的布景、道具、机械、灯光、投影等元素，都可作为实现戏剧性“有形化”，在舞台空间中构建虚拟环境的技术工具。以布景为例，从古希腊的景屋、景片、三棱柱旋转布景，到中世纪的景观站、同台多景，再到文艺复兴时期平面、侧片构成的布景体系与其镜框式舞台，直至当下的投影、视频、VR等新媒体技术的应用，我们会发现，尽管布景的形式在不断变化演绎，但其作为舞台空间中虚拟环境构建的功能却始终如一。

3 VR创新观演体验的目标诉求

艺术家的创造欲望即创造第二现实的欲望会受到媒介手段毫不留情的限制[7]。现有技术条件下，镜框式舞台、布景体系仍然是舞台空间创造虚拟环境最为有效的技术手段，而这种人造幻象又不得不将观众隔绝、排斥在舞台空间之外。在当今广泛使用的镜框式舞台剧场中，观（观众区）、演（表演区）空间泾渭分明，演员与观众的直接交流被舞台前的“第四堵墙”打断，舞台空间成为纯粹愉悦观众眼睛的工具，舞台设计长期以来被桎梏在“创建人造真实”观念中。戏剧体验的核心是演员——观众的关系，一种即时的、个人化的交流，他们之间互通的化学反应与魔力赋予戏剧特殊的品质[8]。为了抗衡将戏剧故事囿于镜框式舞台，切断观众席与舞台之间关系的近代写实戏剧及映像艺术的进攻，现代新戏剧所努力追求的，无非就是用演员与观众之间生机勃勃的直接交流来恢复其创造性的时间及空间体验[9]。

“体验”作为人的基本生命活动，带有“以身体之，以心验之”的含义。观演体验包括直接观察与亲身经历两个不同深度层次。现象学家莫里斯·梅洛-庞蒂（Maurice Merleau-Ponty）突破西方传统哲学中以笛卡尔为代表的身心二元论并提出“具身主体性”（Embodied Subjectivity），承认人类对世界的认识是以身体为中介，通过身体的知觉与整个世界发生关系。心理学界发展了“具身”思想并形成“具身认知”(Embodied Cognition)理论，明确以身心一体论为基础，强调并阐释了身体与环境的相互作用及其在认知过程中的作用[10]。据此理论，镜框式舞台前静坐观演，观众身体与表演舞台脱离，以“离身认知”的方式在舞台技术手段构建的虚拟环境之外，通过视听获取并处理信息，属于一种直接观察式的、“身心二分”的浅层观演体验。若要实现“身心合一”的深层观演体验，则需要使演员与观众共同地以“具身认知”的方式亲身经历戏剧空间，彼此之间无缝交流。

VR的构想性（Imagination）技术特点，以非物质、低成本、高效率的数字化手段，可在舞台空间中为戏剧演出模拟出兼具现实与超现实、写实与抽象的虚拟场景环境。然而，如果仅停留在对三维视觉效果模拟与呈现层面讨论，那么VR便只是继绘画、投影、视频之后，舞台布景的一种新材料、新媒介而已，观演不仅仍然停留在身心二分式浅层体验，而且舞台空间中切断演员观众直接交流的“第四堵墙”依旧存在。因此，观演体验若要实现创新式发展，VR在舞台空间中的应用必须谋求更为开阔的思路。为此，VR需要积极调动构想性之外的另外两项技术特点——沉浸感（Immersion）与交互性（Interaction），从模拟对象跨越至模拟体验（图5）。

■图5 VR创新观演体验的途径

4 VR创新观演体验的实现途径

4.1 亲身参与的深层观演体验

媒介理论家马歇尔·麦克卢汉（Marshall McLuhan）认为，“人类正在逼近人类延伸的最后一个阶段，即从技术上模拟意识阶段”[11]。随着计算机图像、音频素材的分析能力的提升，根据用户个性化需求，自动大规模生产在视、听、力、触、体等方面与真实世界类似的VR内容，已经不再是天方夜谭[12]。通过对全感官沉浸与多通道交互功能的开发运用，VR使演员与观众可以凭借“身体”积极地参与到戏剧场景中，产生亲身经历戏剧空间的主观感受，获得“身心合一”的深层观演体验。全感官沉浸是指通过“欺骗”身体的视、听、嗅、味、触等多种器官，给人带来身临其境、真假难辨的真实感、临在感。演员和观众以身体多感官协同的方式，沉浸于虚拟环境之中，身心以开放的状态全面地凝视、倾听与感知戏剧世界的环境信息。多通道交互是指，在虚拟环境中为演员与观众提供人性化的操作界面，模拟出人与真实环境的自然反馈过程，包括使用、参与、操纵，通过对身体的动作、表情、语言、声音及其他可测生理信号的捕捉、计算与转化，VR可实现周身与虚拟环境之间主动、实时的、近乎自然的交互。如此，虚拟环境不仅是活性的和可视化的，而且可被再造和重组，增减和转换。当虚拟环境与参与主体的行为活动紧密联系，成为他们身体活动实际指涉的客体，虚拟环境也同时通过从其与主体行为的相互作用中被把握，便作为角色所生活的想象世界而存在，进一步强化参与主体对戏剧空间的相关感受。

在该途径的实践探索方面，班芙艺术中心早期作品《渗透》做出了开创性贡献。该作品的革新意义在于，通过使用复杂的数据衣“读取”包括用户呼吸在内的多种身体信息，引发虚拟场景中自然要素的生长变化，既增强了沉浸感，也契合了作品有机的、自然的体验感知主题（图6）。哈工大（深圳）数字小剧场首演话剧《来到深圳的豆芽菜》（2018）中，演员与观众置身于相同的戏剧时空场景之中，光学传感器实时追踪身体的动态细微变化，转化为实时连接传输的数据，再经过交叉演算，并配合音乐、灯光驱动全景场景实时变化（图7）。

■图6 《渗透》观演方式

■图7 《来到深圳的豆芽菜》交互式全景场景

4.2 观演双方感官意识的互联互通

从物理意义上打破舞台空间中的第四堵墙，使演员与观众共同置身于相同的戏剧时空中，但这并非等同于演员、观众彼此之间自动完成了无缝的沟通交流。演员所扮演角色在戏剧时空中的感知体验、内心世界和情感变迁，即戏剧体验最核心、最具魅力的部分，观众依旧难以感知。换言之，演员与观众心理上的“第四堵墙”依然存在。开创时期的VR新媒体艺术实验，尽管受限于当时技术设备条件，但其创作理念日久弥新。《沟通机》（Inter Discommunication Machine）(1993)使用了一款两人参与的VR新媒体装置，两位参与者的HMD可以将其对虚拟游乐场的视觉和声音感知相互投射，从而混淆了“你”和“我”之间的界限，力求使用者可体验彼此之间的身体感知。《机械》（Machinal）原作运用了表现主义形式，注重表现角色内心的感受。在其2000年VR版中，舞台布景可随着演员的移动与动作发生主动的、实时的改变，既在视觉上强调了年轻女性所面对的外部嘈杂的日常生活环境，也清晰地展现出她内心躁动不安的情绪。

此后，观演感官意识的互联互通成为VR新媒体与舞台实验一直以来的主题与探索方向。一方面，VR作为观众身体感官的延伸。观众真实地感知、参与虚拟场景的同时，用角色的视角感知、体验一切，获得与演员一致的生理感受；另一方面，VR作为演员表演的延伸。演员的心灵与认知不仅发生在脑内，也可通过表演中的动作、表情、语言等身体生理体征与环境物理现象建立耦合系统，扩展身体语言，彰显内心世界，传达并感染观众。在这种观演双方感官意识的互联互通中，戏剧体验的核心——演员与观众间的无缝交流变为可能。《最后一眼》(Les Falaises de V.)（2018）中，在场观众全程在病床上佩戴HMD观赏，尝试通过带入第一人称视角，体验身体和情感的变化（图8）。

■图8 《最后一眼》观演方式与HMD中的场景

在互联网、身体传感、遥在等各种新兴技术的协同支持下，VR及其衍生技术将身体感知能力向超越身体视域的空间扩展，在场或不在场观众能够与不同时空中的角色互动交流、彼此影响，极大突破了戏剧观演体验的物理空间限制[13]。与此同时，还需要予以特别注意的是，尽管舞台空间发展出完全虚拟的电子空间形态，但戏剧体验的核心和魅力——演员与观众之间勃勃生机的交流依旧存在。

5 结语

VR应用于舞台空间与现场表演方兴未艾，其观演形式多种多样。剥去形式的外衣，从舞台空间的本质与戏剧体验的核心出发确立观演体验的创新方向，即从“身心分离”式浅层体验向“身心合一”式深层体验更迭，演员与观众之间的无缝交流。为此，VR应用于舞台空间需要从模拟对象跨越至模拟体验，使演员与观众凭借全感官沉浸与多通道交互共同地亲身经历戏剧时空，通过感官意识的互联互通彼此之间无缝交流。基于本文所探究的逻辑方法，舞台空间将有望从物理与心理上彻底推翻以往为制造虚拟幻境阻隔于演员与观众之间的“第四堵墙”，向时空相容、体验共享、生理共振与精神共鸣的观演体验创新迈进。