虚拟现实语境下的观演形态变迁研究

虚拟现实的最初构想出自20世纪30年代美国科幻小说家斯坦利·温鲍姆（Stanley G.Weinbaum）的短篇小说《皮格马利翁的眼镜》。故事中戴着这副神奇眼镜的人可进入另一个世界，并可与之交互，影响其世界进程。20世纪60年代，随着计算机技术的发展，科学家对虚拟现实的研究开始起步，陆续研发出可与虚拟环境相连的设备。其中计算机科学家伊万·苏泽兰（Ivan Sutherland）在1968年研发出带有头部位置追踪系统的“头戴显示器”，当佩戴者转动头部，会显示随位置变化实时更新的虚拟环境图像。①20世纪70—80年代，基于计算机技术的虚拟现实技术及其相关交互设备比肩发展，但对于科技研究者来说，这项技术还有着相对严格的定义范围，重点指通过计算机技术开发的仿真环境并主要用于军事领域。1987年，科学家兰尼尔（J.Lanier）首次提出“虚拟现实”这个概念词汇，并逐渐被各界认可。基于之前种种研究，“虚拟现实”实则可以看作是一些特定的技术集合，包括计算机生成三维数字环境以及感知这个环境所需的视听显示、交互感知技术。②20世纪90年代，经大众媒体及艺术界渲染后，“虚拟现实”的内涵逐渐扩展，广义上囊括了赛博空间并在文学艺术层面发掘了自身价值。纵观发展，“虚拟现实”的含义逐渐从技术范畴向更广泛的社会范畴渗透，以一种技术媒介姿态介入社会各领域。在艺术方面，前沿的艺术家以新技术启发新观念，创作出众多以虚拟现实技术为核心的艺术新形式。

一、虚拟现实环境的实现方式

虚拟现实环境主要通过Maya、3DMax等计算机软件制作三维环境模型，并通过引擎软件和虚拟现实开放平台最终完成模型渲染与呈现。而目前运用三维激光扫描技术进行点云建模的方式，也可获得精准至毫米级的三维环境模型，这在考古、医疗、建筑及电影美术领域已有所运用。电影《刺杀小说家》中的一些奇幻场景便是运用激光扫描技术对场景模型进行精准扫描再后期制作完成的。除以上两种方式，随着虚拟现实终端设备如VR绘画软件的发展及开源，直接进入三维空间进行立体绘画的方式也可创制虚拟现实环境。当下，人工智能建模也已成为现实，伴随算法和主机运力不断提升，势必带动未来三维建模行业全链条式的优化升级，届时通过计算机深度学习及用户对内容的描述，或将更便捷地创造虚拟现实环境。

通常情况下，观众（用户）通过键盘、鼠标、触摸屏可直接与虚拟现实环境交互，但简易的桌面式交互缺乏沉浸感。近年VR/AR眼镜技术的精进及其亲民价格，让普通用户也可通过佩戴外置设备进入虚拟环境。值得注意的是，通过洞穴式环境（Cave Automatic Virtual Environments，简称CAVE）也可创造全沉浸式虚拟现实环境。置身Cave空间360°影像包围中的观众可游走可交互，所见事物也是与自己行动轨迹匹配、且透视正确的立体影像。增强现实技术所创造的环境则属于半沉浸式虚拟现实环境，它将虚拟影像与真实世界场景进行叠加，实现对现实世界的增强。在这类沉浸式（VR）或半沉浸式（AR）的虚拟环境中，观众身体的任何行为都可能是交互指令发出或接收的元件，并通过传感器设备与影像内容产生实时互动。比如，头部转动、表情变化、视点移动、肢体动作等都可引发虚拟环境影像的即时反馈。在虚拟现实环境中交互行为的发生，即影像对观众实时行为的反馈，是在相关技术及硬件设备辅助下输入信息指令才得以实现的。如，除鼠标、键盘、手柄这类普遍输入端口外，还包括数据手套、动作捕捉设备、雷达等技术设备。微软推出的Kinect便是普通用户可以拥有的具有动作捕捉、面部识别等体感交互功能的设备，配合游戏引擎软件可研创出与虚拟现实环境实时交互的作品。

互联网及主机算力对虚拟现实环境的呈现也极其重要，其会直接影响多地用户共处虚拟现实环境中的实时交互进程。学界将这类实时、异地、共处于虚拟现实空间中的系统称为“分布式虚拟现实系统”。在后疫情时代的当下，该系统的应用价值愈发凸显。虚拟现实技术为艺术工作者提供了充分发挥想象力的机会，也使电影、戏剧、游戏之间的边界更加模糊，多种艺术形式交叉整合奔赴瓦格纳式的“总体艺术”理想范式。演员、观众、用户这类对传统身份的界定，在虚拟现实环境下似乎要重新考量。以往以真人演员为主体的表演者正趋向媒介化和去中心化转变，观众凝视观望的传统观看方式也转变为多元的参与过程，观演形态的嬗变正在发生。

二、虚拟现实环境中表演主体的转变

传统艺术范畴中，表演主体以真人演员为主，表演者在表演过程中集创作者、创作材料与创作成果于一身，以自己的身体作为媒介传达信息。但在虚拟现实环境中，我们需要重新审视表演主体的范畴，其既可能是数字演员的表演，也可能是数字场景的演绎。

（一）演员的媒介化

真人演员形象作为虚拟现实环境中的表演主体通过以下两种方式呈现：一种方式是对演员形象进行高仿真三维建模及动作捕捉，并置入应用场景最终呈现。此类技术在当下电影中常运用，如《双子杀手》中威尔·史密斯的青年形象等。此类数字演员结合游戏引擎实时渲染也可于VR、AR等环境中进行实时表演，但对主机算力及网络要求较高；另一种方式是通过容积攝影（Volumetric Video）将真人演员的形象直接转化成3D视频影像置于虚拟现实环境中表演。容积摄影通过分布在摄影棚中各角度的高分辨率摄像头捕捉演员现场表演及表情，依托捕捉到的带有深度信息的影像数据，通过计算机视觉算法鉴别分割出不同的目标物，如演员、物体、背景等并对其进行3D模型重建。对于未被直接拍摄到的角度，也可通过算法筛选出最优质的关键帧进行计算学习后“模拟补充”，最终将拍摄的影像生成容积数据发布为3D视频模式，用于实时渲染引擎或线下渲染系统，并在影视、VR/AR/XR游戏中使用。容积摄影技术的优势还体现在其可在无绿幕情况下全角度捕捉演员动作细节、服装颜色及材质等数据，计算生成具有写实质感、可360°观看的3D视频。同时，容积摄影也可对多人、大规模动态群体进行拍摄和3D呈现。目前，微软、索尼等公司均设有多人、大场景容积摄影工作室。索尼公司还研发出基于云端传输、渲染的系统来支持运用容积摄影技术的现场直播活动。目前，VR戏剧及AR、XR演出中均有融合了此类技术的作品。德国赛博格强盗（Cyber Ruber）出品的VR戏剧《见见朱丽叶｜见见罗密欧》（Meet Juliet，meet Romeo，2019）通过容积摄影技术拍摄演员在特定空间的表演，生成演员3D影像嵌入虚拟现实环境。头戴VR眼镜的观众进入剧中，演员3D影像雕塑就在触手可及的身边，罗密欧、朱丽叶的雕像也平躺在棺冢上，观众通过触发设置的节点，可从凝固情境的瞬间进入故事进行非线性观看。在此观众成为事件的参与者、见证者，也成为叙述者。剧场的范畴在VR戏剧中，从一个实体物理空间转变成被媒介定义的空间。当下流行的XR综艺直播及AR线上歌会，也相继运用容积摄影技术进行制作呈现更加酷炫的演出效果，如堡垒之夜中说唱歌手特拉维斯·斯科特（Travis Scott）的虚拟演唱会等。

表演者在虚拟现实环境中还可借助其他数字形象进行表演。通过动捕技术将演员动作或表情绑定在特定的三维角色上，如虚拟现实舞蹈《VR_I》（2018）中，观众通过VR头盔配合实时动捕进入虚拟环境，随着自己行动变化会看到30米高的巨人舞者，或是看到其他数字舞者穿梭舞动于周围。这些数字舞者以及观众自己的虚拟形象化身便是运用上述技术实时呈现及交互的。

（二）数字场景的“表演”特质

在数字技术被统筹运用于当代戏剧与影视行业的当下，除演员的媒介化表演外，数字场景也正以新的逻辑范式演绎剧情进行意义生产。虚拟现实技术突破并延展了传统空间，在对表演空间进行重塑的同时，更以奇观化的视觉修辞参与叙事，丰富传统依靠演员表演推进情节的范式，成为演出过程中的重要“角色”。著名学者黄鸣奋曾对数码表演环境和现实环境的关系加以总结，归纳为三种取向，即“数码表演环境与现实环境共存”“现实环境被数码表演环境取代”“只能通过化身进入的全数码表演环境”。①前两种取向在当下很多影视、综艺、演出、展陈空间的经典案例中常有体现。第三种数字表演环境则主要体现在运用虚拟现实技术呈现的作品中，并更具交互性。这类环境中的数字场景常与化身其中的观众发生实时关联，或通过奇观化典型样貌引起瞩目，从而引导观众行为的发生，所以，虚拟现实环境下的全数码表演环境具有突出的表演特质。此外，观众与虚拟环境实时交互过程中，场景或道具往往因具有交互回馈机制进而发生自身样貌、形态或者氛围的改变，进一步参与叙事推动情节。另外，也有一些导向型场景细节隐匿在整体虚拟环境中，在合适契机才展现自身特质吸引观众眼球，并引导观众行动。VR迷你歌剧《消失的比索》（Senza Peso，2016）中，奇观场景本身是叙事的重要组成部分，魔幻光圈作为不同情境转换的通道具有明确的导向性也为情境转换提供契机。佩戴VR眼镜的观众以灵魂化身形式乘坐小船随画面推移开始冥界时空之旅。当场景中魔幻光圈跃然而出时小船便可随即驶入，时空情境在此过程中便被切换，自然而然引渡到下一桥段。这类VR作品中，似“魔幻光圈”式的导向型场景正如“引航员”一样，在恰当时机进行“表演”，展现特质引起瞩目并与观众“搭戏”推动剧情，具备一定的表演特质。

三、虚拟现实环境中观看方式的转变

虚拟现实技术营造的影像环境削匿了边界，也改变了传统观看方式。观众可以以虚拟化身形式出现其中，并可与影像实时交互共同实现作品的完整性。观众在此环境中是观看者，是事件缔造者，也是被他人观看的“对象”和“演员”。与传统意义上的观众不同，处于此环境中的观众更具主动性。

（一）“静观凝视”的观看方式与“边界意识”

过去，观众多通过凝视的方式观看作品，主要原因是边界意识的存在。在历史进程中，无论是“阿尔贝蒂之窗”还是“暗箱”再或是“第四堵墙”理论的提出，都是对“边界感”有意无意的强调。意大利文艺复兴时期建筑理论家阿尔贝蒂（Alberti）将图像看作一个垂直平面，嵌入在空间中某个特定点上，这个垂直平面被称为“阿尔贝蒂之窗”。②阿尔贝蒂之窗将空间分割成两个部分，一部分是观众与图像间的物理空间，另一部分是图像内被建构的虚拟空间，为人们提供了一个可供联想和创作的框架边界。从文艺复兴透视技法被发明以来，各门类艺术家利用此“框架”意识构建内外虚实两个空间的关系，创造时空的延续性或差异性。在有“框”边界的一端，是观众通过“凝视”方式进行观看、遐想和共鸣，另一端则巡回上演着绘画、戏剧、电影等艺术图景。戏剧领域的镜框舞台便可看作“阿尔贝蒂之窗”边界意识的运用，它框定了“幻觉图景”范围，并借助剧场技术使镜框内演区更加聚焦。“第四堵墙”等实践理论的提出更强化了此边界意识，创作者借助演员表演、道具置放等方式构建出舞台与观众之间一面无形的墙，框定了观演界限，隔绝了二者交流。有形之“框”与无形之“墙”，观演者早已达成心照不宣的“共识”。

边界意识同样体现在传统电影艺术的观看过程中，只是镜框舞台变成立体隔绝的“暗箱”空间。电影观众驻足于封闭空间与影像保持适当的观看距离。身处“暗箱”中的观众所见幻象是被有次序切割的有限外部世界的影像，是运动的、具有时间性的，观众需要依据主体经验去体验、感知并转化这些影像。虽然此过程观众的视觉感官经验被丰富，但观看行为却从观众身体中切割出来“将视觉去身体”[1]。也就是说，在暗箱框定的环境中，积极作用并建构意义的是观众的眼睛和自身经验，不是观众在场的身体和行为。从“阿尔贝蒂之窗”到“暗箱”，人们利用视觉原理及装置机具构筑了虚拟图像与现实世界的关系及边界，强化了人们原地不动的观看行为，但也反向促进了人们对视觉经验到感知经验进行探索的主观能动性升级，激发了人们试图超越这种有形无形之边界的意识。

（二）主动参与的观众与具身体验的强化

与“凝视”不同的另一种观看体验方式是游观体验。在中国传统艺术美学表达中，“游观”是具有诗性内涵的，不仅指身体位移、游历于物理现实空间，而且关乎在此过程中与生命体验、心性、审美等融合統一的人生境界，更多唤起作为观众自身的主体意识。这种观看方式中，观者目光随身体移动而延展游走，广视博取、生发共鸣，强调身体在空间游历过程中的视觉变化及与周围复杂观照的过程，将身体总体运动带入感知。艺术史上的全景壁画与巴洛克建筑的穹顶、“球形剧场”“整体剧场”等艺术作品或艺术构想，均是使观众通过游观体验的方式沉浸于环境之中，消除与作品间的屏障边界感。20世纪60年代，西方先锋艺术家曾竭力拓展抽象和技术性影像，并投影在各种媒介之上，邀请观众游弋在影像环境中参与现场表演，创造多种媒体共同作用下的多感官体验，这也是对传统影院“暗箱”边界的突破。西方媒介理论家吉恩·杨布拉德（Gene Youngblood）总结了当时电影溢出银幕的艺术现象，提出“延展电影”的概念，并更大胆地构想出“把电脑设想为一种理想媒介的完美境界，在那里思想和精神的图像将不通过传播和编码过程而立刻被传送到图像世界，这在理论上创造了一个‘大脑界面”[2]，届时或许人类大脑与电脑图像将达到一种无边界渗透、自然融合的存在。

从静观凝视到游观体验，观众突破了静止观看的维度，更多通过行动结合主体经验获得情感共鸣，这在沉浸式虚拟现实环境中更加突出。边界的消弥促使观众更主动地通过身体的介入触发媒介，借助技术获得感知。这里，观众身体成为虚拟环境影像的主动架构者，其主体能动性被放大。观众身体、媒介技术、知觉三者之间的动态共存关系也成为此类作品实现过程中需权衡的关键。媒介理论家麦克卢汉（McLuhan）认为媒介是人的延伸，虚拟现实环境中的VR眼镜、触觉技术设备都是观众的“触角”，媒介技术和观众身体在此融合一体，技术愈发嵌入了观众身体，观众需要利用身体积极建构行为获得技术加持，从而促生新的感知。①根据新媒体理论家马克·汉森（Mark Hansen）的理解，观众“身体与技术的动态协商将催化人类感知本身的重构”[3]。在数字可交互影像的包裹中，观众身体直接影响作品进程和完整性，观众的地位得到前所未有的强调与重视。值得注意的是，观众的主体性不仅体现在积极主动构建自身行动上，而且体现在通过其他感官参与环境交互。观众的身体在场（在虚拟环境的包裹中）让身体其他感知系统也可主动构建并发出交互信号，配合传感器完成信息转化传递，实现感官与精神的双重沉浸。如“触觉反馈”“眼球追踪”“肌电模拟”“脑波交互”等交互方式，都是基于在场观众的其他感知器官而进行。艺术家戴维斯（Char Davies）的虚拟现实作品《渗透》（Osmose，2015）便运用了基于呼吸和平衡的传感器。观众佩戴VR头盔和运动追踪背心沉浸于360°环绕的虚拟空间中。观众通过“呼吸拨开云雾”为自己导航，在均匀呼吸和身体平衡的情况下，观众在行进过程中眼前场景会逐渐变化。

此外，观众主动性还体现在虚拟现实环境中“事件”的展开不再受线性时间的制约。观众作为事件指令发出者，可根据自己意愿从任一处进行交互，主导整个展演/故事次序并形成自己的解读。正因此，虚拟现实艺术作品会损失一定故事性，但也获得更多具身体验。

结语

与传统观演形态相较，观众和演员均可通过外界技术手段幻化为自身或其他数字形象进入虚拟现实世界。在此环境中，观众需要主动构建身体和感官行为并与周遭人事物建立关联，并实现作品完整性。观众在过程中不再是观看者，而是事件缔造者，亦成为同伴的“观看对象”。未来人机交互技术创新及人工智能介入，处于虚拟现实环境中的观众或将通过融合多感官的交互渠道与能自主学习进化的智能虚拟环境及“演员”紧密相连，届时观演形态或将被再次颠覆。

①②[英]马丁·李斯特，等.新媒体批判导论[M].吴炜华，付晓光，译.上海：复旦大学出版社，2016：136，127.

①黄鸣奋.数码艺术潜学科群研究3[M].上海：学林出版社，2014：1601.

②[英]马丁·李斯特，等.新媒体批判导论[M].吴炜华，付晓光，译.上海：复旦大学出版社，2016：137.

①[加]马歇尔·麦克卢汉.理解媒介-论人的延伸[M].何道宽，译.北京：商务印书馆，2000：50.

参考文献：

[1][美]乔纳森·克拉里.观察者的技术：论十九世纪的视觉与现代性[M].蔡佩君，译.武汉：华中师范大学出版社，2017：65.

[2][奧]奥利弗·格劳.虚拟艺术[M].陈玲，译.北京：清华大学出版社，2007：122.

[3]林成文.触觉媒介的具身美学——当代电影和媒介研究中的触觉理论探析[ J ].当代电影，2021（12）：91-96.

【作者简介】 孙妍妍，女，山东莱州人，北京电影学院数字媒体学院讲师，博士，主要从事数字媒体艺术、舞台新媒体艺术、跨媒体艺术创作及理论研究。

【基金项目】 本文系2019年北京电影学院校级科研类项目“基于虚拟现实环境下的观演形态研究”（编号：XP202007）资助研究成果。