虚拟现实纪录影像的交互叙事研究

赵宇 周雯

摘要：虚拟现实技术的进步为纪录影像创作拓展了新的空间，其特有的沉浸性和交互性为纪录影像的叙事打开了突破口。与传统纪录影像叙事相比，VR纪录影像复刻了真实场景，强化了真实体验和在场互动。随着虚拟现实技术的迭代，VR纪录影像的叙事也从全景叙事向交互叙事过渡，并在实践中展现出了新的特点。在人工智能技术的支持下，未来的VR纪录影像还将向社交联动的方向不断发展。

关键词：VR纪录影像 第一人称 多感官体验 空间探索 参与叙事

近年来，虚拟现实（Virtual Reality，以下简称“VR”）纪录影片在交互方式上取得了显著的进步，观众可以转动头部、身体，甚至可以与影片中的角色互动。这种交互方式让观众更加深入地融入影片，提高了观看的沉浸感。未来，随着技术进步，纪录VR影片在交互方式上将有更大的突破。

一、VR纪录影像的发展和现状

媒介通过记录文字、图片、声音、视频等信息的方式，保存了许多人类的历史、文化、知识等内容，为人类的学习、研究和交流提供了便利。阿莱达指出“媒体图像”有助于找到合适的“可清晰传达的方式”来表现社会中的记忆，以便最终在媒体图像中塑造出超越个体的“想象的共同体”。纪录影像是一种以视觉、听觉、触觉等符号为表达形式的记录，它能够深刻地揭示事件的本质，并且能够将个人的记忆融入集体的记忆中，从而形成一种独特的文化记忆。纪录影像始终围绕“真实性”和“纪实性”进行表达，创作者们为了更接近“真实”，不断在理念和技术上进行不懈尝试。VR技术作为一种提供多感官感知的技术，允许体验者通过身体在场与感官体验，在虚拟现实空间中与环境产生对话。

VR纪录影像旨在用全景画面展现真实事件，并以场景交互设计为体验者提供身临其境的体验。在对相关文献的梳理中可以看到，在VR纪录影像的题材上，以自然、地理、历史等知识科普类影片为主，叙事类的纪录影片多以社会事件为主。2012年的《饥饿洛杉矶》（Hunger in Los Angeles）是全球范围内公认最早的VR纪录影像，影片使用了动画的形式，内容更接近新闻纪实影像。2015年，中国发布了首部VR纪录影像《山村里的幼儿园》，以360度画面呈现了山村留守儿童的现状，此时的技术还不发达，VR的互动性特点尚未发挥。2017年，VR纪录影像《血肉与黄沙》（Carne y Arena）改变了叙事视角，观众能够以第一视角代入角色，亲身体验“走在沙漠穿越边境线”，但观众还不能真正与角色以及其他元素产生交互。2019年加拿大VR纪录影像《在黑暗中旅行》（Traveling While Black）将VR影像与CGI动画相结合，以动画的方式展现了现实场景，并超越现实完成了抽象表达，VR技术弥合了现实与虚拟之间的鸿沟。2021年入选威尼斯国际电影节的《库松达语》（Kusunda）讲述了尼泊尔地区一种即将消亡的土著语言和当地生活方式。影片使用手势和声音交互让观众通过亲身操作体验原始部落的语言，进一步发挥了VR影像语言的独特优势。

二、VR纪录影像的叙事转向：从全景叙事到交互叙事

虚拟现实技术的全景式记录带来了360度全景视听叙事。在头戴式设备中，观众拥有360度的视野，可以通过头部转动观看上下左右前后方向的画面，这与传统的画面语言完全不同。首先表现在画面的无边框，镜头不存在景别的区分和选择，信息得以最大限度的保留和呈现。在传统电影中，导演会通过镜头表达思想和意愿，依靠远景、全景、中景、近景、特写、大特写，对应不同的情绪，再通过剪切连缀组成一个序列来表达完整的故事。但在虚拟现实纪录影像的创作中，360度的视域范围完全填满了观众的视野，观众拥有自主选择的权利自由取景。360度的全景视域以仿真的沉浸环境、设置叙事视点以及引导注意力的方向，实现了虚拟现实全景叙事的沉浸感和在场感。

虚拟现实叙事的另一个超越传统影像叙事的特点是交互叙事，交互即允许体验者参与到叙事中来，体验者身处场景并参与到叙事中，对故事的发展和走向做出建构。随着虚拟现实呈现和交互技术的发展，VR纪录影像也从全景叙事逐渐向交互叙事过渡和升级。观众通过头部追踪、手势识别、点击操作、声音识别、眼神追踪等技术与虚拟现实环境进行互动，也可以在情节发展的环节，选择不同的情节发展方向，或者探索隐藏的细节和背景故事等，参与到故事世界中。

三、如何在VR纪录影像中实现交互叙事

虚拟现实的逼真描摹不仅仅是为了打造“真实感”，还包括调动体验者的多感官系统，以达到一种更加身临其境的“在场感”。通过充分激活用户的视觉、听觉、味觉、嗅觉等多种感官，虚拟现实能够对事件进行多重解构，引导体验者完全融入被重塑的情境之中。与传统电影中以作者视角的拍摄不同，虚拟现实中的叙事和身份认同建构更加依赖于体验者与虚拟人物、虚拟环境等之间的多重交互。体验者的视点内在化地融入故事之中，因此体验者也始终处于故事中的“在场”状态，可以进行观察或参与。

1.第一人称：交互叙事中视点的改变。虚拟现实允许体验者身体在场直面“场景”，体现出了“去中介化”特质。当体验者直接成为影像的见证人，超越一切中介亲身面对、选择和思考。因此，虚拟现实的拟真技术和互动特性对于纪录影像中“见证人”身份的改造和转化至关重要，它们是纪录影像“真实”内涵发生变革的决定因素。“见证人”身份转化的必要条件就是互动行为，从被动地观看转变为主动参与构建叙事的过程。这个见证人化作了影像中的“我”，“我”也打破了线性时间的逻辑关系，在空间场景中自由转换，并由此带来时间上的变化，观众跟随“我”感知不同时空内的场景，获得多维的时空体验。体验者在“我”的引领下，把自己代入故事角色中，仿佛置身于事件现场。第一人称叙述赋予“我”极大的自由性，可以自由跨越、整合不同的时空，带给体验者多维的在场感。用第一人称的内聚焦叙事方式，拉近了叙事者和体验者的心理距离，体验者作为见证者进入虚拟现实场景中，能够直接与角色进行交互，具身“在場”并获得身份认同和情绪价值，对角色的经历和感受产生心理认同感。

2017年，在CHINA VR新影像奖中获得公益纪录片奖的《秦俑之眼》，在纪录语言和视点上都有了很大突破。在片中体验者被赋予了第一人称的视角，体验者在初始就感受到自己作为一个“兵马俑”，是一号坑中众多“兵马俑”中的一员，并以“兵马俑”的眼睛审视一切，包括如何被铸造、埋葬和挖掘的全过程。第一人称的视点给体验者以强烈的冲击力，仿佛作为一个“兵马俑”度过了一生，但体验者还不能任意走动，在动作交互方面还有一定的欠缺。该片的突破还在于除了实拍之外，还大量采用了CGI手段。VR摄影机首次进入兵马俑修复区，再现了场景和人物的真实状态，并使用动画手段表现风云变幻和历史变迁，这些都增强了场景的丰富度。

2.多感官体验：交互叙事中身体的在场。阿诺德·柏林特（Arnold Berleant）提出了“审美介入”的概念，并认为强“介入”体现在三个方面：一是叙事拼贴数字化介入，受众需在大量零碎的镜头中，用脑建构出完整故事脉络；二是促使受众进行感知整合，使受众感知“介入”；三是感官情感的介入。在虚拟现实空间中，身体、感官、空间的三重互嵌，“触感”成为一种更易得的感官体验，也重构着观影者的主体经验。劳拉·U·马克斯在她的著作《电影和身体》中，探讨了电影对观众身体感知的影响，特别是在视觉和触感方面。她认为，电影皮肤是观众与电影之间的一种感性接触，通过这种接触，观众能够在感官和情感上深入地体验电影。“触感”通过虚拟现实技术对身体进行重建，让观众在虚拟现实场景中感受到身体的存在感，感受到物体表面纹理、形状、硬度等真实的物体，感受到温度、湿度、空气流动，体验到虚拟现实世界中所表现的感官空间，以此重构观影者的主体经验。

2016年的VR纪录片在画面和声音方面不断升级，加入了空间音频技术来还原具有空间感的声音，而后又在技术上不断升级模拟不同感官的体验。2023年7月，国内首档聚焦大湾区的VR纪录片《来自大湾区》，展示了当地的非遗文化，包括传统武术、手工艺、岭南饮食、戏曲，等等。影片在实拍的基础上结合了动作捕捉、CG建模、VR绘画、空间音频等多种技术，在视觉、听觉、触觉等方面为VR体验者提供了全面的感官体验。第一期《龙马精神》聚焦舞龙醒狮表演，体验者能360度看到舞狮全貌，甚至醒狮细节，3D环绕空间音频技术使体验者能够听到来自四面八方的声音，声音的方向感和空间感令人仿佛亲临现场。节目还大胆采用了人工智能技术模拟了人在不同情绪状态下的心跳频率，并将其与鼓点的频率匹配，虚拟的“触感”刺激着体验者的感官，也影响着情绪的变化。

3.空间探索：交互叙事中人与空间的连结。虚拟现实技术创造出一个完全不同于现实世界的时空，这种再造时空能够将任何可能的想象变为“现實”，包括环境、人物、位置、角度、运动、方向、关系等，从各个角度给观众带来完全不同的视觉体验，使其更加深刻地理解和体验“现实”世界。对于纪录影像来说，虚拟现实空间还原和再造“现实”，赋予了体验者真实感官和真实体验。VR影像的叙事空间不仅仅局限于传统的场所，而是通过叙事语言和其他元素的结合，将主体的情感空间拓展出来，将传统空间、想象空间和意识空间融合在一起，让观众能够更加深刻地体验到主角的想象世界。VR的场景空间不仅作为故事背景，也是参与叙事的一个要素，驱动情节发展，这改变了传统影视中仅以时间叙事为核心的既有规则。VR空间中的表现元素，如声音、光线、色彩等增加了空间叙事的容量和情节密度，对于人物的立体化塑造和故事多维度展现具有重要的作用。VR纪录片《行走敦煌》是较早使用空间来叙事的影片，片中建构了敦煌莫高窟的第285号洞窟，体验者走进洞窟，捡起油灯照亮洞窟，并按照引导在洞窟中行走和探索，推开门走进古代僧人禅修的房间，触摸洞窟中的壁画，观看飞天壁画的腾空而起。洞窟是按照真实比例和内容还原，体验者得以与空间中的元素交互。

从技术上看，体验者能够移动的距离取决于虚拟现实设备的支持。在初期的3DOF时期，体验者只有头部能够转动，因此人们的视点单一固定，只在空间中的固定位置。观看者无法选择更多的视点，无法走近或走远、环视等，行动受限会对沉浸有疏离。6DOF交互允许更大范围和更真实的运动，观众可以自由在虚拟空间中选择位置和视角，这使VR观众的叙事身份发生了转变。首先，观众的位置变化，决定其叙事身份不再是旁观者，而是主动选择不同距离和角度解构虚拟空间的构图者。其次，观众的位置变化使其在理解故事时的视角和立场也发生了变化，观众能够主观地解读故事，不再局限于导演指定的主题表达方式，获得多样化的主题体验。

4.全面参与：交互叙事中的自由书写。在由浅入深的全方位交互叙事中，受众的单一体验维度被突破，使原本仅存在于想象过程中的创作内容得以通过实际的在场互动转化为真实行为，从而唤起人类自身的主体性。虚拟现实技术打开了理解和探索世界的新视角，人们不仅能够隔屏观看，还能亲身下场进行“在场”的“本真性”的深度探索，从而实现对于特定事件的全面理解。在虚拟现实中，由于空间叙事和具身交互的特点，身体在空间中的作用也显得突出和重要。安伯托·艾柯（Umberto Eco）指出，艺术创作应该具有一种明显的开放性，不应将可塑的事物局限于固定的结构，也不应仅仅让观众接受塑造的一个固定形象的信息，而应该让观众拥有更多的自由欣赏的机会，从而使他们能够更加自由地欣赏艺术品，获得更多的艺术体验。

2023年制作的VR纪录片《古籍寻游记》是一个更注重交互的纪录片，片中出现了多种互动方式，包括了语言交互、文本交互、动作交互、情感交互，等等，互动的表现方式大多为判断、选择和控制等，体验者不同的决定将导致不同的剧情线路，并在指引下走向最终的结局。在作品《殷墟甲骨：北图 6006 甲骨》中，体验者可以“亲手”体验甲骨文刻字，通过手柄中的震动，真实地感受“刻字”的触感。以手柄敲击甲骨时会感受到震动反馈，且能清楚地听见甲骨碰撞发出的声响，如同身临其境一般。

四、VR纪录影像的未来方向：人工智能下的社交联动

当前，VR纪录影像的发展在一定程度上突破了传统纪实影像的叙事逻辑和表达体系，VR为纪录影像的创新带来了崭新的外延和内涵。随着人工智能技术的发展和应用，VR纪录影像的社交联动将成为其重要的未来方向之一。2018年起，在美国圣丹斯电影节新边界（New Frontier）单元就出现了社交性VR纪录片《齐克尔：苏非神秘主义的复兴》（Zikr：A Sufi Revival），四位体验者同时进入VR影像中，在深度交互里感受影像内容，并在虚拟世界中实时互动。现实社交的虚拟复现也使得影像更具有现实性，极大增强了VR叙事的生命力。2022年，VR纪录片《我们在虚拟现实里相遇》（We Met in Virtual Reality）首次记录了人们在虚拟空间里的故事和感受，这也是VR纪录片与社交结合的一个趋势体现。另一个方向是人工智能在VR纪录影像中的使用，利用人工智能技术，体验者将会在虚拟世界中与其他体验者实时互动，并能够与他们进行实时的语音或文字交流。这种社交联动的功能可以让观众分享自己的观影体验，增强观影的社交性，为观众提供个性化和丰富的内容，提升观影的参与度，这将为VR纪录影像的发展带来新的机遇和挑战。

作者单位 北京师范大学艺术与传媒学院

本文系国家社会科学基金艺术学项目“VR影像全景叙事机制及效果研究”（项目编号：20BC046）的阶段性研究成果。

参考文献

[1]高慧敏.VR纪录影像的互动叙事模式探究[J].电视研究，2019（09）.

[2]魏伟.“我”、见证人、叙事——从所谓的“VR纪录片”谈当下纪录片真实观的变革[J].当代电影，2019（05）.

[3]张明浩.感知美学与感知电影：技术时代下重思电影“感知”之本性[J].北京电影学院学报，2022（11）.

【编辑：朱垚颖】