虚拟现实技术在《牡丹亭》中的创新与应用

周智娴

（南京邮电大学传媒与艺术学院,江苏南京 210000）

中国传统戏曲历史悠久，它萌芽于先秦时期，酝酿于隋唐时期，到了宋朝已经初步形成，元朝时期达到鼎盛繁荣，一直能发展演变至明清，当下已经形成一套非常完整的体系。本次应用是将虚拟现实技术与《牡丹亭》这部经典巨作里的片段加以结合创新，尝试运用较为新颖的呈现方式传播经典戏曲。希望能对虚拟现实技术与传统戏曲艺术相互融合的创作应用，以及今后进一步的改进提高积累一定的经验。

一、作品的前期准备与拍摄过程

1.器材的改变

自戏曲从传统的舞台表演传播形式转换为影视戏曲传播方式之后，戏曲的创作就开始发生了变化。随着传播方式与途径发生改变，戏曲由单纯舞台空间的演绎转化为多维度呈现方式。正如董新颖提出的：“中国戏曲发展史就是戏曲艺术使用不同媒介进行传播的历史。”对于以VR为最终呈现方式的《牡丹亭》而言，因为吸纳了新技术，所以整个作品不再停留在前期剧本与表演阶段，此部《牡丹亭》作品更侧重于中期拍摄与后期制作这两个部分。

首先，VR视频在拍摄器材上不同于以往传统拍摄视频的器材，它需选取与作品相匹配的VR摄像机。因为VR视频的画面概念上发生了改变，视频不再是纯粹平面化呈现，而是360度全方位环绕式画面展示。为了展现更大的戏曲舞台空间，作品拍摄时需要使用多个镜头同时进行拍摄，以便获取更多的视频素材提供中后期拼接制作。

其次，通常VR视频拍摄，一个场景只需架设一部VR专业机位就可以实现全方位360度无死角拍摄。和传统的一机一镜不同，专业的VR摄像机需一机多镜。其目的是获取全方位的视频素材，以便将画面缝合制作出360度VR所需的场景画面，此外多个镜头的画面比例、分辨率、帧率也需保持一致。作品《牡丹亭》拍摄时选择使用了Insta 360 pro全景相机进行拍摄。这种具有8k专业级的3D VR全景相机，不但拥有6个鱼眼镜头可以做到实时拼接和同步监看。而且有助于规避拍摄时画面、分辨率以及帧率不同等带来的后期制作中的隐患问题。

2.场景搭建

为了使观众可以从某种传统的、旧式的、固定的视角中挣脱出来，在影像内容的引导下，相对自由地选择观察方向与角度进行观赏，更好地给予观众一定的参与感与新奇感。作品《牡丹亭》抓住了中国戏曲的虚拟性的艺术特点，借助VR技术搭建了与之所需的场景。

首先，作品《牡丹亭》中没有景别与镜头运动的变化。全程只有一个全景镜头来表现场景的全貌和戏曲内容。其次，参照分镜设计，在现场拍摄时，对如何设计演员走位、如何引导观众观赏视线等多个方面均进行了反复推敲之后，再结合抠像技术，初步确定作品所展现的舞台场景，为确定和进一步细化场景提供条件。最后，抠像的人物与虚拟三维动画场景相结合，渲染生成3D水墨动画效果。

3.拍摄要点

不同影视作品都或多或少的具有一定独特的艺术特征与艺术表现形式，因此就会拥有相应的技术要点。对于通过VR展示的《牡丹亭》而言，有以下五个拍摄要点值得与之分享探讨。

第一，传统影视作品可以通过多个镜头远近高低的安排与运动镜头组接交代事件、传递情感、烘托气氛，但通常VR视频中则不会有这些镜头变化，只有固定镜头。所以在VR视频拍摄中，镜头的位置变得尤为重要，它的安放以观众观看角度与高度为准。《牡丹亭》在拍摄前，导演已初步确定机位与镜头高度，并设计记录人物活动的范围，后将测试视频传到电脑上进行反复调试，以确定场景镜头最终的远近高低。此外，拍摄中使用的Insta 360 pro全景相机还可以直接将视频传入到手机app进行同步监看，这样即便在没有电脑的情况下也可以通过观看手机对演员的位置与走位进行及时调整。值得说明的一点，虽然常规视频的镜头语言在VR视频中并不起作用，为避免视频画面过于单一，我们可以通过调整被摄人物的位置，变换场景元素，增加画面层次，增加交互切换等方法，人为制造蒙太奇假象，从而给观众带来丰富的视觉变化体验。

第二，在条件允许的情况下，尽量使用专业VR摄像一体机进行拍摄。一体机可同时开启多个摄像头，有效防止因开始时间差带来的视频画面不一致，导致后期画面缝合帧率不同步，以至画面无法合成。

第三，关于拍摄现场是否要清场的问题。通常的VR视频拍摄时，需要进行清场。因为在360度全景拍摄下，会拍摄到到场内工作人员导致镜头“穿帮”。但这也有例外，例如《牡丹亭》，因为作品采用了三维动画虚拟场景作为场景，剧组只选择了120度拍摄区域，所以本次拍摄没有进行清场。处于这样的拍摄区域，导演可以站在演员对面的位置，指导演员表演。

第四，为了减少拍摄器材的出镜率，VR拍摄在进行360度全景拍摄中大多使用独脚架进行拍摄，原因也是减少“穿帮”，减轻后期修图的工作量。但同样也有例外，例如《牡丹亭》只选择了120度的拍摄区域，为了获得更高的稳定性，剧组选择了三脚架进行拍摄。

第五，还需关注一些拍摄参数。目前根据此次项目的需要，视频选择了25帧/秒进行拍摄制作，但随着5G网络逐渐完善，VR技术迅速发展下，视频的帧数越高，带给观众的沉浸感更真实。以后，VR视频的每秒帧率还将大幅度提升。

二、作品的后期制作

拍摄之后的VR视频需要进行大量精细的后期制作。在VR视频的后期制作中，不仅需要进行传统的视频后期制作，而且需要对于左右眼的视差进行分析，缝合视频周围图像，以及解决硬件适配等问题。在《牡丹亭》中，具体体现在把拍摄的演员视频进行缝合，再将所制作的背景与演员视频适配起来，辅之以声音的变幻，再加以硬件调试，最终完成《牡丹亭》的VR展现形式。

1.素材整理

在正式后期制作之前，我们首先需要将前期拍摄的影像素材进行分类整理。由于VR一体机是多目拍摄，每输出一条拍摄素材实际上等同于输出几段视频素材，比传统后期多出了几倍的工作量。按照《牡丹亭》的呈现效果的需要，我们使用了6个摄像头，所以获得的是6段视频。但又因为作品拍摄时选用的Insta 360 pro全景相机，它可以在拍摄后自动进行机内缝合，所以不需要再将视频进行重新分类与手动人工初步缝合，从而提高了一定的工作效率。

2.缝合适配

单镜头的多目缝合工作是VR后期制作中基础的一步也是关键的一步。面对6个方向的素材进行后期编辑并非在于传统的剪和接，而在于对拍摄的6个画面的缝合，尽管Insta 360 pro全景相机会在机内进行初步缝合，但是针对一些视频素材的过缝处理，无缝修补以及画面穿帮物体的擦除等问题，还是需要进一步精细处理。缝合拼接是非常精细化的工作，非常考验团队的视频缝合处理能力。我们在VR视频后期拼接中主要使用了mistika、Kolor AutopanoVideo，Nuke等软件。要引起注意的是，Kolor Autopano Video对素材进行缝合运用的是捕捉镜头间像素特征点进行拼接的原理，但在初期拼合过程中，由于360pro不能与像人眼一样很好的处理近远景，近景画面会产生裂缝，所以我们使用mistika进行深度缝合，将画面调整成符合人眼规律的画面。之后，再通过3D建模、后期特效处理等将水墨建筑、动植物立体化后，以达到最终虚实相生的视觉效果。

三、作品中人文情怀的体现

纵观世界艺术史，不难看出以中国画为代表的中国绘画有着独特的艺术诉求，中国画在画面美学上在讲究笔墨、气韵、气势、意境、写、散、玄虚、形、写意、空白等的表现。《牡丹亭》在创作中虽然使用了现代三维立体动画技术，但仍将中国绘画的美学诉求融入戏曲中并进行重构，利用VR的呈现方式产生具有自由、流动、深层、沉浸的全新戏曲艺术展现形式。观众不止看到影像本身，更能激发观众进行对内容主动联想。

《牡丹亭》在设计之初就跳出常规的VR表现框框，即逼真的虚拟世界。汤显祖的《牡丹亭》饱含着深刻的人文主义精神和情怀，经过对历史的考察和求证，以及对汤显祖所处的时代背景和思想主流形态进行探讨之后，作品采用东方水墨化风格的背景与 真实人物的艺术创作手法。一方面是对戏曲文化本身的理解与诠释，另一方面也传达出中国传统的艺术价值观，这是中华文化、中华故事的凝聚，有利于传统文化的弘扬和继承。当观众最终佩戴上VR眼镜进行观赏时，戏曲则变得更具观赏性、去仪式性，甚至交互性。因此，在戏曲创作中运用VR技术是戏曲表演在数字化浪潮中得以延续的可行途径之一。

四、作品实际投放效果与未来的发展之路

戏曲的VR展现形式主要是通过对视觉系统进行了重塑，展现了一种沉浸式的三维立体场景。VR版本的《牡丹亭》，不仅可以呈现立体影像信息，还能使观众从中获取更加丰富、多元的场景再现，让观众真正置身于《牡丹亭》的真实场景中，从被动观看者转变成故事的参与者和体验者。

《牡丹亭》在江苏大剧院进行展示，江苏大剧院能够容纳七千多观众，当天到场人数近五千。我们在现场进行调研后发现，《牡丹亭》的VR展示吸引了大部分的观众，有近80%的入场观众会进行拍照留念，多数年轻观众会上前观看。该片的总时长约为十分钟，每位观赏的观众大概停留时间近七分钟。约70%的观众愿意使用VR眼镜观看，其中男生约60%，女生约40%人。大部分的观看过的观众表示，这种VR展示十分有趣，人物栩栩如生，一致对中国传统文化的创新形式十分赞赏，感受到了科技与艺术的融合，重新认识了戏曲文化。

从投放的效果和反馈来看，这种VR展现戏曲表演的形式可以吸引广大观众尤其是年轻观众的目光，戏曲艺术与虚拟现实技术的结合能够让观众更立体地了解中国故事，以新的观念、新的认知、新的维度感受全新的中国戏曲文化。中国戏曲未来的发展之路应该坚守中国戏曲的文化内涵，在此基础上进行内容、形式、载体、途径、传播方法等创新，不断地将新技术与传统戏曲相互融合渗透。