基于数字媒体的虚拟角色融景投射实践

一 背景、意义及现状

随着数字技术的飞速发展，使得舞台表演的形式和内容极大地摆脱了现实的束缚。舞台表演空间呈现的技术和材料变得越来越丰富，借助 AR、MR、Mapping 等技术可以让不同时代，不同空间的场景无缝链接。由于总是给观者带来一些比较新的前所未有的深刻体验。越来越多的导演和设计师开始大量使用基于数字媒体内容的融景方式，这类投射方式在舞台表现中的比重越来越大。

不过这些投射的内容以舞台背景居多，就算是有角色内容也都是设定好的影像。但是数字艺术不仅可以混合原先独立分割的介质和材料，突破现实，也可以突破人体机能的限制，更重要的是可以把观者的反应、动作、做为数据传入作品中，时时衍变出新的作品式样。借助技术的加持，如何使角色利用数字特性与融景投射结合摆脱现实的束缚，并创造一些未有的视觉及交互体验，还鲜有人尝试。笔者在 2017年浙江省大学生双创大赛闭幕式和 2019年杭州师范大学钱江学院 20 周年院庆晚会上两次尝试将智能 AI 卡通吉祥物搬上舞台，制作成虚拟角色与真实主持人同台主持表演。在这样的一个过程中，如何利用新的手段和材料制作？是否仅仅只是一个技术的升级？融景投射的虚拟角色结合数字手段是否有一些新的审美策略成了我们在设计中关心的问题。

二 基于数字媒体的融景投射概述

1.融景投射介绍、原理

融景投射方式是指利用 AR、MR、Mapping、全息等一系列技术手段制作出的使虚拟影像可以贴合在现实空间中活动运行的投射方式。这一类投射中，虚拟影像不仅不受限于现实空间，甚至可以利用现实空间的不规则性而产生更加有张力的现场视觉作品。目前使用较多的就是扩展现实和全息投影两种方式。

扩展现实是 AR、VR、MR 的统称。AR 和 MR 其实采用的是 SLAM 技术（也叫空间定位与地图构建）。通过计算机对空间的扫描（图1），获得场景的空间特征点的数据，然后根据位移时，每个特征点的路径数据构建出场景并反求出场景中的虚拟摄像机。这样添加的虚拟内容就能利用虚拟摄像机获得和场景一样的视角和移动距离。利用这种手段产生的虚拟内容，借现实环境的真实性引观者入境，再配合虚拟内容进行拓展。使得观者有一种神奇的感受。

全息投影1引自维基百科https://zh.wikipedia.org/wiki/%E5%85%A8%E6%81%AF%E6%91%84%E5%BD%B，2020年11月1日。，是一种记录被摄物体反射光波中全部信息（振幅、相位）的照相技术，物体反射或者透射的光线可以通过记录胶片完全重建，仿佛物体就在那里一样。通过不同的方位和角度观察照片，可以看到被拍摄物体的不同角度，因此记录得到的像可以使人产生立体视觉。

说的通俗点，就是使用全息投影将虚拟内容投射到舞台特制的半透半反幕上，投射幕一边通过截留投射过来的影像，在舞台空间中形成虚拟的角色形象，一边又因为其半透明的介质可以将幕后的现实空间显示出来，于是形成了虚拟影像与现实世界融合的效果。在市场上的全息影像的投射主要分为投影幕投射，和45 度角投射。（图2）

图1 空间特征点扫描

图2 全息影像装置结构

2.融景投射的现实应用

国外在2007年猫王的纪念演唱会使用融景投射复活了“猫王”引起了轰动。日本在2017年电视节目《金 SIM》中使用融景投射复活了邓丽君。2016年张艺谋导演为 G20 峰会所导演的《印象西湖》更是融景投射的一次完美呈现。用全息方式投射出来的动态折扇在美丽的西湖上娓娓打开，在西湖水上形成倒影，梁山伯与祝英台在这样的背景前演绎自己的爱恨情愁，将他们俩的爱情故事推向了前所未有的高潮。

这些使用融景投射的作品，都在当时引起了不小地轰动。不过这些作品也都受到当时一些技术的限制。首先融景投射的数字内容都受拍摄时的设定内容的限制。拍摄的设定内容的质量和角度在后期很大程度决定了现场融景投射的质量，限制了融景投射的式样体验。其次这些内容受限于当时的数字技术，没有形成与观者互动，更不可以完成一些现实中不能完成的事。这样由真实舞台引人入境与数字制作内容所形成的张力就大打折扣。

由于数字媒体中游戏技术的快速发展，很多 CG 制作的手段有了很大进步。特别是实时渲染 CG 的发展为实时虚拟角色互动打下了很好的基础。通过 2017年的虚拟角色“创创”和 2019年的虚拟角色“潮潮”两次实践制作的总结，可以发现一些融景投射虚拟角色的式样特征。

三 虚拟角色融景投射设计特征归纳

1.数字媒体内容变化维度大

我们所说的数字媒体内容，通常指的是用计算机计算或模拟出来的图像内容。常规的舞台表演，真实角色受到很多条件限制，比如舞台的大小，手中的道具，演员自身身体的机能。但虚拟角色的活动不像真人般受限制，位置变化维度大：可以移动到舞台任何位置，例如可以从舞台底部跳至舞台的高处，再从舞台高处蹦下来；甚至在空中转体三周半这种动作都毫不费力，手中的道具也是信手拈来。在笔者设计的虚拟角色在表演的过程中，一边快速变大到三倍于真人的大小，充满整个舞台，一边又悠然自得地变回到正常大小，给人一种阿拉神灯般奇遇的感受。

除了角色，特殊效果 VFX 的表演更受场地的限制，在真实舞台上安排一次爆炸先不论效果如何，单单安全就没有保障。数字性代表着混合，可以将各种素材、各种本领数字化混合在一起，做出惊人的视觉效果。自然，基于数字 CG 手段的特效变化维度也就很大：如冰霜雨雪，爆炸烟雾等效果。例如，表演伊始“潮潮”伴随着冰与火而闪现，给观众一种灵光乍现的感觉。

因此融景投射中使用基于数字媒体的内容制作空间较大，限制较小，可以塑造自然现实中无法企及的部分。为整体特殊的式样特征打下基础。

2.全息投射角色的融景性

所谓“融景性”就是虚拟角色不仅能和真实环境同时出现，还能和真实环境相协调。不管是通过空间定位技术，定位到真实空间的虚拟角色，还是通过特制的半透半反幕形成的舞台空间中的虚拟角色，都能够与背景及真实主持人融合在一起。例如我们制作的虚拟角色“潮潮”可以和舞台中的背景融合。当时舞台的背景设定为繁星点点的星空，我们可以看到舞台上“潮潮”和主持人并排站着，并和背景中的星空形成一定的遮挡。无论观者的位置和视角如何移动，在空间、颜色、等各个方面，基于数字制作的角色与内容都可以和舞台上的其他物件以及真实主持人融合，虚拟角色在真实空间中的位置和真实空间的关系也不会扭曲，让观者感受到他们在同一空间也不觉得违和。

3.交互角色的真实性

这里的真实性是指在真实空间中角色外表渲染中，物理光线计算的真实性。不管使用哪一类材质，都可以搭配真实世界的光线反射处理，获得有真实世界物理光照的效果，哪怕使用动画卡通材质。随着游戏技术的发展，现在实时渲染的 CG 角色在场景运行过程中不仅可以获得较贴合物理现实的渲染效果，做到与静帧渲染质量相差不大的效果，并且还可以获得较高的帧率。

例如两次实践中，从虚拟角色的次反射材质皮肤，到角色身上的衬衫和马甲布料，在实时渲染的情况下都获得了和现场较贴合的效果。不仅在外观上具有了物理光线的真实性特征，还抽离出真人的社交特征，像真人一样可以与观者互动。

基于 AI 的虚拟角色2如笔者2017年为浙江省大学生创新创业大赛颁奖典礼制作的“创创”和2019年为杭州师范大学钱江学院院庆晚会制作的“潮潮”。，可以对观者的提问给予实时的互动回应。数字制作往往给人的感觉都是设定好的，但是基于 AI 的设定，这个角色有自己的喜怒哀乐，可以和观者做随机地交流。再匹配上夸张的视效与上天入地神奇的表演，更能吸引观者的视觉神经，形成一种张力。我们在节目中就设定了台下观众与虚拟角色的随机问答环节来突出虚拟角色的真实性。

总结两次的内容都使用真实的视觉特征，融合到现实环境中，辅以超越现实的表演。通过这些视觉特性的总结，我们也可以发现融景投射的数字角色遵循以上这些原则可以获得更好的效果。

四 虚拟角色融景投射的审美策略

1.抽离真实，超越真实的原则

什么是数字媒体的真实？有人会说，现在的软件工具和机器允许上千万面的细节雕刻，可以大大增强虚拟角色的真实性。这里说的真实不是对客观事物的原版照抄。格式塔心理学认为：任何形都是知觉进行了积极组织或建构的结果或功能，而不是客观本身就有的。3[美]鲁道夫·爱因汉姆著，滕守尧译，《视觉思维》，四川人民出版社，1998年，第 3 页。形是一种具有高度知觉水平的知觉整体，它从其他物体中清晰地分离出来，自身有着独立于其构成成分的独特性质。这里所说的真实不仅抽取了客观特征，又包含了主观的组织。卡通吉祥物既来源于现实世界，又有基于的真实和客观想象。例如：吉祥物“潮潮”的材质表达，在制作过程中既需要模拟真实的皮肤质感、光照物理效果，制作无异于真实世界的布料材质，如棉马甲，衬衫等，又在形、色、造型方面又不等同于现实生活中真实的动物兔。但没有一个观者会否认这是一只在眼前现实空间活动的真实的兔子（图3）。也没有一个观者会认为这是一只我们在花鸟市场常见的动物兔。

当然抽离一些特征进行混合编排仅仅只能使得这个形象活立起来。事实上，在表演情节设定中，超越这些抽离的特征才能激起观者获得更深刻的体验。举例说，使得虚拟卡通角色完成现实生活中无法企及的事，例如使用“魔法”。在造型和人物设定上这种抽离真实特征又出现在现实中的矛盾构成了这种式样的张力基础。

图3 “潮潮”现场示意图

2.表达人物内心演绎的原则

不管是哪种新的技术或是新的形式，如果没有介入情感表现，生命体验，那始终还是一种物理科技。融景投射技术如果使用不当往往给人的感觉就是技术新鲜感。电影一般以通过故事塑造角色，通过对角色鲜明性格的体验来引导观者共情。那么融景数字角色不仅适用于此原则，更不仅限于此原则。数字角色通过运用话语，细微的肢体语言，甚至超现实的表演技巧，利用类人般的物理真实和心理真实与超现实的表演来制造一种强大的张力。试想一下，一个类似于蜘蛛侠般的科幻剧里的科幻人物一边只是在眼前的现实舞台上做了几个夸张的动作，上下乱蹦跶了一番，一边是出现在观者眼前的现实空间，并向他们表达他的真实想法，这两种体验哪一种更能感染观者。很明显这种对超现实的人物内心的临场体验与审美张力所造成的感受才是这种形式的关键。所以，融景投射角色不能仅仅是一种新显示方式，还是合乎艺术的规律并生动演绎了角色的内心感受，才能创造出超凡的艺术体验。

3.与观众互动的原则

数字媒体的本质是交融混合，不仅消融了各种材料的界限，也消融物质和虚拟的界限，更消融了观者和作品的界限。首先观者对现实中出现这样的一个亦真亦幻的角色，心理上还是有一些怀疑，但是当这样一个角色可以与观者互动，与真人一问一答，特别是在舞台上出现一些随机发生的互动，就会让观者完全沉浸在数字角色的场域中。其次在节目的过程中，观者的举动（包括不限于喝彩、起哄）、观者的提问都会被转化为作品的数据直接影响角色的表现和表演深度，从而时时变换角色的形象塑造。因此交互推动了这种式样的张力，使得这种式样的矛盾更加稳固，也使得这种矛盾张力更加多变。

五 全息实景剧的一些新尝试和体验

在两次的融景投射制作中都使用数字角色与真实主持人同台主持，并引入AI，与动态捕捉的虚拟角色进行融合切换。与 2017年在室内的融景投射虚拟角色“创创”实践相比，2019年更是在户外使用融景投射装置制作了“潮潮”。虽然在技术上遇到了很多难题，也因为室外的自然环境因素增加了很多不确定性，但是室外的增强效果要远远大于室内的效果。在制作过程中，“潮潮”能够不断地产生张力来持续地吸引观者，如：“潮潮”穿着和真人相同材质的服装出现在现实世界中产生张力；和真人相似的“潮潮”可以通过完成真人所不能完成的动作和特效产生张力；能上天入地的“潮潮”又可以和真人观者进行实时随机地互动更将张力矛盾推向高潮；“潮潮”消失前最后的回眸一笑更将这种张力定格在观者的心中，久久挥之不去。

在实践中可以看到，融景投射的虚拟角色结合数字并非只是手段升级。不同于使用数字笔在平板上模拟各画种，其可以模拟不同画笔工具及不同类型纸张的效果。虽然方式得到了一定的扩展，但只是将线下工具数据转化到线上。工具的特性及画面结构等一些审美特征本质性问题并没有改变。而使用 AI 数字工具并结合融景投射的手段并非简单地将在屏幕中的影像换种展示方式，在这个过程中，虚拟角色从出场到最后消失，审美张力矛盾连续不断地产生，并逐渐增强。总之，把依靠理性创造能力调动的数字科技与技术手段和依靠生命体验感性创造力调动的视觉艺术相结合的方式创造出了一种新的充满意外和能量的审美式样。