动作捕捉与数字动画技术在京剧表演中的应用研究——以京剧《真假美猴王》实验片段为例

张晓华（中国艺术科技研究所，北京 100007）

作为当代影视剧拍摄的技术手段，动作捕捉与数字动画技术被广泛应用。但是，由于艺术语言和表演模式的差异，在传统戏曲舞台的应用仍较为少见。然而，京剧中有很多神话题材的剧目，其中涉及大量的武打动作和魔法幻术等表演内容，如果对这些内容环节加以适当的动作捕捉与数字动画技术，将会极大地增强剧目的观赏性和视觉表现力，更能引起年轻人的共鸣，促使他们更多地接触和热爱京剧艺术。

本文以京剧《真假美猴王》研究实验为例，将动作捕捉与数字动画技术与京剧动作类表演相结合，试图打破舞台空间的限制，增强传统戏曲的舞台表现力，以生动形象的方式对传统艺术进行创新演绎与传播。这不仅有益于京剧艺术的传承，还可以使古老的艺术符合时代审美，焕发新时代的光彩。

1 京剧《真假美猴王》实验片段的内容设计

1.1 设计主旨

京剧《真假美猴王》研究实验的核心部分是真假美猴王的对手戏，如果仅仅表现两个演员在一个虚拟场景作为背景的舞台上简单的套招表演，不能体现本次实验的核心价值。本研究目标不仅仅要在舞台呈现沉浸式的虚拟场景，还要体现实时的互动性，拟通过动作捕捉技术制作虚拟3D猴王，由场外一位穿戴动作捕捉设备的演员来操纵虚拟猴王的表演，其动作数据经由渲染引擎，再经过服务器，最终输出到LED屏幕。这样，“真”猴王与虚拟“假”猴王通过设计好的动作进行表演，从视觉上就能明显分辨真假两个猴王，巧妙而形象地体现《真假美猴王》的故事剧情，增强舞台演出效果。

1.2 设计内容

在实验剧目的选择上，首先通过分析和整理，选择适合应用动作捕捉与数字动画技术的京剧剧目折出，研究两者适当的结合模式，并完成一段全景式拍摄视频案例。

在数字动画技术的体现部分，对京剧表演者的动作进行艺术剖析，由Notch（实时渲染引擎）进行重编码、结点连接，根据不同的角度调整灯光、LED屏幕、京剧表演者具体的动作，通过粒子特效和实时渲染的方式，增强视觉呈现艺术效果。

在动作捕捉的交互呈现环节上，京剧表演者穿戴Noitom动作捕捉设备，从其肢体、手势、步法、身位、运动等多方面进行动作细节的采集与分析，制作虚拟3D猴王，最终呈现完整的基于动作捕捉与数字动画技术的现场表演片段（图1）。

图1 京剧《真假美猴王》实验片段测试录制

2 京剧《真假美猴王》实验片段的实现规划

2.1 实现步骤

京剧《真假美猴王》实验片段的实现步骤，主要分为京剧表演、场地布置、内容设计三个方面（图2）。首先研讨制定实施计划与方案，并按照时间节点完成相应的工作。为了凸显沉浸式设计，选用半环绕的LED弧面屏和地屏，通过Disguise服务器将设计内容输出到LED屏幕，实现场景的沉浸感。为此，特别设计3分钟时长的《真假美猴王》京剧表演片段。由于主题剧情需体现交互性，选用Noitom设备实施动作捕捉技术，以加强“真”和“假”两个猴王的对比效果和视觉冲击力。在舞台中央是真猴王，假猴王则是一个3D虚拟人物，当两人出现打斗场面，视觉效果的对比便能清晰呈现。

图2 京剧《真假美猴王》实验片段实现步骤

主要环节包括场景设定、表演创作、虚拟场景设计、动画特效设计和动作捕捉技术应用等内容，设计与编辑符合表演内容的音效也是非常重要的一环。经过不断排演，须达到美猴王出镜、亮相、打斗、高潮、胜利与结尾等部分与音效节奏的完美统一。

场地的设置要求较高，不仅要良好地呈现预设的环境场景，而且要符合演员腾挪闪转、甚至可以做空翻等高难度动作的需求。同时，沉浸式的舞台环境营造的虚拟奇幻的视觉效果是一个重点，所以，半环绕沉浸式弧面屏被选用作为整个场景的背景铺设。表演场景包括LED弧面屏和地屏，两者的结合可以体现空间视觉上的沉浸感。这样的设置可以清晰还原设计场景和内容，也有利于后期的输出与播控。

虚拟的京剧表演环境用Cinema 4D建模及优化，虚拟的石雕佛像和石窟作为背景，与前景中的山体、石块遥相呼应，渲染故事发生的场景信息，增强京剧表演的沉浸感。石雕佛像为主的场景是专门针对“真假美猴王”故事主题而设计，并创造性地将假猴王设计为真猴王的“心魔”，最终也以真猴王战胜与解除心魔作为全篇结束。

2.2 实现重点

实现的重点是动作捕捉和数字动画特效的配合部分。传统京剧表演的动作程式比较严谨规范，舞台效果相对固化单一，当融入特效后，会使得一些动作更加炫目，更加具有观赏性，从而增强现场的特效和美感。本次实验的突出特点就是具体表演与特效实时互动的舞台效果，而不是通过录制加后期特效的传统方式。

方案设计与具体实施包括前期研讨、京剧排练、实物场景设计搭建、虚拟场景设计、虚拟美猴王建模与贴图、动画特效设计、表演测试等部分。

执行的过程经历了全面深入的方案设计、特效设计、表演设计与音乐设计等过程，尤其在音乐节奏与动作的排练上，重点研究如何协调音乐设计、动画特效设计、动作设计、虚拟场景设计、虚拟动作设计等配合，以及Disguise服务器播控技术的布置，并且按照前期制定的研发进度安排京剧片段的排演。

3 京剧《真假美猴王》实验片段的具体呈现

3.1 具体内容

京剧片段排演流程为剧本设计、脚本描述、场景设置、动作设计、音乐节奏与动作捕捉技术和数字动画特效的结合。2020年上半年新冠肺炎疫情期间，京剧演员展开排练。疫情形势好转后，主创人员在国家京剧院商量和修改表演细节，按照既定计划和技术要求完成京剧表演部分的排演。

场景设计如图3、图4所示。演员1为主要演员，扮演真美猴王，演员2在场外穿着Noitom动作捕捉设备，表演场景中的虚拟美猴王；演员2配合演员1表演剧中的打斗情节。两位演员依据京剧武打戏套路表演，与传统京剧形式不同，两人的空间位置关系发生了变化，演员1在舞台上被观众所看到，演员2则在舞台外面不被观众所视，取而代之的是一个美猴王的虚拟模型跟随演员2的动作在舞台表演。这样一来，真猴王（演员1扮演）现场真实表演的直观感受不变的情况下，假猴王的虚拟感和心魔的角色设定感得到加强，形成更加直接的对比关系，观众立刻就能明白这场戏“真与假”的表演传达，给观众带来意想不到的视觉感受。

图3 演员现场排练

图4 真实演员与虚拟演员关系示意

3.2 预演测试

沉浸式数字虚拟场景采用C4D建模和贴图（图5），经过反复调整，充分表现故事主题和思想，最终应用于虚拟背景场景当中。

演员穿着美猴王的京剧服装（图6），特效团队将衣服材质和贴图运用到虚拟美猴王的模型上，这样可以使虚拟猴王贴近真猴王造型和表演。猴王戏服设计得较为精简，可以让演员在表演过程中不受演出服饰的限制，同时保证虚拟人物的动作捕捉精准到位（图7）。

图6 演员穿着戏装

图7 着装虚拟猴王

数字动画特效设计采用实时交互与渲染引擎Notch制作。Notch能够实时渲染粒子、烟雾、场域等特效，保证京剧演员表演时能够在音乐和表演的CUE点发射相应的特效设计，从而加强对现场实时京剧表演的最终呈现效果，其工程文件打包成block文件传输给Disguise GX2播控服务器，两者有信息传输协议，可以互相支持。

当真猴王在舞动金箍棒时，会伴随数字动画粒子特效（图8）。这类特效一共分为10个部分，真猴王翻跟斗出场、真猴王亮相、佛像光环-1、佛像光环-2、打斗中假猴王的隔档光盾、美猴王的金箍棒表演、打斗时的火光四溅、假猴王被金箍棒击倒时的灰飞烟灭、真猴王胜利后舞动金箍棒、全篇结束拜佛点亮背景。

图8 数字动画特效示意

预演测试主要解决最终表演前暴露出和潜在的问题。图9为主创人员正在测试Noitom动作捕捉设备的精确性。在预设动作安排下，结合音乐节奏，扮演真假美猴王的两位京剧演员互相配合表演打斗场景。

图9 现场测试动作捕捉设备

3.3 设备配置

3.3.1 Noitom动作捕捉设备全套

Noitom动作捕捉设备是技术重点（图10），主要绑定在演员的骨骼结点上，一共有20多个信号传输器，能够很好地捕捉演员的大体动作，并且穿戴方便，符合项目要求。

图10 Noitom动作捕捉设备

3.3.2 摄像机

现场设置一台4K输出的定点摄像机（图11），用来拍摄整个半沉浸式的LED场景与演员表演。

图11 4K摄像机

3.3.3 LED弧面屏+地屏

舞台LED弧面屏长约10 m（图12），高清输出数字虚拟背景画面。地屏保证演员能够在舞台上做翻滚动作，并且能够呈现数字动画特效前景与数字虚拟背景场景融合的舞台。图13为Disguise GX2服务器正在测量场地位置数据和优化场景信息。

图12 LED弧面屏+LED地屏

3.3.4 Disguise GX2服务器

Disguise GX2服务器是保证项目最终输出的设备（图13）。

图13 Disguise GX2服务器

3.3.5 Notch Pro、Disguise GX2制作软件

软件使用许可证Notch配置为商业Pro版，是2020年最新版本，可以保证4K的正常输出。同时，还要与Disguise GX2匹配，可以顺利输出Notch的制作内容（图14）。

图14 Notch Pro、Disguise GX2制作软件

4 京剧《真假美猴王》实验片段的技术难点与技术路线

4.1 技术难点及解决方案

4.1.1 数字虚拟场景与数字动画特效的层级关系

数字虚拟场景部分作为LED屏幕的输出背景，即C4D做的场景建模。数字动画特效则是摄像机前景，即Notch特效。当演员表演时，前后场景的优化和校准为技术难点。

对于虚拟场景与数字动画特效的层级关系问题，通过Disguise自带的D3manager软件，将虚拟场景精确测量后投放到LED屏幕上。动画特效部分被分成十个Notch输出的block文件，放在D3manager的时间线上（即演员表演的音乐结点上）。当时间线播放至该结点处，触发相应的前景数字动画特效，保证音乐节奏时间线上的动画特效正好匹配演员表演，从而解决前后场景层级关系与演员现场表演结合的优化问题。

4.1.2 京剧表演与音乐节奏的契合

长度3分钟的京剧表演全程配合相应的音乐节奏。音乐节奏采用传统的京剧锣鼓经为基础，演员表演的起承转合有多种音效配合烘托，要求表演者按照设计好的动作演示，同时卡住时间与节奏结点，在这些结点上，会有相应的数字动画特效出现。通过音乐串联京剧演员的表演和动画特效，在视觉上符合逻辑关系和美学要求。

4.1.3 Noitom捕捉的精确性

演出片段采用Noitom动作捕捉设备，规避光线追踪动作捕捉设备繁琐、沉重的缺点，它的好处是比较轻便、便于携带，以无线数据传输的方式捕捉。鉴于Noitom的常规版动作捕捉设备在预演中暴露出的捕捉精度低、面部表情和细微手势捕捉较弱等问题（如虚拟美猴王在场景中手型一直是直立状态，无法弯曲，不太符合人体动态规律），最终选用Noitom Perception Neuron Pro版本（图15）。这是Noitom的一套基于惯性传感器的高级无线动作捕捉系统，具有全身无线数据传输、低延迟高精度、高电磁耐受性等多种特性。凭借其专有的嵌入式数据融合系统、人体动力学系统和物理引擎算法，可以捕捉大型动态动作，为使用者提供平滑而准确的动作捕捉数据。所以，演员的动作和姿态的精确性捕捉等问题都会通过设备升级来改善，并应用在演员的最终表演中。

图15 Noitom Perception Neuron Pro动作捕捉系统

4.2 技术路线

表演者穿戴Noitom Pro版动作捕捉设备，进行节点式动作采集。同时，将所采集的动作通过路由器同步在Notch中，并根据捕捉到的节点，从Notch中调取最优方案进行实时的艺术化渲染。再由Disguise GX2获取Notch中节点结合特效，最后通过两路4K通道传输到投影设备，实时投放在半沉浸式LED屏幕包裹的舞台。表演者在此三维场景现场表演，结合Notch的特效，最终呈现京剧表演结合数字动画技术的实时表演（图16）。

图16 技术路线

5 结语

本文基于笔者承担的艺术科研课题的研发内容与成果，以京剧《真假美猴王》研究实验为例，借助动作捕捉与数字动画技术，使得京剧舞台不仅呈现出传统戏曲的舞台效果，还有虚拟人物、实时交互等综合技术元素的体现。当戏曲艺术与当代演艺科技相结合，为戏曲艺术的普及与推广提供了更加多元和便捷的平台，为受众了解戏曲、热爱戏曲、欣赏戏曲、体验戏曲提供了更多的可能。

京剧《真假美猴王》实验片段呈现出传统戏曲程式与当代演艺科技的互动表现，这种表现模式对于其他传统戏曲形式的表演具有可复用性，是传统文化与现代科技结合的一个新亮点，可以影响更广泛的受众，为今后传统文化创新、创意、保护、传承等领域提供参照示范作用。未来，笔者还将继续探索传统艺术与现代科技结合的价值。