维塔数字智能面部动画系统在电影《阿凡达：水之道》得到成功应用

近年来多部影片使用面部动作编码系统（Facial Action Coding System,FACS）采集演员各种不同表情，形成表情库，并在片场与演员的面部表情数据匹配后，形成逼真的数字演员。在2019年制作完成《阿丽塔：战斗天使》后，制作公司维塔数字（Weta Digital）认为FACS 系统存在诸多问题，如面部肌肉分离、覆盖、大规模冗余等。例如，当FACS 映射一个面部表情时，为了获得足够真实可信的效果，FACS可能会绑定多达900个FACS 形状。这是因为，FACS 不是一个基于动态时间和对话动作的面部动画系统，而仅仅是情感表达，只能从外部模拟一张脸，缺乏姿势过渡信息。

图1 APFS面部动画系统

对此，维塔数字研发团队决定重新处理整个面部制作系统。团队开始从解剖学角度研究人脸肌肉，重点关注肌肉如何分布、彼此如何连接。团队发现，做一个表情会激活一块肌肉，而其他肌肉也被串联激活，或被动拉动。由于肌肉的相互连接方式类似于神经网络，于是开发团队决定构建一个直接基于肌肉的人工神经网络（Artificial Neural Network, ANN）系统，让动画师能够直接控制脸部的每一块肌肉，实现下巴、眼睛和肌肉的任意组合运动。

维塔数字新开发的面部动画系统名为符合解剖学的面部系统（Anatomically Plausible Facial System,APFS），其基于肌肉纤维曲线作为解剖基础，是一个以动画师为中心、以解剖学为灵感的面部建模、动画和重定位传输系统。APFS 基于178 条肌肉纤维曲线实现，这些曲线可以收缩或松弛，以提供细粒度的高保真面部表情。该系统既可由内向外实现，面部由肌肉纤维曲线驱动，也可由外向内，通过动画师拖拽和移动面部来实现。该系统已成功应用于电影《阿凡达：水之道》中。

1 面部重点区域：眼睑、下巴与眼睛

APFS 系统中，每条肌肉曲线都有一个关联的应变值。肌肉曲线并没有真正扭曲，但应变值在其局部空间中提供了沿曲线的收缩或扩张。从某种意义上说，它是长度变化的百分比，每个应变值独立发挥作用。例如眨眼这一动作，涉及沿睫毛线的水平、垂直、上下以及眼睛周围的肌肉曲线。这种情况下，水平曲线的实际应变值变化不大，因为它在眼球上方旋转，而垂直曲线的应变值变化很大，更重要的是，垂直曲线沿着肌肉曲线的形状缩放，与眼球的曲线相匹配。

因为对面部状态的主要控制是下巴，尤其是在对话中，下颚不断移动，是面部状态的主要驱动力，因此在APFS 系统中下巴和嘴唇尤为重要。开发团队注意到，所有人的下颚只能以盾牌的轨迹形状移动，下颌骨或下颚骨通过颞下颌关节与颅骨相连，并由韧带和肌肉固定。因此，可通过追踪颌上的一组概念点来映射颌的运动范围，当系统将一组这样的点映射到一个人所有可能的表情上时，就会得到一个盾牌形状，被称为盾牌。然后对演员进行数字头骨拟合，再计算出下颌的运动范围，最后使用立体头戴装置（HMC)进行求解以提取深度信息。

此系统的眼睛模型与演员的巩膜、角膜和虹膜相匹配。通过旋转眼球在每一帧中调整眼睛注视方向，使虹膜模型与角膜缘环和瞳孔对齐。由于眼睛晶状体及其显示的折射光线很难通过系统模拟，所以会使用多个相机角度来验证对准，确定角膜折射的光，以增强角色眼睛的真实感。

2 传输姿势库

动画师习惯于使用姿势库，但姿势库不会对运动进行编码，组合使用很容易脱离模型。对此，维塔团队为动画师构建了基于应变值的动作库，结合使用一个自动编码器，保证应变向量保持在合理的面部动画边界内，这种由外到内的方法提供了曲线的反向映射，可直观进行拉伸和收缩肌肉。

3 电影《阿凡达：水之道》中的定制化设计与应用

在电影《阿凡达：水之道》中，许多演员都需要在水中进行表演捕捉，但他们的大部分面部动画则需要在陆地上进行二次捕捉，然后与水下表演捕捉相融合。

在进行水下面部表情捕捉时，演员们需佩戴一个HMC，维塔团队开发了一种名为Deep Shape 的可视化工具，用于提供可从任何角度观看的演员实际表演的3D点云重建。该技术相当于动画师在演员面前架设一个虚拟摄影机，不会出现广角失真，可准确查看嘴唇和下巴的延伸，为比较和判断APFS 仿真提供了面部真实性的关键参考。

为了最大程度实现演员与角色面部的匹配，维塔数字专门设计了角色模型训练过程，利用人工智能深度学习模型与算法，以学习演员的潜在肌肉行为。该系统使用用户定义的权重图精准映射皮肤，分别处理眼睛和下巴区域，以便更准确地传递面部关键部位的表情。这一过程中，考虑到纳威人独特的外形，还需将演员的下颌绑定与角色匹配，用来弥补牙齿和头骨解剖的偏差。

曲线肌肉系统具有一组向下延伸到颈部区域的曲线，这样可以与身体表演捕捉更好地结合。但耳朵的动画独立于这一系统，因为人类耳朵本身并不驱动任何面部肌肉，但对于纳威人来说，他们的耳朵有着丰富的表现力，无法在人类身上表现，所以耳朵部分由一个单独系统来控制。