动作捕捉技术在电影领域的应用发展研究

焦垚楠

（浙江传媒学院，浙江杭州310018）

早在1911 年，漫画家温瑟·麦凯 （Winsor McCay）开始在多张纸上通过逐帧绘制有略微差别的角色，实现动画效果，直到计算机诞生，关键帧动画开始成为主流。从此，动画师仅须绘制每个动作的起始帧和末尾帧，计算机便可自动生成一段时间内的中间帧，形成动画序列，这为动画制作人员省去了大量的时间和精力。然而，关键帧动画也有其自身的局限性，类似人类行走、奔跑的动作，仅靠动画师的关键帧无法准确完美地呈现，这使得动作捕捉技术的诞生成为了可能。

动作捕捉 （Motion Capture，简称Mocap）又称为运动捕捉、动态捕捉，是指记录并处理人或其他物体动作的技术。在电影制作和电子游戏开发领域，它往往先记录人类演员的动作，再将运动数据赋予数字模型，并生成二维或三维的计算机动画。当涉及面部或手指的细微动作捕捉时，通常称其为表演捕捉（Performance Capture）。

尽管动作捕捉在影视领域内的大规模应用主要在21世纪展开，但早在电影诞生之前，动作捕捉的雏形就已出现。从早期沉重繁杂的机械式，到如今简易轻便的光学和惯性式，随着应用需求的不断提高，其技术发展也经历着不同时期的变革。

1 20世纪70年代以前： 动作捕捉的前身

1.1 动作捕捉技术的萌芽

图1 慕布里奇所拍摄的图像序列

1830 年出生于英格兰的慕布里奇 （Eadweard Muybridge）是当时旧金山的一名风光摄影师。1872年受雇于时任加州州长的利兰·斯坦福 （Leland Stanford，斯坦福大学创始人之一），来验证马在奔跑时四只脚是否会同时离开地面。六年后，慕布里奇通过由马蹄触发十几个相机的方法捕捉到了马在奔跑时的一组图像，最终证实马的四肢会在奔跑时同时离开地面。这次实验不仅使他成为电影发明的重要奠基人，也为动作捕捉 （即动作采集与重现）贡献了最基本的思路。

图2 马莱的动作捕捉服和所捕捉的动作姿态

与慕布里奇同年出生的马莱 （Etienne-Jules Marey）是一名法国生理学家，他是便携式血压计的发明者。1882 年，马莱在巴黎与慕布里奇会面，受到慕布里奇工作上的启发，于次年发明了记录动物运动的计时摄影枪 （Chronophotographic Gun），但不久之后就放弃了这项工作的进行。同年，他发明了一种带定时快门的摄影机，使他能够在一个圆盘上曝光多个连续的运动图像。这种摄影机最初在玻璃圆盘上记录图像，后来马莱用纸膜取代了玻璃板，对早期电影使用胶片产生了启蒙作用。马莱的拍摄对象身穿动作捕捉服，其姿态与骨骼数据体现了高度的一致性（图2）。

在慕布里奇与马莱之后，出生于美国内布拉斯加州的哈罗德·埃杰顿（Harold Edgerton）于1931年开发了频闪观测仪 （Stroboscope），将高速移动的物体捕捉在胶片上，高速摄影自此诞生，这对于日后光学动作捕捉相机的数据采集极为关键。

1.2 转描：弗莱舍与迪士尼

1883年出生于维也纳的马克斯·弗莱舍 （Max Fleischer），于1887年随全家一起移居美国。他在任职 《Popular Science Monthly》杂志艺术编辑期间，提出了逐帧追踪真人电影来制作动画的想法。1915年，弗莱舍花了一整年的时间用转描 （Rotoscoping）的方法来制作自己的第一部动画，他的哥哥David身穿小丑服，扮演片中的小丑Koko。1917年，弗莱舍获得了转描的专利权。转描是通过对实拍影像进行逐帧临摹绘制来创建角色动画，尽管这与当今人们所熟知的动作捕捉相差甚远，但从原理上来看，二者均通过拍摄真人的动作，进而将其赋予虚拟角色，区别只在于计算机的自动重建与人力的手动复现。

1919年，弗莱舍创作了《墨水瓶人》系列的第一部动画片，同时创办了墨水瓶人公司，该公司后来改名为弗莱舍工作室。在 《墨水瓶人》系列中，动画和真人表演被巧妙地结合在一起，片中弗莱舍与动画角色小丑科科 （Koko the Clown）进行了多次交互。之后，该工作室诞生了大力水手、超人等诸多知名的动漫角色，美国卡通明星贝蒂娃娃也在弗莱舍的动画中首次亮相。

图3 《白雪公主》采用的逐帧转描 （Rotoscoping）

1937年，华特·迪士尼（Walt Disney）经过近4年的精心制作，推出了世界上第一部长篇动画电影 《白雪公主》，该片取得了巨大的成功。自次开始，迪士尼便开始采用逐帧转描来制作动画。后来迪士尼的动画人物被高度程式化，逐帧转描成为研究人类和动物运动的重要方法。迪士尼经典动画的DVD 版本（如《白雪公主》和《小鹿斑比》）包含了迪士尼档案中的真人电影片段，如图3中真人片段与动画场景的对比，体现了迪士尼动画师在使用转描时的灵活性和巧妙性。

《白雪公主》的成功归功于华特·迪士尼对情节建置、角色刻画和艺术表达过程中每一个细节的重视。弗莱舍兄弟的动画电影尽管也有一些精致动人的场景，但在情节与角色塑造上与迪士尼相差甚远。弗莱舍和迪士尼都是极富创造力的人，都利用转描技术呈现了精彩的动画效果，但不得不承认，迪士尼的记忆属于大众，而弗莱舍的记忆只留在少数人心中。

2 20世纪末期： 数字动作捕捉技术的诞生与探索

2.1 《Brilliance》：数字动作捕捉在CGI领域的成功

20世纪70年代，数字动作捕捉技术开始应用于医疗和军事领域，到了80年代，其应用才逐渐蔓延至CGI产业。在那个年代，大多数计算机只配有单色显示器，巨型计算机还被安放在冰冷的服务器机房里，CPU、存储器和应用程序无比昂贵，商用3D 计算机动画软件尚未成熟，仅有少量的计算机动画公司存于市场，且这些公司制作的也往往是电视广告或电视节目片头的简单动画。

图4 世界上第一个应用动作捕捉技术的CGI动画 《Brilliance》

1985年的超级碗现场，播出了由Robert Abel为国家罐头食品信息委员会制作的短片 《Brilliance》，世界上第一个计算机生成的女性机器人自此问世，这也是动作捕捉技术在计算机角色动画中的首例应用。如图4所示，制作团队在一个女模特的18个关节上涂描了黑点，然后从多个角度拍摄她在一个旋转凳子上的动作，他们将拍到的图像导入SGI（美国硅图公司）工作站中，借助大量的应用程序来提取CGI机器人动画制作所需要的信息。当时，制作团队并没有足够的计算资源来渲染30秒左右的视频，因此在截止日期前的最后两周，他们借用了全国的VAX 11/750计算机同时进行渲染，最终为世界呈现了这一惊人的成果，《Brilliance》也成为CGI历史上里程碑式的作品。

2.2 《全面回忆》：数字动作捕捉在电影领域的失败

《全面回忆》是由阿诺德·施瓦辛格在1990年主演的一部科幻电影，片中有一场戏是施瓦辛格所饰角色要和很多人共同穿过一座机场的安检X 光机器，当时，该片的制作公司之一Metrolight工作室决定使用动作捕捉技术来为该场戏创建骨骼动画序列。他们在一家光学动捕设备运营商的协助下，对施瓦辛格和其他演员的表演进行了捕捉，收工后他们以为捕捉非常顺利，不久后就会收到由动捕设备公司处理完成的数据。然而，不知是运营商公司对自己的设备不够了解，还是动捕系统本身出现了问题，直到最后Metrolight工作室也没有收到任何数据，他们不得不放弃使用现场的动作捕捉数据。因此，选择专业靠谱的设备供应商极为重要，此外，一定要在完成一两个镜头的动作捕捉任务后对数据进行核对，尽管不需要在捕捉过程中对所有数据进行处理，但务必对捕获的数据质量进行检查。

Metrolight工作室的大意和失误，使得动作捕捉技术未能按计划在 《全面回忆》中使用，尽管该片仍然凭借其特效而获得奥斯卡奖特别成就奖，但动作捕捉技术却失去了一次在电影中崭露头角的机会，直到若干年后才得以进入众人的视线。

与此同时，其他行业则纷纷开始拥抱这一技术。1995年，世界上第一款包含三维角色和三维场景的实时动作格斗游戏 《FX Fighter》发布，它也是最早使用动作捕捉技术为三维角色运动增强真实感的电子游戏之一。游戏角色通过使用一组捕捉好的动作（例如跑步、行走和踢腿）由玩家输入来实时产生动画。动作的连贯使得玩家不会注意到从一个动作到另一个动作的转换，玩家仿佛完全控制了游戏角色。该游戏的成功在游戏界引起了一波风潮，诸多游戏公司开始在他们的游戏中使用动作捕捉技术。

20世纪80年代和90年代的这些开创性努力和成果，让人们看到了数字动作捕捉技术的巨大潜力。除了医疗、军事和娱乐外，动作捕捉技术也逐渐应用于更多其他领域，例如体育界运用动作捕捉分析运动员的竞技表现，并防止伤害发生；设计师利用动作捕捉来了解用户的行为，以设计出更好的产品；工程师使用动作捕捉来分析人类的动作，以设计出像人类一样行走的机器人；艺术史学家和教育家则利用动作捕捉技术对舞者和演员的表演进行研究和存档。

3 21世纪： 动作捕捉在影视中的成长与繁荣

3.1 动作捕捉在电影领域的艰难成长

进入21世纪初期，动作捕捉依然因其技术应用的不成熟而被电影制作者们忽视，只有极少数影片尝试涉足。

2000年印度与美国合拍电影 《辛巴达：超越迷雾面纱》，依据不同体型使用了不同的演员，来对主要角色进行动作捕捉，并使用了另一组演员来进行面部捕捉，几百名印度动画师和一小部分洛杉矶动画师同时参与到动画制作中。该片是世界上第一部以动作捕捉作为主要制作手段的剧情长片，但影片完成后并未进行大范围的发行与宣传。

2001年由游戏改编的影片 《最终幻想：灵魂深处》，在拍摄之初导演坂口博信便渴望以最强的真实感重现CG 角色，因而提出利用动作捕捉来创建角色动画，但动作捕捉得到的数据并未引起动画团队任何兴趣，动画师们仍然凭借自身传统技艺来工作，这让导演极为沮丧。之后他遣散了原有动画团队，找来了计算机图形技术专家雷明顿·斯科特 （Remington Scott）为其动作捕捉方案出谋划策，在经历了一系列测试与研发之后，斯科特的团队最终结合肢体捕捉与关键帧动画做出了逼真的效果，同时也首次实现了多人同时捕捉。比起 《辛巴达：超越迷雾面纱》，其发行与宣传力度更大，尽管最终票房惨淡，但凭借其影响力为动作捕捉技术吸引来了不少支持者。

2002年由彼得·杰克逊执导的 《指环王：双塔奇兵》，在拍摄时首次实现了实时动作捕捉，该系统能在演员安迪·瑟金斯表演时就将其动作实时传递给计算机生成的咕噜蒙皮之中，产生变形动画，以供现场预览。2004年的《极地特快》作为第一部完全使用动作捕捉技术来制作的动画电影，则首次实现了身体动作与面部表情的同步捕捉。该片导演罗伯特·泽米吉斯为动作捕捉的魅力所吸引，成立了ImageMover Digital工作室，致力于对动作捕捉进一步研发与应用。工作室接连制作了 《贝奥武夫》《圣诞颂歌》《怪兽屋》等一系列采用动作捕捉制作的动画电影，直至2007年被迪士尼收购，在经历了一连串票房惨败后，最终于2011年宣布破产。

在2006年《加勒比海盗：聚魂棺》的制作过程中，工业光魔开发了名为iMoCap的动作捕捉系统，实现了户外复杂环境下的动作捕捉。iMoCap 是一种基于图像的动作捕捉系统，该系统在拍摄现场只需几台普通的高清摄影机，通过对演员动捕服上的黑白图案进行跟踪，就可实现动作的记录，演员得以在真实取景地表演，大大增强了角色代入感。尽管该系统由于采集精度问题，无法完成面部、手部等细微动作的捕捉，但其便捷性和轻量化，以及工业光魔的不断开发升级，使得该技术在之后的 《钢铁侠》 《复仇者联盟》等影片中有了更为广泛的应用。

图5 《加勒比海盗：聚魂棺》与 《钢铁侠》中的i MoCap动作捕捉

2009年上映的 《阿凡达》，则开拓了动作捕捉技术的更多领域，即虚拟制作与表演捕捉。电影中所有的虚拟场景在现场均使用Autodesk Motion-Builder软件进行实时渲染，使得导演和演员能够在拍摄中就看到最终的效果，摄影师可以从预渲染的画面中实时监看摄影机视图与角度。此外， 《阿凡达》借助头戴式摄像头及改进的软件算法，完美解决了演员面部表情高精度采集的问题，真正实现了“表演捕捉”，成为电影技术史上的一大传奇。

作为 《阿凡达》视觉特效担当的维塔工作室，在 《猩球崛起》中继续助力动作捕捉的发展。一方面，《猩球崛起》中猿族首领凯撒的表演者安迪·瑟金斯将动作捕捉推向了虚拟表演艺术的一个顶峰，另一方面，为进一步克服户外动作捕捉复杂的环境干扰，维塔采用了以主动发射红外线的LED 灯代替以往反射式跟踪点的方法，使得动作捕捉得以在任何拍摄环境下均能采集到有效数据。

3.2 后《阿凡达》时代的动作捕捉

图6 《奇幻森林》前期预演中的实时动作捕捉

斩获2017年第89届奥斯卡最佳视觉效果奖的《奇幻森林》，将 《阿凡达》中的虚拟制作技术推向了极致。在开拍之前便采用动作捕捉进行创作，毛克利的扮演者塞西（Neel Sethi）身穿动作捕捉套装进行表演，导演和摄影利用动作捕捉棚内的虚拟摄影机物理替身，进行前期镜头规划。导演乔恩·费儒（Jon Favreau）说： “我们在开拍之前就用动作捕捉完成了整部影片的拍摄，并用所拍的素材完成了全片的剪辑，片中所有的一切都有相对应的虚拟资产，我们像设计游戏一样对电影场景进行设计。”到了拍摄现场，前期动作捕捉得到的表演数据被动画师制作成基本动作的循环动画，用来传递给拍摄现场的数字动物角色，现场的玩偶替身也装有跟踪点，用来传递数字动物角色的实时位移。在 《阿凡达》拍摄期间开发的协同摄影系统 （SimulCam），则使得现场工作者可以将实拍画面与Unity实时渲染影像、动作捕捉数据实时合成在一起进行监看。

2019年 《阿丽塔：战斗天使》则继续将 “后《阿凡达》时代”的表演捕捉推向高峰，同样的头戴装置与捕捉系统，不同之处在于，该片采用了更高清晰度的相机来捕捉女主角的面部，同时更为先进的算法，使得每一处肌肉的细微变化、每一处情绪的细微表达都能有效传递给CG 角色，达到以假乱真的程度。

图7 《阿丽塔：战斗天使》的表演捕捉系统

4 动作捕捉对当今前沿技术在电影领域的应用启示

如今，随着VR、互动叙事、游戏引擎、虚拟化制作等技术内容大肆渗透传统电影，力图不断革新电影的媒体形式与创作方法，动作捕捉作为一项重要的支撑技术潜伏在所有 “革命性技术”之内。从《奇幻森林》虚拟制作中的实时动画交互，到2016年SIGGRAPH现场， 《塞娜的献祭》借助Unreal游戏引擎实现同一角色与其 “自身”的实时交互，再到2018年互动叙事作品 《底特律：变人》中令人信服的游戏情感体验，动作捕捉技术为新技术时代的影像内容生产和流程变革带来了不可估量的作用。

纵观动作捕捉的发展历程，每一次演进都与工业技术的进步相关，每一时期的成败也均有着技术以外的复杂因素。事实上，当电影一开始面临声音、色彩、立体、数字这些我们如今习以为常的技术冲击时，这些技术在受人追捧的同时往往也饱受质疑，人们怀着尝试的心态去接纳，同时也在不断的实践中证明它与电影本体的关联以及对于电影创作的重要性，这一切正如动作捕捉在电影生产中所经历的一样。客观看来，将技术作为电影的一个元素，融合技术特色与电影本身需求，而非过度审视技术对电影的革命性与颠覆性，才是电影技术发展更为重要的态度与方向。

注释

①SIGGRAPH （Special Interest Group for Computer GRAPHICS，计算机图形图像特别兴趣小组）是由美国计算机协会计算机图形专业组负责组织的计算机图形学顶级年度会议，成立于1967年，一直致力于推广和发展计算机绘图和动画制作的软硬件技术。