从MotionScan看面部动态捕捉的改进和发展

从MotionScan看面部动态捕捉的改进和发展

周飞

（湖北经济学院，湖北武汉430205）

摘要：本文旨在研究2010年公开的由澳大利亚Depth Analysis研发的面部动作捕捉技术Motion Scan；讨论了传统动作捕捉技术对于面部和肢体语言捕捉的处理和不足；系统介绍了Motion Scan技术的基本原理，处理方式和相关工具；分析了面部扫描技术的优点和不足；最后作者提出了面部动作捕捉未来的改进方向。本文是一篇对面部动作捕捉技术进行深入浅出的探讨的文章。

关键词：动作捕捉；面部扫描；Motion Scan

项目基金（注：本文受湖北经济学院校级青年项目“动作捕捉技术在影视动画和游戏中的应用”的资助，项目编号：XJ201319）

一、传统面部动作捕捉中的主要问题

脸部动画技术是动作捕捉技术的一种特殊形式。[1]近年来已经不断被加入到各种主流影视娱乐片的特效环节中。在传统的动作捕捉技术中，表演者需要站在蓝色或者绿色的背景幕布前，身着带有白色标记点的黑色紧身衣。这些白色的标记点能够被摄像机识别。[2]当演员运动的时候，（由于背景被设置成蓝色和绿色，对于摄像头而言，背景是空白的）这些标记点能够在没有任何遮挡和障碍的情况下被记录它们的空间运动轨迹。

数据捕捉之后，动画师可以利用捕捉到的动作数据来创建一个和演员表演动作看来一模一样的数码骨架傀儡。借助功能强悍的软件的帮助，动画师可以让这个数码傀儡的动作被应用到任何他们想要的数码角色模型身上。[3]如此一来，动画师就如同操纵傀儡的人偶师一样。但是，这种方法做出来的角色动画共同的问题是：

（一）缺乏精准的角色肢体语言

（二）缺乏生动写实的角色面部表情

对于游戏设计师而言，这是一个很重要的问题，因为人类被肢体语言所驱动。我们在日常生活中能够识别多达250000种不同的面部表情，并且在人类与他人交流的交流方式中，有65%是肢体语言和面部表情。

最早在2010年公布出来的motion scan技术就是为了解决这个问题而被开发出来的。它能够通过一套系统去详细捕捉表演者的面部表情，并能够在最终结果里清晰的体现出诸如开心和沮丧，好奇和不关心，等角色情绪上的差异。

二、动作扫描系统Motion Scan

Motion Scan是由一家澳大利亚公司Depth Analysis研发的动作捕捉技术。该公司也是澳洲著名游戏公司Team Bondi[4]的姊妹公司。该技术最早在2010年的E3游戏大展曝光，并在2011年应用在ps3平台的视频游戏“黑色洛杉矶”[5]中。和其他动作捕捉设备所不同的是，motion scan使用了32个高清摄像头来捕捉演员的表演，且演员无需穿戴任何特殊的服装或标记点。[5][6]该系统捕捉32台立体阵列在演员四周的高清摄像机的画面以便捕捉演员的脸部。这一系列的视频数据被传输到电脑系统，并使用立体成像技术逐帧生成演员的三维模型。数据当中包含的内容是一张组合而成的从每个摄像机角度观察到的纹理贴图和法线贴图。数据的处理过程包含在后台的捕捉过程中，并且有多个可调的参数以便于满足客户的需求。[7]一旦这些参数被选定，数据就被传输到等待处理的服务器中。处理器的数量决定了数据处理的速度。Depth Analysis公司目前使用了64枚处理芯片，根据客户的需求他们可以继续增加配置来加快处理速度。[5]在数据处理的环节没有客户介入，因此该过程是不受干扰的。[8]

Depth Analysis公司也为游戏开发商和电脑动画公司研发了一套工具。为3ds max motion builder开发的一款插件，可以让用户结合motion builder即时捕捉演员的面部表情并创建游戏或者电脑动画的影片桥段。这意味着，电脑动画团队可以利用它来快速看到他们想要的镜头效果。而对于游戏开发的团队而言，Depth Analysis公司提供了一个服务器设备，允许设计师和艺术家可以将不同的表演和对白进行混合，匹配，修剪，并将之用于视频游戏开发中。Depth Analysis公司为“黑色洛杉矶”（L.A.Noire）这款游戏捕捉了超过50个小时的原始素材，[5]最终在游戏中使用了21个小时的对白。而motion scan在游戏中的代码可以整合到任何游戏引擎中。

三、Motion Scan中体现出的问题和未来面部动作捕捉的发展

Motion Scan技术做到了精确捕捉角色面部表情，并能够让玩家在游戏中通过虚拟角色的面部表情进行剧情的推理决策。这对于面部动作捕捉技术在游戏中的应用无疑是具有划时代的意义的。[9]然而Motion Scan仍然并非完美的。从最终呈现的结果来看，还存在以下一个明显问题：

（一）游戏中人物视线经常无法匹配。这是因为在进行动作扫描的过程中，每个演员单独表演所导致的。

（二）游戏中人物的面部表情、头部运动和演员的身体运动不搭配。这也是因为该技术在捕捉的时候将面部表情的捕捉和身体动作的捕捉分开进行的。

（三）游戏中角色瞳孔的聚焦和游戏场景不匹配。这是因为在动作扫描技术中，而且角色无法精确把控最终游戏中虚拟场景和物体与他自身的相对位置。

以上几点指出了未来面部动作捕捉技术的改进方向：

（一）尝试在动作捕捉的过程中，同时将角色的肢体语言和面部表情进行全面捕捉。只有如此才能有效的解决因面部

和肢体分开捕捉而带来的面部表情和肢体动作不匹配的怪异现象。

（二）尝试复数个主要演员同时进行面部和肢体的动态捕捉，用以解决和改进角色之间视线不对接的问题。

（三）对于出现面部特写的主要场景进行面部动作扫描的时候，提供最终虚拟场景中主要互动物体的精确定位，用以解决角色瞳孔聚焦点和虚拟场景不匹配的问题。

四、小结

传统面部动作捕捉技术体现出来的缺乏面部表情和精细肢体语言的问题已经无法满足日益高清的游戏画面和更加写实的虚拟体验的要求。Motion Scan技术的出现划时代的改变了这个现状，并给于视频游戏玩家更加真实的虚拟现实体验。尽管它并不完美，仍然有不少问题，但是可以发现，人们对于面部动作捕捉技术的关注和挑剔已经聚焦到了瞳孔级别了。这不仅表明面部动作捕捉技术的精度的飞跃，也暗示着未来面部动作捕捉技术将朝着更加精细和复数化同时捕捉的方向去发展。

参考文献：

[1]廖小兵.表情动画在动作捕捉系统中的实现[J].出版与印刷，2009，（2）：39-41.

[2]贾云鹏，周峻.作为技术史的艺术史——从《阿凡达》看电影技术的变革[J].北京电影学院学报，2010，（3）：21-28.

[3]张雨.基于动作捕捉的虚拟运动与用户身体自然性表达[D].哈尔滨工业大学，2010.

[4]Crecente, Brian (November 13, 2010).“Why Gameplay In L.A. Noire’s New Trailer May Not Matter”[J].Kotaku. Retrieved 4 September，2011.

[5]Horner, Kyle. "The "Fallout" of MotionScan"[J]. 1UP.com，2011-09-04.

[6]Peckham, Matt (4 February 2011). "In L.A. Noire Asking Questions Trumps Firing Bullets"[J]. PCWorld，2011-09-04.

[7]McMillen A. Why Did LA Noire Take Seven Years to Make?[J]. IGN. com, 2011.

[8]Gosling T A N. A Technical Analysis of Facial Motion Capture Systems.

[9]Zielke M A, Dufour F, Hardee G. Creating Micro-expressions and Nuanced Nonverbal Communication in Synthetic Cultural Characters and Environments[C]//The Interservice/Industry Training, Simulation & Education Conference (I/ITSEC). National Training Systems Association，2011，（1）.