虚拟与现实技术的融合

刘卓

【摘 要】人脑天生就富有想象力与创造力，会架构起很多虚幻的场景与人物等。随着科技的进步，人类利用计算机进行虚拟世界的架构，使这两个看似不同的领域，进行有机的结合。《萌馒囧事》是我导演的一部创意短片，讲述外星来的小馒头人物因飞船发生故障降落到地球，由于对地球的陌生，以至于发生一连串搞笑的故事。本文主要就实拍影像与数字绘景，虚拟元素的制作以及后期合成处理这三部分进行浅谈。

【关键词】实拍影像;虚拟元素;数字绘景;后期合成

中图分类号：J911     文献标志码：A               文章编号：1007-0125（2019）20-0084-02

一、引言

从早期人类在山洞上进行作画，开始出现图像的雏形，到皮影戏走马灯的出现，再到视觉，听觉，表演相融合的电影，发展到现在的AR/VR等虚拟现实技术的出现。我们人脑喜欢刺激，需要接受不同甚至非现实的东西，这也是为什么人类对技术不断进行变革，来满足人类对审美的需求。

计算机虚拟技术目前模拟出来的事物，与现实中实拍事物进行完美结合，可以达到让观众难以分辨的程度。并且用户还可以与虚拟事物进行互动，达到人机交互无缝衔接。电影、游戏、广告、动画等领域都在使用该技术，虚拟与现实技术的出现也给人类带来了不一樣的艺术体验。

二、实拍影像与数字绘景

在拍摄影像之前，我们先要确定一个故事的主题，主题是整个片子的核心，整个故事剧情的发展都会围绕主题来进行展开。好的人物形象对剧情具有推动作用。要考虑到剧本中每个人物形象的设计，以及拍摄的地点与时间等。之后我们会根据主题进行镜头的设计，每个镜头都要对故事有所表达，让观众通过镜头语言知道剧情的发展。在运用镜头时要注意画面的构图关系，景别深度，角度位置，运动把握，色彩平衡等，这些拍摄因素把握好，拍出来的镜头不会太差。

由于我们拍摄的是虚拟与现实技术结合的短片，故事的主人公是两个虚拟的角色形象。所以在拍摄时就要考虑好角色在镜头中的位置。在拍摄时要预先考虑好虚拟角色在哪，为了避免拍摄失误，耽误拍摄进度，可以在纸上进行分镜头设计，构图好位置，使用对称构图还是斜线构图，景别是使用远、全、中、近，还是特写镜头，拍摄手法中推、拉、摇、移、跟踪每个镜头都该如何选择，这些都要在分镜头中具体地体现出来。

拍摄时相机的焦段、光圈开到多少，都要结合现场的场景、光线来做实际的调整，光线太弱时要进行补光。也可以根据镜头美观程度，对实地场景中的物体做适当的调整。需要添加虚拟场景物体时，可以用绿幕对该区域进行遮挡，这样方便于后期进行抠像。有些镜头的制作会使用到特殊的拍摄手法，像《萌馒囧事》项目中有一次主人公馒头把椅子变没的镜头，在拍摄时，我们先拍了一个演员坐在椅子上，然后再把椅子抽走，再拍一个人悬空坐着的镜头，然后在剪辑时，利用两镜头对位重叠方法，做到椅子变没的效果。

拍摄完的素材有些地方会有一些瑕疵，例如玻璃上有一些破损，有些场景上会被贴上影响视觉美观的小广告，甚至有些环境的背景不够美观，或者我们想要模拟出来跟现在季节不一样的环境等。这些情况我们都会用到数字绘景，通常情况下会使用Ps软件来处理出现的这些问题，利用抠像工具来擦除这些瑕疵问题。在Ps或者Sai软件中可以绘制背景效果图，来处理背景中不理想的景物。

三、虚拟元素制作

根据前期设定好的人物形象，在Maya软件中进行模型搭建，建好模型后要检查模型的布线，减少模型中的三角面的存在。模型中的布线要尽量优化，删减对模型中的形体起不到作用的布线，要注意角色面部表情以及形体关节处的布线分布，这些区域的布线分布要尽量圆滑。优化完模型后，在菜单栏中，把模型进行分组命名，这样方便查找模型。在软件中把坐标轴拉回到模型的中心点上，最后点优化场景把文件中产生的一些没用的垃圾缓存删减掉，使制作好的角色文件占用电脑的内存比较小，运行文件比较流畅。因为短片中有两个角色形象，需要把两个角色文件放在一个文件中，根据人物设计形象比例，和导入拍摄好的场景图片，进行角色大小的调整，然后再分别把两个角色进行储存。

制作材质之前，我们需要把模型来舒展UV，我在《萌馒囧事》项目中使用Uvlayout软件来做UV的拆分。UV的拆分注意不要分得太碎，不要出现UV的拉伸以及重合的现象。分好UV的模型导进Substance Painter软件进行贴图的绘制，体现出材质的纹理效果，尤其是在UV的接缝处，材质的衔接与过渡要处理好。把绘制好的颜色贴图、高光贴图、法线贴图、凹凸贴图以及置换贴图导出。渲染素材使用Arnold渲染器来制作，材质贴图的格式为.TX，这个格式是Arnold渲染器特有的贴图格式，使用这种贴图在Arnold中渲染时，速度会有提升。材质球的选择为AiStandard，把在Substance Painter软件中输出的贴图添加到材质球上，根据角色馒头的形象，调节材质球中皮肤通透的质感。

在绑定馒头角色模型时，采用可编辑性比较强的AdvancedSkeleton插件进行绑定制作，它最大的优点就是省去了手动进行骨骼搭建的步骤，只要在选定的模型位置上确定骨点，就能直接生成IKFK控制系统。插件的出现大大提升了绑定的制作进度，而且骨骼绑定好之后，能够很便捷地对出现问题的地方进行修改，还不会影响之前刷过权重范围的大小。为了让角色的骨骼结构运动起来更符合人体运动特点，我们要参照真实的骨骼中骨点的位置，利用Maya软件来完成每个控制器的制作。还要不断调整骨点位置和控制器的长短，使模型与装配好的骨骼控制器更加匹配，这就是骨点装配的过程。在骨骼搭建完成之后，开始进行角色蒙皮的绘制，使用Bind Skin（皮肤蒙皮）命令，让骨骼控制器能够带动模型进行运动。绘制蒙皮权重的时候，要考虑到骨骼控制器所驱动模型的范围，哪些部分的影响会强一些，哪些部分会比较弱，达到蒙皮对模型驱动的效果。角色模型一般大腿附近与肩部的控制点除外，其他部分的点是受两根骨头的影响。使权重效果更加圆润，可以适当加大骨骼的控制范围。要想角色动起来不会出现穿插效果，蒙皮与权重的绘制起到重要的作用。

在制作三维动画之前，除了按照之前画好的分镜头来制作，为了能让制作出来的角色更符合现实中的人物特点，需要我们亲身去表演出来，表演的同时用相机进行记录，分析表演中需要改进的地方，只有不断地改进和尝试，制作出来的动画才能更加真实。根据拍好的视频在Maya软件中进行动画制作，一个精彩的角色动画演绎离不开运动规律的合理运用，馒头角色的运动快慢、节奏感的把握，跑步时的预备缓冲动作、跟随与重叠动作、附属与挤压拉伸动作等。这些因素的把握对动画人物的演绎起到重要作用。角色的挤压拉伸能充分体现人体的柔软度与弹性，而馒头的人物设计软软的、富有弹性更符合这一特点。它的预备缓冲动作也干脆有力。在做完的基础动画上根据表演动作的需要再去细分其预备缓冲与挤压拉伸的力度与速度，这样制作出来的角色动画更加富有张力。为了使动画的表演更加具有趣味性，在每个动作上都可以适度进行夸张，比如说胳膊的摆动幅度，角色跑动准备的夸张等。这样制作出来的人物更加具有弹性不会那么生硬，像机械那样运动。最后制作角色的面部表情，它并不像肢体动作那样，被觀众第一眼所看见，但是面部表情是传达角色人物情感的，喜怒哀乐的情感表达牵动着观众的情绪，推动着剧情向前发展。

特效在一部影片中是必不可少的，能让画面更加真实，也会让镜头更具有视觉冲击力。这个项目的特效部分不算太难，像星空、雾气、烟雾等，使用Maya软件中的粒子特效进行解算，为了能让效果更加真实，需要多次试验调节属性参数，颜色、光晕、模糊的效果可以在后期软件中进行调节。

四、后期合成处理

在制作《萌馒囧事》项目时，也是我第一次做虚拟与实拍的合成，这样的合成要求更高，虚拟的角色如何真正融入到现实中的场景里，首先要做到的就是如何让虚拟角色跟真实的场景中的光源匹配一致。我们租借了一套制作环境球贴图的器材，在拍摄镜头的同时，也在采集当时环境的HDR贴图，这样可以在Maya软件中来模拟周围环境对虚拟角色产生的环境影响效果。在拍摄每一个镜头场景时，主光源的位置摆放十分重要，他决定了光源的来源方向，以及阴影的产生方向等。由于实拍的镜头中有两种灯光环境，一种是在室内，一种是在室外。室外的主光源比较好确定，主要是以太阳光为主。当时室内的拍摄是在学校的图书馆，场景特别大，光源又比较多，很分散，为体现物体的轮廓感，我们在现场摆放了一个主光源。灯光的角度以及位置要做好标注，方便后期在软件中模拟光源时提供方便。为体现场景中的人物灯光的冷暖对比关系，在主光源相反方向的位置，摆放一个辅助光，可以起到人物与场景区分开来，增强人物体积感。这些拍摄中的灯光摆放与采集都是很重要的环节，直接影响整部作品的视觉效果。

现实场景的灯光采集完后，在Maya软件中仿照现实中的灯光，进行虚拟灯光的模拟制作。为方便在后期Nuke软件进行合成调节，在Maya中采用分层渲染方法，灯光层会分为主光层、边缘光层、环境光层、反弹光层、下补光层等。Arnold渲染器支持多通道渲染方法，为后期调节更方便，在制作灯光分层时，在每个灯光层中添加物体的颜色层、高光层、反射层、折射层，如果是角色的话，还需要添加皮肤层等信息。渲染输出的素材格式要使用exr格式的图片，该格式支持多通道渲染输出。除此之外我们还需要制作Occ层、深度层、阴影层、Rgb层等。这样在后期合成中调节起来会更方便。分层渲染输出之前需要在属性面板中做参数设置，如输出的格式、尺寸大小、摄像机位置、素材采样值、渲染帧数等，属性数值设置好以后就可以进行批量渲染输出了。

把Maya中渲染输出的序列素材和拍摄好的序列放在Nuke软件中进行合成，一般我们会分成角色和背景两大部分，为了角色与背景能很好地融合，需要针对背景的颜色，对角色进行校色处理。对于背景的光线强度，对应调节角色灯光强度大小，使角色与背景合成得更加真实，需要添加两者相互影响的效果，像角色馒头站在大理石的地面上，地面上会反射出馒头的倒影效果，以及馒头角色身上会有地面对他的反射效果等。对应再添加上角色的阴影，把角色与背景区分开来，最后再加上运动模糊效果，使整个画面效果更加真实。

在做虚拟与现实结合的项目时，会遇到虚拟角色与真实中的人物或者场景出现叠加重合的部分，这就会利用到Nuke软件中的抠像技术，把重叠的部分扣除。Nuke是一款线性链接的软件，扣像擦除的部分，要注意与其他素材的前后关系，避免出现素材漏空的问题。我们拍摄和制作的都是动态素材，可是抠出的只是当前的一帧画面，为了能让擦除的部分能随着镜头角度一起运动，需要利用跟踪技术，来解决这个问题。