虚拟偶像设计中的多层面部微观研究

孙红远 王利丽 刘京京

收稿日期：2023-09-01

基金项目：山东华宇工学院2022年度校级科研计划项目（2022RW09）

DOI：10.19850/j.cnki.2096-4706.2024.06.004

摘  要：虚拟偶像在元宇宙背景下获得了极大的关注，旨在探析虚拟偶像面部的设计与制作中微观细节如何影响其真实感。分析了手工制作流程与扫描制作流程，对手工制作的低中高模转化进行了示意，并对各区域毛孔视觉重要性权重和毛孔与微皱纹的基本走势进行了分析，展示了基于动作捕捉技术下虚拟偶像表情制作流程。得到3+2+1的面部微观层次和面捕应用流程。强调反走势层在提升面部真实感与随机感的重要性，认为应保持虚拟偶像的创作属性，积极探索新技术对流程的影响。

关键词：虚拟偶像；面部微观；数字雕刻

中图分类号：TP391.9    文献标识码：A  文章编号：2096-4706（2024）06-0015-06

Multi-layer Facial Micro Research in Virtual Idol Design

SUN Hongyuan， WANG Lili， LIU Jingjing

（Shandong Huayu University of Technology， Dezhou  253034， China）

Abstract： Virtual idols have received great attention in the context of the metaverse. This paper aims to analyze how micro details in the design and production of virtual idols' faces affect their realism. It analyzes the manual production process and scanning production process， schematically converts the low， medium and high models in manual production， and analyzes the visual importance weights of pore areas and the basic trends of pores and micro wrinkles. It shows the facial expression production process of virtual idols based on motion capture technology. It obtains 3+2+1 layers of facial micro and facial capture application processes. It emphasizes the importance of counter-trend layers in enhancing facial realism and randomness， and believes that the creative attributes of virtual idols should be maintained， and the impact of new technologies on the process should be actively explored.

Keywords： virtual idol; facial micro; digital sculpture

0  引  言

計算机软硬件、动作捕捉技术的持续进步推动了CG行业的发展，其中虚拟偶像因进一步的“真实”与潮流亚文化的结合，获得了大量的年轻流量与资本的青睐[1-3]。在虚拟偶像盛行之前，CG行业对写实角色设计进行了大量实践，对角色如何摆脱恐怖谷效应，提升真实性提供了有效参考。知名3D角色艺术家艾夫基·易卜拉欣（Sefki Ibrahim）认为人物写实的重点是将各元素之间的协调配合作为首要目标，因为人脑并不能感知脸部的复杂性。但是这并不意味着面部的微观细节不重要，相反，它恰恰是渲染出人脸真实油脂感的必要条件。亚当·斯普林（Adam Spring）认为研究解剖结构，深入了解面部肌肉才能让角色更加写实，并且倡导全流程手工制作而不是扫描快速获得模型，另外，他还提到不对称的重要性。徐卫国也在《数字建筑设计理论与方法》中提到人们往往忽视自然界中的万物都是非规则形状这一普通自然现象，这也印证了角色的真实性与对现实世界的观察和对微小细节的科学把控息息相关。目前关于虚拟偶像的文献研究主要聚焦在宏观层面上，研究其发展历史、与粉丝关系以及传播影响等，少有研究关注虚拟偶像设计制作中面部微观细节如何影响其真实感[4-7]。计算机软硬件和动作捕捉技术的进步推动了虚拟偶像的发展，CG行业对写实角色设计进行了大量实践，强调协调各要素、研究解剖结构、注意微小细节和不对称性以提高真实感。虚拟偶像设计制作追求与现实世界一致的面部微观，但在数字世界中追求“残缺”比“完美”更难。部分写实虚拟偶像的设计已体现面部微观细节，为后续提供参考。许多研究忽略面部微观细节对真实感的影响。本文总结虚拟偶像的手工PBR（Physically-Based Rendering）制作流程，分析面部微观在3D技术中的应用，探索面部微观细节如何提高虚拟偶像的真实感[8-10]。

1  虚拟偶像的手工制作全流程

手工制作是指流程中的设计内容均手动绘制，但并不抵制扫描素材，反而应融合新兴扫描技术所产出的三维模型、ALPHA贴图等资产提升效果。PBR次世代建模流程是目前行业主流制作流程，它的主要特点有两个，第一是由多张贴图控制模型的最终效果，其二是流程中的烘焙环节，可以使低面数模型呈现如多面数模型相同的渲染效果，极大的节省计算机资源，使渲染精度得到进一步的提升，在这一环节中不同于游戏行业的是，虚拟偶像制作中会将高模信息烘焙成置换贴图而不是法线贴图，且整个流程中都不会使用法线贴图，主要是使用离线渲染器的原因。

虚拟偶像的制作流程可分为自动和手工两个大类，自动生成类又包含很多小类，如人体扫描、捏脸生成等。人体扫描是指通过使用多个造价昂贵的摄像头搭建好的硬件环境对人像或人体进行数据采集，生成多面数的模型与逼真的贴图。捏脸生成技术是指用户可以通过直观的UI界面调整五官、服饰、表情等，在规定的框架内完成虚拟角色的制作，使虚拟偶像制作具备工业生产的特点，门槛低、大批量、低成本。这种制作流程可用“下限高，上限低”来总结。手工制作普遍是指角色制作中的雕刻、建模环节是手动操作，旨在使角色的外形与细节更加符合人物设定，提高表现力与契合度的上限，这是因为由于面部的状态受紫外线、空气、化妆品等方面的影响，不同地区、海拔、保养手段下的面部状态是不同的，例如生活在亚热带季风性湿润气候地区且每天科学护肤的年轻女性与生活在高原山地气候且只是用简单护肤手段的中年男性的面部状态差距较大。

图1为手工与扫描两种制作流程和流程中所涉及的设计内容，尽管二者在步骤上有些许差别，但过程中二者的核心特点，手工制作与扫描资产都有一定的交融。在手工制作流程中通常会使用到皱纹扫描资产、贴图扫描资产或模型扫描资产辅助制作，扫描制作流程中因扫描环境导致的模型贴图误差，扫描资产与设计方案贴合度等问题通常也需要使用到手动拓扑或雕刻。

手工制作的全流程可分为前期、中期、后期三个阶段，每个阶段都包含不同的设计内容。其中前期阶段旨在确定人物设定和模型初构，人物设定不仅涉及具体五官形状等初级外在设定，还需要考虑到人物的内在性格如何标签化、可视化，例如安静内向、踏实稳重、潮流先锋、音乐达人等人物标签都是内在性格的衍生品，再由服饰、配饰、妆容、发型等设计影响外在形象，可视化人设标签；在完成人设设计后，通过建模与数字雕刻生成中模完成模型初构环节。中期阶段则是利用中模进行进一步细致雕刻，先增加细分曲面使其变为多面数模型，即高模，以获得更多可控的点、线和面，低中高模对比如图2所示。在增面前，为了后期制作更加便利，增加原始模型的可控性，需要将中模进行多边形面重拓扑，减面成为低模，再增面至中模雕刻，最后升至高模，经历中模—低模（规范布线）—中模（规范布线）—高模，如图3所示。

图1  虚拟偶像制作流程图

图2  低（左）中（中）高（右）模对比

图3  手工流程中的低中高模转化顺序

2  数字雕刻中的面部微观分析

医学、解剖学有一套科学、真实的人体学说，为三维设计视角中的人体构造提供了有力借鉴，不同于真实世界中复杂的人体构造，数字世界中的虚拟偶像制作主要聚焦在面部的微观实现，是因为虚拟偶像的面部出镜率和关注度远高于身体其他部位，可以依靠数字化作品的特性节省制作成本，将有限的资源优先分配至面部制作。其次，在建模与雕刻环节中，制作以现实世界中表皮层、真皮层和皮下层等多层次综合呈现出的视觉效果为参考，在数字模型的表皮层单层雕刻呈现，即可营造可以媲美真实皮肤质感的视觉效果，是三维设计中常用的视觉欺骗手段，以节省制作成本和计算机资源。

如上所说，虚拟偶像制作中面部制作权重远高于躯干，且前期需要控制制作成本和节约计算机资源，不同的人设需要不同的面部微观制作方式，即更精确的面部划分，确立具体的微观制作区域。例如男性通常搭配短发，那么因头部两侧短发使头皮部分裸露出来时，需要在头部制作更多的毛孔细节，防止人物头发出现漂浮感，但女性可以搭配长发使大面积的头皮被遮住，这样只需要制作小部分裸露出头皮处的毛孔细节即可，极大的降低制作成本与计算机资源。另外，人脸的微观细节极其复杂且不统一，每个脸部区域因肌肉使用程度不同、结构走势不同、受后天影响方式不同等情况所呈现出的微观细节也不同，所以使用三维建模技术对其复刻前，首先确定具体的面部雕刻区域，其次分析不同区域微观细节的差异绘制视觉重要性权重图作为后续制作参考，保证其真实性。以亚洲年轻女性为例，在确定长发的基础上，根据真实的人脸绘制面部各区域毛孔视觉性权重图和面部微观走势图，如图4、图5所示。毛孔视觉性权重图将面部划分为十个区域，展示了各区域毛孔、微皱纹等面部微观的视觉性强弱。权重的高中低由颜色红黄蓝表示，红色越多的区域代表此区域不仅存在毛孔、微皱纹等微观细节的制作需求，还表明此区域因处于脸部核心区域，位置明显或肌肉使用度高导致的褶皱明显、毛孔较粗大、密集，视觉观察中更为明显，在以视觉为主的三维制作中权重最高；蓝色意为此区域因后期渲染镜头中无表现镜头或毛发、配饰等遮盖，所以在节约成本的前提下不再制作微观细节。额区、鼻区与眼区为视觉重要性权重最高的三区，不仅是因为此三区的面积大，处于面部核心区域，还因为面部表情对三区的影响更大，产生的皱纹更多，在雕刻权重值高的三区时，毛孔间隙稍大，笔刷强度最高，除基本毛孔外需要添加皱纹、脂肪粒、痤疮等微观细节；颧弓区、嘴区、颏区、腮区面积相对来说较小，但区域位置部分处于核心区域，部分处于核心边缘区域，毛孔制作需求高，需要根据肌肉走势仔细刻画微观细节，重要处应制作多层瑕疵微观，丰富视觉层次，但需要说明的是唇纹如瞳孔、口腔内等微观细节应单独计算，因此并未算入此次权重分析中；下颌颈区、颈区、颞区三区虽然面积较大，但部分区域涉及毛发、配饰遮盖区域，权重最低，且区域位置处于弱核心，此处的毛孔制作往往密度高，但强度不高，瑕疵微观层的制作需求低；

圖4  各区域毛孔视觉重要性权重图

图5  面部各区域毛孔与微皱纹的基本走势

面部肌肉的不同走势影响着面部毛孔的排布与微皱纹的方向，每个经过细分后的面部区域内的微观走势都存在一定的不规律性，是错综复杂的。图5展示了面部各区域的基本走势，但并不代表区域内所有的毛孔和微皱纹皆按照走势一成不变，在提高真实感和丰富层次感的目的下，应制作相当数量的“反走势”的微皱纹。反走势意为与精细区域内的基本走势方向相反或有一定的偏差，制作顺序应在符合基本走势的毛孔和微皱纹之后，提升凌乱感、随机感，符合自然界产物的非对称、非线性规则。以核心区域中的眼轮匝肌附近的微皱纹为例，基本走势如以附近一点为起点做圆周运动，可以形成一个椭圆形的闭环，此区域的反走势如果为单纯的反向圆周运动则轨迹与正向圆周运动重叠，无法提升层次感、随机感，所以对反走势中的反字并不仅是相反，而是更大范围的不同，因此合适的反走势方向应与基本走势多向穿插相交，且势弱于基本走势内的毛孔与微皱纹。

3  数字雕刻中的多层面部微观

多年前因受限于计算机软硬件等原因，肉眼可以很轻松的分辨真实世界产物与数字世界产物，而随着近些年的发展，数字世界产物的真实性逐年提高，真实世界与数字世界开始交融，二者之间的界限从原先一条锐利、明确的分割线开始变成一团向四周扩散的烟雾。之所以在视觉上人们很容易就能分辨出是否是真实世界，除了人们每时每刻都在进行视觉真实度训练，更重要的是某一物体呈现出的视觉效果是多层次、多维度的，例如生活中最常见到的A4纸，它的视觉多层次体现在本身的基础材质表现、空气中的灰尘、纸张绒毛、打印油墨等多层复合堆叠，而他的多维度体现在与空间内其他介质产生的交互效果，介质有肉眼、自然光、人造光、遮挡物等。同样，面部微观细节也是多层次多维度的，在三维设计中模拟真实人脸状态的核心是面部油脂感和与空间介质交互后产生的瑕疵模拟，基于此，本文将视觉导向的面部微观细节归纳为3+2+1层，即三层先天基础层、两层后天瑕疵层和一层利用扫描素材加深细节的提高层，如图6所示。前三层基础层分别为毛孔、走势微皱纹与反走势微皱纹，这三层细节奠定了面部纹理基调，毛孔通常根据前期人设确立的信息先绘制单个毛孔，绘制方面主要为毛孔的大小、深度、肉感和挤压出的延伸皱纹强度；每四个单毛孔通过菱形排列为一个毛孔组，多个毛孔组的边缘相接时仍以菱形排列，最终组成一个毛孔群，随后即可以毛孔群为基本单位，平铺整个面部毛孔；走势微皱纹层与反走势微皱纹层都是在毛孔层之上的细节层，走势层的特点是完全符合面部肌肉的走向规律，在特定区域内所有的走势皱纹都是整齐划一，沿着肌肉的方向规律排布，反走势皱纹则是根据走势皱纹的方向进行随机游走，交叉穿行，反走势层不仅是模拟皮肤与其他介质产生的交互效果，更是在与走势层相堆叠后，产生皮肤挤压感，增强皮肤肉感，为反射光提供更多的落脚点。两层的后天瑕疵层归纳为凸起层和凹陷层，真实的人脸状态绝不是光滑无暇的，此层为皮肤在受到后天多种因素如激素影响、紫外线、日常磨损等影响下产生的凹凸，是不对称且充满随机性的，既是丰富皮肤状态层次，也是在遵循自然界规律的设计原则下提升角色的真实感与可信度。其中凸起层主要包含粉刺、丘疹、脓疱、囊肿和毛发糠疹，凹陷层主要包含痘印、痘坑、膨胀纹等，凸起层与凹陷层并不是完全重叠的，它们有重叠区域，也有各自独立存在的区域，进一步的契合随机性。瑕疵层通常分布在油脂分泌旺盛的区域，如鼻区和颧弓区，但有些区域的瑕疵层更有针对性，例如眼区分布最多的脂肪粒，颈区分布最多的横纹与毛发糠疹，嘴区与鼻头分布最多的粉刺与黑头。最后一层为提高层，使用扫描真实人脸后得到的ALPHA纹理加深面部各区域的定向走势细节，尤其是特定区域的特定纹理，如唇线、唇纹和眼轮匝肌附近的交叉纹理，将扫描素材作为最后一层提高手段而不是全局手段，主要原因是扫描素材混有杂色与颗粒，过多使用容易破坏面部视觉性中的平滑感，另外，扫描素材的过多应用也是对角色本身创作性的一种破坏。

4  基于面部捕捉技术制作角色表情

通过MAYA融合变形功能制作角色面部表情动画是行业主流方法，具体是通过更改基础模型点线面的空间位置关系并记录下来，再将各部分的动画通过连接编辑器实现联动。BS动画主要分为眉毛部分、眼睛部分、鼻子部分、嘴巴部分、口腔部分，其中还包含一些特殊表情，表情的命名与具体的形状改变主要参考METAHUMAN和IPHONE的51套BS。过程中以MAYA的软选择和雕刻模块作为模型形变的主要手段，以ZBRUSH的图层与雕刻为辅助手段，反复调整点的位置。BS表情绘制完成后需要通过连接编辑器使部分BS表情产生联动，例如重点表情JAWOPEN（张嘴）中，上牙床和上牙齿是需要保持不动，但下牙床、下牙齿和舌头是需要张开的；眼睛的转动也需要与泪腺、泪阜联动。在BS面板连接好各个需要联动的部位后，需要再将BS连接到控制器。

BS面板与控制器连接是靠动画模块中设置驱动的关键帧，当控制器组件平移Y轴时，BS动画或骨骼的权重值变为1，设置关键帧产生联动，如此反复后绑定所有表情至控制器。骨骼动画与控制绑定需要在节点编辑器中选中各自变化的组件节点后，通过节点的属性值连接绑定。BS表情与骨骼和控制器联动图如图7所示。

图7  BS表情与骨骼和控制器联动

演员使用FACEWARE面部捕捉头盔中的GOPRO录制用于后续解算的视频，视频拍摄前的格式设置为Linear，24FPS，1 440P，界面如图8所示。拍摄好的视频需要导入AVATARY平台中的TRACKER进行追踪，追踪分为两个阶段，自动与手动补齐，在手动阶段，需要选择视频中演员动作幅度较大的帧，对齐追踪点，反复对齐结算后导出RETARGETED文件导入MAYA进行绑定。

在MAYA中使用RETARGETED插件，视频文件进行参考，自动生产在TRACKER中标记的关键帧动画，再手动修正各关键帧，再次反复计算后得到较为流畅的动画，如图9所示。最后烘焙动画至干净的场景，提取上下眼皮的曲线，使用变形修改器中的线性修改器使曲线控制睫毛的运动，再使用变形修改器中的包裹变形器使曲线与眼皮联动，这样曲线又可以带动睫毛完成整个联动。添加灯光，修改摄像机参数与渲染参数，即可开启离线渲染。

图8  演员佩戴面捕头盔与追踪点

图9  在MAYA中分析追踪点与控制器联动

5  结  论

本文总结了虚拟偶像设计领域中的两种主流制作手段，即手工制作流程和扫描制作流程，说明了二者在流程和设计内容上存在交融和协作的，并基于面部微观细节视觉重要性权重分析和各区域毛孔与微皱纹走势的分析下，提出寫实的面部微观细节是多层次多维度的，将其划分为3+2+1层，其中反走势层与走势层的关系应是多向的穿插相交。虚拟偶像设计在三维设计领域中的游戏角色设计独立出来的契机来自元宇宙概念的爆发和、计算机技术和扫描技术的发展，技术的快速迭代意味着实际制作流程同样需要更新，虽流程多变，但面部写实表现的底层逻辑不变，本文在参考医学、解剖学中面部的相关信息，结合观察法以设计的视角探析虚拟偶像的真实性表现，为后续的设计制作提供理论参考。目前扫描技术在虚拟偶像制作中通常以静态扫描为主，并且扫描得到的模型与贴图并不能直接应用，包括目前人工智能在流程中也只能起到辅助设计的作用，并不能完全替代手工制作，但技术的快速迭代要求设计制作者应跟紧步伐，例如动作捕捉技术已经可以在一定程度上取代手动绑定，逐帧制作动画，AI作图可以帮助设计者快速确定角色设计方案，未来虚拟偶像设计制作的发展应紧跟技术潮流，在优化流程的同时也要保证真实性、合理性，探索设计者的时代新职能，单纯的复制真实人类到数字世界中绝不是虚拟偶像设计的最终目的，而应融入创作思维，成为真实世界与数字世界的协调者。

参考文献：

[1] 刘庆科，廖朝骥，薛峰.“元宇宙”背景下数字虚拟角色的发展趋势研究 [J].工业工程设计，2022，4（6）：44-52.

[2] LEMPERLE G，HOLMES R E，LEMPERLE S S M. A classification of facial wri [J].Plastic and reconstructive surgery，2001，108（6）：1735-1750.

[3] 储士博.二次元虚拟主播在中国发展优劣浅析 [J].中国传媒科技，2023（10）：74-78.

[4] 姚睿，黄汀.当代虚拟偶像的传播路径与产业模式——以虚拟偶像团体K/DA为例 [J].现代传播：中国传媒大学学报，2021，43（11）：125-130.

[5] BAKAN U. Examining the uncanny valley effect in virtual character design for digital games [J].Journal of Print and Media Technology Research，2021，10（2）：119-132.

[6] 高存玲，范珈硕.为洛天依写歌：虚拟歌手粉丝创作者的情感劳动 [J].中国地质大学学报：社会科学版，2022，22（3）：147-156.

[7] 薛静.“我爱故我在”：虚拟偶像与“情感真实主义” [J].文艺理论与批评，2022（6）：115-126.

[8] 蒲璐.次世代下虛拟偶像的文化符号与认同建构研究 [J].四川职业技术学院学报，2022，32（5）：140-146.

[9] 林进桃，谭幸欢.虚拟偶像：数字时代网络IP的升级与重构 [J].电影新作，2022（1）：79-86.

[10] 牛旻，陈刚.基于虚拟偶像符号的品牌形象设计与传播 [J].包装工程，2021，42（18）：282-286.

作者简介：孙红远（1996.01—），男，汉族，山东德州人，助教，硕士，研究方向：三维设计、虚拟现实；王利丽（1990.04—），女，汉族，山东济宁人，讲师，硕士，研究方向：虚拟现实；刘京京（1995.06—），女，汉族，山东淄博人，助教，硕士，研究方向：广播电视。