基于纹理批量映射的电影3D 图像融合优化研究

徐明明 李松松

1.武汉晴川学院，湖北武汉 430000

2.北京超图软件有限公司，北京 100015

1 引言

3D 图像处理技术现阶段主要应用于电影或文物遗迹的数字化复原、城市虚拟搭建和导航系统信息可视化等。为等比例还原电影拍摄中的场景或角色，对作用对象进行视觉图像的重建和复原，模拟一个逼真的感观世界，进而对未来电影工业提供数据支持。该设计是目前3D 计算机视觉艺术在民生领域最广泛采取的技术手段[1]。

在对影片中场景进行数字信息重建和复原过程中，如何采用合理优化的技术至关重要。在电影3D图像技术处理中，按效果大致可划分为静态图像展示与动态视频融入两种方案，此外，使用计算机三维图像轨迹跟踪点的方式处理动态类视频融入十分常见。无论是哪一种方案，都绕不开模型的纹理映射过程，尤其是遇到建筑体量庞大的浩瀚遗迹或者角色造型复杂的吉光片羽。每一处细节都要体现生动传神的肌理效果，传统映射方式虽然准确但操作过程复杂繁冗，尤其是如何在动态视频融入的方案中，达到既提升纹理映射效率，同时增强视觉效果的目的，最终思考的研究重点是如何达到技术优化诉求。

基于上述问题，本文提出将画面通过投影覆盖到三维场景中，并实现点对式轨迹追踪的视频融合方法，以及能够批量实现纹理映射的软件技术。本方法在节省资源的同时提高了研发效率，增强了视觉效果，优化了3D 信息运算的步骤。最后通过分析实验结果、比对实验数据，验证该技术优化的真实性和研究结果的正确性[2]。以上实验可满足当前各相关领域计算机3D 视觉设计的要求。

2 研究框架

2.1 3D 图像处理技术的基本优化架构

本文设计和实现的3D 图像纹理映射优化面向电影场景、角色的数字化塑造需求，在传统的制作原理上最合理优化步骤，提升项目开发效率。在模型到纹理生成的过程中快速映射贴图，针对不同的领域可选择优质的策略与途径。配合工具和技术结合成一个完整的系统架构[3]，见图1。掌握定量分析方法和熟悉“操作性”知识是决定该研究方法是否可行的重要途径，对于实施途径有两个“双效”标准：“效率”和“效果”，即进行系统的设计和开发后是否提高了工作效率，在提高工作效率的同时是否达到甚至超过了“还原”效果。这也是本系统架构设计的另一个目的。

图1 基于系统架构的流程指导图

2.2 过程优化设计

此处以电影中的虚拟角色制作为例，已知的电影3D 图像处理技术制作过程包括：（1）高精度的数字化信息采集。利用实物的非接触性三维扫描技术进行多点扫描，它能完整复制对象的材料、色调及装饰等完整信息，再将扫描后的数据导入并存储在电脑数据库。然后利用图像恢复目标3D 模型，这是相机拍摄照片的逆过程。（2）三维模型建构。根据扫描的数据进行计算机视觉3D 模型的重建，通过数字化手段建立仿真度极高的3D 模型数据库，这里可以运用Maya/3ds Max 进行模型优化，应用这种软件除了制作成本较低、视觉效果逼真等原因以外，也是考虑后续的动态视频的路径匹配问题。这一过程被经常使用。（3）模型纹理映射。进入纹理映射环节，将有两种方式可供选择，基于数理算法映射人工交互处理方式和基于软件命令的映射方式[4]。（4）视频动画演示。（5）环境渲染。动画演示和环境渲染可以采用很多技术方式，这里根据实际情况可提供高效率自适应的SVG 动画渲染法，实现真实性效果优化。（6）虚拟现实。本文重点介绍实现优化的步骤。（7）最后就是电影场景中的预演展示，它可以让观众切实感受三维图像可视化带来的视觉盛宴。另外利用Unity 3D 和Unreal Engine（UE）软件平台可以很方便地构建虚拟互动方案。尤其是基于Web 的交互式虚拟展示技法，不管是普通观众还是研究者，都可以亲自控制数字模型来实现人与电影角色的互动，见图2（a）。

图2 优化前后的3D 图像处理技术流程

本文研究中，优化了纹理映射和动画演示步骤。通过改变纹理映射的方式和增加视频融入的技术，降低3D 动态信息计算的成本，从而很大程度地优化了该过程，提高了工作效率，增强了电影效果，见图2（b)。

2.2.1 动态视频的融合匹配优化

模型确立之后，若是涉及到动态视频中失真部分的虚拟重建与复原，就要采取三维场景与实拍视频融合制作的方法，增强用户观看的真实感和可信度。这种增强现实技术的出现最早是在1996 年，Debevec 等[5]提出了一种视点相关的视频纹理混合方法；陆续又有南加州大学的Hu 等[6]人提出了基于航拍影像和地面图形进行三维重建的方式；Chen 等[7]人研发了使用动态纹理映射技术投射到视频画面而生成监控系统的技术等。通过投影的方式将视频画面当成一张贴图覆盖到三维场景中，是一种已知常用的增强现实方法（图3）。本节反向提出一种在已有视频融入的研究基础上优化效果的方法，即平面视频融合技术。它能结合大范围的三维场景实现位移路径的精准匹配。

图3 视频投影三维场景效果

首先是在三维场景视频融合中，用点位标定计算的矫正变换矩阵和三维场景中的相机位姿信息对场景中一些平面区域进行视频融合，由于遮挡关系接近于零，为得到无错误信息的视频效果，可以基于平面区域的特性重新设计一种计算两个平面之间的转换矩阵的方法。假设计算的矩阵为R，以及一组标定对应的二位点对（a,b）[8]，如式（1）所示，

二维点对（a,b）用齐次坐标表示为：

a=(x1,y1,1)

b=(x2,y2,1)

那么三者之间的关系应为：b= R aT。通过标定过程中所得的多组点位以及解线性方程组来求解最终的变换矩阵R，最终达到针对平面区域的视频融入效果。图4为平面与视频投影的融合效果。

图4 视频投影融合效果

接下来是视频转码的优化。一般来说，有些YUV 或VLC 格式在后期处理视频融入的时候不能与追踪软件兼容，因此需要对其格式进行优化，例如YUV 中的Y 为亮度，U 和V 为色度。我们可以通过公式法将YUV 格式转换为RGB 格式，如式（2）所示。

用这样最简单直接的方式就可以得到图像转码优化方法。当然还有基于Open CV 实现和FFmpeg实现等方式实现转码的目的，这里不再详述。

最后，是将转码的视频与虚拟重建的模型利用软件追踪，实现路径匹配。因为大量的使用3D 空间动态信息进行计算机数据处理，会增大3D 建模工作量，严重降低场景渲染速度，甚至减弱视觉逼真度。图5 中的电影镜头给出了融合视频路径运用Boujou软件中遮罩（Mask）技术算出不参与追踪的区域，它适用于移动着的大型视频场景。针对该平面区域需要添加的3D 图像部分，对绿色屏幕以外的区域进行捕捉点的运算，图6中镜头将捕捉到的轨迹点与文件一起导入三维软件中，再按等比例置入三维模型，完成动态视频与虚拟场景的路径匹配。

图5 MASK 非计算部分路径

图6 平面视频融合效果

在布有绿幕的影片中，也可以将遮挡物进行遮罩处理，见图7（a）。这样既可得到屏蔽阻挡物的效果，也可以完成绿幕与虚拟道具（角色）的追踪匹配，见图7（b）。

2.2.2 批量映射的设计架构与优化

在纹理映射部分，以VS Code 编程软件为基础，搭建出纹理批量映射的基本架构，用以提供贴图技术的最优手段。代码中最主要的架构内容为卷叶栏，卷叶栏中可提供函数、UI 事件及变量的输写位置，以便设置UI 外观与关联性函数的优化。在卷叶栏中输入函数，可分别设置处理模型的灯光、法线、高光、阴影、透明及遮挡等的UI外观。基础代码如下所示：

edittext edt _path“路径:”pos:［7,14］width:130 height:20 across:2 即定义数据的变量。path 为其中很重要的一个变量，可换成其他任意函数，比如light、normal、specular 等。这样，便可生成批量贴图时所需要的数据路径。

接下来设置的为数据路径的UI 按钮，设置好后点击按钮既可设置数据路径，其中有控件变量，执行按钮，调用模型优化按钮，帮助与提示按钮等。基础代码如下所示：

Button btn _path”...”pos［:146,14］width:54 height:20 toolTip:”

然后就可以将UI外观与纹理贴图的关联性函数优化，以基础代码的方式依次编写法线、自发光、高光、置换和遮挡等贴图代码，将这些代码与路径按钮事件进行关联，方便它读取文件夹路径，完成后可在文件夹中搜索指定的类型，所设置的按钮事件表示这个按钮可以执行哪些命令。另外，在按钮事件中定义一个字符串变量，用于存放打开文件夹获取的输入文件路径。如果输出路径未定义就将输入框里面的路径作为输出路径，完成后即可设置好按钮的路径，方便重复调用或修改路径文件。

接下来是高级贴图的核心优化部分。继续输入函数，点击”开始”按钮执行批量贴图功能，点击优化模块按钮执行代码块，调用优化脚本的代码块，点击按钮后执行，点击”帮助”按钮调用帮助文档。这样”帮助”按钮事件就生成了。

到了批量映射的核心部分，输入代码，表示防止用户未填写路径而对当前选中的模型进行自动纹理映射的后果。为检测某种贴图有无被选上，可输入函数，让贴图被选中时在UI 上显示为勾选状态。则在选中法线贴图后可以在UI 上显示法线贴图框被勾选。

最后一步是利用变量，将纹理贴入对应的通道中。还是以法线贴图为例。输入函数，这样法线贴图可贴入到法线的通道中了。

3 实验

3.1 实验结果

基于以上技术的优化方案，根据图像数字化需求和本文的研究目标，影片《敦煌》中数字艺术家展示了利用3D 图像技术进行复原的古佛像（图8）。对照原有电影画面效果，作者对同窟的阿難尊者佛像进行了3D 图像与视频融合处理，包含原始图像的精准测量扫描、3D 模型重建、批量纹理映射、视频融合等。完成的结果与使用后的效果见后续。系统实验场景运用在PC 平台配置如下：Windows 10 操作系统、Intel®CoreTMi5-6400、2.70GHz、CPU 8.00GB 内存。图9 是利用三维扫描仪器对残损佛像进行数据采集，在三维软件中建模，并在ZBrush 软件中分区优化的3D 模型[9]。

图8 《敦煌》中复原的3D 佛像

接着运用批量映射插件对3D 模型中被分区域的范围分别施行纹理映射，对于模型本身存在的局部破点，调用优化功能进行优化处理，以免贴图之后模型出现褶皱状况或破损效果（图10）。

图10 批量纹理映射后快速显示的阿難数字彩色图像

图11 为视频与数字模型进行路径追踪融合后的实验效果，可以看出3D 图像与视频融合后不仅可以模拟出写实级的电影效果，而且规避了全3D 技术对计算机处理信息数据时带来的内存损耗。

图11 阿難尊者像与实景融合动态分布图

3.2 数据分析

为验证本文研究的技术优化后的实用性效果，根据本设计使用后的结果对用户进行问卷调查，继而对问卷得到的数据进行整理和分析[10]。在这里搜集了三个用户单位使用该软件的信息，通过采样提取得到了部分有用的数据，分别是动态虚拟数字模型进行批量贴图处理前后的制作时长以及合成影片后渲染效果的质量对比，得到以下部分采样结果。

图12 为北京超图软件公司项目部X 组制作的廊坊城市景观宣传影片中纹理使用批量处理前后的对比，相同的帧信息和贴图数量下，使用批量处理后的用时明显缩短，而效果明显提升。

图12 批量处理前后对比图

图13 为北京铭钰高科技公司项目部Y 组制作的厦门城市景观宣传影片中纹理使用批量处理前后的对比，相同的帧信息和贴图数量下，使用批量处理后的用时明显缩短，而效果明显提升。

图13 批量处理前后对比图

图14 为重庆光辉城市公司项目部Z 组制作的廊坊城市景观宣传影片中纹理使用批量处理前后的对比，相同的帧信息和贴图数量下，使用批量处理后的用时明显缩短，而效果明显提升。

图14 批量处理前后对比图

通过对其中30 组镜头数据采集和选择性提取，运用SPSS 软件进行统计分析，比对在使用批量纹理优化之前的速度与频率。可以观察到：描述性统计个案数是全部有效的，平均值在2.0000～2.5000区间，最小值均为1，最大值均为4。说明各项数据特征均正常[11]（图15）。

图15 速度优化描述统计率

图16 纹理映射优化前后频率对比

使用批量纹理优化前的数字视频处理速度频率中3～5 分钟居多，使用批量纹理优化后的数字视频处理速度频率1～2 分钟居多，优化前频率在6 分钟以上视频所占比重值较大，优化后频率在2分钟以内视频所占比重值较大。这表明技术优化后3D 图像制作速度有显著提升。

进一步比对提高速度之前的视频渲染效果和提高速度之后的视频渲染效果。视频质量在图像技术优化后的渲染效果有大幅度攀升[12]，见图17。

图17 批量处理前后效果对比条形图

4 结论

本文研究的对象是基于纹理映射的电影3D 图像融合优化技术。该技术解决方案实现了在计算机中将3D 图像与实拍视频完美融合，又能够快速准确批量映射纹理的目标。一定程度上较大优化了原有的3D 图像处理技术步骤。该技术优化考虑了制作者在制作效率上的需求诉愿，同时兼顾了实效性。但是随着计算机图形图像处理技术和计算机硬件的不断发展，这种过程将会有更多的、更快的解决方案出现。当然在此研究方法及后续延展方案中仍然存在一些不足和缺陷，如视频镜头转换后的衔接效果处理、批量纹理映射后的自适应渲染技法提升等，它们都是计算机3D 图像技术处理流程中亟待解决的技术问题，也是今后我们要持续研究和讨论的方向。

作者贡献声明：

徐明明：负责论文的整体撰写与所有案例分析，全文文字贡献80%；

李松松：负责论文中的案例数据的提供，全文文字贡献20%。