当前国产电影2D转3D技术与产业的回顾与前瞻

李 侃 张君芝 刘江峰 徐红哲 马同斌

（北京电影学院，北京　100088）

当前国产电影2D转3D技术与产业的回顾与前瞻

李 侃 张君芝 刘江峰 徐红哲 马同斌

（北京电影学院，北京100088）

相对于传统电影的感官体验，3D电影更具冲击感、震撼感。近年来，随着电影立体技术的高速发展，3D电影愈来愈被大众所接受，然而，片源不足却成为制约这一新兴产业发展的主要瓶颈。在当前电影产业蓬勃发展的趋势下，2D转3D电影技术为我们带来了福音，成为解决这一问题的有效且实用的途径。论文通过对电影2D转3D技术的实用产业价值的挖掘、对电影2D转3D技术发展现状的概述以及对电影2D转3D技术发展趋势的总结，使读者对电影2D转3D技术有一个大致的了解和读解，同时，又为我们的研究指明了新的方向。

电影2D转3D技术；虚拟视点合成；画面分解；深度图；转换算法；立体成像

从2010年的《阿凡达》到2012年修复版3D《泰坦尼克号》，人们对3D电影的追求可谓疯狂，3D影视技术如今业已成为电影发展的主要趋势和潮流。近年来，3D电影的流行，如《阿凡达》与《爱丽丝梦游仙境》等电影的推出使得3D技术成为产业界、学术界新的研究热点。3D电影技术是“电影业70年以来最伟大的创新”，［1］Dream Works Animation的首席执行官Jeffrey Katzenberg如是评价。随着立体显示技术的进步及市面上不少立体显示装置价格越趋平民化，3D立体相关产品的需求量正在逐年提升。

一、电影2D转3D技术的产业价值

在这股3D流行趋势中潜在的商机还是3D内容来源，虽然目前市面上已经有少数的3D立体拍摄系统能够提供3D立体内容，但是由于其价格比较昂贵而且使用起来不够方便，因此尚未普及化。时至今日，市面上具有3D立体拍摄技术的摄影机型号为数不多，并且价格昂贵、操作不便、成本高、周期长等问题，给3D电影的发展带来瓶颈。因此，3D电影的内容来源成为了制约3D电影发展的主要问题。然而，发展历史长达百年的传统2D电影却有着取之不竭的内容资源，目前来看，美国好莱坞和国内电影制作商都是通过传统2D电影的内容来反哺3D电影的发展。在如今2D电影和3D电影共存的格局下，通过3D立体拍摄技术续存3D电影内容资源并非一条行之有效的途径，而电影2D转3D技术的开发研究却为当前国产3D电影产业的发展指引了方向，带来了转机。

通过数字技术将普通2D胶片电影转成数字3D格式，这样不仅能大大拓宽数字立体电影的片源、增加数字立体影片的题材和数量，还能让一些经典的老电影以新的形式重新登上荧幕，重放异彩。电影《泰坦尼克号》的3D版即是典范，导演詹姆斯·卡梅隆在3D新片《阿凡达》（Avatar）的制作过程中受到启发，在原2D影片《泰坦尼克号》的基础上制作了3D新版，受到了全球影迷的追捧，仅在中国的票房即超10亿人民币，可见其市场之大。《泰坦尼克号》2D转3D版的巨大成功诱使许多经典大片投入制作3D版本，如《狮子王》《星球大战》《美女与野兽》《海底总动员》都转制3D版本。国内转制3D尚在起步阶段，如《大闹天宫》《龙门飞甲》等，也取得了不俗的成绩。

因此，从电影产业的背景来看，我们已经来到了3D时代，而限于3D的片源问题、技术问题、成本问题，2D转3D将在其中扮演重要的角色。

二、电影2D转3D技术的发展现状

3D技术是利用人的左右眼角度不同所产生视差经过大脑复现形成3D心理图像。2D转3D的技术，方法众多，但无论运用那种软件和方法，2D转3D的流程中存在三个主要环节——画面元素的分解、深度信息重建、转换的算法。因此，针对电影2D转3D技术进行深度开发，需要根据每一流程阶段的特点进行深度开发、推广。

（一）转换方法

目前2D转3D技术主要有以下两种：基于模型的转换方法（MBC）和基于图像的转换方法（IBC）。［2］其中，基于模型的三维重建算法首先是由Stanford大学提出的。算法首先对大量的二维图像及其对应的精确深度图学习训练，然后对原二维图像分割得到分割图，利用马尔可夫随机场运算经分割得到的每一小块平面的坐标和角度信息，据此构建三维立体模型，接着依据前面的训练结果进行纹理信息投影，完成三维重建。这种方法最主要的优点是，能够将单幅二维图像转变成三维图像，但同时带来的问题是需要在转换前，对大量的图像学习训练，然后进行三维建模，算法的计算量较大、复杂度高。

另一种2D转3D技术是采用基于图像的方法，将二维图像按对象分割，给每一个对象指定其对应的深度，得到二维图像对应的深度信息图，然后进行虚拟视点合成。这种方法不需要大量的学习训练，即不需要先验知识，也不需要进行3D建模，转换的速度相对较快，目前主流的2D转3D技术都参照这种思路进行研究。

（二）深度信息的获取

基于图像的2D转3D技术，大致分为深度信息获取和虚拟视点合成两部分，经过多年研究每部分都有多种方法实现。对于深度信息的获取主要有直接获取和间接生成两种方法。直接获取深度信息是靠专用的深度摄像机拍摄得到，主要通过激光或红外测距来得到空间中每个物体深度。这种方式虽然能实时获取准确的深度信息，但由于深度摄像机成本较高，且不适合对已拍好的2D视频处理，故在2D转3D过程中很难运用。而间接生成深度信息有多种方法：机器学习方法、基于运动信息方法、基于几何信息方法、双目匹配方法等。

机器学习方法能绘制单幅图像的深度图，但由于需要事先进行大量训练，计算量大；基于运动信息方法，简单有效，但不适用于静止的视频或摄像机镜头整体运动的场景；基于几何信息方法，主要适合于静止场景，而且要求场景中物体轮廓结构清晰；双目匹配方法得到的深度图精确，但由于需要多个视点图像，不太适合在2D转3D技术中应用。

（三）虚拟视点绘制

虚拟视点绘制指由单个和多个不同视角所看到的影像来绘制某一视点的虚拟视点影像，要包括基于模型的虚拟视点绘制（MBR）和基于图像的虚拟视点绘制（IBR）两种。基于模型的虚拟视点绘制需要建立精准的3D模型，计算量大且不易实现。而基于图像的虚拟视点绘制可以实时快速地绘制出虚拟视点影像，特别是基于深度图的虚拟视点绘制速度快、影像质量高，这就避开了3D建立模型的复杂工序，业已成为虚拟视点绘制的主流。

（四）空洞修复

由虚拟视点绘制的合成影像，或多或少地存在着大小不一的丢失的空白领域，这就是我们平常所说的“空洞”，这些“空洞”是由于场景中物体的遮挡产生的，合成后的虚拟视点绘制的影像无法从原有的2D影像的视点中找到相对应的信息来填充，而且，这些“空洞”的影像区域位置不定、大小不一、形状各异，为影像的修复工作带来了很大的难度。一旦这些空洞点的信息永久性丢失，只能通过相邻领域进行近似估计修复。

目前，针对该问题，主要基于Criminisi算法进行图像修复。该技术是基于偏微分方程结合图像修复技术与纹理合成技术来进行图像的空洞修复的，改进了以前通过画面分解进行结构和纹理的重复修复，这种技术通过寻找最优化的影像空洞填充方式，不仅提升了3D合成立体影像质量，还大大地提升了工作效率。目前，该技术主要包括计算空洞边缘像素的优先级、修复优先级最高像素区域、更新置信度和空洞区域。［3］Criminisi算法通常用于普通图像修复，并没有特别针对2D转3D领域，但其思路方法可以用于电影的2D转3D技术。

三、电影2D转3D技术的发展趋势

虽然，近年来电影技术工作者对2D转3D技术进行着如火如荼的研究和开发，并取得了一定成果，但是，其3D影像效果还是不能令观众满意。目前来看，电影2D转3D技术研发的瓶颈主要包括以下三个方面：一是在转换过程中，已有的单轨的2D视频的影像质量不佳，导致深度图信息的空白，深度图信息转换难度大。二是2D影像的摄影机参数无从得知，只能凭借感觉和经验进行虚拟绘制，绘制出来的深度信息严重偏差，并且出现影像的错误点。三是修复影像空洞的难度很大，这些空洞区域分布广泛，并且大小不一，形状各异。

上述的几点是2D转3D的制作流程中几个至关重要的影像质量把控环节，对2D转3D技术流程和影像质量的严格控制，直接关系到受众对3D立体影像体验的流畅度和舒适度。因此，需要电影技术工作者对每个技术流程的细节进行最严密的管控。这既是对影像质量的负责，也是对工作效率的负责；这既是对电影技术的负责，也是对电影艺术的负责。当前，我们迫切需要建立一整套科学而有效的监控标准，对主要流程的各个技术细节进行质量管控，用规范化的工作方式去提高3D影像质量，而不单单只依靠电影科技工作者的自我能力。［4］

与传统的2D电影不同，转制3D对技术系统的依赖性较高，而这些核心技术还基本掌握在国外先进公司的手中，由于核心技术上的原因，已上映的国产3D电影制作很不理想，一些影迷们纷纷认为，国产3D电影的就是“山寨3D”，立体画面缺乏质感，有些3D电影只有十几分钟是3D制作也号称3D电影，甚至“只有字幕是3D”的评论，技术实力的不足严重地损害了我国3D电影的声誉和形象。可见，我们有必要进行2D转3D技术的开发研究，并在电影产业界广泛推广，以推动我国3D电影业的健康发展。

3D电影已经逐步成为了电影行业的潮流，2D转3D技术能够有效应对3D电影的片源不足问题、成本高问题、拍摄难问题，是3D电影发展的不可或缺的制作方式之一，也得到了国家宏观政策的大力支持。然而，我国2D转3D的技术水平不足，专业人才资源缺乏严重影响了这一领域的发展，制作质量和3D效果较差，被影迷们称为“伪3D”。因此，需要通过打造电影2D转3D的技术推广平台，为2D转3D领域提供可借鉴的前沿技术，培育专业技术人才。并且，应将电影的2D转3D技术按照流程划分为画面元素分解、深度信息重建、转换算法三个阶段，在每一阶段深入分析、总结其技术改进方案和有效的管控模式，贴近电影制作实践，切实为我国电影的2D转3D制作方式提供有效的技术实施建议和管理提升方案。

［1］刘伟，吴毅红，胡占义.电影2D/3D转换技术概述［J］.现代电影技术，2012.

［2］杨平，方捷新.数字电影2D/3D转换技术解析［J］.现代电影技术，2012（11）.

［3］胡泉，庄伯金. 2D转3D技术中图像修复算法研究［DB/ OL］.中国科技论文在线，http：//www.paper.edu.cn/releasepaper/ content/201301-111 . 2013-01-05.

［4］高盟，曾志刚. 2D转3D工作流程与质量控制［J］. 3D技术与艺术，2012（3）.

J904

A

1674-8883（2015）21-0011-01

本论文为《影视2D转3D的关键技术及智能转制系统开发》课题资助，课题号：0000136550，马同斌，北京电影学院副研究员，其他作者均为课题组成员