浅谈用于电影虚拟制作的全景图像缝合技术

刘　沛　（北京电影学院　100000）



浅谈用于电影虚拟制作的全景图像缝合技术

刘沛（北京电影学院100000）

摘要：图像缝合技术是一种解决单一相机（摄影机）视角不足，通过对场景多个角度的拍摄最终获取更广视角全景图像的技术。随着电影产业和数字图像处理技术的不断发展，全景图像已经广泛应用于虚拟现实和电影后期的合成背景。在电影领域中，全景图像由于其视野广、分辨率高、复杂度小、真实度高等优势，可以作为完美的电影背景画片。同时可以应用在实时预演系统里，使导演可以在现场实现实时合成效果的监看。

关键词：全景图像；缝合技术；Ptgui

一、全景图像概述

全景图像的英文panorama，是从希腊语πãν和õραμα发展而来，英文直译为all和sight，是指任何大视角表现现实空间的图像，十八世纪爱尔兰画家Robert Barker在表述他在爱丁堡和伦敦所作的全景画作时，第一次用到了panorama这个词。事实上，在panorama这个词出现之前，使用全景表现空间场景的画作早就诞生了，我国北宋画家张择端的《清明上河图》，采用散点透视构图法，将北宋徽宗时代首都汴京（今河南开封）郊区和城内汴河两岸的建筑及生活场景，展现在长528.7cm，宽24.8cm的平面上，这是人类历史上利用全景展现空间场景的最早尝试之一。西方的全景绘画起源于18世纪，panorama这个词也诞生于那个时期，到19世纪时盛极一时，西方的全景绘画一般版面很大，很多作品长度都在100米以上，必须在专门的圆柱形展览馆内向人们展示。

全景图像的缝合指的是利用摄影机平移旋转或多部摄影机多角度拍摄得到的具有部分重叠信息的图像样本，生成一个具有较大视场角的全景图像。即用摄影机对场景一定范围内进行全方位的图像采集，然后再由缝合软件对局部图像进行拼接，生成包含这组局部图像全部信息的新视图。最终生成的全景图像按照显示方式（即投影方式）的不同，主要分为柱面、球面、立方体等几种，其中在虚拟电影的应用方面，通常以柱面和球面为最为普遍的投影方式。

二、全景图像缝合软件与缝合原理：

在全景图像的缝合中，我们所依据的是图像序列中相邻两幅图像的重叠区域的相似性，有基于特征的缝合方法和基于相位相关的缝合方法等，两种方法的算法和原理都不相同。基于特征的缝合方法主要从两幅图像中选择一系列特征点，然后根据相似性原则进行图像间的特征匹配。而基于相位相关的缝合方法是直接从图像重叠区域对应像素灰度值出发考虑，利用所有可利用的数据实现精确的匹配。

从全景图像的素材拍摄完成，到最后的全景图像的生成，就是全景拍摄的后期工作，即全景图像的缝合过程。全景图像的缝合工作主要目的是如何以效率更高、速度更快、质量更高的方式将拍摄的全景素材，即同一场景不同角度的图像拼合成一张视角更广的完整的全景图像。在实际应用中有很多软件可以实现从全景素材的导入、生成、编辑到最终全景图像的输出这一完整的后期流程。比如PTGui Pro、Kolor Autopano、Pixtra PanoStitcher、Pano2QTVR、PanoramaStudio、Image Composite Editor等。其中PTGui Pro是一款开源的全景图像缝合软件，从1996年诞生以来不断的更新升级，现在已经可以实现对全景图像的畸变校正，视点调整，标记点编辑，曝光调整，图像优化等操作，通过参数的调整弥补拍摄过程的操作不当对全景图质量带来的影响。

三、全景图像的缝合流程：

全景图像的缝合，归结为两点，归根结底需要解决两个问题，一个是全景素材的对齐，二是全景素材的融合。在PTGui中，从全景图像素材的导入，到最终全景图像的生成，需要以此经过镜头参数的设置、投影方式的选择、特征点的寻找和标记、图像的融合、和全景图像的生成等步骤，下面将以PTGui为例，详细讲述全景图像的缝合流程。

1.镜头参数的设置

在图像导入PTGui后，首先需要进行的是镜头参数的设置，在镜头参数设置中，包含了镜头类型、镜头焦距、焦距乘数、水平视场的参数调节，在高级选项中，提供了镜头校正参数、图像位移和图像修剪的参数调节。其中大多数设置由PTGui自动确定。

要创建一个无缝的全景图，源图像需要被重新映射（也称为扭曲）。这可以看作是一个透视变换：源图像的透视变换成所生成的全景的角度。对于实现一个正确的变换，PTGui需要知道拍摄全景图像使用何种镜头。其中，镜头的类型和他的视场角是两个关键参数。

2.投影方式的选择

全景图像是对场景的一种平面展示，换言之，是将三维的环境投射到一个二维的表面上，称之为投影，PTGui提供了多种可选择的投影方式，不存在一种完美的投影方式，每种投影方式都具有其特有的优势和局限，用户需根据自己的需求选择合适的投影方式。

3.特征点的寻找和标记

特征点的寻找和标记是图像缝合中最为关键的一步，通过寻找图像的特征点，我们可以大致确定相邻两幅图像的重合区域，并通过重合区域的特征点对相邻图像进行配准。全景图像的缝合质量主要依赖于图像间配准的精确程度，在PTGui中，图像配准的算法是基于特征点匹配算法，其工作流程为：1.提取所有原始全景素材图像的特征点。2.根据特征点对相邻图像进行图像匹配。3.计算图像变换关系。4.对图像进行几何变换。5.缝合两幅图像。

4.图像的融合

当对所有特征点进行标记之后，事实上此时多个全景图像素材已经拼合成一幅完整的全景图像了，对于无视差现象的全景图像，标记点在没有出现明显精度误差的情况下是不会出现图像的错位的，但是假如图像间存在曝光差异，图像间会出现由于曝光不同产生的接缝，图像的融合就是利用算法对图像间重合部分进行曝光过渡，消除接缝。

5.全景图像的输出

PTGui通过创建全景图面板完成全景图像啊的输出，在创建全景图像面板下，分为普通和高级两种选项，在普通选项中，我们可以对全景图像完成基本的设置，分别是全景图像分辨率、输出文件格式、图层和输出路径。

四、结语

在电影虚拟场景的搭建中，我们希望尽最大可能提高虚拟场景的真实性，真实度越高的虚拟场景，越可以使观众获得更高的沉浸感，而使用全景图像作为虚拟场景中的背景可以克服三维模型方法带来的缺陷，由于全景图像具有真实度高、复杂度低等优势，所以目前基于全景图像的缝合技术构建的虚拟场景被应用于电影工业中，随着电影工业越来越成熟，全景图像的在影视中的应用也会越来越广泛。

参考文献：

［1］漆驰，刘强，孙家广.摄像机图像序列的全景图拼接［J］.计算机辅助设计与图像学学报，2001，13（7）：605-609.

［2］杨燕，王雪瑞，戴青，等.球面全景图像生成技术的研究［J］.计算机应用与软件，2007，24（10）：164-165.

［3］方贤勇.图像拼接技术研究［D］.浙江大学，2005：49-52.

作者简介：

刘沛，1990年4月7日，男，汉，山东省青岛市，硕士，北京电影学院，研究方向：数字电影技术。