单人背包式三维全景技术在室内虚拟三维场景中的应用

胡宇楠，陶永亮，胡晓明，关鸿亮

(1. 首都师范大学三维信息获取与应用教育部重点实验室，北京 100037；

2. 纵横皆景(北京)信息技术有限公司，北京 100037)

HU Yunan，TAO Yongliang，HU Xiaoming，GUAN Hongliang

单人背包式三维全景技术在室内虚拟三维场景中的应用

胡宇楠1，陶永亮2，胡晓明2，关鸿亮1

(1. 首都师范大学三维信息获取与应用教育部重点实验室，北京 100037；

2. 纵横皆景(北京)信息技术有限公司，北京 100037)

Application of Single Knapsack Three-dimensional Panorama Technology in Indoor Virtual 3D Scene

HU Yunan，TAO Yongliang，HU Xiaoming，GUAN Hongliang

摘要：近年来，三维全景技术发展如火如荼，许多互联网公司纷纷推出自己的街景地图服务。这些街景数据大多是利用车载平台上搭载的CCD传感器采集得到的。在汽车无法驶入的地方，如狭窄的街道、胡同，以及酒店、博物馆等室内场景，全景数据是无法采集到的。针对当前车载全景采集平台的不足，本文提出了单人背包式全景采集方式，介绍了该采集方式的特点和应用，描述了通过krpano利用背包采集的影像数据创建北京某主题酒店室内虚拟三维全景的全过程，并将三维全景技术与GIS和主流的虚拟现实技术(VR)进行了比较和探讨。

引文格式： 胡宇楠，陶永亮，胡晓明，等. 单人背包式三维全景技术在室内虚拟三维场景中的应用[J].测绘通报，2015(9)：68-71.DOI:10.13474/j.cnki.11-2246.2015.0282

关键词：背包式；三维全景技术；GIS；虚拟现实(VR)

中图分类号：P237

文献标识码：B

文章编号：0494-0911(2015)09-0068-04

收稿日期：2014-07-28

作者简介：胡宇楠(1990—)，男，硕士生，主要研究方向为三维全景技术在GIS中的应用。E-mail：13464890486@163.com

一、引言

近年来，三维全景技术发展迅速，国内外许多互联网公司纷纷推出了自己的街景地图服务，如国外的谷歌街景和微软Bing街景。谷歌街景的采集范围最广，已覆盖了全球50多个国家，3000多个城市。微软的Bing街景数据采集范围相对较小，但采用了创新性的Street Slide技术，使用远景视角将街道缩放成丝带状，能更好地看清街道立面的布局，而且还提供街道标注，如门牌号、公司名和Logo等。国内提供街景服务的主要有腾讯地图、百度地图、高德地图和天地图等公司。

三维全景技术是目前迅速发展并逐步流行的一个虚拟现实分支，它是一种桌面虚拟现实技术，并不是真正意义上的三维图形技术[1]。三维全景技术交互性强，相对于之前的地图展现方式，是一个很大的进步，给用户带来了照片级的真实感，提升了用户体验。该技术广泛应用于空间信息服务的诸多方面，如景区游览、智能交通、房产展示、酒店介绍等，但其在数据采集方面存在一些缺陷。由于受采集设备体型庞大的限制，一些狭窄的街道、公园、小区、景区、室内场馆等场所，采集车无法进入。采用支架式相机360°环绕拍摄固然是一种解决办法，但是效率不高，无法满足大范围数据采集的需求。单人背包式全景数据采集系统弥补了上述不足，且具有便携、轻巧、实用性强等特点，适用于室内场景和狭窄街区等类似场所的数据采集。图1为单人背包式全景数据采集设备的结构图，将全景相机盒固定在背包架上，采用与采集车相同的固定方式来确保拍摄的稳定性。

图1　单人背包式全景数据采集设备的结构

二、室内三维全景制作流程

数据采集的地点为北京某主题酒店。通过创建的室内虚拟场景，可以直观地了解酒店的情况，并提供相关的热点链接，实现了三维全景与二维地图的联动，协助用户进行空间导航。具体的制作过程分为数据采集、拼接、切片、交互4个步骤。

1. 数据采集

拍摄前收集好酒店及其周边环境的相关资料，对酒店格局作大概了解，并根据酒店消防图预先规划好拍摄路线，在采集图上做好标注。设备经检查无误，相机参数配置好后即按照制定好的采集路线进行数据采集。需要注意的是，由于单人背包式采集设备不像云台三角架式采集设备那样有稳定的支撑，因此，采集时必须调整好姿势，使电子罗盘保持水平，身体尽量不要晃动。采集过程中在图纸上实时标注已经采集的点。采集数据后进行数据的检查和整理，如果存在虚焦、污点的现象，需要重新进行数据采集。

2. 图像拼接

图像拼接是三维全景技术的关键，它是将一系列有重叠边界的普通图像进行无缝拼接以得到全景图。通过球面投影，将框幅式像片投影到以焦距为半径的球面坐标系中。最后，将投影后的影像进行拼接，并对重叠区域进行加权融合形成全景图。图2为全景图像拼接流程。

SIFT是计算机视觉中最流行的特征提取和图像匹配方法。基于SIFT的拼接参数解算方法是通过提取重叠图像部分具有很强鲁棒性的 SIFT 特征点，并在这些对图像变换具有不变性的特征点基础上，运用 RANSAC算法不断提纯，同时优化特征点间的变换关系，并使用Levenberg-Marquart非线性估计算法，最终确定稳定的变换矩阵，作为相邻图像间的转换关系，即拼接参数。

图2　全景图像拼接流程

根据拼接参数，将源图像经过投影变换，渲染在全景影像上。但在图像拍摄的过程中，由于视差效应、拍摄环境变化及配准误差等因素的影响，图像间难免会存在光照、色彩等差异，若直接拼合在一起，会出现明显的痕迹。因此，要采用合适的融合策略，使拼接后的图像具有视觉一致性，而且尽量保持原有的分辨率。考虑到全景图像需要为用户提供清晰美观的图像，图像质量必须达到很高的标准才能在网络上发布。因此，图像融合算法对图像拼接效果至关重要，本文采用当前融合效果最好的多分辨率样条曲线融合算法。该算法可以将两张或以上的图像MASK融合进一个更大的图像MASK中。其简化过程为：

1) 首先将图像分解成一系列带通滤波分量图像。

2) 然后将每个空间频率波段中的分量图像放置到相应的带通MASK中。在此步骤中，分量图像利用一种加权平均算法融合在一个转化区中，这个转化区是由代表波段的波长按尺度比例构造的。

3) 最后将这些带通MASK图像合成在一起，便可获得最终的图像MASK。

通过这种方法可以平滑拼接图像之间的明显边界而不出现模糊重影现象，同时可以保留较好的图像细节。多分辨率样条算法是一种既实用又通用的算法，对于那些差别非常大、没有重叠区、边界不规则的图像都能得到较好的融合效果。

3. 全景切片

一幅全景图像是由设备的呈六面体状放置的7个镜头采集的图像拼接而成的，图像的质量较高，文件较大，需要对拼接好的全景图片进行切割处理，这样后期进行酒店室内场景虚拟浏览时会大大提高图像的加载速度，从而提升交互体验。

全景图像切片必须使用立方体投影(cubic projection)。但一般全景图像使用的是球形投影，这就需要进行投影转换。首先将全景球投影到其外接正方体上，然后对立方体全景6个面分别进行金字塔划分，根据所需分辨率切片成等面积切片。如图3所示，将一幅球形投影平面展开图转换成立方体投影6个面展开图。

4. 场景交互

酒店室内虚拟场景由一层服务大厅，五层和七层的个别不同类型的房间组成，逼真地展现了酒店的环境情况。设计之初还考虑了浏览的视角问题，因此设置了自动浏览的功能，方便用户以最佳的视角观察；并提供相关的热点链接和箭头指示，通过点击热点可以查看墙上画框，通过点击箭头可以前进浏览。除此之外，实现了二维地图与三维虚拟场景的联动，通过浏览二维地图，可以熟悉酒店内部的结构，点击二维地图上的点，即可跳转到相应的三维虚拟场景。酒店室内虚拟场景浏览采用krpano编写实现，效果如图4所示。

图3　球形投影与立方体投影之间的转换

图4　酒店室内虚拟场景效果

5. 全景引擎

全景引擎开发的主要目的是为了实现对全景图像的渲染。本文中使用了纵横皆景(北京)信息技术有限公司的全景引擎，通过该引擎，能够动态地加载图像碎片，节省内存，渲染效率高。全景中的道路指示线、指示箭头、距离指示标志等全部三维化，具有良好的显示效果，提升了用户体验。全景中还提供了大量的兴趣点(point of interest，POI)，可以方便地查找、定位全景中的兴趣点。除此之外，全景引擎具有丰富的扩展性，在网页端提供了丰富的API接口，可以利用JavaScript充分拓展已有的功能。结合SWC格式的接口库文件，可以方便地调用引擎的API，快速开发出功能强大的实用插件。目前已经有标绘、激光测量、道路热点显示、三维实体模型街景展示等插件。酒店室内虚拟场景的浏览即通过全景引擎实现了较好的渲染效果，同时也为开发人员提供了一定的拓展空间。

三、与传统GIS和虚拟现实技术的融合

1. 与传统虚拟现实技术的比较和融合

虚拟现实(virtual reality，VR)，就是通过设备和技术，辅以算法和程序来营造的一种具有关于视觉、听觉、触觉等感官信息的虚拟空间。三维全景技术出现以前，虚拟现实都是通过三维建模来构建的，如3ds Max、Maya、SketchUp等三维建模软件和VRML、Java3D、Flash等建模语言。虽然利用这些方式都实现了不错的虚拟效果，但都存在着沉浸感缺失的不足。即使对其纹理进行精细处理，也很难达到照片级的真实感。

三维全景技术弥补了上述不足，与VR表现方式相比，其优势主要体现在以下几个方面：

1) 展现效果具有照片级的真实感，沉浸感强。

2) 比平面图片表达更多的信息，控制方便，交互性友好。

3) 制作流程简单，制作周期短。

4) 生成文件小，遵循XML规范，便于网络传输。

5) 能方便地添加文字、图片、视频、Flash等多种对象。

虽然三维全景技术具有诸多优点，但是也存在着不足，即生成的虚拟场景不具有传统三维建模的具象性，不具备实体感。事实上，三维全景并不是真三维，是介于二维与三维之间的一种虚拟表达。因此，全景技术与三维建模之间的融合有待进一步研究和发展。

2. 与GIS的融合

从20世纪60年代产生到现在，GIS经历了50余年的发展历程，已经成为信息技术的重要组成部分，在资源管理、城市规划、环境管理、设施管理等空间信息相关领域得到了广泛应用。

三维全景技术与GIS的融合改变了以往GIS二维和三维地图的展现方式，使地图的表达更加直观和形象，并且其便于网络传输的特点，助力了WebGIS的发展，更好地实现了GIS的共享和互操作。百度、腾讯等提供GIS地图服务的互联网公司都在原有电子地图的基础上增添了全景模块，丰富了地图的表现形式，方便了大众的出行。除此之外，随着手机、PAD等移动终端深入到人们日常生活中，三维全景技术与移动GIS的结合也前景广阔。三维全景技术给予人们图片级的真实感，让人们可以快速、方便地搜索周边环境。图5为三维全景技术在移动端的应用。

同时，三维全景技术在GIS方面的应用也存在着上述三维体感表达方面的不足，因此，三维全景技术与三维GIS的融合也有待进一步研究和发展。

图5　三维实景技术在移动端的应用

四、结束语

目前，全景技术已经在很多方面得到了广泛应用，旅游、考古、交通、餐饮、房产、酒店等领域和行业都能看到全景技术的影子。基于单人背包式的全景图像采集技术丰富了全景图像的采集方式，提升了特殊环境下的采集效率，是车载移动全景采集技术的一个有效补充。本文所制作的某酒店室内虚拟场景浏览是全景技术应用的一个典型案例，通过创建的室内虚拟浏览场景，更好地展示了酒店的内部环境，如果加入酒店外部环境的全景，当你外出旅游想要住店时，通过浏览这些虚拟的场景即可提前熟悉酒店周边的环境和内部房间的概况。

除了诸多优点外，全景技术在沉浸感与交互性方面仍存在着不足，具体体现在：全景技术并不是真正意义上的三维图形技术，即使通过相应的热点丰富了表达环境，但是构建的虚拟环境不像三维建模构建的实体模型那样具有可操作的体感。因此， 通过整合三维模型技术，加入外部的体感设备(如Kinect等)，对于加深沉浸感、提升交互性，从而营造更

加逼真的虚拟环境来说会更加有意义。随着全景技术的不断发展，相信未来它会有更加广阔的前景。

参考文献：

[1]马如宇.三维全景技术——360°虚拟现实[J].中国信息技术教育,2008(7):80-81.

[2]全政环. 360 全景技术的应用和发展历程[J]. 电脑知识与技术: 学术交流, 2010 (1X): 713-715.

[3]郭长青, 曹芳. 三维全景技术在旅游景区介绍中的应用[J]. 地理空间信息, 2009, 7(1): 46-48.

[4]朱庆, 徐冠宇, 杜志强, 等. 倾斜摄影测量技术综述[EB/OL].[2012-05-22].http:∥www.paper.edu.cn/release paper/content/201205-355.

[5]杨仁杰. 基于 Web 的全景技术研究[D]. 郑州: 郑州大学, 2012.

[6]王延朝. 基于 Krpano 的三维全景系统的开发和应用[D]. 上海：华东师范大学, 2012.

[7]曹俊杰, 封靖波, 苏志勋. 全景图像拼接算法[J]. 大连理工大学学报, 2003,43(S0)：180-182.

[8]CARPENTER T,DOERFLER G，WAY T，et al. An Approach to Maintaining Viewer Perspective in Interactive Virtual Tours[C]∥Proceedings of CVGR 2011. Las Vegas, Nevada：[s.n.]，2011.

[9]HSIEH W M, CHEN C C, WANG S C, et al. Combination of the Kinect with Virtual Reality in Balance Training for the Elderly[J]. Engineering, 2013, 5(10)：171-175.

[10]RISSETTO H, REMONDINO F, AGUGIARO G, et al. Kinect and 3D GIS in Archaeology[C]∥2012 18th International Conference on Virtual Systems and Multimedia (VSMM).Milan：IEEE, 2012: 331-337.

[11]BASTANLAR Y, GRAMMALIDIS N, ZABULIS X, et al. 3D Reconstruction for a Cultural Heritage Virtual Tour System[C]∥Proceedings of International Conference for Photogrammetry and Remote Sensing Congress (ISPRS’08). Beijing：[s.n.]，2008：1023-1028.

[12]LOWE D G. Distinctive Image Features from Scale-invariant Keypoints [J].International Journal of Computer Vision,2004,60(2): 91-110.

[13]BURT P J,ADELSON E H. A Multi-resolution Spline with Application to Image Mosaics[J]. ACM Transactions on Graphics, 1983，2(4)：217-236.

[14]龚俊,朱庆,章汉武,等.基于R树索引的三维场景细节层次自适应控制方法[J]. 测绘学报， 2011, 40(4): 531-534.