基于全景图的地理现实增强技术研究

陈令羽，贾奋励，宋国民

(信息工程大学地理空间信息学院，河南 郑州450000)

一、引 言

增强现实技术是利用计算机技术对真实世界进行景象扩展，把真实场景中原本不存在的信息通过计算机生成的图文按照指定的位置和模式显示出来，使用户沉浸在一种真实和虚拟相结合的混合环境中，满足用户的空间认知要求。它最早被作为虚拟现实的一个分支进行研究。随着研究的不断开展和认识的持续深入，目前普遍认为两者是相互并列的研究方向，近年来在某些方面对增强现实的研究甚至超过了虚拟现实，特别是在军事、医疗、教育、娱乐等领域具有广泛的应用前景［1-5］。

基于全景图的增强地理现实是将全景图作为真实地理空间环境的缩影，通过将感兴趣的属性信息增强到全景图上来促进用户完成空间认知的一种技术［6］。与传统的增强现实系统相比，全景图增强地理现实技术无须用户置身于当前环境中，可以在事先生成的全景影像上获取对真实世界最为感兴趣的信息，便捷且廉价;与虚拟现实技术相比，全景图制作工艺相对简单，不需要进行环境建模，大幅度提高了实现效率。它结合了增强现实和虚拟现实技术两者的优点，通过信息表达，有助于用户进行空间认知，了解特定的地理环境［7］。目前基于全景影像进行的虚拟现实系统研究已经广泛展开，但是基于全景图进行的增强现实技术，特别是进行有意义的信息表达实践，相关研究还很少。基于全景图进行地理现实增强，涉及的关键技术主要有:全景图中增强目标的确定、待增强属性信息的选择、地理空间信息到全景图的空间定位、信息表达模式4个方面。

二、全景图中增强目标的确定

全景图是通过摄像机对真实世界的再现，根据景深的不同，现实世界中不同目标物在图像中表示的大小不同，呈现近大远小的特点;全景图对真实世界不加任何选择，摄像机可视范围内的所有物体都会被无条件复制。在进行空间认知时，用户更关注的是具有典型特征的目标物。因此，确定全景图中需要增强的目标，发现用户可能感兴趣的内容，进行等级划分，是基于全景图进行地理现实增强的前提。

确定全景图增强目标的最好方法是进行自动化的图像分割，涉及人类认知学的中层视觉中最基本的问题，也是国际学术界公认的将长期存在的最困难问题之一［8］。直接进行全景图特征提取，会存在以下难点需要解决:①近距离的大场景再现，表示的细节过于清晰，不利于特征的边缘检测及分析;②通过多幅图像拼接而成，一个特征体可能会在全景图中不连续呈现;③部分特征特别是跨越采集点前后的特征变形较大;④计算机的思维方式与人大大不同，只擅长数值计算和逻辑推理等抽象思维，对于全景图特征提取时需要的形象思维及视觉思维模拟困难。

因此，进行精确的自动化全景图目标区域划分是不可能实现的。结合具体应用需求，在进行全景图目标区域划分时，仅需要从全景图中将大致的目标轮廓划分出来，再根据与地理现实的配准就可以进行信息表达，大大降低了难度。首先根据对全景图进行边缘提取和强化，将全景图中存在的目标特别是目标的轮廓信息显现出来;然后根据视觉心理学，确定各个目标的具体等级。在最常用的全景街景中，涉及的目标信息主要有道路和建筑物两种。下面将以此为例，具体说明目标识别和划分方法。

1．道路目标的确定

全景图的拍摄一般是在道路上进行的，经常会选择在几条道路的交叉口。由于是同一位置多角度图像的拼接，同一条道路会被分割成两段，因此需要在目标提取时顾及相应的语义联系。

根据全景图的成像特点，可以得到以下推论:若两条道路的中轴线距离约等于全景图宽度的1/2，则这两条道路是同一条道路在摄像机前后的分割。

由于拍摄角度和变形，道路中轴线的距离不一定严格等于全景图宽度的1/2。实际上，两条中轴线很难严格平行，可以将中轴线延长至视点附近，计算其中点的距离来近似表示中轴线距离。如图1所示，对柱面全景图中能够提取的所有道路的中轴线两两进行距离计算，若距离约等于全景图宽度的1/2，则说明这两段道路是同一条。

图1 全景图中道路目标的确定和关联

计算结果见表1。

表1 全景图中道路间的距离计算

表1中的距离比值表示两路段间的距离和全景图宽度的比值。由表1可知，图中的道路A和道路C、道路B和道路D分别来自同一条道路。同时，根据道路横向的宽度可以确定道路等级，一般情况下，单幅全景图中涉及的道路信息不多，大都为需要重点增强的目标。

2．建筑物目标的确定

全景图中的建筑物几乎连成一片，精确的建筑物目标识别和提取是不可能的，交互式或半自动图像分割借助于人类在交互时所提供的高层语义信息却能较好地解决上述问题。通常操作员仅需要将目标或背景区域在图像中标记出来，算法便能够根据所提供的提示信息来进行分割。在某些特殊情况下如果算法失效，操作者则可以用适当的形式来及时修正。交互式算法就是通过这种不断的人机交互过程来实现从图像中精确而快速地提取出有意义的目标。

根据视觉心理学，除了有特殊要求外，图像上影响观察者兴趣的因素主要有亮度、大小、形状、纹理、颜色、方向等。在同等条件下拍摄时，其他几个因素都可以简化到大小这一个因素上，以图2为例，具体步骤如下:

1)选择全景图中的主要建筑物，如图2所示，由于部分建筑物间的相互遮挡关系，无法单独将某个个体抽离出来，因此可组合成一类目标(如目标1);同时，对于主要的目标被遮挡的，可以根据先验知识将其隐藏的部分也标记出来(如目标8)。

2)计算各个目标的面积占整个全景图的比例和所有目标区域之和的比例，见表2。

3)根据比例大小确定建筑物目标的等级(见表2)，为属性增强提供依据。

图2 建筑物目标的选取和分类

表2 目标等级计算结果示例

三、属性信息的选择

地理空间数据库中存储着地理空间数据各种几何和属性信息，进行全景图增强地理现实，其核心目的就是增强全景图中主要目标的属性信息。由于幅面所限，无限的放大操作又会影响全景图的使用效果，因此一般仅选择用户空间认知过程中最关心的属性信息。

根据用户的关心程度，可以将地理要素的属性信息分为名称信息和说明信息(说明对象的数量和质量特征)两种。名称信息是地理目标最基本的特征，直接说明目标对象的专有名称;说明信息是对地理目标的种类、性质或特征进行的说明，是对地理目标的深层次解释，是用户获得空间信息的重要途径。根据用户的关心层次，将说明信息进行再分级，不同区域的全景序列用户关心的内容不尽相同，表3是在城市密集区和野外空旷区对道路和建筑物的主要属性信息进行的简要分级。设定目标等级阈值，对低等级的目标物只显示基本的名称信息，对高等级目标显示对应等级的说明信息，如表2中一级目标显示到二级属性信息，三级目标仅显示基本级的名称信息。

表3 不同区域道路和建筑物主要属性信息的简要分级

四、地理空间到全景图的配准定位

将属性信息绘制在全景图上，空间定位是必须解决的一个问题，即确定属性信息在全景图上绘制的位置，其纽带就是地理实体的空间坐标。在实际应用中，仅通过全景图本身是无法获取其原本的地理坐标的，需要在成像时进行地理空间到全景图的注册配准，一般过程如图3所示。

图3 地理现实到全景序列影像的注册配准

地理空间到全景图的定位，关键是根据地理现实的空间坐标确定在全图上相应的像素坐标，是全景图增强地理现实系统实现的重要基础。首先根据摄像机的姿态，将地理现实所在的场景坐标转换成摄像机坐标;然后根据摄像机的焦距等将摄像机坐标转换成图像坐标;再通过相片的分辨率等信息计算出地理现实对应的像素坐标;最后对结果进行纠正。其中所涉及的各种摄像机信息可以由摄像机的标定来提供。坐标转换的研究已经很多，具体方法可参见坐标转换的相关文献［9-11］。

五、增强信息在全景图上的表达

全景图是用二维的平面展现三维的空间，利用相应的地理空间信息进行现实增强，需要不同于传统电子地图或三维显示模式的信息表达方式。

用户基于全景图进行地理现实增强辅助空间认知时，观察者通过阅读、使用全景图，各类信息(包括影像和增强的信息)相互作用对感官系统产生刺激，使人产生心理感受，引发联想，获取包含的各类信息，完成空间信息的获取和认知。进行图像增强的意义就在于它可以标识各种对象、指示对象属性，以及表明对象间的关系。待增强的属性信息在全景图上进行表达时，应尽可能表现得清晰、美观、和谐、无二义，同时符合阅读习惯、不影响全景图自身特征，还可以提示属性信息。基于此，结合电子地图和三维场景中的信息表达方式［12-13］，属性信息在全景图上进行绘制时，应当注意以下几个方面:

1)字体，属性信息的绘制样式，主要用于区分不同对象类别，应具有明显性、差异性和习惯性。

2)字大，属性信息绘制的字体大小，一定程度上反映对象的重要性和数量等级，一般情况下，全景图中同类目标物的等级越高，字就越大;同时根据全景图景深具有近大远小的规律，视点周围的字体应比远处的偏大。

3)字色，字体的颜色，主要用于加强分类概念，是观察者更为直观地获取到感兴趣的信息，但是同时应注意颜色的选取和全景图背景间的关系，容易区分又不能过于突兀。

4)定位原则，被标记对象易于识别，同时与全景图上的其他要素特征矛盾尽可能减少，整体外观自然不突兀。道路信息一般沿其中轴线面对视点位置增强，考虑道路分段情况，每一段道路都有信息增强的内容;建筑物信息主要标注于上方。在进行全景浏览时，根据视点不同，增强的信息可以随之变化。

图4是全景图进行地理现实增强后进行全景浏览时的一个截图，简单表示了一种道路增强时的表达方式。观察者可以获取到原始全景图中没有的信息，有助于空间认知范围的扩展，说明基于全景图进行地理信息增强的实践是可行的。

图4 全景图中道路信息增强示例

六、结束语

基于全景图进行地理现实增强，有助于观察者更好地进行空间认知，可以获取到更多的空间属性信息。目前相关的研究较少。本文通过实例分析了整个流程中涉及的关键技术，虽然试验效果还不够理想，但是展现了全景影像增强现实在信息表达方面的优势。随着计算机技术、摄像技术，特别是图像处理和识别技术的不断发展，基于全景图的增强地理现实技术将更好地服务于人类对空间认知的各种需求。

［1］ GOODCHILD M F．Augmenting Geographic Reality［EB/OL］．2010-08-20．http:∥www．csiss．org/aboutus/presentations/files/goodchild_boulder_sept02．pdf．

［2］ MILGRAM P，KISHINO F．A Taxonomy of Mixed Reality Visual Displays［J］．IEICE Transactions on Information Systems，1994，E77-D(12):1321-1329．

［3］ 冉洋，朱飞，陈康．虚拟现实及增强现实技术在工业设计中的应用［J］．激光杂志，2010，31(1):4-6．

［4］ 张军毅，罗述谦．医学增强现实建模方法研究［J］．系统仿真学报，2009，21(12):3658-3661．

［5］ 师国伟，王涌天，刘越，等．增强现实技术在文化遗产数字化保护中的应用［J］．系统仿真学报，2009，21(7):2090-2093，2097．

［6］ 王宇，王涌天，刘越，等．基于全景成像的增强现实系统［J］．计算机工程，2010，36(3):16-18．

［7］ ASAI K．Visualization Based on Geographic Information in Augmented Reality［J］．Augmented Reality，2010(11):185-203．

［8］ 王兵，张欣，王苗，等．图像主题区域提取及其在图像检索中的应用［J］．小型微型计算机系统，2011，32(3):567-571．

［9］ 付金红．柱面全景图像拼接算法的研究［D］．哈尔滨:哈尔滨理工大学，2005．

［10］ TSAI R Y．A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-The-Shelf TV Cameras and Lenses［J］．IEEE Journal of Robotics and Automation，1987，RA-3(4):323-344．

［11］ 张欣．全景拼接的关键技术研究［D］．哈尔滨:哈尔滨工业大学，2012．

［12］ 王家耀，孙群，王光霞，等．地图学原理与方法［M］．北京:科学出版社，2006．

［13］ 沈敬伟，温永宁，陈旻，等．面向三维的注记自动配置研究［J］．测绘通报，2008(1):36-39．