天地及室内外一体实景地图系统研究与应用

明 镜，向泽君，向 华，吕 楠，龙 川

（1. 重庆市勘测院，重庆 401121；2. 重庆市移动测量工程技术研究中心，重庆 401121；3. 重庆数字城市科技有限公司，重庆 401121）

0 引 言

实景地图作为一种新兴的地理信息产品，近年来逐渐受到用户的关注和青睐[1-5]。互联网和地理信息领域的企业（谷歌、百度、腾讯、高德等）和机构也投入大量精力来提升实景地图的浏览质量[6-7]。实景地图的发展从最初的地面拍照、原样展示逐步发展到地空采集、综合美化、集中发布的状态。

当前实景应用发展中仍存在一些亟待解决的问题。首先，单一的影像发布，缺乏连续性和整体性，不能给用户形成整体的空间影像思维。其次，影像的规范和标准不统一，不同时间、不同光照条件下的影像明暗、色彩差异较大，降低了用户的观感协调性。第三，观察视点散列，缺乏从天空到室内外的全面覆盖和联动；很多实景地图在采集时没有关注地理特性，观察视点的采集规划也没有考虑整体性，导致难以进行实景之间的逻辑关联，也难以和其他地理信息进行整合拓展。第四，信息集成能力有待进一步提升，普通的实景系统缺乏对其他社会经济信息的集成和联动，应用方式易受到局限。第五，实景更新来源单一，更新内容目标导向性和时效性不足，不易及时反映社会热点。

为此，本文开展了天地及室内外一体实景地图技术的研究，从解决上述问题出发，着手建立起一套涵盖天空、地面、室内和室外的实景数据体系和软件应用平台。从采集规划开始就对影像数据的空间位置、相互关系进行规约，建立起天空和地面实景之间的相互空间关联，为实景地图的发布和应用开辟新途径。

1 天地及室内外一体实景地图构建方法

为将天空、地面及室内外的实景地图融为一个整体，需从不同角度展示地形地貌、建筑群落、道路分布、车辆运行、人群聚集、商业场景等综合地理信息和社会经济信息。对天空和地面实景影像采集、处理和发布的核心技术进行研究，努力突破多项图像处理技术难关。研发配套数据制作软硬件系统，开发Web网站和移动端APP软件，实现实景地图的应用和共享，将测绘科学、信息技术与摄影艺术进行融合性创新。

1.1 建设流程

系统建设主要采用如图1所示的思路。

图1 系统建设流程图Fig.1 Flow chart of system construction

数据采集硬件选型及软件研发。数据采集是获取实景影像的主要方式，为提升采集质量和效率，需对采集硬件设备进行选型，分别选择适宜地面和空中实景采集的设备。

实景采集任务规划管理软件研发。对实景采集任务管理流程进行研究，研发数据采集任务规划和管理软件。按照多渠道收集的地图实景采集需求进行任务部署和分配，还可扶持实景创业者参与数据采集服务。

实景影像数据处理系统研发。研制天地及室内外实景影像处理软件系统，可对实景数据进行预处理、影像拼接、色彩调整、局部修饰、隐私处理、预发布、地理标注、发布的全流程处理，为规模化开展实景数据处理提供保障，提升生产效率。

实景展示及应用开发API软件研发。根据规划、商业、市政等行业对实景数据的应用需求，以及公众对实景的浏览需求，研发一套支持二次集成开发的基础实景展示API。

众需、众源、众包管理平台软件研发。建立公众实景地图需求反馈的互联网通道，对公众关心的城市热点保持高效跟踪，支持对外发包和汇聚公众采集数据；制定实景数据制作标准，规范采集时的输出成果及元数据，提升众源数据的可用性。

1.2 系统技术架构

系统总体技术架构如图2所示，按照硬件、数据存储、软件系统服务、软件系统应用、软件系统交互分为5个层次。硬件设备层包含了用于拍摄的单反相机及其搭载平台，为数据采集提供硬件支撑；数据存储层将硬件获取的原始影像、拼接成果影像、实景相互关联以及实景地理位置等数据进行完备存储，为软件系统服务提供数据支撑；软件系统服务层实现了各类数据的存储访问、关联及发布服务，是开展后续应用的基础；软件系统应用层支持处理、发布、展示及公众服务等多类型应用，以此建立业务信息支撑；软件系统交互层通过跨平台的访问及交互，实现众需反馈、众源汇集、众创实施的实景地图大平台建设与运营。这5个层次的功能整合，形成了天地及室内外一体实景采集、处理、加工和发布的各个环节的系统模块，针对技术课题进行攻关研发，取得了创新的研发成果。

图2 系统技术架构图Fig.2 System Architecture

2 实景地图系统建设关键技术

系统建设中，涉及实景影像的拼接匀色、关联建立、隐私处理、集成发布等多项关键技术。

2.1 多相机图像拼接及匀色

该技术是为解决实景图像拼接过程中多幅图像之间的亮度和色彩差异问题而提出的，其主要算法步骤如下：

S1，利用Gamma校正提高每幅图像的亮度；

S2，从提高亮度后的每幅图像中选取图像信息熵最大的为参考图像，其余图像为目标图像；

S3，将每幅图像从RGB颜色空间变换到YCbCr颜色空间；

S4，以参考图像为标准，在YCbCr颜色空间中将目标图像的色彩和亮度调整到与参考图像一致；

S5，对每幅图进行颜色空间反变换，得到RGB空间的图像；

S6，采用图像同名点匹配算法对图像进行拼接，得到初步实景图像；

S7，对得到的初步图像进行增强对比度处理，得到亮度、色彩均衡的实景图像。

依托多图像视觉归一化处理，能够消除实景图像拼接过程中多幅图像之间的亮度和色彩差异，改善实景图像视觉效果，使其在亮度和色彩上具有一致性，如图3所示。

图3 原始图片与匀色增强后的图片对比Fig.3 Comparison between raw image and enhanced image

2.2 天地及室内外实景自动关联

在天空和地面室内外拍摄的实景影像之间, 基于地理位置自动建立相互关联，形成整体性的空间数据联系，为用户浏览和承载数据提供索引基础。其主要算法步骤如下：

S1，采集实景图片信息，包括实景图片及采集该实景图片时的位置点坐标P0(x0，y0，z0)；

S2，根据当前实景图片的采集位置点P0(x0，y0，z0)获得指定缓冲区内与之关联的关联实景图片；

S3，选择一个指定方向作为参考方向，并在实景图中任意选取辅助点P1，其空间坐标为P1(x1，y1，z1)，在实景图片中坐标为P1(m1，n1)，根据当前实景图片的采集位置点P0(x0，y0，z0)与辅助点P1得到一参考方向点在该实景图片中的对应位置；

S4，根据该参考方向点在当前实景图片中的对应位置来计算关联实景图片的采集位置点与当前实景图片的对应关系，根据相应的对应关系实现关联实景图片与当前实景图片的关联，得到天地及室内外一体化实景地图。

图4为实景影像之间自动关联的成果，其中飞机图标为空中实景的关联索引，飞水滴图标为地面实景的关联索引。

图4 实景影像的自动关联成果Fig.4 Automatic correlation results of real images

2.3 隐私识别处理

实景拍摄的照片中易出现人物和车辆等涉及公众隐私的影像，因此对影像中的隐私信息进行识别和处理，是实景地图生产的一项重要课题[8-10]。本文研究以人脸处理为重点，建立人脸肤色模型进行识别。

通过大量人脸样本统计，选取肤色由较亮至较暗、较白至较黄的多幅人脸进行机器学习。由于人脸在影像中普遍较小，眼睛区域往往相对占据了将近1/3的比例，眼睛周边肤色偏暗，为了建立的肤色模型的准确性，截取眼睛以下的脸颊至下巴区域或者眼睛以上的额头区域进行统计。然后进行肤色相似度检测，在初步筛选的基础上，再按照人脸比例、面积和头发区域计算方式进行进一步筛选。从而使得系统识别到人脸隐私，将该隐私区域使用矩形框标注出来，统一进行相应的隐私模糊。隐私模糊采用均值滤波算法，能够实现和周边非隐私区域的较好衔接，如图5所示。

图5 人脸隐私识别与处理效果Fig.5 Face recognition and blurring

2.4 经济社会信息集成

将重庆地理信息公众服务平台网站（爱尚重庆，http://www.cqmap.com）上已经整合的经济社会信息与实景地图进行融合，使实景地图和电子地图的数据相结合，将多个层次的地理信息进行整体直观反映。数据整合利用地址匹配和地理编码技术进行处理。研究形成了基于无规则地址点的地理编码模型，对文字描述的信息中包含的地址进行编码，在编码后与标准地址坐标相匹配关联，用于实景地图中的自动注记生成和存储展现。通过地址匹配方法确认社会经济信息的地理坐标后，再通过之前的实景关联算法与实景上的图像进行关联，实现数据的实景索引集成，如图6所示。

图6 关联经济社会信息（二手房户外实景）Fig.6 Associated with economic and social information (outdoor reality of second-hand housing)

3 应用实践案例

3.1 区域覆盖

通过天空和地面实景数据的联动，实现了对重庆市主城区主要地标、商圈和风景区的概括性覆盖，涉及面积约700 km2，实景数量总量超过1 000景。部分研究成果已经发布在“爱尚重庆”上，面向公众开展实景地图服务。空中实景主干点位分布如图7所示，每个空中实景已关联索引多个地面实景。

图7 重庆市主城区主要空中实景影像分布Fig.7 Distribution of main aerial real images in urban area of Chongqing

3.2 天空实景影像

通过对重庆市主城区规划的各个天空任务点进行采集，实现了对重庆市主城区商圈、重要景点、重点经济区域及重点公共场所的全覆盖。生产效果如图8、图9所示。

图8 朝天门两江交汇处Fig.8 Junction of two rivers at Chaotianmen

图9 渝中半岛夜景Fig.9 Night view of Yuzhong Peninsula

3.3 商业服务

天空和地面的实景影像，按照拍摄位置的坐标以及空间层级之间的关系，依托自动关联算法和少量人工判读，建立起便捷的导览关系网络。重要对象的外部链接通过生成二维码等方式，挂接相关经济社会信息。目前地面场景关联信息已经实现了重庆观音桥等商圈及多家合作商家的接入，全方位、多角度立体展现了观音桥商圈优良的环境风貌、一流的服务设施、优雅的购物、娱乐、休闲环境。公众可通过移动互联网络获取天地及室内外一体化实景地图的导航、定位、信息查询等服务。还为部分实体店商提供了互联网实景地图宣传入口，扩大了实体店商的宣传渠道，得到商户的好评。有力提升了商圈的日常及应急管理能力，拓展了商家的营销渠道，为打造智慧商圈提供了丰富、直观、现势性强的空间信息基础设施，如图10所示。

图10 商业服务Fig.10 Commercial service

3.4 城市管理服务

天地及室内外一体实景在城市管理运营方面已发挥重要的支撑作用。实景地图数据覆盖面广，数据分辨率高，可辅助执法人员清晰识别楼顶违法建筑、街道旁的违法建筑，丰富了违法建筑信息获取与取证手段。通过定期的数据采集、更新、对比，执法部门可对下达整改通知书的建筑进行评估与监督。在违法建筑识别与取证、整改监督与检查、事后评估等环节对业务提供了良好支持，可提升规划监督的工作效率。

3.5 公众服务

天地及室内一体实景作为一种城市风貌和现状的良好载体，在其发布和运营过程中易得到市民用户的关注。依托该技术工具，对用户关注的城市热点进行及时的追踪展现，能够调动和保持用户的关注热情，使实景地图应用产生更大的社会效益。本课题完成单位以该技术为基础推出的“实景游公园”系列为其中的典型代表，如图11、图12所示。

图11 “实景游公园”-重庆照母山森林公园Fig.11 " Virtual Tour Park " -Chongqing Zhaomu mountain forest park

图12 “实景游公园”-重庆海棠烟雨公园Fig.12 "Virtual Tour Park" - Chongqing Haitangyanyu park

除专业机构外，实景热点的来源还可由公众发起。公众可通过互联网提交实景采集需求的时间、地点和事由，待平台审核后，依托系统推行任务众包，并对多位用户来源的实景数据进行汇集，如图13所示。采集任务在互联网上进行分发，可由用户认领任务，并可在线提交成果，经评估采纳后，进行酬劳结算，逐步构造起一个实景采集、发布的创业圈。

图13 众包管理系统Fig.13 Crowdsourcing management system

4 结束语

目前，国内和国外地面实景建设如火如荼，很多互联网企业和测绘机构都有涉足。随着近年来无人机技术的逐步成熟，天空实景的数据采集业务也日益繁荣。本研究解决了天空和地面的实景数据有机结合。通过技术上对天空和地面实景的整合，实现了一体的数据浏览和利用模式。项目构建了基于互联网+地理信息+经济社会信息等大数据的“大地图”开发模式，支持跨平台、多终端移动互联网的应用；建立了众需反馈和众源供图的天地及室内外一体实景地图众创技术支持体系。制定了天空、地面、室内室外实景数据的采集加工处理技术规范，研发了配套的软件系统，率先实现了天地及室内外一体实景地图的跨平台发布。

在后续的研发中，将对积累的海量实景影像开展研究，尝试进行结构化分类、特征提取、图像匹配，更好地支持智慧城市应用，并研究与VR/AR技术的融合，为智慧城市建设提供更加直观、全面和及时的新型地理信息基础设施。