全景视频流街景地图的制作与应用

王 越，孙雅庚，彭小婷，袁静文

（1.武汉市测绘研究院，湖北 武汉 430022；2.武汉大学遥感信息工程学院，湖北 武汉 430079）

随着互联网、大数据、移动测量等新技术的发展，传统的测绘4D产品对于客观世界的抽象化表达越来越难以满足城市发展的现实需求，尤其是难以满足城市治理中对基础地理信息的直观性和精细度需求[1]。近年来，Google、百度和腾讯等公司都相继推出了基于全景图像的城市街景地图[2-3]，结合虚拟现实（VR）或增强现实（AR）等技术进行浏览可获得一定的场景沉浸 感[4-5]，这种真实且直观的地图表达方式较好地兼顾了测绘专业领域和社会普通民众的应用需求。然而，受全景采集时相机曝光周期的影响，现有街景地图中相邻两幅全景图像间会存在一定的空间间隔，浏览时易产生画面“跳跃感”，在一定程度上影响了地图漫游的流畅性，同时也难免会漏掉一些关键点的信息[6]。鉴于视频录制相较于单点拍摄在画面连续性上的优势，利用全景视频制作的城市街景地图能够较好地弥补传统街景产品的不足，且能保证街景信息的完整性和空间连续性，是一种新型的地理场景产品（GSP）[7]。

以武汉市举办第七届世界军人运动会为契机，利用全景视频流技术采集制作了25条军运会重点保障线路的全景视频流街景地图，并开发了全景视频流街景地图展示系统作为地图发布及应用平台。由于全景视频流街景地图兼具时空属性，且制作周期较短，通过定期更新对比能快速发现城市街道及沿街立面的变化，可为城市交通管理和环境综合整治提供重要的参考。

1 全景视频流街景地图的特点

全景视频流地图是街道实景表达的一种新形式，使地理空间信息从传统静态的基于图形的抽象表达方式转变为动态的基于图像的真实表达模式[8]。全景视频流技术与移动测量技术的结合，赋予了全景视频以空间和时间属性，与传统的地图产品相比，全景视频流街景地图具有以下特点：

1）真实直观。视频图像相较于地图符号其表达方式更加直观，可还原最真实的街道场景，观测视角也是从人的角度出发，三维立体感和用户沉浸感较强，且具有一定的人机交互性。

2）信息量大。全景视频对场景进行多角度环视拍摄，通过视频拼接可获得连续的720°（水平方向360°+垂直方向360°）环视全景图，相较于二维图像其信息量更加丰富。

3）生产高效。全景视频流采集方便，生产过程对测绘专业软件的依赖程度较低，制作周期短、成本低，数据更新效率高，易于网络发布及后续应用。

2 街景数据采集和地图制作

全景视频流街景地图制作主要包括街景视频数据采集、数据处理以及视频时空轨迹信息融合等内容。其中，街景视频数据采集利用车载全景视频采集系统进行，该系统搭载了一台6镜头的高清全景相机、一台GPS接收机以及相应的时间同步控制开关和数据存储器等设备。以获取的街景视频数据、GPS轨迹数据和现有路网数据为基础，经过全景视频配准、拼接、色调均衡等处理形成全景视频流，再融合视频时空轨迹等信息，最终生成全景视频流街景地图，并通过系统设计进行地图发布与展示。全景视频流街景地图的总体制作流程如图1所示。

图1 全景视频流街景地图制作流程图

2.1 街景数据采集

车载全景视频采集系统中，高清全景相机负责全景视频数据的采集，项目应用中采用Teche720畅拍 3系列VR相机，通过连接三脚架固定于采集平台顶部，如图2所示。全景相机通过固定夹角的6个超广角镜头来实现球面成像，单镜头分辨率为4 608像素× 3 456像素，经由后期拼接可得到最大分辨率为6 K的全景视频。GPS接收机通过外接天线吸附于车外全景相机下方，用于记录摄像时刻全景相机的空间位置。控制开关则负责各设备的数据记录开关和时间同步控制。

图2 车载全景视频采集平台

开始数据采集前，需对全景相机进行参数设置并做好GPS搜星准备，以确保相机正常工作且能接收到GPS定位信息。到达采集起始点后，启动数据记录控制开关，使全景相机和GPS接收机同时开始接收数据。为确保视频摄录的质量，数据采集时车速应控制在40 km/h以内，并尽量匀速行驶。由于6个镜头拍摄视角不同且相机处于运动状态，各镜头获取的视频图像难免存在光照差异，为了尽可能削弱光照对拼接色差的影响，数据采集通常选择日照均匀的正午前后进行。

2.2 全景视频流数据处理

全景图像是构成全景视频流的基本单元。利用多镜头全景相机同时拍摄相同场景具有一定重叠区域的视频帧图像，经过配准、拼接、融合等一系列处理，可生成一幅包含各镜头图像序列信息的高分辨率大视域全景图像。以一帧帧静止的全景图像为基础，再以一定的帧率播放就形成了全景视频流。全景视频的拼接是在图像拼接的基础上完成的，它比全景图像多了一个时域维度特性来确保视频帧的同步性和稳定性，以及视频帧间的色彩一致性[9]。

全景视频拼接（又称全景缝合）是全景视频流处理的关键所在[10]，具体操作过程如下：首先对全景相机6个镜头的视频帧图像进行预处理和投影变换，目的是消除图像畸变以尽可能提高配准精度。接着，在同步各镜头视频帧图像的基础上，通过提取图像特征进行特征匹配，完成视频帧图像的配准。随后进行视频帧图像的融合，目的是消除各视频帧组图像间的几何错位和色彩差异，使拼接区域平滑过渡，实现全景无缝拼接和亮度色调均衡[11]。最后，对全景相机三脚架下方的拍摄盲区进行补地设置，以填补拼合画面下视位置的图像空洞。项目应用中，采用相机配套的泰科易全景视频拼接软件V5.4实现视频帧图像的批量缝合，并利用军运会会标进行补地。拼接完成后，再利用专业视频编辑软件AdobePremiere进行色调均衡和渲染输出。图3展示了相机6镜头拼接后的全景视频图像。

图3 全景视频拼合图像

2.3 视频时空轨迹信息融合

全景视频流街景地图需要赋予全景视频流以空间、时间等属性，通过全景视频时空轨迹信息融合，将以帧为单位的全景视频流数据转换为以道路段为单位的街道全景视频时空信息，并建立全景视频流时空轨迹数据库。

在拍摄全景视频流的同时，以采样间隔1s同步记录采集车的行进轨迹，利用GPS实时获取全景相机的曝光位置和时间记录，作为制作视频时空轨迹文件的基础数据。首先将GPS采集获得的原始轨迹点坐标转换到城市坐标系下（本文采用WH2000坐标系），以实现成果坐标基准的统一。接着利用城市路网数据中道路交叉口的空间位置将路网以段为单元进行切分，并获取每条道路段的空间及属性信息，再利用ArcGIS软件将轨迹点连接成轨迹线，对轨迹线和道路段数据进行叠加，并将道路名称、长度等属性信息赋予相应的轨迹线中。此外，为丰富视频地图展示效果，对于采集线路中的关键点位进行标注，制作道路关键节点位置信息文件。与此同时，还需将GPS记录的时间转换为视频播放时间，使轨迹点位和视频帧图像同步对应，以确保全景视频流地图定位的准确性。最终通过全景视频流时空轨迹数据建库，实现按地理信息空间分布的视频时空数据管理。

3 街景地图展示系统设计与实现

以全景视频流成果和视频时空轨迹数据为基础，通过开发全景视频流街景地图展示系统进行地图发布与展示。该系统采用B/S架构，由前端和后端两部分组成。前端主要负责地图展示，利用WebGL对全景视频流数据服务进行加载，使用者可以通过浏览器直接对全景视频流街景地图进行浏览，并使用配套的地图展示功能进行“互联网+720°全景视频街景”的可视化及交互体验。后端主要用于地图管理，由管理员进行系统参数设置、网页内容编辑以及地图发布管理等处理。

3.1 系统总体设计

全景视频流街景地图展示系统的总体架构共分为 4个层次：基础层、数据层、服务层和应用层，如 图4所示。其中基础层主要保障系统运行的各种软硬件、存储设备及网络环境的支撑，负责全景视频流等数据文件的存储和传输。数据层提供视频街景地图服务的基础，包括视频成果数据和基础地理信息数据。服务层是系统的核心内容，为系统提供部署和运行所需的服务接口，包括全景视频流云服务、视频时空轨迹服务、二维基础地图服务以及倾斜三维模型服务。其中，全景视频流云服务利用了腾讯云的云点播服务器，该服务器提供了视频存储管理、转码处理、加速播放等组件，可进行全景视频流的上传、存储、转码、处理、播放、发布及管理等视频服务；二维地图切片数据和视频时空轨迹数据服务则利用ArcGIS Server进行发布；倾斜三维模型数据先通过Nginx服务器发布成三维服务，再利用三维GIS引擎Cesium.js进行前端加载。Nginx是一个适用于网站发布的反向代理Web服务器[12]，全景视频流街景地图展示系统的应用程序、道路关键节点位置信息以及倾斜三维模型数据均通过该服务器发布。应用层则利用三维引擎Three.js在前端生成全景视频播放器，基于视频流等服务接口开发全景视频流街景地图展示系统，并通过ArcGIS JavaScript API调用发布的地图服务与全景视频流进行联动，实现720°沉浸式的全景视频街景浏览以及按空间定位查询、按时间比对分析等 功能。

图4 全景视频流街景地图展示系统体系架构图

3.2 系统功能实现

结合军运会重点保障线路全景视频流街景地图的应用需求，系统在实现对视频街景数据进行全景浏览的基础上，开发了二维地图联动、道路分段展示、分时双屏对比、三维模型集成等功能。图5为包含25条军运会重点保障线路轨迹的系统界面。其中，二维地图联动功能通过空间位置信息实现了全景视频流街景与二维地图的联动互操作，可通过二维地图窗口浏览观察点所在位置的720°环视街景（如图6a所示）；道路分段展示功能在运用视频时空轨迹数据的基础上，通过导入道路关键节点位置信息，以道路分段进度条的形式模拟了视频行进的动态效果（如图6b所示）；分时双屏对比功能通过空间定位查询，分屏展示同一空间位置和观察视角下的不同时期的街景比对，实现了对城市环境整治变化的动态监测（如图6c所示）； 三维模型集成功能通过空间位置信息关联，对全景视频流街景和倾斜三维模型进行位置融合表达[13-14]，实现了多源实景数据的联动展示（如图6d所示）。

图5 含25条军运会重点保障线路的系统界面

图6 系统主要功能效果图

4 结 语

全景视频流街景地图作为一种全新的城市道路实景信息记录手段，实现了720°全景视频流和地图的融合，具备了新一代互联网视频实景地图的雏形。本文从全景视频数据采集处理、视频时空轨迹信息融合、地图展示系统设计等方面对全景视频流街景地图的设计思路和制作流程进行了探讨，并以武汉市第七届世界军人运动会为背景开展了应用。随着移动测量、虚拟现实以及人工智能等技术的发展，可以预见全景视频流街景地图的人机交互性及可视化效果将进一步得到提升，并在城市管理、地图导航和智慧城市建设等方面发挥更大的作用。