平潭时空大数据云平台开发与建设

刘宜灼，黄 鸿

（1.平潭综合实验区自然资源服务中心，福建 平潭 350400；2.广州都市圈网络科技有限公司，广东 广州 510000）

时空信息云平台是城市空间数据在多维时空中形成的大集合，打造了以时空大数据为基础的新型地理信息服务模式。然而，海量时空数据在丰富城市空间信息、弥补数据空缺的同时，为数据管理、分析带来了新的挑战[1-3]。一方面，时空数据以“爆炸式”趋势增长，而传统的虚拟化服务器或集群结构系统在数据储存能力与性能等方面均无法实现高效吞吐；另一方面，数据处理方法受制于以往技术手段与架构的约束，无法适应空间数据的实时处理与开发的需要[4-5]。针对以上难点，部分学者对优化时空大数据管理、分析技术进行研究，改进时空云平台建设方案，并得到了良好的社会效益[6-12]。

本文以平潭综合实验区为案例，从总体架构、关键技术、主要功能、应用情况等方面介绍平潭时空大数据云平台的设计与建设，并对平潭空间大数据进行有效的管理与运用，以此支撑各产业大数据资源的储存、分类、展示和数据共享，并完成一站式的云GIS公共服务。

1 系统架构设计

该平台运用了虚拟化、弹性化、服务化的设计思路，基于时空大数据库的数据模型，在设计逻辑上分成四层，从下至上分别为IaaS（基础设施即服务）层、DaaS（数据即服务）层、PaaS层（平台即服务）、SaaS(软件即服务)层。所有子系统之间均采用统一的验证体系进行用户验证，系统运行与管理贯通于所有层次，对系统实现了整体管理。系统总体设计架构如图1所示。

图1 总体框架设计图

1）基础设施层（IaaS）。IaaS层位于整个时空信息云平台的最底层，由感知网络和大规模数据中心所构成，直接搭建在硬件资源上面，并通过对计算资源、网络资源、存储资源的虚拟化搭建云端主机，为数据层提供了操作系统级的支持。IaaS层支持资源抽象、优化、弹性伸缩、系统监控和安全管理，并支持各政府部门在应用中对网络资源的随用随付，极大地降低了政府业务建设初期的硬件投资成本和硬件环境的长期维持成本。在服务扩展时期，能够在短时间内建立大量虚拟主机投入使用。在服务需要释放网络资源时期，它能够迅速清除多余网络资源以节省成本。

2）时空大数据层（DaaS）。DaaS层处于基础设施层之上，包含了时空数据处理中心、空间数据库系统、大数据融合处理系统、地理实体生产工具、智能感知大数据软件接口、街景数据管理入库等系统。通过数据交换服务的共享和抽取-转换-加载（ETL，Ex⁃tract-Transform-Load）组件的处理，为平台层、应用层等提供数据及综合信息服务。

3）时空信息云服务层（PaaS）。PaaS层处于基础硬件资源和数据资源之上，具备SOA和微服务2个独立体系（如图2）。SOA体系包括一系列的服务引擎（ArcGIS平台、街景服务引擎、物联网服务引擎、互联网服务引擎、时空信息服务发布系统、地名地址服务引擎、数据挖掘分析引擎、业务流引擎、模拟推演/任务解析引擎等）以及SOA服务总线；而微服务体系除对外提供的服务资源外，平台自身的功能模块也采取微服务的方式，按功能逻辑抽象为一系列的微服务。

图2 SOA与微服务双架构技术

4）应用服务层（SaaS）。SaaS层根据不同的应用要求，按需要整合基础硬件资源、数据处理资源和平台服务资源，建立符合特定应用的云端服务节点，为各部门提供服务。同时，利用时空信息云平台，进行各个部门间的空间公共信息资源的数据共享与互动，对推动部门协同办公，发挥空间信息资源整体优势具有重大的积极意义。

5）智慧应用层。智能应用层针对不同类别的应用和业务目标，为政府网应用和公共网应用提供了各个层面的空间信息云服务应用，从而使云平台的时空信息在业务中更加高效地使用。

2 关键技术

2.1 SOA与微服务双架构技术

平潭时空大数据云平台采用SOA与微服务双架构体系，处理平台基础架构的复杂性。

SOA架构。SOA主要用于集成各种现有的服务引擎，将服务接入到平台。时空云平台需要对接包括基础GIS平台（ArcGIS、超图等）、地名地址引擎、物联网引擎、互联网引擎、工作流引擎、三维引擎等一系列基础服务引擎，并对这些引擎发布的服务进行统一注册、管理和对外提供。这些服务引擎都通过SOA体系进行对接。

2）微服务架构。平台自身的后台服务采用微服务架构的方式进行搭建。首先将后台服务以合适的粒度拆分为一系列微服务，然后通过微服务进行运行环境实现这些微服务的部署与运行。

2.2 全矢量多线程调图

本平台将通过全矢量多线程调图技术的地图可视化功能，完成城市级全矢量数据实时调图的浏览应用，为城市专题地图的建立、更新和调整进行即时的结果展示。通过该技术所提供的子系统，无需对全部矢量数据进行瓦片制作，将所有矢量空间数据的变化即时显示，从而真正达到了所变即得的功效。将全矢量调图和数据仓库技术相结合，通过对于每个全矢量数据专题的共享和开发，实现了及时反馈，为使用者提供了有效的大数据分析可视化工具和策略支持服务。

2.3 时空大数据混合存储

平潭时空大数据主要包括矢量数据、栅格数据、物联网感知数据、视频监控、文件数据等。覆盖了静态与动态、结构化与非结构化、集中与分布式等类型。传统关系式数据库无法支撑大规模的时空数据挖掘，尤其是监控影像数据来源繁杂，形式杂乱，其文件存放结构以单一节点的形态进行存放，缺乏高度可靠性、可扩展性和高度可用性，不利于影像数据的统一管控与分配。因此，为了实现时空大数据的高效存储与调用，需要构建一个面向多源异构的混合型大数据存储平台。

Hadoop的分布式文件系统HDFS提出了分布式数据方法，把文件系统划分为各像元一致的数据区块，并逐个存放在不同的数据节点上的文件存储系统，实现了对数据的分级存放、快速搜索以及存储节点的动态分配，大大地提高了数据的读取性能。而Ha⁃doop的MapReduce则为海量数据处理提出了分布式的计算模式。通过将单个任务拆分并将拆分开的任务发送到多个节点上，处理实现并行处理海量数据。其组织结构如图3所示。

图3 Hadoop框架图

2.4 精细地址匹配技术

1）支持匹配到户的标准地址模型。目前的主流地址匹配模型都是匹配到门牌，但按照目前智慧城市精细治理相关应用要求，普遍需要匹配到户。本地名地址引擎构建了支持匹配到户的精细地址匹配模型。

在此模型中，将标准地址区分为政区、室外地址与室内地址三部分，并进行差异化的匹配算法设计，能执行通用的室外匹配，也支持到户的匹配。

2）容错规则。支持语义歧义、信息残缺、重复词、不可识别词、别字、多字、别名等多种容错规则。

3）可配置地址模式。在地址匹配过程中，涉及到复杂的地址分词及匹配算法设计，地址要素的构成也根据各个地方而异，难以构建统一的地址模式，因此本地址匹配引擎允许在标准地址模式的基础上进行个性化的配置，再据此重构地址规则树，以更好地适应各个地方的实际情况，提供更好的匹配结果（如图4）。

图4 可匹配地址模式图

3 主要功能

根据平潭时空大数据云平台需求分析与设计要求，开发了面向多对象、具备多功能的平台子系统，主要包括时空云平台信息管理系统、时空智能分析系统以及时空云平台运维管理系统。

3.1 时空云平台信息管理系统

本系统支持离线拷贝和在线访问各类数据，通过提取和整理操作后的中间结果数据存储在集合库中，并按时空大数据模型分层处理，将无空间坐标数据进行空间化处理，最终将经过打包与质检的数据导入时空大数据成果库。系统功能结构如图5所示。

图5 信息管理系统功能结构图

3.2 运维管理系统

云平台运维管理系统面向全区各政府部门的用户提供多用户的分布式协同管理的能力，采用“分级管理、分别维护”的建设模式，设置不同的运维管理角色。

1）平台级管理：其管理角色为系统管理员，关注整个时空信息云服务平台基础设施资源以及服务资源的使用，负责平台组织机构的管理，并为不同的组织机构（单位）分配基础设施资源。

2）组织级管理：其管理角色为单位管理员，主要关注本单位用户使用云GIS基础设施资源的情况，进而管理本部门发布的服务。

该平台包括概览、个人中心、新闻管理、客户服务管理系统、安全管理中心、系统监控、工作日志管理系统、综合分析等8个模块，为管理人员提供了一个便捷的运维界面，包括各种统计报表，平台服务状态监控，平台日志记录，方便客户实时掌握平台的运行情况，详细界面如图6。

图6 运维管理系统界面图

3.3 智能分析系统

智能分析系统将充分利用平潭综合实验区的大数据建设成果，进行时空大数据的挖掘数据分析、可视化建设。利用空间大数据库系统进行多源数据融合，对数据进行挖掘（模型定制、模型学习、模型计算、模型分析、模型输出，如图7所示）分析，时空大数据可以通过动态、静态多种形式表达，实现对时空大数据分析结果的可视化表示。

图7 参数化、流程化、定制化的大数据挖掘系统界面

4 应用

平潭时空大数据云平台主要用于满足各类用户对空间数据的应用需求，以时空大数据为基础，帮助用户完成深度数据挖掘，并获得有价值的信息。结合平潭区用户群体的特点，可分为政务专业用户，政务普通用户和公共用户。因此接入不同委办局、网络条件下的应用系统，为云服务平台的各类用户提供快捷的引入服务。

4.1 “平潭国际旅游岛”三维智能观光导览系统

运用计算机网络技术、空间数据库技术、三维地理技术，整合遥感影像、地名位置数据、三维地形模型、倾斜三维建模等有关信息技术，包括PC端和微信公众号2个版本，为平潭综合实验区提供了一个全面展现“国际旅游岛”自然风貌的网络平台，为用户提供一个直观、动感、交互性强、信息内容丰富的综合服务平台，最终实现展示平潭综合实验区“国际旅游岛”自然景观、宣传旅游产业信息、提供地方政府公共服务、助力企业发展的总体目标，进而提高了平潭综合实验区的品牌形象。

“平潭国际旅游岛”三维智能观光导览系统（桌面端）基于新型测绘数据的虚拟旅游体验，整合360°全景、三维地形模型、倾斜三维模型等新型测绘数据，真实还原了景区、景点的地形风貌和地理环境，让公众足不出户即可身临其境地体验虚拟旅游，感受不一样的风景（如图8所示）。

图8 “平潭国际旅游岛”三维智能观光导览系统

4.2 平潭不动产权籍调查系统

不动产权籍调查系统是不动产登记管理子系统的前置管理系统，进行不动产登记数据的准备和整合等工作。信息系统以全国地（海）籍信息库为基础，通过整合全国土地、房产、海洋、耕地承包经营权、林地等各类不动产登记数据，统一进行全国不动产数据入库、编排、输出不动产单元号、结果检索、数据包输出等作业，实现全国不动产权籍调查系统的资源共享与成果运用，以适应现代不动产登记管理工作的新需要。

平潭综合实验区自然资源与空间信息时空云平台对接不动产权籍调查系统以来，参照了时空信息云服务平台提供的数据服务，实现新增权籍调查成果的落宗落幢更直观准确，对原先已有的权籍调查成果，通过图解法确定其位置与形状，节省了现场查勘确认时间，有效辅助不动产权籍调查数据库成果的内业核查和界址点确认，极大提升不动产登记中心的工作效率和精细化管理水平。

5 结语

平潭时空大数据云平台采用一体化平台建设标准规范体系，从数据、服务到应用实现统一维护管理，统一入库、配图、发布服务，采用时空网格、全矢量多线程调图和时空大数据混合存储技术等关键技术，解决了大体量时空数据存储困难、管理分析复杂等系列问题。同时基于云平台的建设要求与理念，开发出信息管理、运维管理、智能分析等子系统，满足不同领域的应用需求。平潭时空信息云建设项目的完成，进一步完善和丰富平潭综合实验区基础地理信息数据，基于云服务的平台可有效实现基于空间位置的实时信息资源交换和共享，提升城市信息资源建设和利用率。目前本平台已经为平潭市多行业、多部门提供大数据云服务，包括智能旅游、不动产权调查、环境保护等，效益显著。