大数据时代 GIS 发展路径探究

韦怡 叶波

摘要：随着第三次信息化革命浪潮的到来和移动互联网技术的高速发展，大数据时代的万物互联开始让我们感受到“位置” 连接一切，位置服务无所不在。GIS在其中相当于桥梁，精准的空间位置服务可以实时感知道路拥堵、给城市“治病”、控制人类疫情、改变城市生活质量。大数据时代，空间大数据虽然数据价值大，但价值密度低，导致实时分析决策能力不足，如何从中有针对性地提取感兴趣的目标信息、信息量不够丰富以及时效性差等是应用过程中的巨大挑战。

关键词： GIS技术;空间大数据; 行业应用;第三次信息革命;万物互联

中图分类号：G642        文献标识码：A

文章编号：1009-3044（2021）36-0046-02

开放科学（资源服务）标识码（OSID）：

1 引言

中国工程院院士李建成在2017年4月首届中国空间大数据产业高峰论坛上表示，GIS中的信息数据是大数据的重要来源之一，这也将成为大数据时代下各产业领域的一次重大变革。学术界公认的传统GIS技术与其他信息系统和电子地图的区别在于它能够将空间数据管理以及空间分析能力与基于地图的数据可视化能力进行深度融合。大数据时代的到来对传统的GIS技术的应用和技术方面提出了巨大的挑战，为了满足大数据时代各行业各领域的实际需求，GIS技术绝不能仅仅是为了更加精准地描述地理实体，更重要的是结合分析功能在海量数据中发现规律和预测趋势。

2 大数据时代背景下GIS的挑战

随着大数据时代到来，空间大数据虽然数据价值大，但价值密度低，导致实时分析决策能力不足，如何从中有针对性地提取感兴趣的目标信息、信息量不够丰富以及时效性差等是应用过程中的巨大挑战。大数据最基本的特征之一就是数据量巨大，以 GIS 空间大数据为例，面临着不断累积的数据存储量和依旧不断增多的数据量，用户面临的数据计数单位从之前的 GB 级到TB 级甚至到之后的 PB 级发展，随着每天仍然有大量的用户通过集中的关系型数据库进行存储，面临逐步增加的数据容量，集中式存储模式已经无法承载如此大的数据量，同时也无法为计算分析提供高效的存储保障。越来越多的用户不仅需要接入传统测绘数据类型，如矢量数据和影像数据，还需要可存储新型测绘数据类型，如倾斜摄影模型、BIM、激光点云等，同时还需要接入带有地理位置的 IT 大数据，系统接入的数据类别也越来越多，越来越丰富。前两种数据类型还有相对比较规范的数据标准，而 IT 大数据还处于模态多样、 杂乱无章、标准不统一、时空尺度不统一、精度不统一等阶段，如何梳理成可信数据也成为一大挑战。

3 大数据时代背景下GIS的机遇

传统 GIS 处理的是静态数据，而如今98%都是动态的数据。龚建雅院士也提出了“实时 GIS 是未来的发展趋势，在统一的空间大数据框架下，基于传感网的实时动态 GIS 可以实时管理与分析城市内部的人流、物流和事件流，因而能够在智慧城市中发挥重要作用”。如何能够接入多源的传感设备，快速高效处理实时数据，同时动态实现实时数据的可视化展示也是 GIS 要面临的一大挑战。当然更大的挑战就是如何从空间大数据中，通过 GIS 技术去实现数据挖掘， 通过 GIS 的空间分析、空间查询和空间可视化等技术优势为用户提供指导和决策。 这就需要 GIS 具有大数据的相关技术支持。在主流的 IT 技术体系下，已经有相对成熟完善的大数据技术支持，从各种各样类型的大数据中，快速获得有价值信息技术，包括数据采集、存储、管理、分析挖掘、可视化等技术集成为一体。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、分布式存储以及云计算平台等。这就需要传统 GIS 基础软件在空间数据的各个环节去扩展、升级、优化其大数据的处理能力，为空间大数据的挖掘提供平台支持。现有的地理空间大数据价值还没有充分发挥出来，深度挖掘地理空间大数据价值仍在路上，大数据本身不等于价值，它是“贫矿”，只有挖掘出它的价值， 才是“金子”。

GIS 技术并不仅仅要解决与空间大数据技术的融合，更重要的是如何能够通过 GIS 大数据技术为各个行业的相关业务提供多元思维、多元决策。为了满足各行业能够迎合新技术的冲击，新技术为各行业发展提供了坚实的技术基础。当然更大的挑战就是如何从空间大数据中，通过 GIS 技术去实现数据挖掘，通过 GIS 的空间分析、空间查询和空间可视化等技术优势为用户提供指导和决策。这就需要 GIS 具有大数据的相关技术支持，从各种各样类型的大数据中，快速获得有价值信息的技术的能力，包括数据采集、存储、管理、分析挖掘、可视化等技术集成为一体。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、分布式存储以及云计算平台等。这就需要传统GIS 基础软件在空间数据的各个环节去扩展、升级、优化其大数据的处理能力，为空间大数据的挖掘提供平台支持。

4 大数据时代GIS的技术层

大数据时代的到来对GIS的技术层提出了新要求，需要其将大数据空间分析、大数据存储管理和大数据流处理等技术进行结合，并贯穿空间大数据的各个环节，实现技术创新，全面扩展对大数据的支持能力的影响，全新的空间大数据 GIS技术体系特点体现如下：

1）数据存储主要涉及所有的空间数据格式以及大数据技术体系中常用的数据存储技术，如 Oracle、HDFS、MongoDB 集群等，它们既可以利用存储的数据进行数据分析，也可以用于存储分析产生的中间数据和最终成果数据。在空间大数据时代下，通过对分布式数据库、分布式文件系统等大数据技术的扩展支持，实现了对空间大数据高效稳定的管理存储能力。

2）通过空间大数据组件，从内核对Spark 空間数据模型进行扩展，在基于分布式计算技术重构已有的空间分析算法的基础上，不但大幅提升了海量空间数据分析的效率，而且针对大数据研发了一系列新的空间分析算法，可直接嵌入到 Spark 内运行，在一定程度上解决了空间大数据分析和应用的难题（图1为解决大数据空间问题的经典DIKW模型）。

3）通过Apache Spark为大规模处理而设计的快速通用的计算引擎Spark，提供了全新的空间大数据分析、空间大数据存储和流数据处理等 Web 服务，并内置了 Spark 运行库，降低了大数据环境部署门槛;Spark 拥有许多特有的优点，但其中的Job 中间输出结果可以直接保存在内存中，HDFS不再需要重复读写，因此能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce 算法。通过Spark集群如此循环往复，直到将代码全部执行完，并且计算完所有的数据（Spark工作原理如图2）。

4）在大数据时代，不断累积的大数据体量，通过横向扩展分布式处理集群方式实现分布式 GIS 空间分析能力，需要为用户在物理环境或者基础云环境上提供更加高效的大数据运维能力，包括快速部署、资源管理、运维监控等，用于在多源基础环境下为用户解决大数据 GIS 平台难以管理和运维的诸多问题，让 GIS 各个平台产品联系更加紧密、协同更加智能，并且提供了展现形式丰富的、兼具二维三维的各种聚合图、密度图、关系图、热度图等空间大数据可视化技术，突破二维和三维等图像海量动态目标可视化技术。

5）通过资源调度算法、任务自动化调度、资源监控与预警，实现了基于大数据的运维管理。大数据 GIS 技术着重解决两类问题：新兴的空间大数据的管理和传统（经典）空间数据的计算性能问题。因此，大数据 GIS 技术体系架构包含两个非常重要的部分（如图3）。一个是空间大数据技术，专门针对空间大数据的处理和分析挖掘;另一个是经典 GIS 功能的分布式重构，专门针对经典空间数据的管理和处理。

该技术体系通过从 GIS 内核级别深度结合 IT 的空间大数据，例如分布式计算框架、分布式存储技术、流数据处理框架等，在 GIS 基础软件中构建针对空间大数据的存储、索引、管理和分析能力，仅需较少编程甚至不用编程就能管理和分析空间大数据，大幅降低了空间大数据分析的门槛。同时，利用 IT的大数据分布式存储和大数据分布式计算框架，对经典 GIS 的经典空间分析方法和空间数据处理进行了 重构，对经典空间数据处理与分析能力在数据量层面上有了质的提升。

5 大数据时代GIS的行业应用层

行业应用层通过时空大数据平台提供的多种服务资源，提供面向桌面端、 Web 端和移动端的产品交付和开发 SDK，为不同行业应用的建设需求提供时空大数据的业务应用支持。围绕各个行业大数据应用需求，为大数据行业监管、大数据决策支持、行业应急指挥、智能交通、精准农业等提供大数据平台的技术支持。 基于云架构的 GIS 大数据建设应充分利用云计算与大数据技术，构建四层架构（基础设施层、数据资源层、平台服务层、行业应用层）体系，深度融合大数据技术，实现了对时空大数据的存储、计算、分析和可视化等。

6 结论

当今大数据时代来临，对GIS技术提出更多要求，需要其贯穿大数据的各个环节实现技术创新，将大数据空间分析、大数据存储管理和大数据流处理等技术与GIS 技术相结合，提高大数据全面的支持能力。GIS 技术并不仅仅要解决与空间大数据技术的融合，更重要的是如何能够通过 GIS 大数据技术为各个行业的相关业务提供多元思维、多元决策，为行业能够迎合新技术的冲击，新技术助力行业发展提供坚实的技术基础。

参考文献：

[1] 陈雷鸣.基于BIM和GIS的智慧城市探索[J].土木建筑工程信息技术，2016，8（6）：91-95.

[2] 赵跃.智慧城市时空大数据云平台建设探讨[J].测绘与空间地理信息，2021，44（1）：93-95.

[3] 蒯希，贺彪，罗恒，赵志刚.城市空间三维地图及其在智慧城市中的应用[J].测绘地理信息，2021，46（1）：66-70.

[4] 朱良峰.基于GIS的三维地质建模及可视化系统关键技术研究[D].武汉：中国地质大学（武汉），2005.

[5]刘同文.基于地质大数据的地质综合成果信息平台研究与实现[J].北京测绘，2020，34（6）：814-818.

[6] 王丹丹.基于GIS在水文水资源领域中的应用分析[J].黑龍江水利科技，2016，44（2）：95-98.

[7] 区燕棠.统计信息化和统计在大数据时代下的发展[J].中外企业家，2015（23）：68.

【通联编辑：王力】