大运河HGIS大数据与服务平台设计与实现

周丙锋 李松旺 田金炎 张丽伟

1(首都师范大学资源环境与旅游学院 北京 100048) 2(首都师范大学北京文化带研究院 北京 100048)

0 引 言

大运河由三部分构成:京杭、隋唐与浙东大运河,是世界上时空跨度最大的人工运河[1]。 2006年和2012年,京杭大运河和隋唐、浙东大运河分别被列为全国重点文物保护单位。2014年大运河项目成功入选世界文化遗产名录。 2017年国家领导人对大运河文化带建设作重要批示。2019年中央印发了《大运河文化保护传承利用规划纲要》,明确提出了大运河“互联网+”建设的意义、要求和可应用的技术和建设方向。

针对不同的应用目的,国内外涌现出分门别类的历史地理信息系统平台(HGIS)[2-8]。通过国内外文献调研发现,国内与大运河有关的历史地理信息系统平台已有专家进行了研究和建设[9-10],由于受当时各种条件和技术的制约限制,这些公开的系统大都不是或不完全是基于云计算、“互联网+”、大数据和人工智能等高新科技,平台在开放性程度、数据共享广度、提供服务深度和用户使用友好舒适度等方面存在一定局限性[11]。

众多专家学者对大运河历史文化、河道水系、生态环境、旅游和城乡区划等各类资源进行了深度整理和深透挖掘,但国内缺乏比较完善统一的宣传、推广和共享平台,能够对大运河各类资源和研究成果系统进行全面的、直观的、全方位的展示和集成,并利用此平台做进一步研究。

大运河历史地理信息大数据与服务平台(以下简称“GCHGIS”)建设目的,根据现有的大运河有关的资源和研究内容,以春秋时代吴王夫差开凿“邗沟”迄今的中国历史为时间纵轴,构建一套集大运河基础数据库、平台服务和功能服务综合系统,其中基础数据库内容包括大运河文化遗产、河道水系、生态环境、文化和旅游、城乡区域等要素的数据集,为大运河流域综合性研究提供基础数据、平台和功能等服务。

GCHGIS是以信息、计算机、通信和网络等技术为基础,并与现代测绘、GIS、RS、GPS等技术紧密结合,主要功能是实现大运河沿线多源异构历史地理资源数据采集、存储、管理、应用、挖掘分析和共享等,目的是为科普、教学、科研、学术交流和政府决策提供支持服务,目前GCHGIS框架构建完成,已经上线试用[12]。本文主要介绍GCHGIS的建设理念、架构设计、实现途径、主要特色及价值意义。

1 GCHGIS建设理念与技术优势

作为大运河历史地理信息大数据和服务平台,除了具有通用大数据平台和地理信息平台的特点外,还具有自己独有的特点。由于大运河地理信息大数据和服务平台所涉及的空间和时间跨度大,数据采集整理、数据管理与挖掘相对复杂;同时,它服务教学科研对象也非常广泛,包括文学、教育、历史、地理、考古、经济及军事等各个教学科研领域的学者。作为多学科交叉的平台,为了更好地服务于各个领域的教学科研者的需求,平台设计思路和原则必须遵循多元开放共享、实时高效、方便快捷、简单易用[13-15]。

多元开放共享方面,包括数据、平台、功能等三个层次的开放共享。数据开放共享方面,在平台架构下,整合各类历史资料,如文本、图片、多媒体、遥感影像、地图,以及各类研究成果或产品,如大运河沿线夜光遥感数据、大运河文化带建设成效评价结果等。用户通过授权和审核,可以获取或发布相关数据。平台开放共享方面,用户以平台整合的数据为基础,融合叠加自己的资料数据,利用平台构建自己的专题,并可以通过平台公开研究发现与分享研究成果。功能开放共享方面,平台一些功能,如空间分析模型和数据服务功能,以REST服务方式对外提供服务,以便其他系统对接调用,实现平台功能开放共享。

实时高效方面,由于GCHGIS部署在云环境下,计算力、存储空间和基础网络等物理资源,以及安全运营保障机制都是由云服务商提供。海量数据的检索查询、统计分析和空间分析都能够保证运算速度、返回运算结果的实效性。

方便快捷、简单易用方面,系统的设计考虑到用户的计算机、网络和软件方面的限制,系统功能的界面友好,使用方便快捷,操作简单易用。如尽量多使用鼠标点击选择,减少直接键盘输入;平台门户和数据中心集成度较高,可以实现一站式数据资源的检索浏览、发布审核、申请授权、收藏下载。基于元数据对数据进行统一组织,不同类型数据支持多种操作,且支持多种数据格式,切换方便。

GCHGIS的架构设计和开发技术应用直接影响到平台性能和用户友好体验。GCHGIS数据来源广泛,数据形式多样;全方位开放,数据产生迅速。以上两点决定了GCHGIS整合的数据体量大,又要保证良好的用户体验。所以在建设过程中,充分参考相关系统,并应用了当前最先进的技术,相比目前业内其他相关公开的平台或系统,有以下三个方面的优势。

首先,架构先进。GCHGIS运用云服务、大数据和人工智能等当前较先进的技术构建。实现大规模时空数据的存储、发布、共享、可视化、检索查询和统计分析,以及依据数据模型实现多元的空间数据挖掘、知识发现。如利用大运河沿线的夜光遥感数据和行政区划,分析大运河文化带的核心区城市发展的空间格局。根据用户浏览数据和使用功能的偏好,应用智能发现和推荐功能,把用户喜欢的、感兴趣的数据资料和功能筛选出来,自动推送呈现给相应的用户群体,达到千人千面的效果。

其次,兼容性好。浏览器兼容方面,平台前端开发采用Bootstrap开源框架和HTML5标准,兼容不同类型和不同版本的主流浏览器,如兼容移动端和PC端浏览器。集成第三方服务方面,通过第三方提供的API,方便集成第三方提供的数据和功能服务,如天地图的数据和功能服务、 CHGIS系统的地名数据服务、中华文明之时空基础架构中国历史地图数据服务等。提供服务方面,为方便其他系统对接调用,平台以标准的REST服务方式对外提供服务。

最后,数据丰富海量。GCHGIS的多元共享的设计理念决定了数据规模。数据来源包括如下几个方面:整合的基础数据以及集成第三方数据服务、用户产生的专题数据。基础数据包括多比例尺基础地理矢量数据(行政区划、水系、交通等)、卫星和无人机遥感影像数据。如自春秋战国至今多朝代的大运河水系河道矢量数据,自先秦至清代21个朝代的307幅疆域图,大运河核心监控区(沿线两公里缓冲区)范围内多年的高分遥感影像和SPOT遥感影像,分辨率分别为0.8 m和3 m等。后续不断建设和集成大运河文化带核心区、拓展区和辐射区相关的地理数据,不断整合各类已公开与之相关的信息和研究成果。

2 GCHGIS的架构和组成

在总体设计架构方面,GCHGIS除了具有通用大数据平台的特点(如高效、可伸缩、实时、可靠、灵活、开放、简单、易维护)外,还具备时态GIS、WebGIS、云GIS和空间数据挖掘功能。GCHGIS部署在公共云平台上,在标准规范技术体系和安全与综合管理体系的支撑下,系统分为五个层次,由下至上依次为基础设施层、多源数据层、共享服务层、业务应用层、用户层,如图1所示。

图1 平台总体设计架构

基础设施层。本层主要涉及物理资源,包括计算力、存储空间、网络设施。GCHGIS部署在云环境下,这些物理资源和安全运营保障机制都是由云服务商提供。

数据层。本层在数据标准化的规范下建立关系型数据库,实现对多源异构数据的集成、存储和统一管理。主要涉及到三大类数据库,即基础地理信息数据库、资源目录和元数据库、研究专题数据库。基础地理信息数据库既包括含行政区划边界、河流、道路、地理编码、历史地名等矢量地图,也包括地形地貌、夜光、旅游资源等影像栅格数据,为大运河保护传承利用提供基础地理空间数据支撑,可支撑空间定位、地名检索、影像发布等服务。资源数据库,包括生态自然资源、遗产文化资源、漕运水利资源等,为大运河的核心数据库,是大运河保护传承利用的基础。专题数据库包含文化遗产、河道水系、生态环境、文化旅游、城乡区域、建设成效评价等,也是大运河研究成果数据库,是大运河向互联网+大运河拓展的基础。

服务层,主要是为应用层提供服务和中间件支持。以Web(IIS)服务为主,以API for JavaScript方式集成调用ArcGIS Server/Dojo空间数据及处理服务,以REST API集成调用天地图基础地图数据服务,通过(WMS、REST等)服务接口,将发布或第三方的数据服务集成到系统上来,保持原有的数据及服务系统不变;其中ArcGIS Server/Dojo空间数据及处理服务,主要是支持应用层空间数据的处理和操作,包括空间数据的访问管理和检索查询、元数据的维护、专题的应用挖掘、建设成效的评估评价模型等。

应用层。本层涉及大运河研究和系统管理应用两个大方面。研究应用包括数据共享和门户、时空运河、空间数据挖掘、智能推荐和统计分析应用等,主要是为了满足大运河研究需求。系统应用管理包括数据字典信息管理、用户管理、日志管理等,主要为了增加平台的灵活性和安全稳定性。

表现层,用户主要依靠浏览器、移动终端进行系统的访问,全面参与大运河的各项专题研究,各司其职、联动互动。

整体系统需要在完备的安全体系以及体制、机制、标准规范等保障下,才能稳定、高效运行。

在主要功能构成方面,GCHGIS包括六大功能模块,即数据共享和门户、时空运河、空间数据挖掘、智能推荐和统计分析、数据采集与管理、运维管理等功能模块。

(1) 数据共享和门户子模块:基于HTML5、JavaSrcipt和WebGIS技术集成了大运河河道本体、各专题研究成果、沿线文物信息即保护规划信息、保护传承利用的进展情况、相关文件和新闻报道等,是终端用户(包括公共大众和相关研学者)了解和研究大运河的一个直接的便利窗口,为大运河研究、宣传和推广提供了一个便捷的平台。

(2) 时空运河模块:以时空框架为基础,运用Bootstrap前端技术框架,通过统一坐标系、统一的定位、统一地理编码,实现了大运河沿线各类数据的融合和集成,包括时态基础地理、影像、高程和专题(七大研究专题)数据等,并实现了这些数据的导航、定位、叠加、浏览、综合查询和统计分析功能。实现了地图基本的GIS功能,包括地图的放大、缩小、平移、距离面积测量、图层控制等。实现了大运河历史变迁的动态演化,通过时间轴的自动或手动播放,可以动态呈现出大运河自春秋战国至今的运河河道的历史变迁,以及附加至大运河上的文化和生态环境的形态的演化,如河流和湖泊水体面积变化、水利工程的利用、沿线城市的空间格局变异等。实现了大运河基础要素和专题要素的综合展示、检索查询、对比分析和应用研究。

(3) 空间数据挖掘模块:以大运河基础历史地理和专题数据为基础,利用C#编程语言并结合Python,通过空间数据挖掘算法或模型,如统计法、聚类方法、关联规则发掘方法、机器学习方法、决策树方法、空间特征和趋势探测、图像分析和模式识别等,提供新的大运河研究的方法和手段,验证大运河的史料,得到新的研究观点等。并把这些研究成果通过Web的方式提供给终端用户,为了解和研究大运河提供帮助。

(4) 智能推荐和统计分析模块:基于数据资料内容的推荐系统算法,根据终端用户感兴趣的数据,以及数据资料之间的关联性,实现智能推荐和相应的统计分析。由于本平台的大运河相关数据量大,数据类型丰富多样,智能推荐是必要的。

(5) 数据采集和管理模块:用于数据的采集与维护管理,大运河文化遗产空间和属性数据,通过现代测绘、地理信息系统、遥感应用、卫星导航定位等技术的综合应用,在本子系统的支持下不断地更新完善。本子系统所提供的主要功能包括大运河流域遥感数据的更新,基于野外数据采集功能(App模式)的数据更新、批量数据更新、地图数据编辑等。

(6) 运维管理模块:主要是实现平台通用的数据运维管理操作功能,包括数据字典管理、用户管理、数据和功能操作权限的管理、平台环境配置的管理、日志管理等。

3 GCHGIS基本功能

多源数据采集功能。大运河时空跨度大,其保护传承利用的相关工作涉及运河本体及其遗址区域的社会、经济、文化、自然生态环境等多个领域,数据源丰富,数据量极大。平台整合了部分大运河文化遗产的空间和属性数据,但还需要不断地更新和完善。除了基础遥感数据和新涌现的研究成果需要更新外,野外采集数据也不需要更新。前者由于数据量大更新频度相对较低,平台采用PC端数据采集模式,后者考虑野外采集方便,采用移动App的数据采集模式。数据采集的同时直接入库,通过审核直接发布至数据共享和门户系统。

数据的共享发布功能。该功能实现共享发布大运河本体信息、前人相关的研究成果、基于平台基础数据而形成的各类科研成果数据。为保障数据的一致性,突破参照系和配准等技术障碍,这些成果数据将以基础地图数据和基础历史地图数据为参考系自动配准。另外,发布后的科研成果将自动纳入到平台的基础数据库中,为感兴趣的学者进一步的研究提供数据支撑[16]。

历史地名查询和历史疆域数据服务功能。时间维度上,大运河有2 500多年的历史,历史跨度长;空间维度上,大运河全长近3 200公里,地域跨度广。大运河沿线部分地名和历史疆域变更频繁,一地多名或多地重名现象经常出现。因此历史地名查询功能是本平台的不可或缺的组成部分。本平台主要是利用第三方提供的接口,实现了历史地名查询和历史疆域数据服务。历史地名查询,调用哈佛CHGIS地名数据服务。历史行政区划数据,调用台湾中央研究院中国历史地图数据服务。

多元化的空间分析功能。GCHGIS集成存储了与大运河相关的大部分遥感栅格和地理矢量的空间数据,GIS应用于大运河文化的保护传承利用,会拓展新的研究内容,带来新的研究理念和思维方式。基本的空间分析功能是各种复杂分析的基础,平台提供了GIS的基本空间分析功能,如图层叠加、缓冲区、空间统计、网络、动态插值和趋势面等分析功能。这些空间分析功能的操作智能化和程式化,经过简单培训即可使用,能够使纯人文知识背景的学者跨越技术屏障。

方便快捷的制图功能。专题图件是研究成果最生动直观的表达方式。专题图的设计制作和输出是平台的重要功能,主要实现平台所融合的数据按专题分类,以电子地图形式进行直观展示。用户利用丰富的地理要素和图库符号,可以直接进行点、线、面的绘制,以及任意添加数据制作自己所需要的专题图,操作简单方便。另外用户可以利用平台内集成的各类数据和内置空间分析方法,对得到成果进行编辑、制作、输出。

地理空间参考自动配准和转换功能。GCHGIS空间分析、数据采集和数据叠加功能都需要在统一的地理参考下进行。平台所有空间数据采用了WGS84地理坐标系,所以后续进入平台数据的地理坐标系必须是WGS84。平台提供了地图在线地理坐标系的配置和转换功能,将图库中的地图或用户自己的地图提交到平台,可以进行在线配准转换,为空间数据的展示、信息的提取利用、空间分析等提供了便利条件。

地图的卷帘和对比功能。GCHGIS具有地图的叠加卷帘和平铺窗口对比功能,可以选择任意两类的矢量或栅格底图进行卷帘叠加查看。三窗口对比可以选择任意三个不同时期的大运河河道、水体面积或大运河流域的城市扩张范围等在同一界面上比对,这对于它们历史演化的展示一目了然,适合用于历史地图的对照与比较研究。

4 GCHGIS在大运河文化带建设、学术研究和教学实践等领域的应用

GCHGIS对于大运河文化带建设、学术研究和教学实践等领域进行广泛的应用。

(1) GCHGIS建设对于推动大运河文化遗产信息资源数据整合、共享、开发利用具有重要的价值。 首先在GCHGIS的整体架构下,能够逐步实现大运河本体和文化遗产基础数据生产、整合和数据建设。它将目前大运河各种类型的历史地理数据进行预处理和存储,包括地图资料、图像影像资料、音视频资料、文献资料全部集成到平台中,利用平台提供的功能和接口,随时快捷调用。普通公众、科研人员和机构人员可以方便获取自己所需要的各种数据资源,大大提高了数据资料的使用效率,是大运河研究不可或缺的资源宝库。

(2) GCHGIS建设为大运河的综合研究提供了新手段、新方法、新视角和新机会。以平台的丰富数据资料为基础,学者可以利用平台提供的功能制作、修正或重绘过去由于技术屏障无法绘制的专题图。学者可以把时空坐标与地理地图相结合,为他们提供重新校验大运河史料的有效方法。学者可以运用平台内置的空间数据挖掘算法模型发现新的研究观点,可以运用地图空间叠加分析功能发现过去史料所不易观察到的空间关系,甚至可以进一步提取出史料中的量化数据进行空间统计分析。该平台打破学科之间壁垒,为学者提供大运河研究的学科交叉机会和有效的研究工具。

(3) GCHGIS建设为用户提供科普知识,提供教学实践基地和交流对话的机会。GCHGIS是一个多元开放、资源共建、成果共享的工作系统,是以时空数据和相关服务体系为基础。师生可以利用平台便捷的查询检索和友好的展示功能,宏观地、系统地了解大运河本体以及相关文化遗产,在师生实地考察前,对大运河有个全貌的了解,甚至不需要实地考察就有深入的认知。用户可以通过多种方式融入自己的个性化数据,根据自己需要构建自己的研究专题,并通过审核后发布共享自己的研究成果,科普公众用户,或促进学者们之间的互动。

5 结 语

GCHGIS是功能、数据、算法、模型、服务的有机耦合体,实现了一幅图联通古今,一幅图贯通南北,是深入贯彻落实习近平总书记关于大运河文化带建设的重要讲话和批示精神《大运河文化保护传承利用规划纲要》的一项举措。GCHGIS建设能够实现大运河遗产保护和文化展示的系统性和全方位,帮助拓展大运河沿线遗产活态传承载体和传播渠道,协助深入挖掘大运河承载的文化价值和精神内涵,协助有关部门对岸线生态资源进行整体规划,能够实现统一宣传和推广平台。为大运河国家公园建设科学定测,催生大运河新型智库,服务国家决策与综合施策,最终目的是传承、保护、利用流动文化,坚定文化自信。