时空大数据交换系统的设计与实现

侯淑芬 钟勇 谢刚生

摘要：为方便时空大数据的交换与共享，满足对于专题数据、感知数据等数据量不大、更新频率较高的数据汇聚的实时性，通过对时空大数据分析和梳理，构建了时空大数据交换系统的总体框架，并完成了该交换系统的设计与实现。该系统实现了跨地区、跨单位应用系统之间的信息资源交换，完成了多源异构异的各类型信息资源交换与接入。

关键词：时空大数据;GIS;数据共享;信息资源交换

中图分类号：TP311.52 文献标识码：A 文章编号：1007-9416（2019）07-0159-03

0 引言

时空大数据，其特点是具有时间和空间两方面的属性，并有多种类型的一种数据。随着当今计算机产业技术及网络产业技术的迅猛发展，预示着信息化时代的到来[1]。地理信息占到人类活动中所有信息的大约80%，而时空大数据作为当今主流的数据类型，将是未来地信科学产业研究中一个非常重要的方向[2]。迄今为止，政府相关部门已经积累了一定基础的数字化原始数据及相关数据资料，原始数据的汇聚，促进当今GIS行业以及GIS技术的发展，同时也产生了更多有价值的GIS数据。

而在众多时空数据类型同时汇聚的今天，如何充分利用这些价值数据，真正实现大数据在时间和空间上的信息交换，就变的尤为重要[3]。但由于某些特殊的原因，导致所积累的原始数据之间很难进行共享和转换，如采用不同的空间数据模型，或者在地理实体上存在认识差异，都会导致出现数据孤岛的问题。综上所述，数据的共享和交换的有效性将是21世纪GIS应用面临的重大问题[4]。

1 系统概述

时空大数据交换系统主要是为了实现跨地区、跨单位不同空间的应用系统之间的信息、数据、资源交换，这种交换需要依托统一的网络，一致的交换协议[5]。按照国家关于地理空间数据交换共享目录的相关要求，时空大数据交换系统共分为9大主题：机构团体，城市规划，灾害应急，基础设施，自然资源，基础地理，特色区域，监测统计，生态环境。

时空大数据交换系统，具有很强的异构数据集成能力[6]，该系统完全可以实现相关政府部门对地信数据跨部门和跨行业的交换和信息共享的需求，实现时空大数据中心与全市各委办局之间数据的在线共享交换，提高数据汇聚的实时性和便捷性。

2 系统总体设计

2.1 系统设计方案

本系统以Eclipe为开发工具，采用Java语言，结合空间数据库技术，收集整理大量数据资料，开发时空大数据交换系统。

2.2 系统总体架构

系统总体框架如图1所示。

（1）数据交换服务器端安装交换管理系统，数据中心客户端安装前置交换系统，两系统间通过传输交换总线实现地理信息的双向流转。（2）交换信息库是一个中间存储信息库，它是为了实现信息间互相交换而建立的，交换信息库中包含两种信息，一是提供的交换信息，二是接收的交换信息[7]。（3）业务系统库，与交换信息库相互独立、互不影响。它是由业务应用系统直接使用、直接维护的信息库。（4）基础信息库需要以数据交换系统为依托，通过各个应用单位间的信息交换所形成，这个信息库能够被多个不同的应用单位所使用。主要包括基础信息数据库、各种应用主题的信息数据库、决策支持信息数据库等。

2.3 数据的交换流程

数据交换系统的设计是为了实现服务端和客户端两边信息的双向交换，其交换类型包括服务端数据分发（客户端数据接收）、客户端数据上传（服务端数据接收）两种类型。

3 系統主要功能设计

3.1 服务器端（交换管理）

交换管理系统部署于服务器端交换管理中心，其主要实现节点管理、任务管理、传输管理、安全管理、监控管理、统计分析、日志服务。主要包括以下功能：

3.1.1 节点管理

节点管理即前置机管理，实现各数据分中心（前置机）的管理，包括对节点名称、地址、IP地址、端口、描述等方面的属性管理。同时支持对节点的新增、修改、删除、查询、停止、启动、测速等功能。

3.1.2 任务管理

任务管理是对服务器端与客户端之间的数据交换任务进行的管理。管理员可以在任务管理中，对任务交换类型（接收、发送）、任务交换目录（接收目录、发送目录）、任务交换节点（可多选）、任务传输类型（手动发送、定时发送、手动接收、定时接收、即时接收）等信息进行设置，为后续的任务传输管理提供任务模板。同时提供对任务的新增、删除、修改、查询等功能模块。

3.1.3 传输管理

传输管理是指基于任务管理中配置的任务基本信息模板，对具体的任务传输进行的管理。任务传输包括数据接收、数据发送两种传输模式。

（1）对于数据接收模式。系统将自动获取从前置交换系统发送过来的任务列表，管理员可以对传输任务进行查看浏览、进行数据的接收等操作。（2）对于数据发送模式。管理员可以基于任务基本信息模板，新建发送任务，新建任务时，应指定发送的数据，元数据信息等。

3.1.4 安全管理

实现对数据交换传输数据的安全通道管理，用户角色权限管理。

3.1.5 监控管理

实现对数据交换状况的监控，通过监控管理，管理员可以对交换节点、交换时间、交换类型、交换数据、交换对象、交换结果进行实时监控。

3.1.6 统计分析

按照交换时间、交换类型、交换节点、接收节点等维度，以图表方式直观展现交换数据量（次数）的统计信息，辅助用户直观了解数据交换的整体情况。

3.1.7 日志服务

日志服务主要指用户的操作日志，记录谁什么时候于何处做了什么操作（即用户名、时间、IP地址、操作详情）。

3.2 客户端（前置交换）

前置交换系统部署于客户器端数据分中心，其主要实现系统配置、任务管理、传输管理。

3.2.1 系统配置

提供交换管理中心相关信息的配置，实现前置交换系统同交换管理系统的网络通讯，为为后续的任务管理、传输管理提供信息支撑。

3.2.2 任务管理

系统启动时，从交换管理系统中将与本节点相关的任务进行同步，任务管理的属性包括任务交换类型、任务交换目录、任务传输类型等信息。其中任务交换类型用户不可修改，其值应与交换管理系统中的交换类型相反。任务交换目录需要用户进行修改，指定为本地的目录。任务传输类型用户可以进行实际情况进行修改。

对从交换管理系统中将所有任务同步，并进行编辑后，即可对节点任务进行保存，作为本节点的任务模板。

3.2.3 传输管理

传输管理对本节点中具体的任务传输进行管理，任务传输包括数据接收、数据发送两种传输模式。

（1）对于数据接收模式。系统将自动获取从交换管理中心发送过来的任务列表，用户可以对传输任务进行查看浏览、进行数据的接收等操作。（2）对于数据发送模式。用户可以基于本节点的任务基本信息模板，新建发送任务，新建任务时，应指定发送的数据，元数据信息等。

3.3 数据交换方式

无论是数据接收还是数据发送模式，传输管理支持断点续传，确保数据传输过程中文件的完整性。

部门的业务不同，其对安全性的要求也是不同的，针对不同业务不同安全性的需求，系统采用不同桥接模式。

参与信息交换的各个部门，信息的采集方式有多种进行数据的桥接，主要包括以下几种：

3.3.1 业务数据库+交换共享数据库模式

这种模式是将部门业务数据库与部门交换共享数据库，通过桥接系统直联，利用适配器配置完成信息交换桥接。为了对部门业务数据库及内部业务系统进行保护，两者之间可以安装防火墙。

3.3.2 虚拟业务数据库+交换共享数据库模式

对于业务应用系统与业务数据库建设在省、市级部门的部门，县级部门没有业务数据库，设立相对应的虚拟业务数据库[8]，仅存放从省、市级部门沉淀下来的县级业务部门参与信息交换所需的信息。

另外，有些部门出于对安全的考虑，也要设置虚拟业务数据库，虚拟业务数据库中的数据需要部门从内部业务系统中提取自己所需要共享交换的信息存储进去[9]。

通过信息交换桥接系统，虚拟业务数据库与部门前置交换共享数据库间可以实现信息在线实时交换共享。

3.3.3 文件+交换共享数据库模式

本模式适用于一些内部的业务数据库不能连接，或者业务数据库并不在本身的业务系统中的情况，这种情况下就可以通过业务系统中自带的数据导出工具，导出具有一定格式的数据，然后将导出的数据文件拷到前置机的指定目录下，通过这种导入方式，实现业务数据库和交换共享数据库两库之间的数据交换共享[10]。

3.3.4 集中交换模式

这种数据交换模式，主要是通过中心交换前置机来实现的，该交换机部署在机房内[11]。

有些单位本身并没有自己的业务系统，并且数据量极小，受到这些条件的限制，就需要通过数据管理系统本身提供的数据导入/导出工具，将数据导出成一定格式的文件，如Excel、TXT格式的文件等，同样将导出的文件通过FTP的方式，上传到中心交换前置机，存储到指定目录中，再将数据通过适配器解析文件，解析到业务数据库中，由此实现数据采集及交换。

业务托管数据库与中心交換库两库之间的信息交换可以通过两种方式实现，可以通过信息交换总线，也可以通过适配器直接交换。

4 结语

本文设计的时空大数据交换平台，以计算机硬件、网络通信平台为依托，将GIS平台作为平台枢纽，平台可以解决多源异构数据的统一、数据层次化管理以及数据间的交换与共享等多重问题。平台投入实际应用后，可与政务平台结合，搭建成政务空间信息共享服务平台。平台支持进行扩展，扩展后可实现多个地理信息系统之间的协调工作，系统增强了现今GIS应用系统的超强适应性，可随需求的不同不断的进行变化，为进一步的开发地理信息应用系统提供了坚实的基础支撑。

参考文献

[1] 陈元娟，严建峰，刘晓升，等.基于时空数据分类的用户社交联系学习[J].计算机应用研究，2017，34（05）：1415-1418.

[2] 姚小军.浅谈智慧城市时空大数据建设[J].智能建筑与智慧城市，2018（11）：73-75.

[3] 张树杰.大数据信息共享交换平台在河北高速公路中的应用[J].中国交通信息化，2018（12）：80-82.

[4] 于海龙.基于云计算的空间地理信息共享交换平台设计与实现[J].地理信息世界，2015，22（4）：104-110.

[5] 毛卫华，汪艳霞，何欢.浙江省地理空间数据交换和共享平台标准体系构建[J].地理空间信息，2011，9（04）：1-3+139+189.

[6] 张树杰.大数据信息共享交换平台在河北高速公路中的应用[J].中国交通信息化，2018（12）：80-82.

[7] 魏诚.电子政务数据共享交换系统的设计与实现[D].东南大学，2015.

[8] 樊文有，谢琼，王永东.GIS空间数据共享交换平台的设计[J].测绘通报，2010（06）：47-50.

[9] 李浩川，徐枫，余鹏，等.电子政务空间信息共享交换技术标准研究[J].地理信息世界，2006，12（6）：32-38.

[10] 贾春梅.基于GIS公共交通时空数据交换应用研究[J].黑龙江科技信息，2012（03）：35.

[11] 姜艳媛.空间数据交换中间件的研究与实现[D].解放军信息工程大学，2006.