“地质云1.0”地质环境分节点技术实现

2019-12-02 01:15任晓霞杨淑云喻孟良
自然资源遥感 2019年4期
关键词:生产日期

任晓霞,杨 飞,杨淑云,殷 铭,喻孟良

(中国地质环境监测院,北京 100081)

0 引言

近年来,随着国土资源大调查和地质调查信息化的深入开展,中国地质调查局在地质调查领域逐步建立了全国地质图空间数据库、全国矿产地数据库等一系列数据库[1]和野外采集系统、智能地质调查、国家地质信息服务平台、门户网站等一系列信息系统平台[2-3]。这些工作成果为后续工作的开展提供了宝贵资源。

云计算是近年来继分布式计算、网格计算之后新一代网络化商业计算模式[4-6],在开放的网络环境下以服务方式动态、弹性地为云计算用户提供计算和存储等资源,现已在多个产业界得到了广泛应用[7-10]。2017年11月,中国地质调查局正式发布“地质云1.0”。这是我国地质调查领域第一个云端的综合性集成应用平台,旨在解决上述工作成果中的“数据孤岛”与“信息烟囱”等问题。“地质云1.0”为分布式云计算架构,由主中心节点、分中心节点和备份节点组成。分布式架构在不改变数据、用户、基础设施资源的所有权或管理权情况下,通过“地质云1.0”统一展现地质调查数据、运用数据和服务能力。为此,需解决如下几个主要问题。

1)各分布式节点间网络互联互通和云计算资源的动态扩展。分布式云计算架构首先要保证各分布式节点间是互联互通的,其次要保证各节点的资源是可统一调度的动态扩展。各分布式节点的互联互通可通过基础网络设施建设,使其各分布式节点均在同一个专业网络内即可。而云计算资源的动态扩展可由各节点购置同构云设备,使用统一云管平台来管理分布式云资源,从而达到云计算资源的弹性伸缩和动态扩展。

2)分布式节点的数据如何进行共享服务。前文1)中解决了底层基础资源的互联互通互访问,为上层云服务提供支撑。各分布式节点在物理上是分布式,在逻辑上是一个整体,均通过地质云进行统一的数据共享服务。为此,“地质云1.0”需定义统一的数据共享服务接口,各分布式节点实现数据共享接口来完成数据共享。

3)分布式节点的产品如何提供社会化服务。与前文2)中描述的数据共享服务相同,产品的社会化服务同样需“地质云1.0”定义统一的产品服务接口,各分布式节点实现产品服务接口来完成产品的社会化服务。

4)分布式节点基于“地质云1.0”架构如何提供专业服务。“地质云1.0”为分布式架构,逻辑上为一整体,通过统一的服务门户提供服务。各分布式节点作为“地质云1.0”的一部分,在“地质云1.0”架构下,需通过节点自己的服务门户提供本节点的专业服务,并完成与地质云服务门户的对接。

针对以上问题,本文以“地质云1.0”地质环境分节点为例,从基础设施建设、数据共享服务、地质信息产品服务、服务门户建设4个方面来解决上述4个问题,以完成地质环境分节点建设,与“地质云”其他分布式节点统一形成“地质云1.0”,为地质调查提供服务。

1 地质环境分节点具体实现

地质环境分节点作为“地质云1.0”的分节点之一,其目标是实现与“地质云1.0”互联互通,提供本节点的数据、产品和专题服务。总体架构如图1所示。

图1 “地质云1.0”地质环境分节点总体架构Fig.1 Architecture for geological environment sub-node of Geological Cloud 1.0

1)通过基础设施建设,形成“地质云1.0”分节点。地质环境分节点基础设施作为“地质云1.0”的一部分,通过中国地质调查局业务网完成各分节点间的互联互通、资源统一调度和动态扩展,形成“地质云1.0”基础设施。

2)实现数据共享服务,提供分节点的数据共享。水工环地质信息服务平台通过数据共享服务与“地质云1.0”的地质调查数据汇聚系统对接,完成本节点的数据共享服务。

3)完成地质信息产品服务,提供分节点产品的社会化服务。通过产品服务接入与“地质云1.0”的国家地质信息服务平台对接完成本节点的产品社会化服务。

4)完成节点服务门户建设,提供地质环境分节点专业服务。水工环地质信息服务平台作为节点服务门户,与其他专题系统、地质环境信息系统等形成“地质云1.0”的地质环境分节点服务内容,提供地质环境专业服务。

根据“地质云1.0”地质环境分节点总体架构,分节点主要从基础设施建设、数据共享服务、地质信息产品服务、服务门户建设4个方面来完成本节点的建设及与“地质云1.0”对接。

1.1 开展基础设施建设,形成分节点提供云服务

开展基础设施建设解决节点间网络互联互通和云计算资源的动态扩展,主要通过全员接入中国地质调查局业务网和云设备购置与部署来完成,从而最终形成“地质云1.0”的地质环境分节点,作为“地质云1.0”基础设施的一部分底层资源提供云服务。

1)全员接入中国地质调查局业务网。地质环境分节点网络属于局业务网,为保证能联通,只需要通过在核心路由器上设置局业务IP路由信息,通过本节点的有线网络访问到局业务网。

2)云设备购置与部署。按照地质云主中心节点推荐配置进行云设备选购(表1)和部署实施。部署完毕的云设备形成“地质云1.0”的一部分基础设施资源。

表1 分节点设备推荐配置表Tab.1 Distributed node device recommendation configuration table

(续表)

为保障节点现有架构稳定,需购置完毕的设备,建立单独逻辑区域,以旁挂的形式接入现有基础架构中,并能够通过局业务网进行访问。可用的虚拟网络IP地址段为:10.21.81.1~10.21.83.200,云计算资源可通过统一云管平台进行访问。租户可通过http://10.90.158.132进行创建云主机和云硬盘等申请云上资源。图2所示为登录成功后的界面。

图2 “地质云1.0”地质环境分节点用户主界面Fig.2 User main interface for geological environment sub-node of Geological Cloud 1.0

1.2 开发数据共享接口,提供数据共享服务

数据共享服务解决节点的数据如何进行共享服务,主要通过数据整理、数据共享接口开发、数据访问对接3个方面来完成,最终形成数据共享所需要的数据缩略图、数据元数据信息、数据下载、数据查询等方法,完成分节点的数据共享服务。

1.2.1 数据整理

梳理单位存量数据,并按照地质调查数据库目录体系组织实体数据包。地质调查数据库目录体系分为一级目录、二级目录、三级目录、四级目录等多级目录。一级目录为地质调查数据;二级目录划分为区域地质、基础地质、能源地质等;三级目录细分区域地质调查、基础地质编图、岩石地层等;四级目录为具体数据库名称;最后一级目录即为实体数据包存放位置,包括实体数据(.zip等格式)、缩略图(.png格式,低空间分辨率和高空间分辨率2类)和元数据(.xml格式,元数据标准按照《地质信息元数据标准DD2006-05》)3种电子文档。

地质环境分节点数据整理后提供8个数据库,数据库情况如表2所示。

表2 “地质云”1.0地质环境分节点数据库情况Tab.2 Databases cases for geological environment sub-node of Geological Cloud 1.0

1.2.2 数据共享接口开发

“地质云1.0”在局业务网通过地质调查数据汇聚系统完成各节点间的数据共享。为此,地质环境分节点提供的共享数据库需部署在局业务网,按照地质调查数据汇聚系统定义的数据共享接口开发数据共享接口,完成与该系统的数据共享对接,实现地质环境分节点的空间数据地图服务、数据浏览查询服务、数据下载等服务。

地质调查数据汇聚系统定义的数据共享接口(基于开放地理空间信息联盟(Open Geospatial Consortium,OGC)标准[11-12])包括3类接口:

1)空间数据地图服务接口,遵循OGC的网络地图服务(web map service,WMS)和网络地图瓦片服务(web map tile service,WMTS)标准。支持Get,Post请求方式,请求参数支持OGC WMTS的请求参数,返回结果为.png格式瓦片。

2)空间数据查询接口,支持Get,Post请求方式,请求参数包括请求当前页、请求数量、请求地理范围,接口返回结果格式为JSON,包括横坐标、纵坐标、名称、提供者、缩略图、下载地址、详情地址等内容。

3)空间数据下载接口,支持Get,Post请求方式,请求参数为请求的地理范围,返回结果格式为JSON,包括横坐标、纵坐标、名称、提供者、缩略图、下载地址、详情地址等内容。

根据表2数据库情况,1∶20万水文地质空间数据库和全国分省1∶50万环境地质空间数据库为空间数据图件,需提供空间数据地图服务(如WMS或者WMTS地图服务)和空间数据下载服务;其余数据库属于属性数据,需要提供空间数据浏览查询服务和数据下载服务。同时,属性数据为便于地质调查数据汇聚系统管理以地图形式查看,需要转换为空间数据,提供WMS或者WMTS地图服务。

1.2.3 数据访问对接

数据访问对接包括2部分工作:①按照1.2.2定义的数据共享接口开发实现接口并发布部署在局业务网;②发布后的接口通过地质调查数据汇聚系统提供的服务注册中心进行接口服务注册,一旦服务注册后地质调查数据汇聚系统就能感知新注册后的接口,该系统再通过调用注册后的接口完成地质环境分节点的数据查询、图件框选浏览、图件点查询、数据查看详情、数据下载等数据共享服务。

开发完成后的数据共享接口部署在地质环境分节点的局业务网中,其中空间数据查询下载接口通过互联网信息服务发布,图件地图服务通过ArcGIS Server进行发布。

以1∶20万区域水文地质空间数据库为例,该数据库实现WMTS地图服务,通过ArcGIS Server进行发布,然后通过地质调查汇聚系统的服务注册中心进行注册服务接口,具体如图3所示。

1.3 完成产品信息推送,实现地质信息产品服务

地质信息产品服务解决分节点的产品社会化服务,主要通过产品梳理与设计、产品开发与服务、产品信息推送至国家地质信息服务平台3个方面来完成,最终形成产品社会化服务所需要的产品缩略图、产品元数据信息,完成分节点的产品社会化服务。

1)产品梳理与设计。梳理地质环境分节点能提供的产品清单,形成产品服务计划,汇总形成中国地质调查局地质信息产品目录,服务于“地质云1.0”建设。地质环境分节点产品梳理整理后提供75项地质信息服务产品,产品种类涉及地质图件、地学科普、技术方法与标准等类别。

2)产品开发与服务。按照梳理后的产品服务计划,开发处理产品,提供产品元数据信息、产品大图(分辨率不小于300 dpi)和小图(像素在128~1 024之间)和产品实体。产品元数据信息按照地质云地质信息产品元数据采集办法要求提供核心元数据,包括数据、地质图、地学科普、软件、仪器设备、出版物、技术方法与标准等7大类产品。核心元数据包括产品名称、产品一级类别、产品二级类别、产品描述、关键词、产品格式、生产日期、开发单位、产品密级、服务对象、备注等信息。

3)产品信息推送至国家地质信息服务平台。“地质云1.0”地质环境分节点有自己的对外服务门户,即水工环地质信息服务平台,因此只需要按照地质信息服务节点系统接入技术要求确认接入方式,即可完成产品信息推送至国家地质信息服务平台。地质信息服务节点系统接入技术要求定义的接入方式包括数据推送接入、数据收割接入、前置库交换接入、部署分布式节点系统接入、定制接入等5种接入模式。从接入实现程度、对接双方工作量等方面考虑,最后确定以前置库交换接入方式完成与国家地质信息服务平台对接。地质环境分节点在互联网区建立一台前置机,使用MySQL数据库作为前置库,定义推送的内容项然后推送至前置库。国家地质信息服务平台作为接收方,获取前置库数据库操作权限,直接读取前置库的内容供国家地质信息服务平台调用。推送至国家地质信息服务平台的内容包括数据库属性数据的综合信息和产品统一资源定位符(uniform resource locator,URL)信息等(表3)。

表3 地质信息推送内容登记表Tab.3 Geological information push contents registration form

地质环境分节点推送至国家地质信息服务平台后的产品浏览界面如图4所示。

图4 与国家地质信息服务平台对接后的产品浏览界面Fig.4 Products browsing interface by national geological information service platform

1.4 建设服务门户,提供专业云服务

通过对节点服务门户即水工环地质信息服务平台的建设,不仅发布该节点的产品、更新数据库,而且完成与“地质云1.0”门户及各系统的对接。所有通过“地质云1.0”门户访问到地质环境分节点详细内容,均通过该服务门户完成。

服务门户建设主要任务包括水工环地质信息服务平台及其他系统建设和数据与产品上线运维2部分工作。

1)水工环地质信息服务平台及其他系统建设。水工环地质信息服务平台及其他系统作为“地质云1.0”的一部分,需完成与“地质云1.0”门户系统集成。按照地质云第三方系统接入规范改造水工环地质信息服务平台及其他系统,包括界面接入与监控地址预留2部分工作。界面接入按照“地质云1.0”提供的徽标或者层叠样式表(cascading style sheets,CSS)或者网站模板方式,改造服务门户头部和尾部。改造之后的水工环地质信息服务平台效果如图5所示。完成与“地质云1.0”门户及各系统的对接,主要包括数据共享接口开发与产品推送至国家地质信息服务平台,此部分工作在1.2和1.3章节中已经介绍,不再赘述。

图5 服务门户界面集成示意图Fig.5 Service portal interface integration diagram

2)数据与产品上线运维。地质环境分节点提供共享的数据库以及产品,除按照要求完成与地质调查数据汇聚系统、国家地质信息服务平台的对接外,全部发布在服务门户上线提供服务。根据表2中数据库情况,数据如果是矢量图件(格式为MapGIS或ArcGIS)需通过切片分层处理再发布到系统上,如果是属性数据需数据转换存储到Oracle数据库中。上线的服务产品如果是矢量格式,需切片分层处理再发布,其他文档、视频类产品之间以附件形式上线或者在线浏览方式。

2 建设效果

2017年“地质云1.0”发布上线,地质环境分节点提供的数据库有8大数据库与75项地质信息服务产品。其中8大数据库包括全国1∶20万区域水文地质空间数据库、全国1∶50万分省环境地质数据库、国家级地下水动态监测数据库、全国地质灾害调查数据库、矿山地质环境监测数据库、中国地质遗迹与地质公园数据库、特大型地质灾害数据库、水土地质环境监测数据库等。75项地质信息服务产品包括地质灾害、地下水、矿山地质环境、地质遗迹、地面沉降等地质图件、科普、技术方法与标准等类型的产品。可通过地质云局业务网入口、互联网入口以及水工环地质信息服务平台进行访问。图6为地质环境分节点建设效果示意图。

图6 地质环境分节点建设效果示意图

Fig.6Constructionresultsofgeologicalenvironmentsub-node

3 结语

本文针对地质云建设中面临的问题,从基础设施建设、数据共享服务、地质信息产品服务和服务门户建设4个方面介绍了“地质云1.0”地质环境分节点具体技术实现,取得了一定的成果。

“地质云1.0”地质环境节点的数据与产品建设成果,体现了近几年地质环境领域最新权威存量数据,作为“地质云1.0”分布式节点的数据与共享建设成果,支撑“地质云1.0”的“一站式”数据共享与产品社会化服务,为提升地质云应急服务能力、分布式数据存取能力和成果服务能力打下了坚实的数据资源基础。

猜你喜欢
生产日期
科左中旗域内饲料保质期问题的探讨
预包装产品的生产日期与产品分离是否合规?
精明的妈妈
生产日期“易除抹”不是个小问题
含多个生产日期食品的外包装标注分析与修改建议
基于机器视觉的商品生产日期快速检测的研究
如何识别改期食品
老妈的职业病
“永不过期”的食品这样炼成