澜湄水资源数据共享体系研究与应用

2021-02-04 10:15:17秦鼎张帆
长江技术经济 2021年6期
关键词:数据共享水资源

秦鼎 张帆

摘 要:本文分析了澜湄六国水资源数据共享现状及存在问题,设计了一套基于混合云的水资源数据共享体系,为澜湄六国水资源数据共享提供了一套实用、完整、安全的信息化解决方案,并在澜湄水资源合作信息共享平台中成功实施,取得了较好的应用成效。

关键词:澜湄六国;水资源;数据共享;数据资源目录;混合云

中图法分类号:TV213.4;TP311.1     文献标志码:A      DOI:10.19679/j.cnki.cjjsjj.2021.0621

澜湄水资源数据共享为澜湄六国水资源和相关资源开发利用、管理和保护,以及洪旱灾害防治决策提供数据支撑。数据共享不充分、不及时将对澜湄水资源合作造成障碍和干扰,影响目前澜湄水资源合作的良好发展势头。通过信息化手段推动澜湄水资源数据共享,有利于澜湄六国共同应对区域水资源挑战,推动区域经济社会可持续发展,提升流域综合治理和水资源管理能力。

1   澜湄六国水资源数据共享现状

1.1   中国与湄公河国家之间的数据共享现状

2002年,中国水利部与湄公河委员会(以下简称“湄委会”)签订了《中国水利部向湄委会秘书处提供澜沧江—湄公河汛期水文资料的协议》,建立了汛期水文报汛机制,自2003年汛期以来向湄委会秘书处提供允景洪、曼安两个出境水文站汛期实时水雨情数据。我国云南省航运管理部门与湄公河国家地方政府也建立了水文信息报汛制度,定期向湄公河国家共享水文流量变化信息,为湄公河国家航运管理部门和相关从业民众提供了数据服务。此外,在梯级水电站检修、水污染突发事件等紧急事件发生时,水位流量发生较大变化情况下,水利部通过澜湄水资源联合工作组向湄公河国家通报水位流量变化信息。2020年8月24日,国家总理李克强在澜湄合作第三次领导人会议发言提出,中方将从今年开始,与湄公河国家分享澜沧江全年水文信息,共建澜湄水资源合作信息共享平台,更好应对气候变化和洪旱灾害[1]。

1.2   湄公河国家之间的数据共享现状

在湄委会和湄公河下游倡议等多边合作组织或机制支持下,湄公河国家以项目资助的方式开展了信息平台建设、数据共享标准制定等信息共享尝试工作,推动了湄公河国家之间数据信息共享工作,取得了一定成效。2000年7月,湄委会开始建设湄委会信息平台系统,签订了数据共享合作协议,建设了部分水文监测站点。依托多年來开展的数据采集项目以及与各成员国之间签订的合作备忘录,湄委会信息共享平台系统积累了16 000多个数据集,数据类型涵盖行政区划、农业、环境生态、洪水管理、自然资源、经济社会以及水资源等十个大类。2017年在湄公河下游倡议第10次部长级会议上,美国提出湄公河水数据倡议概念,并在此倡议基础上,启动了湄公河水数据平台(Mekong Water Data Platform,MWDP)的筹划和建设工作。该平台包括湄公河水文共享(Mekong Hydroshare)以及湄公河伙伴数据工具和服务两大模块,于2019年4月发布并投入试运行。由于尚处试运行阶段,目前仅能检索到越南共享的89个数据集。湄公河下游倡议MWDP平台主要目的是打造湄公河区域水数据集,建设重点是针对科研工作者等注册用户提供数据检索、存储和管理平台,增进不同用户和机构间的数据共享。MWDP平台开放和包容建设理念能够充分调动机构和个人的参与度,不受政府间协议和湄公河下游倡议合作机制进展的影响。但该平台数据集数据标准不一、数据关联较弱,数据量较少,访问速度比较慢,难以形成系统性数据体系,尚未提供模型模拟或者其他分析应用工具,不利于后期深入挖掘、分析和应用,且现有信息平台架构难以支撑其在业务应用中发挥影响力。

2   存在的问题

缺乏全流域层面数据共享和权威信息发布平台,造成涉水信息透明度不高,影响流域各国合作互信,影响澜湄合作健康可持续发展。

目前澜湄流域开展了一些数据共享工作,但仍然存在共享数据体系不明确、数据标准不统一等问题[2]。

中国向湄公河国家和湄委会提供水资源信息发布机制和通道,但缺乏双向水资源数据流通与共享的机制和平台。湄委会四个成员国之间也尚未形成全流域层面有效的、充分的信息沟通与共享,难以满足澜湄流域信息共享需求和澜湄合作机制发展的需要。

澜湄各国水资源管理人员、学者、公众无法全面、系统地了解和利用合作成果,不利于促进各方消除分歧、达成共识、共同进步。亟需强化信息聚合度,提供长期、稳定、及时、权威、透明的信息发布渠道,提升各方深化合作的能力和水平。

3   共享体系设计

3.1   共享体系架构

(1)数据共享平台

数据共享平台由数据资源目录、数据图表展示、消息发布3个部分组成,其中数据资源目录系统为提供以原始数据文件为形式的数据资源发布和共享的平台,实现数据资源的共建共享,主要功能包括数据集上传、挂接、发布、检索、下载和资源目录配置等[3];数据图表展示则以曲线图、折线图等图表形式展现水利数据的变化特点,如水雨情数据,便于数据使用者更直观的遴选数据资源;消息发布则文字消息的形式发布水利水电工程重大调度信息、检修信息以及水污染突发事件。

在功能设计上,考虑到水资源数据的敏感性,数据资源目录系统除检索可匿名使用外,其他功能均需注册并登录后方可使用,其中数据集的发布和下载使用申请审批机制,只有经系统管理员审批通过后方可发布和下载。

资源目录分类是用户检索数据的主要手段之一[4],数据资源目录系统除包含产品形式、发布机构、位置区域、文件格式、日期范围、数据标签、关键词等常见分类外,还根据水利数据的特点,新增监测内容和主题两大分类,其中监测内容的子分类有地表水监测、地下水监测、水质监测、用水监测;主题分类则在国际标准化组织发布的ISO19115主题类别的基础上,根据数据资源情况选择与澜湄水资源合作相关的类别,筛选后的类别包括气候/气象学/大气、经济、环境、影像/底图、内陆水域、规划/地籍、社会、公用事业/通讯。

(2)应用支撑平台

应用支撑平台作为共享体系的基础设施,为上层数据共享平台提供应用支撑服务,包括用户注册和审核、登录认证、用户管理、权限管理、日志管理[5]。

(3)数据交换平台

数据交换平台对数据汇集平台收集的数据按照数据标准进行流程化处理,并作为数据资源目录系统的数据来源之一。数据交换平台主要实现图形界面设计ETL转换配置[6],实现数据抽取、质量检测、数据清洗、数据转换、数据过滤,以及数据交换异常处理、监控管理等[7]。以水雨情数据为例,数据汇集发布流程如图2所示。

由于水资源数据种类较多,数据交换平台需要支持多种格式数据的处理,包括库表数据、图像、XML、JSON、XLS、CSV等。

(4)数据汇集平台

数据汇集平台通过适配器从目标数据源或业务系统中抽取数据,提供给数据交换平台使用。数据汇集平台主要包括下载任务配置、数据交换过程监控配置、交换异常报警配置、平台数据库写入配置等[8]。根据不同的数据来源,数据汇集的对象可能是数据库、FTP、数据服务接口、数据文件等。

(5)运行环境

运行环境基于私有云和公共云搭建,其中私有云提供数据共享平台、应用支撑平台、数据交换平台、数据汇集平台运行所需的各类计算资源,包括Web服务器、应用服务器、数据库服务器、文件服务器等,公共云提供内容分发网络(CDN)和对象存储(OSS)服务,用于给数据共享平台提供网页加速和数据集存储服务。另外,通过公共云的云监控技术,对数据共享平台的运行状态进行24小时监控,发生故障时及时告警。

(6)制度规范

包含“三制度两规范”,其中“三制度”指共享体系管理办法、运行环境定期巡检制度、运维报告制度,“两规范”指水资源数据格式规范、水资源数据处理规范。

(7)安全保障

根據《网络安全等级保护测评要求》,对运行环境进行安全物理环境、安全通信网络、安全区域边界、安全计算环境、安全管理中心、安全管理制度、安全管理机构、安全管理人员、安全建设管理、安全运维管理等方面的测评并进行问题整改,使安全体系符合等保要求。

3.2    共享体系特点

(1)用户体验好

由于数据共享服务面向覆盖澜湄六国,网络环境复杂,容易出现系统访问卡顿的现象,影响用户体验。通过在共享体系中集成公共云的内容分发网络(CDN)和对象存储(OSS)服务,可以很好的解决此问题。具体从两个方面入手,一方面数据共享平台采用前后端分离架构开发,针对各国用户访问前端静态资源的场景,可使用CDN实现加速访问;另一方面对于数据集上传、下载等对网络带宽要求比较高的场景,可使用OSS实现数据集的高速上传、下载,数据集通过高速通道直接上传至OSS服务器,不需要经过数据共享平台。

(2)统一数据标准

由于数据共享面对的是澜湄六国,必须基于统一的数据标准才能使数据共享更加畅通。在共享体系中,通过数据交换平台,可以对汇集的数据按照指定的标准进行清洗、转换、检测等操作,确保共享的数据符合标准,从而为数据的进一步利用创造有利条件。

(3)面向多层级用户

数据共享平台不仅面向澜湄六国水行政主管部门,还面向科研机构、学者和社会公众,通过在数据资源目录系统中履行必要的注册申请和数据资源下载申请手续,科研机构、学者等用户也可以下载各类数据成果,这有利于各方全面、系统地了解和利用澜湄水资源合作成果,促进各方消除分歧、达成共识、共同进步。

4   共享体系应用

澜湄水资源共享体系已在澜湄水资源合作信息共享平台中应用,具体应用情况如下。

(1)通过数据交换平台,定期从云南省水利厅抽取云南允景洪、曼安两座测站的水雨情数据,并在数据共享平台中使用图表做数据展示,如图3所示。

(2)通过数据交换平台,定期汇总允景洪、曼安两站的水雨情数据,形成两站的周期性数据集,自动发布到数据共享平台中的数据资源目录中,供用户下载。

(3)通过数据共享平台中的消息发布,以文字的形式发布澜沧江水电站调度信息。

参考文献:

[1]黄汉文,李昌文,徐驰.澜沧江-湄公河水资源合作的现实、挑战与方向[J]. 人民长江.2021,52(07):88-94

[2]王志强,王海霞. 澜湄水利标准体系构建探讨[J]. 水利规划与设计.2021,(04):1-6

[3]储昭武,李雪凝. 公共数据资源目录体系研究及应用[J]. 信息技术与标准化. 2019,(05):10-14

[4]司存友,高祥涛,李政道,等.基于元数据的江苏省水利数据资源目录服务系统[J]. 江苏水利. 2018,(01):41-45

[5]杨小琴,朱光军,陶锋,等. 湖北水利数据资源整合共享实践及关键技术研究[J]. 水利信息化. 2018,(05):11-17

[6]朱松挺,胡应龙. 江西水利数据资源整合共享实践[J]. 江西水利科技. 2019,45(01):72-75

[7]常俊超,刘冠华. 河南水利数据交换共享服务平台研究[J]. 江西水利科技.治淮. 2019,(01):55-57

[8]陆佳民,冯钧,唐志贤. 水利大数据目录服务与资源共享关键技术研究[J]. 水利信息化.2017,(04):17-20

收稿日期:2021-09-30

作者简介:秦鼎,男,主要从事水利信息化工作。E-mail:qindingsky@qq.com

Research and Application of Lancang-Mekong Water Resources Data Sharing System

Qin Ding  Zhang Fan

(Network and Information Center of Changjiang Water Resources Commission,Wuhan 430010,China)

Abstract:This paper analyzes the current situation and existing problems of water resources data sharing in the six Lancang-Mekong countries,and designs a set of water resources data sharing system based on hybrid cloud,which provides a set of practical,complete and safe water resources data sharing in the six Lancang-Mekong countries The informatization solution was successfully implemented in the Lancang-Mekong water resources cooperation information sharing platform,and achieved good application results.

Keywords:the six Lancang-Mekong countries;water resources;data sharing;data resource catalog;hybrid cloud

猜你喜欢
数据共享水资源
水资源(部级优课)
《水资源开发与管理》征订启事
珍惜水资源 保护水环境
中华环境(2021年8期)2021-10-13 07:28:34
加强水文水资源勘测合理开发利用水资源
智能城市(2018年7期)2018-07-10 08:30:30
科学大数据的发展态势及建议
数字化迎新系统宿舍分配模块的设计与实现
贵州大数据产业发展战略理解和实施建议
浅议我国水资源的刑事立法保护
采煤沉陷区水资源可持续开发利用研究——以淮南市为例
面向海上平台机械电气设备的数据共享平台的设计与实现