基于站网监测数据处理方式探讨

姚 建

(辽宁省营口水文局,辽宁 营口 115000)

0 引 言

辽宁省水文监测工作始于1902年,经过百余年的建设发展,尤其是2011年以后,国家更加重视水文建设,大量增加基础设施建设投入,建立国家防汛抗旱指挥体制,通过实施山洪灾害防治工程、地下水自动监测工程、中小河流水文监测和水资源监测建设工程,形成了覆盖主要河流、分布合理、观测完整的工程。

基本满足全省防汛抗旱减灾、水利工程规划建设、水资源管理和水生态环境保护需求的水文站网监测体系。

目前,辽宁省水文数据整编系统主要采用南方水文数据整编系统2.0版,所需的相关数据和控制信息整编系统主要依靠手工输入。本年的水文数据整编结果在次年1月底提交。随着经济社会的快速发展,特别是实行最严格的水资源管理制度、河流(湖泊)综合管理评价、生态水管理等对水文数据的时效性和质量提出了更高的要求,在保证水文数据质量的前提下,提高水文数据重组的及时性具有重要意义。

针对新形势下水文站网管理和水文监测数据分析工作的需求,结合当前水文站网现状,辽宁省水文局2013年底提出了水文站网综合管理系统建设的想法,系统建设于2017年初开始,2019年完成研发投入试运行,到目前为止,系统运行正常,达到了设计的要求。

1 现状分析与存在问题

目前,国内对水文站网管理、水文监测数据处理和数据重组的研究主要集中在利用信息手段实现智能化处理的单一功能。例如,对基于WebGIS的水文站网管理系统进行了初步研究。介绍了WebGIS在青岛市水文站网可视化管理系统中的应用,分析了系统的组成和功能。云南省开发设计了在线水文数据整编系统。介绍了系统的总体框架的功能、特点和优势。以上研究提高了水文资料整编的效率和水文站网管理水平,但是有些功能不适合北方季节性河流水文特征,需要对这些功能模块进行重新构建,同时目前国内还没有一套完整的、系统的水文站网综合管理系统,能实现水文监测数据处理分析、水文资料整编及站网管理的实时处理分析。

辽河水库管理服务中心为辽宁省水文产业管理机构,主管全省水文工作。近年来,响应国家的号召和自身发展的需要,省级中心逐步开展了信息化建设。目前,全省水位,降水遥测系统,水情会商系统、旱情会商系统、水文业务协同系统等,还有大批应用系统在规划和研发中。在站网管理和水文监测数据处理方面,还没有实现水文监测数据采集、资料整编和站网管理等工作的实时处理和智能化处理,急需提高水文监测数据智能化处理水平。

1.1 站网管理

随着水文站网监测系统的不断完善,水文监测站、观测项目和观测内容不断增加,水文站网的基本信息没有采用计算机管理。随着辽宁自动测报系统的建设和实施,信息的采集、传输方式和信息量发生了很大的变化。水位、降水、自动测流信息量巨大(按每6min一条记录,单条记录可达10万条以上)。面对上述情况,必须先解决数据整编以前的数据传输、排序、筛选、校对、检索等信息处理问题,以缓解信息量突然增加带来的人工数据处理困难。流量、泥沙等测验方式多采用常规仪器,人工记录,只能通过人工输入计算机通过互联网将测验结果实时传输到省中央服务器。部分站点采用了较为先进的测流设备和测沙设备,可以形成数字结果,但数据传输仍需手动上传。

在全国水文系统中,缺乏集数据采集、站网管理和数据整理于一体的系统。为了提高水文数据整理的效率和质量,提高水文站网的管理水平,全面提升水文现代化和智能化水平,迫切需要对该系统进行研究。

1.2 水文数据处理

水文监测数据存在高度关联性和海量性的特征,一项水文监测要素的改变可能影响另一项要素的计算成果。当发现某项水文要素发生变动,人为分析关联表项和关联要素,人工进行逐一改算处理,关联要素无法实现跨表检索和自动改算,经常有漏改、错改现象,进而造成资料成果不一致。这种人工修改方式存在效率低、工作量大和易出错等问题。

1.3 水文资料整编

水文资料整编是一项非常繁杂而精细的工作,从监测信息收集到整编成果产生要经过很多中间处理环节,耗费大量的人力资源。为了满足社会对水文资料的时效性的要求,2018年水利部水文司提出次年1月底提交上年度水文资料整编成果的要求。新形势下,社会对水文资料的时效性要求越来越高,采用原有的水文监测资料处理方法已无法满足水文监测工作要求。

辽宁省水文数据整编主要采用由长江委员会统一开发的2.0版南方水文数据整编系统。整编系统所需的相关数据和控制信息主要依靠人工输入。部分功能未考虑北方地区河流的水文特征,例如冰情要素特征和泥沙特征等,在后期需要人工处理分析。随着形势变化,水文资料整编系统也在逐步升级。原长江委统一研发的《南方片水文资料整编系统》2.0版已由新的《全国水文资料整编系统》(5.0版)代替。新版系统要求采用网络数据库系统,全省一个数据库,通过网络实现工作站与数据库系统连接。

目前釆用从地市局抽调专家集中进行水文资料审查、人工评定资料质量的方式,这种方式存在审查时间长、任务繁重、耗费大量人力和经费开支大等问题。

1.4 水文监测数据全自动一体化处理

目前国内还没有一个系统,能实现从数据采集、数据检查、处理分析、计算到成果与全国水文资料整编系统的无缝对接[1-2],来实现水文监测数据采集、资料整编和站网管理等工作的实时处理,来提升水文现代化和智能化水平。

2 主要研究内容

2.1 水文监测数据收集

对辽宁水文站网监测体系内的站点基本信息、水文监测数据、设施设备信息、运行维护记录、水文资料整编等各种信息集成在一个平台上,进行集中管理,便于信息维护和快速检索。

2.2 水文监测数据智能处理

通过大数据分析等建立水文人工智能专家数据库,采用自动处理为主,人机交互操作为辅的操作方式,对数据分拣、筛选及校对等,实现实时水文监测信息的快速处理,提高了在站人员处理水文监测资料的工作效率。

2.3 水文监测数据在线审查

系统对电子版水文监测原始资料进行了归档分类和处理分析,纳入到水文监测数据在线审查平台,设定不同人员的功能权限,组织专家在线审查,具有灵活机动性和公开透明性,同时提高了水文资料审查的效率。

2.4 站网综合管理系统建设

水文站网综合管理系统基于Internet的B/S模式,用户可以通过浏览器对水文站网进行操作,该系统采用通用软件开发平台和模块化设计结构,具有良好的可移植性和可扩展性[3-4]。该系统部署在省中心的应用服务器上,实现了全省水文系统内水文站网的综合管理。水文测站网的综合管理系统包括水文测站网管理、水文监测管理、设施和设备管理、水文监测数据人工智能分析、水文资料网上审查及与全国水文资料整编系统无缝对接等功能。

3 监测数据智能化处理技术

3.1 实体数据库

3.1.1 Oracle数据库

考虑到水文站网综合管理系统信息量大,处理速度要求快速,并考虑未来更多的并行处理要求以及权限分级要求,系统采用Oracle作为主要数据库管理系统。Oracle引入了共享SQL和多先导服务器架构,以减少Oracle的资源占用并增强Oracle的能力[5-6]。它提供了基于角色分工的安全保密管理,在数据库管理功能、完整性检查、安全性和一致性方面具有良好的性能。它支持大量多媒体数据,如二进制图形、声音、视频和多维数据结构。它提供了一种新的分布式数据库的功能,可以很容易地读取和写入数据通过网络在远程数据库,并对称复制技术。水文站网综合管理系统的信息存储采用Oracle数据库管理系统。管理的数据库有基本信息数据库、基础水文数据库、原始水文资料库及实时监测信息库。基本信息数据库是本系统信息维护的主要数据库,也是本次进行表结构设计的重点库,对其它3个库的操作主要是资料检索。

3.1.2 基本信息数据库

基本信息数据库存储水文站网综合管理系统要维护的各种基础信息,本次定义的表名如下:

1)站网管理类:包括水文水位站、降水蒸发站、变迁前水文(位)站、变迁前降水蒸发站、规划水文(位)站以及规划降水蒸发站一览表。

2)监测管理类:包括巡测区主要项目监测方式表、单站测验任务表、断面布设情况表、洪水等级划分表、水流沙监测方案表、报汛方案表、降水蒸发场地布置情况表、测站高洪应急预案、突发水事应急预案。

3)设施设备管理类:包括站房情况、气象场情况、观测码头情况、基本水尺情况、自记井基本情况、测流缆道基本情况、水电通信情况、基础设施维护记录、断面标志及基线、设备信息登记、设备软件及图片类、应急监测设备配置情况、巡测设备配置情况、水文站设备配置情况、降蒸站设备配置情况。

4)基础资料管理类:包括测站沿革、测站水准点沿革表、河段情况、实测基本水尺断面、高洪水位流量关系、水位面积关系、水位特征值、流量特征值、流速特征值、含沙量特征值、降水特征值、常用系数、典型洪水简述、典型洪水过程。

5)文件及资料管理类:包括文件、资料、测站图片类、测站资料。

6)报表生成系统类:包括固定检索表存储。

7)水文资料检索类:包括测站资料逐年登记表、检索申请单、检索资料清单。

8)水文资料整编管理类:包括质量评定权重分配表、水文(位)站及降水蒸发站成果一览表、分类错误及扣分准则重大问题处理记录、审查会议通知表、审查专家任务分配表、审查错误登记表、单站质量评定表、纸质资料入库登记表。

3.1.3 基础水文数据库

本系统只对该数据库访问,提供对基础水文数据库的水文资料检索功能,对数据库的信息不进行维护。数据库表结构的设计已在中华人民共和国水利部《基础水文数据库表结构及标识符标准》(SL 324-2005)中定义,本系统不需对表结构进行设计。

3.1.4 原始水文数据库

原始水文数据存放水文监测原始观测记录资料、用监测仪器生成的原始数据文件及通过遥测系统上传的原始观测信息等。本系统提供对原始信息的检索功能,数据库的维护由其它工程的相应系统完成。

3.1.5 实时监测信息库

实时水文监测信息数据库存储《辽宁省水文站网综合管理系统》要维护的各种基础信息,本次定义的表名如下:

1)测站信息表:包括水文水位站整编信息表、降水蒸发站整编信息表、关注站点及其项目信息、流域水系对照表。

2)基本信息:包括水准点沿革表、断面情况表、水尺沿革表、降水蒸发仪器沿革信息、水文水位仪器沿革信息、水位级、系数及单位信息、注解码对照表、信息输入习惯保存。

3)测量类:包括水准测量参数引用表、水准测量记录表、水尺零高及断面桩测量参数引用表、水尺零高及断面桩测量记录表、水道断面参数引用表、水道断面测量记录表、大断面桩测量记录表、大断面成果参数引用表、实测大断面成果表、大断面分级水位成果表、断面桩测量成果表、水尺零高测量成果表、水准点测量成果表。

4)水位类:包括实测水位、基本水尺水位记录、比降水尺水位记录、筛选水位计算表、实测水位问题表、基本水位月报成果、比降水位月报成果。

5)流量类:包括流量、输沙测验基本信息、畅流期流量测验记录表、冰期流量测验记录表、畅流期流量、输沙测验记录表、冰期流量、输沙测验记录表、水面浮标测速记录表、水面浮标图形坐标表、水面浮标测深及计算表、声学多普勒流速仪流量测验记录表、不确定度计算参数、糙率计算参数表、实测流量成果表、糙率计算月报成果。

6)泥沙类:包括全断面混合法输沙测验记录表、调压积时式输沙测验记录表、单沙测验记录表、单沙(调压积时式)测验记录表、泥沙水样处理记录表、实测输沙率成果表、单沙月报成果。

7)记录类:包括实测降水记录、人工观测降水记录、实测降水问题表、降水日表、遥测降水月报成果、人工观测降水月报成果。

8)蒸发类:包括水面蒸发量观测记录、水面蒸发量观测记录、蒸发辅助项目观测记录、蒸发(E601、20cm)月报成果、蒸辅月报成果。

9)水(岸)温类:包括水(岸)温观测记录、基本水温月报成果。

10)冰情类:包括冰情观测、冰厚、河段冰厚、河段冰厚、冰流量、冰速、冰厚测验记载表、冰情观测月报成果、断面冰厚月报成果、水内冰成果表、河段冰厚成果表。

11)其它类:包括各项目错误记录登记表、综合统计、上传文件说明表、进程登记表、成果流程说明表、进程状态表、测站各项目资料处理时间表、资料更新及补算、系统参数、站点参数表、表更新痕迹、三校错误登记。

3.2 SQL Server数据库

由于水文资料整编系统需要,还需要配置SQL Sever 2008及以上版本的数据库管理系统。SQL Sever数据库是一个可扩展的、高性能的数据库管理系统,涉及到分布式客户计算;

拥有强大的事务处理能力和管理工具,采用多种方法确保数据的完整性;支持对称多处理器架构、存储结构、开放数据库互连,并具有自主的SQL语言,满足水文监测数据海量性、多要素、多元异构性等特征对数据库的要求。

SQL Sever数据库主要用来存储水文资料整汇编数据及相关的记录信息,实现了与全国水文资料整编系统的无缝对接。SQL Sever数据库存储的整编记录信息,是指需要进行资料整编的水文监测记录信息,包括水流沙数据库、降水数据库及整编说明等。

3.3 数据自动改算

数据自动改算是通过Orarcle底层数据库的设计,将库表中的数据字段,通过设计检索表,将包含该字段的数据和相关数据的其他表关联起来,实现关联元素的跨表检索和自动批量修改数据。

水文要素之间有很高关联性,一项要素的改变可能影响另一项要素的计算成果。以往靠人工进行逐一改算处理,目前同类系统中还未有自动改算的功能。本系统采用后台实时监测处理技术处理,如果发现某一水文要素发生了变化,系统根据水文要素在时间上和工程上的变化,自动分析影响范围的时间,当前要素对其他因素的影响,通过定位影响对象确定范围,根据修改情况的记录评估范围,自动修改范围内的每个要素。由于系统具有自动改算的功能,有效地解决了因资料修改造成成果不一致等问题,保证了各类整编成果的一致性。

3.4 水文监测数据全自动一体化处理

站网综合管理系统采用后台监听(LISTENING)技术,完成水文监测结果的信息采集、检查、分析和计算,与全国水文数据汇编系统无缝对接,月报结果归档,实现自动化集成处理。自动处理部分的任务包括监测信息采集、系列合理性校核、结果分析计算、结果归档、结果修改等功能。为了使这些功能自动化任务处理,它们必须在后台运行的方式工作。

后台有一个特殊的任务,它监听处理过程,并在系统启动时自动开始运行。一方面,监控进程根据系统安排的任务,定时启动子进程,完成相应的工作;另一方面,根据相应的每个用户请求,处理相应的临时任务。

4 结 语

水文站网监测体系日益完善后,站点不断加密,监测信息逐步全面覆盖,有利于收集更多、更全面的水文监测信息,更好地为当地防汛、水利规划与工程设计、水资源管理及社会各界服务。水文站网络监测系统的建设投入了大量的资金用于水文站的建设,包括试验点的建设、试验设施设备的配置、设施设备的运行和维护,都是为了获得准确的水文监测数据。为此研究水文监测数据智能化处理技术就显得尤为重要,该技术的应用能够快捷,便利的对水雨情结果进行整编,又能保证各类水文资料的整编成果。