水文水情信息大数据处理的现状及策略

潘立云，王玉珏

（德州市水文中心，山东 德州 253016）

1 水文水情信息概述

水文是指自然界的水在一系列外部环境作用下发生各种变化的现象。通过研究水文信息，可以掌握自然界的水在各种环境作用下表现出的变化的规律，从而对水的时空分布进行预测，达到对自然界的水资源“兴利避害”的作用。现阶段，国家在众多江河湖泊，相继建立了水文监测站，对水系水文信息进行收集，为水利工程建设、灾害预警、灾害救援、环境治理等提供了信息支撑。

2 水文水情信息大数据处理现状

水文监测站可通过多种水文监测仪器，自动化监测水域的含沙量、水流量、水位等水文信息，并能通过局域网、互联网等，向水情信息中心实时传输所采集的水文信息，让水文监测人员可以实时通过手机、电脑等设备，查看水域的实时水情。

当前水文水情信息自动测报系统，可以通过编码等技术，设定相应监测仪器的监测频率，实现对监测水域的水文信息的自动化采集、存储，并能够通过编译等手段，将水文信息转化为ASCII，对所采集的信息进行预处理，再传输给测报系统信息中心进行数据的分析和深度处理，导出Excel、office等文件形式，供水文监测人员进行查阅和使用。利用当前机器学习模型等，还能够对所采集的信息进行智能识别，对水情灾害进行预警，并通过预报系统、值班系统等，向水文检测人员报警。

2.1 数据存储

水文监测站通过各种水文监测仪器采集到水文信息后，通过分布式文件系统和关系型数据库，将监测数据进行结构化储存。通过关系型数据库服务RDS，可以高效管理水文监测数据，水文监测数据的结构化储存，也为高效利用元数据奠定了信息基础。对系统运行数据、历史数据、遥感监测仪器采集的图像数据等，根据数据类型，通过分布式文件存储服务OSS 进行有效存储，或以表格的形式存储于大数据表格存储系统中。

2.2 数据分析

水云信息数据量庞大，但数据的价值密度相对较低，需要通过大数据技术，按照主题化的应用需求，深度挖掘水文信息中的有效信息。在通过大数据技术对水文数据进行分析和处理时，需要运用云计算引擎和并行计算系统，实现海量分布式水文数据的高速交换，通过MaxCompute 技术和MapReduce 模型，实现海量数据在分布式数据处理系统上的并行计算，有效解决了传统系统计算能力不足的问题。

大数据除能够有效应对海量数据的处理需求外，还能够运用线性或非线性的统计方法，对海量低价值密度的水文数据进行深度挖掘，通过多种数据模型对数据信息进行可视化分析，向水文监测人员提供水文异常数据报警和灾害预警信息，为灾害救援方案制定等提供数据支撑。

2.3 数据分发

通过大数据技术对云端的水文监测信息进行分析和处理后，可通过API 接口，向公众分发水文数据分析结果，使相关行业、民众等，能够获取更加准确的水文信息知识，为生产生活提供便利，为社会提供服务。同时，根据抗旱工作的实际需求，获取水文信息向相关机构、部门如实报告水情。相关部门接收到水情信息后，进行科学汇总和分析，大致了解干旱情况，明确影响范围，提前谋划，做好万全准备。如山东2014 年旱灾，水文情报预报部门科学统计了各地的旱灾情况，然后按照图1所示的发布水文情报预报流程开展工作。

图1 发布水文情报预报流程图

2.4 统一的门户管理

简洁统一的系统交互界面，可以有效提升水文大数据平台系统易用性，使用户能够更加快捷简单的获取客户需求的使用信息。这就要求系统界面直观展示相关水文数据、水文数据分析报告、水文灾害预警信息等，方便用户分析和利用相关水文信息。利用大数据技术，可实现各个服务组件的有机组合，通过API 接口，将系统运维界面和监控界面统一设置，可有效降低用户使用难度，提升系统运维效果。

3 基于水文水情信息大数据的安全监测系统构架及功能

3.1 数字化安全监测管理平台

当前水务工程数字化管理程度严重不足，为提升数字化管理水平，亟须结合水利工程安全监测管理特点、作业事项管理特点等，构建完善的数字化安全监测管理平台，为工程巡查管理标准化、安全监测数字化、闸门操作流程化管理提供平台支撑。对有时间要求的安全检查、巡检、鉴定、监测等任务，在平台上建立完善的自动化监督体系，做到事前提醒、事中记录、事后存档；建立健全的数据库系统，做好数据分类及关联管理。

3.2 安全监测系统数字化管理基本构架

支撑层：通过软件为系统提供地图、短信、语音等服务，同时为应用层和数据层数据传输提供安全保障。

数据层：主要包括数据库系统和各应用数据库，对系统、应用数据进行分类、存储、调用等。

硬件与网络层：包括服务器、工作站等硬件设备，此外，还包含网络安全设备，如防火墙、网关等，硬件为系统运行提供硬件支撑，网络层为数据层和采集层数据通信提供安全支撑。

采集层：主要采用C/S结构，以服务应用程序类型，在后台自动运行水情数据等进行安全监测，并对数据进行预处理，将经预处理的数据，以统一格式传输至数据层；系统架构见图2。

3.3 主要功能与关键技术

3.3.1 水情监测与预报

水情监测是水利工程安全监测的关键内容，可为水利工程安全运营、水资源调度管理、水情预警提供有效支撑。监控中心的主控计算机，实时采集水、雨情监测信息，并将采集记录水、雨情信息写入数据库。在线监控系统，可根据水位监测数据，发布水情、雨情、预警信息等。

3.3.2 防洪安全监控优化调度

依托当前先进计算机技术、信息处理技术、智能技术等，建立基于蓄满产流模型和等流时线汇流模型的智能洪水预测模型。

3.3.3 水安全水资源联合优化调度

水安全水资源联合优化调度要点如下：根据上下游雨汛季节分布，历年下游灌溉用水情况，当年雨汛情况，合理分析和预测下游灌溉用水需求，形成合理的灌溉用水调度；根据系统收集的水、雨、季节气候因素，预测洪汛情况，结合工程泄洪能力、防洪标准等，制定可靠的防洪调度预案；做好往年来水、蓄水、灌溉用水调度记录，分析历年来水、蓄水、灌溉用水关系，结合当年监测情况，制定合理的汛期蓄洪调度方案和灌溉用水调度方案。

4 水文水情信息大数据处理的展望和策略

4.1 加强多库合一的建设

水文数据库建构时，应充分利用大数据技术和云端存储技术，打通信息通道壁垒，使分布式存储的结构化数据，在云端实现多库合一，有效提升数据管控效率。在建构数据库的过程中，为保障数据结构化存储的需求，提升数据易用性，应对数据库进行分类，建立整编库、预报库、历史库等多种数据库。

4.2 重视纠错和拦截机制的建设

系统应该建立拦截和纠错机制，避免错误数据传输，或在数据处理传输过程中产生错误，有效保证传输数据的真实性。

为适应未来水情传输自动化发展，保证数据传输的真实性，应建立错误数据拦截功能，在数据传输过程中，通过逻辑判断程序，判断数据的合理性，对于合理性无法达到要求的数据，自动予以拦截，并向系统操作人员发出提醒，进行人工数据判别。此外应加强智能技术应用，依托大数据技术和人工智能算法模型，提升系统判别数据的准确性，使系统由自动化向智能化发展。

4.3 逐步强化对基础信息的管理实行站点注册制度

报讯信息是水情数据管理的重要内容，系统应加强对报讯站点水文信息的管理，避免站点基础信息缺失或重复，对汛情数据上报处理产生不良影响。在进行报讯点通信系统设计时，应建立完善的报讯站点注册管理机制，加强站点管理。

5 结论

随着水情监测体系建设的推进，水文数据量规模不断增大，充分运用大数据和云端处理技术，可有效提升水文数据处理效率。未来，水文行业应充分利用大数据技术和云端处理技术，推动水文监测数据库的“多库合一”进程发展；同时，应加强智能技术运用，建立更加智能化的纠错和拦截机制，保障数据真实性。