云南省水文大数据资源中心设计与应用

余 雄 ，陈宝珠 ，廖宏魁

（1. 云南省水文水资源局，昆明 650106； 2. 四创科技有限公司，福州 350100）

0 引言

按照十九届五中全会精神及《中共中央关于制定国民经济和社会发展第十四个五年规划和二〇三五年远景目标的建议》《中共中央关于制定国民经济和社会发展第十四个五年规划和二〇三五年远景目标的建议的说明》，全国水利行业深入贯彻“节水优先、空间均衡、系统治理、两手发力”新时期治水方针，践行“水利工程补短板，水利行业强监管”的改革发展总基调，树牢新发展理念，主动服务和融入国家发展战略。云南省水文水资源局加快水文现代化建设，提升水文对水利工作和经济社会发展的支撑和保障能力，积极布局水文新基建，加快培育数据要素市场，推动“上云用数赋智”，建设产业互联网，服务建设数字云南。

当今世界，信息技术创新日新月异，以数字化、网络化、智能化为特征的信息化浪潮蓬勃兴起[1]，全球信息化进入全面渗透、跨界融合、加速创新、引领发展的新阶段[2]。现代科学技术的快速发展和广泛应用，将极大提高水文信息采集、传输、存储、处理和服务的现代化水平，为水文信息综合分析和预测预报提供良好的条件，为加快水文信息化建设带来新的动力[3]。目前，水文发展面临如何适应新形势发展需要，更好地满足各方需求，走出一条水文事业的可持续发展之路，树立水文服务社会的发展理念，推进水文工作从侧重局部建设向注重整体发展转变，从技术导向型向服务导向型转变，从数据服务型向成果服务型转变，从行业水文向社会水文转变等现实的问题[4]。水文行业数据是水利和社会经济的基础，也是大数据应用的重要领域之一[5]。随着近年来云南省水文信息化工作不断推进，水文数据采集基础设施及应用系统数量越来越多，由此产生的数据量呈指数攀升，结合云南省水文现状及“十四五”期间整体发展目标要求，需要充分结合新技术应用，加强云南省水文大数据资源中心建设，提升水文数据共享应用和服务能力。

1 水文数据资源现状及存在问题

云南省水文在长期监测中积累了大量的实测和业务数据，并形成了数据采集管理的长效机制，随着智慧水利发展、水文感知监测能力提升，天空地一体化的智能感知监测体系逐步建成，水文数据采集能力不断提升，数据量呈指数增加，数据呈现出多源性及多样性动态增长。水文监测和信息产品为抗击连续多年严重干旱、抗震救灾、抗洪抢险提供了可靠的水文技术保障，为现代新昆明建设、滇中经济圈等全省重大区域发展战略提供了优质的水文服务。

但目前依旧存在以下几个方面问题：

1）云南省水文水资源局已有数据服务系统，包括水文基础、空间、监测站网及云南省国家水文等10 个数据库，已有的数据服务系统较为分散，缺乏综合、统一的数据平台，各数据服务系统相对独立，数据资源得不到有效整合，难以适应水文信息化发展。

2）对外数据服务处于粗加工状态，缺少强有力的水文服务产品，水文信息服务产品单一，数据挖掘分析能力待进一步提升，难于支撑水利行业及社会经济决策分析的需求。

3）水文数据对外共享服务能力有待提升，共享服务范围和深度不足，服务范围仅局限于政府及组织，对社会公众提供水文信息服务能力不足。

2 水文大数据资源中心总体设计思路

结合云南省水文数据资源现状，构建云南省水文大数据资源中心。高度整合丰富全省水文数据资源；加强水文数据管理，确保数据质量安全；提高水文数据应用分析能力，把数据变成产品，深度挖掘数据中隐含的服务信息，变数据为产品服务，为政府、行业及社会公众提供有用的信息辅助支持；加强数据运营管理，提高数据利用深度和广度。

云南省水文大数据资源中心建设框架如图1 所示。

图1 云南省水文大数据资源中心框架图

3 水文大数据资源中心建设

3.1 数据汇集管理设计

为更好实现水文大数据共享应用，首先要加强全省水文数据资源有效汇聚整合，实现数据资源统一管理。

3.1.1 数据统一汇集整合

由于历史因素，云南省水文涉及站点数据量大，类型多样，标准不统一；数据涉及多个部门、系统，难度大，工作繁杂。结合云南省水文数据特点，重点要实现全省水文数据的统一汇集整合，通过创新改革，加强数据梳理和汇聚整合，技术路线如图2 所示。

图2 数据收集与处理流程图

针对前端监测站点数据，将原有水文遥测站采集数据集中在各地市水文局落地的方式，统一转变成全省水文信息资源集中在云南省水文水资源局落地的方式。构建统一的水文数据汇集管理平台，实现多要素水文信息全量汇集，实现对水文站、水位站、流量站、墒情站、地下水位站、水质站等各监测站点实时采集数据的统一汇聚，过滤，计算，管理和推送。将标准不一、接收终端复杂的遥测站点 RTU 设备统一接收，将全省各节点中原始数据，以及水情、水资源、水质等监测信息数据集中存储在云南省水文水资源局，实现集约化管理，满足省级和各地市水文水资源局业务需要。水文数据汇集平台框架如图3 所示。

图3 水文数据汇集平台示意图

针对分散在各部门中的数据，对数据源做详细梳理划分，并提供对应整合方案，包括：1）对各业务部门已有数据库中全部测站基本、特征值等信息开展收集与清理工作；2）对水文整编历史数据开展收集与整理，实现不同时期库表整合；3）对实时雨水情与水文整编历史数据开展收集与整理，实现数据的融合；4）对已有的数据库，包括水资源标准库、调查评价库、公报库、分析模拟库，以及地下水库、水质评价库等数据开展收集与整理；5）对各业务系统库存量数据，开展一次存量数据的同步工作。

3.1.2 综合水文数据资源池

在数据统一汇集整合基础上，建立水文数据资源目录体系。结合水文数据资源目录体系，根据国家、行业及地方相关标准，建设综合水文数据资源池，存储获取的所有数据资源。根据水文数据类型划分，综合水文数据资源池分为基础信息、监测、业务、多媒体、空间等数据池。综合水文数据资源池数据模型设计：有国家、行业标准的，沿用最新标准，进行设计；没有行业标准的业务数据库，在充分参考现有数据库结构的基础上，参考实时雨水情国家标准库设计理念开展设计。

3.2 数据质量管理设计

在数据汇集管理的基础上，还需要确保数据管理有效，保障数据质量和安全。基于数据规范及保障机制，加强数据治理，实现数据日常更新维护管理，提升数据更新管理和维护水平，构建数据灾备中心，保障数据质量、安全。

1）数据规范及保障机制。为进一步确保水文数据资源的整合共享，需要统一数据标准规范，提高数据质量精度，加强数据管理和服务能力，并保证数据安全。在梳理国家、行业已有标准规范基础上，根据云南省水文实际数据情况，梳理数据规范，基于不同类型的数据，梳理不同的数据规则，未来新接入到系统中的数据要求按照统一的规范格式提供，数据规范内容涉及类型、格式、通信、处理、存储等方面。同时制定数据更新维护管理、共享服务、考核管理、安全保密等机制。

2）数据更新维护管理平台。基于建立的数据规范和更新维护与管理机制，加强数据日常更新维护管理，各部门按照相关要求自行共享数据。系统数据更新情况的实时监控和异常报警，包括数据值异常、数据更新停止等情况，并对异常情况进行记录，便于数据问题追溯，为数据考核管理提供依据；针对人工数据，提供数据管理界面，便于数据管理人员对日常数据进行更新维护；基于数据考核管理机制，对数据质控情况进行考核评分，实现管理机制与信息平台建设的有效融合，提高数据管理效率，确保数据质量。

3）水文数据资料在线整编。为提高水文数据整编质量和效率，建设水文数据资料在线整编系统，探索新的水文资料整编方式，实现动态水文资料整编，做到“测、整、报”工作一体化，提高水文资料整编效率和质量，解放劳动生产力，加强数据服务及时性，突出水文数据价值。

4）水文数据安全保障。充分考虑水文数据安全保障问题，数据中心及相关系统部署在统一建设的云机房的专网上，严格按照等保三级要求进行建设，充分考虑系统数据的安全备份和双链路保障，并按照相应制度进行运行管理。充分利用政务云机房资源，包括计算、存储、网络、安全等资源，保障运行环境的稳定性、安全性及扩展性；为确保系统安全性及稳定性，进行系统及数据安全备份，构建数据灾备中心；为确保 14 个分局数据传输的稳定性，采用双链路方式进行数据传输，一主一备，数据传输过程如出现异常，可以及时有效地实现线路切换。

3.3 数据分析应用设计

在数据丰富、可靠、稳定的基础上，需要提高数据应用分析能力，从庞大的数据资源中挖掘有效信息，为政府、行业及社会公众提供有用的信息辅助支持，从以下 3 个方面开展数据分析应用设计：

1）水文大数据应用专题研究。以水文信息为核心抓手，从需求出发，开展水文大数据应用专题研究，实现水文与防汛、抗旱、水利工程安全运行、水利工程建设、水资源开发利用、城乡供水、节水、水土流失、水利监督和水生态文明建设等领域的交叉融合应用，梳理水文数据应用需求、技术路线、目标结果要求，为开展水文大数据分析应用提供理论支持和技术支撑。

2）水文数据知识图谱建立。在专题研究基础上，以需求为核心，建立云南省水文数据知识图谱，构建结构化的语义知识库，以语义分析技术为基础，以模型构建为重点，基于数据，利用深度神经网络、NLP 框架语义理解等智能处理技术，对输入的字、词、篇章进行多层次和多维度的信息分析，提供可远程调用的实体、关系和属性抽取等算法服务接口能力。知识图谱的建立把复杂的水文知识领域及体系通过数据挖掘、信息处理、知识计量和图形绘制显示出来，表示水文领域的发展动态及规律，为该领域的研究提供全方位、整体性、关系链的参考。

水文数据知识图谱建立步骤分为以下 2 个：a. 领域知识图谱模式层面设计。邀请水文及相关业务应用领域的专家，共同设计水文行业知识图谱，通过数据现状、收集情况等，建立基于专家经验的基本模式层。b. 知识图谱实例抽取。完成知识图谱模式层设计后，根据算法从非结构化、结构化、半结构化数据中抽取出实例，并进行数据预处理工作，如消歧、指代消解等工作，并保存为三元组存储在图数据库中。

基本技术框架如图4 所示。

图4 水文数据知识图谱技术框架

3）水文大数据挖掘分析。大数据的核心价值在于通过数据挖掘分析，发现隐含的数据价值，从而为生产、管理提供辅助决策支撑[6]。借助大数据技术，结合水文大数据专题研究，通过对水文数据的分析挖掘，让沉睡的历史数据“活”起来，服务于各行业应用场景[7]。通过历史水文数据分析，开展历史降雨数据、水情数据、泥沙资料时空分析；提供生态流量指标确定、江河水量分配、城市建设规划、工程建设规划成果分析；提供历史灾害与降雨洪水、地下水与地表径流等相关性分析。建立大数据分析模型库，实现从创建、训练到应用和管理的数学模型全生命周期体系化建设，并在此基础上，拓展多样化的数据输入、导入接口，建立基于客户账户的个性化数学模型管理体系，提供自定义算法能力，并辅以包括业务协同在内的基础管理功能，从而满足用户多样化、体系化的算法模型应用需求。

3.4 数据运营服务设计

数据除了加强应用分析能力，还需要加强对外共享和服务能力，加强数据运营服务，盘活数据，最大程度发挥数据价值。数据运营服务设计主要构建了以下 3 个中心：

1）水文数据资源共享中心。构建统一的水文数据资源共享中心，通过 API 接口，实现数据多部门数据共享交换。根据数据安全级区别和需求在全省水文系统内部分权限共享数据，数据仓库及大数据分析结果以服务方式发布，各应用系统根据权限调用；水文系统外用户根据水文数据管理要求开放数据接口。建立水文与政府部门、科研机构、企业、社会间数据互助共享协作体制机制，收集相关的自然科学、行业、社会等数据，满足跨学科、行业的数据融合与综合分析及信息服务的需求。

2）水文信息资源检索中心。建立水文信息资源检索中心，面向不同用户提供灵活多样的数据检索服务，实现云南省水文多方面信息的综合查询与多元化展示，为用户提供丰富全面的水文信息服务。系统提供智能检索引擎，实现水文信息快速查询。

3）水文信息运营服务中心。建立水文信息运营服务中心，加强水文数据资产管理，实现数据生产管理、交换管理、产品服务，以成果打包的形式（产品化形式）服务行业、社会。实现面向不同用户和发布端的水文信息服务产品的高效便捷制作、管理、发布，提升水文信息产品服务能力；提供水文数据多样发布功能，对不同用户提供不同类型的水文服务产品的输出功能，包括电子、纸质、手机App 服务等产品多种方式的发布。涉及的水文服务产品包括但不限于：a. 水旱灾害防御服务产品。提供定点定时（尤其是中小河流）洪水预报，面向风险发布预警；提供水库纳蓄能力图，掌握水库纳蓄能力、水库可纳雨量；提供汛情研判图，辅助现有情况跟历史情况进行相似分析等。b. 水资源服务产品。提供水资源承载能力评价、江河水资源开发利用情况分析、可用和江河流域水量分配指标、地下水取水控制指标等成果服务。c. 河湖保护服务产品。提供生态流量监控指标、水功能区水质、行政区界断面水质成果服务等。d. 社会水文服务产品。利用融媒体形式，将水文服务融入城市景观（如历史洪痕），为公众提供通俗易懂的水文服务。

4 结语

水文现代化是现代化水利建设不可或缺的基础支撑，具有很强的公益性、基础性[8]。现代水文的发展，离不开思想观念、体制、科技的创新，离不开信息技术的发展[9]。水文信息化建设作为现代水文工作的重中之重，是水文现代化的核心部分，是一个必不可缺的关键环节[10]。结合新时期治水方针，各界对水文信息服务能力与水平的要求越来越高。为落实水利九大业务和监督业务需求、补短板强监管的工作部署，解决云南省水文信息化发展过程中的资源整合和共享、信息深度开发和利用及决策支持等方面的各项问题，依托“云南省中小河流信息管理系统”项目，云南省水文水资源局全面开展信息化建设工作，将“整合资源、共享利用”贯穿整个建设过程，解决长期以来制约云南省水文信息化建设中的瓶颈问题。作为重点之一，云南省水文大数据资源中心的建设应用，从管理机制和机制层面创新，加强数据资源整合共享应用，充分利用现代信息技术，深入开发和分析挖掘水文信息资源，实现水文信息采集、传输、存储、管理和服务的智能化，实现水文数据高效管理，智能分析，全面共享，有效提升水文信息化水平，为防灾减灾、保障水资源、保护生态文明等工作提供全方位信息支持，为社会公众提供大水文服务，提高水文信息化效能，提升水利建设综合价值，为云南省水文信息化发展和管理工作提供坚实的数据和信息支持，为实现水文现代化提供保障，为新时代经济持续、协调、健康发展提供保障，具有显著的社会和经济效益。

今后，可在此基础上，重点对水文应用专题进行拓展研究，结合大数据分析技术加强对数据的挖掘分析和应用，提高水文信息产品服务质量，发挥水文数据效益。