茨淮新河灌区数据资源管理平台建设思路探析

冯 伟

一、前言

茨淮新河灌区信息化系统是茨淮新河灌区续建配套与节水改造骨干工程项目（2016—2018年）（三期）建设的灌区综合业务系统，系统涉及运行监控信息、水位、水量、视频信息、地理信息、档案资料以及办公多媒体等数据信息，数据量大且繁杂，随着系统运行将会积累越来越多的数据。为保证系统的稳定运行，确保信息共享的高效和信息的安全，需要进行科学的、系统的数据分析，依托数据资源管理平台对所涉及的所有数据进行汇总和科学处理。

二、建设意义

茨淮新河灌区信息化建设将带来丰富的数据资源，然而一直以来水利信息化的建设缺少统一的标准规范指导，加深了数据应用和治理的难度，制约了数据共享交换能力，为了避免茨淮新河灌区信息化系统建设和运行期间呈现典型烟囱式发展格局，导致各类数据信息壁垒和数据隔阂，必须对产生的数据资源进行有效的全生命周期管理，建立规范的数据资源管理平台。

三、建设要求

安徽省水利厅大数据平台已初步建成且投入使用，平台包含省级层面数据资源管理平台的诸多功能，涉及应用设计数据接入、预处理、目录管理、共享、安全等多个方面（详见图1），可以全方位的为下级水利单位数字资源管理平台的建设提供数据应用服务支撑，因此，茨淮新河灌区数据资源管理平台的建设在包含灌区全要素信息的汇集、整编、共享交换、存储和开发功能的基础上，应符合安徽省水利厅大数据平台建设要求并可对接和共享省级层面数据资源管理平台。

图1 安徽省水利厅大数据平台建设情况图

茨淮新河灌区信息化系统数据种类较多，涉及灌区日常管理业务的多个方面，汇集原始入库数据后，需要对原始数据进行筛选和整治，按目录管理和数据规范要求进行数据的预处理和入库，再与安徽省水利厅数字资源管理平台进行共享对接。

四、建设内容

根据茨淮新河灌区信息化系统数据量和应用业务分析，数据资源管理平台的建设应包含数据接入系统、数据资产管理系统和数据治理系统等建设内容。

（一）数据接入系统

数据接入系统是在数据库设计基础上，接入实时、静态和历史数据，对数据进行集成并在水利网络内共享数据资源，主要用于系统运行期的数据集成与交换服务。

1.数据接入

为了满足茨淮新河灌区信息化系统运行需要，需接入水位、工情、雨情等水利基础数据，同时要做到数据在灌区各管理单位之间合理共享,避免重复采集、重复存放和重复加工。

2.数据集成

数据集成是根据灌区水利数据的来源、目的、任务进行分类，按照安徽省水利厅大数据平台提供36 等类水利对象数据库表结构，构建高效、易用、可扩展的数据集成模式。

对于安徽省水利厅大数据平台和灌区已建站点的数据，采用数据信息共享、人工导入和调用信息服务接口的方式，将数据一次性整编导入到数据平台中，实现数据共享，标准化处理和后续数据处理。

3.数据共享

根据全省水利数据共享发展的要求，信息化系统需建立和完善数据资源共享机制，编制数据采集传输、数据接入接口、数据共享使用等数据标准规范，并逐步形成标准的、开放的基础数据信息服务窗口。

茨淮新河灌区数字资源管理平台要和安徽省水利厅大数据平台实现水文、水量等信息、数据标准、数据目录以及政策规范的数据资源共享，使用统一建设的人口、空间地理等专题数据资源，共享业务管理中所需的数据信息。

（二）数据资产管理系统

数据资产管理系统主要针对数据库系统进行设计，在理清灌区数据现状的基础上，按照基础数据和业务数据两个维度进行数据库规划，同时按照水利对象数据库表结构，进行数据库表的设计，保持与安徽省水利厅数据资源管理平台的水利对象结构一致。

（三）数据治理系统

数据治理系统是按照安徽省水利厅数据资源目录的相关要求，对原始数据进行筛选和归集，包括数据采集、数据整理、数据补录和数据校验等。

1.数据采集

数据采集可以分类别、分地域进行收集，收集尽可能多而全面的相关资料信息。茨淮新河灌区信息化系统数据分为三个级别：废弃数据、待调整数据、可转换数据。废弃数据是对系统资源造成浪费的数据，且会影响系统的运行，比如重复的业务信息；待调整数据是严重影响新系统的运行的数据，必须进行人工调整后才能进行数据转换；可转换数据是不需做任何处理，基本满足数据转换的要求或者是新系统建议调整，但是不影响系统运行，可以在新系统运行后再调整的数据。

2.数据整理

数据整理是将数据整理为系统转换程序能够识别的数据。数据整理大致分为两个阶段：第一阶段是将不同类型来源数据采集备份到统一的数据库中；第二阶段是将原始数据按照不同业务要求进行分类，进入不同的中间数据库，为数据转换提供中间数据。

3.数据补录

数据补录主要是对需要扩充的业务数据进行补录。这些业务数据有的是原来没有收录，多数是非电子格式或非结构数据；有的是原已收录但数据结构和格式与新系统相差太大，无法通过数据整理工具整合，需要人工补录或补录工具软件转换补录到新系统中。

4.数据校验

通常情况下，数据校验是先对历史数据结构进行分析，对于比较规范的业务数据先导出至中间数据库，再对剩下的数据通过数据积累的校验方法进行数据校验，校验并修正数据的类型、范围以及合法性等相关数据属性，以确保数据整理的快速有效。

五、结语

茨淮新河灌区数字资源管理平台按照安徽省水利厅大数据平台规范要求，运用数据库、网络储存、数据备份等技术，建立协调运行机制和科学数据管理模式，可实现灌区全要素信息的汇集、整编、共享交换、存储和开发，可以全方位的为灌区信息化系统的建设和业务数据交换共享提供应用服务支撑■