山洪灾害感知数据集成规范的研究与实践

唐 治，杨 勇，别华斌

（1.杭州市临安区水利水电局，浙江 杭州 311300；2.浙江禹贡信息科技有限公司，浙江 杭州 310052； 3.安吉县老石坎水库管理所，浙江 安吉 313301）

1 研究背景

浙江省地处我国东南沿海，由于特殊地理位置，易受季风环流影响，每年有梅汛和台汛两个特殊时期，且山丘区面积占全省陆域面积的70%以上，导致因降雨引发的山洪灾害问题十分突出[1]。这些灾害的频繁发生对周边建筑设施造成了巨大的破坏，甚至对人民群众的生命安全带来隐患，极大地成为影响浙江特别是山区市县城市经济社会发展的制约因素。

基于山洪灾害带来的大量群众受灾，经济损失巨大等问题，依据2006年国务院批复的《全国山洪灾害防治规范》中提出的“山洪灾害防治能力要去山丘区全面建设小康社会的发展相适应”要求，在信息化建设中，数据面临采集、传输、治理、入库、交换这一系列流程中多个问题，例如感知体系无统一规范、传感器类别和通信标准无统一标准、多元异构数据入仓无完善的解决方案以及数据交换共享方面存在难度等问题。为此，结合实际情况，研究和提出一种山洪灾害感知数据集成规范体系，旨在建立统一感知体系规范和数据传输协议，解决数据不兼容、接入繁琐、存在安全隐患等问题，同时建立数据专门管理机制，解决数据可用性不高、共享程度不够等问题，避免数据开放不完全所导致信息资源浪费。

2 现状分析

近年来，水利信息化高速发展，山洪灾害防御工作取得较大成效，水利“整体智治”水平有所提升，但是也暴露出应急灾害管理存在的短板和薄弱之处，主要分为以下几点：

（1）感知体系集成国家尚无统一规范

目前水利感知设备设施多样，通信协议不同，没有统一的接口规范，导致数据集成技术难度大，接入工作量多，设备在线泛在诊断不易。

（2）传感器类别和通信标准国家尚无标准

当前传感器的分类尚无统一规定，传感器本身种类繁多，原理各异，故此在传感器分类工作上存在一定的困难，且各类传感器通信标准不一致，导致不同物联网企业和设备商对接各种传感器的时候，存在许多安全隐患。

（3）多源异构数据集成尚无完善解决方案

以基础数据为例，工程特性数据最多来源于省厅，部门和下辖区县，由于来源、存储形式等各不相同，数据源之间存在异构性、分布性和自治性，数据类型既包括数字、关系型数据等结构化数据，也包括图像、音频等非结构化数据。由于行业缺乏多源异构数据入仓的解决方案，当下将异构数据整合统一，汇聚共享是存在一定难度的。

（4）数据纵向和横向交换存在一定困难

虽然数字化改革后，数据的边界壁垒得到了一定程度打破，但数据共享的难度还是存在，数据部门化倾向问题突出，导致数据无法完全跨部门畅通分享，另外我国在政府数据开放规划中尚未作出专门的系统性规定，形成相对独立的管理制度体系，从而导致数据开放不完全，造成大部分信息资源浪费，成为“信息孤岛”。

3 山洪感知数据规范集成框架

根据数字化改革主体扩面、应用场景不断推陈出新，在对标“一体化”、“智能化”要求下，梳理山洪感知数据规范框架如图1所示，其中总体架构主要涵盖标准规范体系、组织保障体系、网络安全体系、政策制度体系、基础设施体系（物联感知、网络通信）、数据资源体系、业务应用体系（数据治理组件）组成[2]。

图1 山洪感知数据规范集成框架图

（1）基础设施体系

主要包括物联感知层、网络通信层，物联感知层主要通过基础设施采集数据，包括雨情、水情、视频等数据的采集；网络通信层主要负责将采集到的数据传输至数据处理中心，以此保障数据的完整和安全。

（2）数据资源体系

通过数据库、数据共享交换以及数据服务的设计，负责对采集到的数据进行综合治理，为业务应用体系提供数据支撑。

（3）业务应用体系

通过数据治理组件，提供数据治理服务，支持快速数据治理和共享服务。

在本框架下对于数据集成的设计包括：

3.1 设计原则

（1）可靠性

针对数据层、应用层等层次提供多种检查和处理手段，保障数据的安全一致，高度可靠。

（2）开放性

充分考虑开放性，相关系统中留有相应的软件接口，使各类数据资源得到很好的共享。

（3）数据可扩展性

考虑到业务未来发展对各方面数据的需要，要能够支持对多种格式数据的存储。

3.2 数据汇聚体系

3.2.1 感知数据传输规范

通过规范感知数据上报方式，将传感器采集到的数据通过数据链路，经物联网建立与上位机通信，从而将数据汇集到上位机，数据采集传输到上位机后，单位编制前置上报程序，通过专线、4G/5G网卡以及GPRS等方式上报到数据仓，具体如图2所示。

图2 感知数据上报结构图

3.2.2 感知数据汇聚规范

（1）数据采集

山洪灾害涉及数据种类繁多，包括水雨情、视频监控、安全监测、台风暴雨以及部分业务数据，针对数据存储结构不同，提供多种数据采集工具，按照通信协议要求进行统一采集处理，对于结构化数据、非结构化数据以及半结构化数据采用不同的采集工具进行数据导入，例如ETL、FTP、文件导入导出、关系数据库数据等。

（2）数据汇聚

水利领域前端感知设备类型较多，各设备通信协议不同，通过研究一种数据传输协议，适配设备的异构性，从而统一整合设备监测数据，实现数据的高效传输，同时完成各种途径数据抽取并同步至汇聚库，确保汇聚库与各数据源数据一致性、及时性。

（3）数据治理

按照水利信息资源相关标准规范要求，对集成的海量多源异构数据进行质量评估，根据数据类型及格式，定制开发数据抽取、清洗、转换、融合、加载流程，将原始分散、重复、低质量的数据，治理成为格式统一、类型统一、单位统一、编码一致、逻辑一致、数源清晰的高质量数据集。

（4）数据入库

采用数据集成自适应技术，通过对现有数据进行归集整合，继而统一入库。横向数据（包括实时数据、业务数据或基础数据）采用WebService和Webapi接口两个途径实现数据的采集，对于采集到的数据再做清理和处理存储，实现数据标准统一。针对纵向系统数据，主要通过单点登录、消息集成、DB接口方式，在遵循统一数据资源目录的前提下，进行数据的交互。

（5）数据共享交换

设计一种省市县三级交换体系，实现山洪灾害数据纵向和横向的共享交换。纵向，设计一种集中分发模式，如水雨情数据及基础数据，先汇集到省水利数据仓，再共享到系统内外，实现与省、市水利数据仓的海塘相关数据共享交换；横向，设计一种分级汇总模式，除水雨情外的其他感知数据，通过前置库数据处理平台数据清洗后，逐级汇集到省水利数据仓，再共享到系统内外，实现气象局等部门之间数据共享交换。数据的共享交换通过接口服务的形式实现，需按照既定的数据格式、共享需求编制相关服务接口。

3.2.3 感知数据治理规范

（1）数据清洗设计

数据清洗是在数据抽取汇聚的基础上，对采集的数据进行清洗、整理、筛选。通过采用正则表达式作为自定义规则，根据准确性判断规则和控制阈值，通过上报借口进行限制，防止错误数据上报系统平台，从而实现对数据有效性、数据越界、数据缺失、数据跳变等状态进行清洗和处理，主要包括非空检核、非法值检核、数据格式检核等。整个数据清洗流程如图3所示。

图3 数据清洗处理流程图

数据是否符合自动清洗判断只针对发现有效性错误后可以自动修改完善的数据。

（2）数据质量评价管理

确立有效、合理的数据质量评价和考核服务流程，强化问题认证、责任归一。支持数据治理数据质量评价及考核服务，提供对各地提交的数据质量进行监督、管理与评价，主要从数据的有效性、完整性等指标进行统计、评价和告警，针对数据质量和评价不达标的地区，系统组件自动将告警信息推送至相关地区。

图4 数据质量评价维度

4 信息化应用

（1）组件运行状态监控

提供组件运行管理控制台，用于统计组件运行状态，包括接收请求数、处理请求数、来自请求单位、执行效率、规则运行数、数据处理量，并根据日、月、季、年和行政区域、数据类型维度，提供统计分析报表功能。同时实现组件的错误日志监控，对于错误时间进行后台记录，便于迭代组件，最终实现数据治理组件运行成效分析和监控。

（2）治理消息推送

支持对组件治理后的问题数据通过浙政钉行政体系或数据责任链进行消息推送、告警、通知。

（3）安全访问控制管理

数据治理组件需要进行统一组件管理及授权访问管理，组件管理主要包括注册、发布、调用、监控；组件授权访问管理主要包括访问申请、访问授权、调用安全认证。

5 结束语

针对防洪减灾建设上存在的感知体系无统一规范、传感器类别和通信标准无统一标准、多元异构数据入仓无完善的解决方案以及数据交换共享方面存在难度等问题，研究和实践一种山洪灾害感知数据集成规范体系，建立统一感知体系规范和数据传输协议，解决数据接入繁琐，存在数据安全隐患的问题，通过正则表达数据清洗、DTS数据传输等技术，建立数据专门管理机制，解决水利数据可用性不高、共享程度不够等问题。最终凝练形成清洗、评价数据治理组件，并通过组件对全省水利数据提供数据治理服务，实现数据治理能力的高质量提升。