大数据和云技术在省级山洪监测预警中的应用

李冬杰，王爱娜，肖凤林，李 暨

（北京金水信息技术发展有限公司，北京 100053）

大数据和云技术在省级山洪监测预警中的应用

李冬杰，王爱娜，肖凤林，李 暨

（北京金水信息技术发展有限公司，北京 100053）

针对部分已建省、市级山洪监测预警系统功能较少、运行效率低、性能指标不达标的问题，结合县级防汛部门对监测数据可靠性和时效性需求，在现有山洪灾害防治体系的基础上，提出基于云计算、大数据等关键技术的省级山洪监测平台总体设计架构，分别从云架构基础设施、大数据资源中心、平台即服务和山洪灾害监测预警软件即服务等 4 个层次介绍云技术及大数据的具体应用方案，探索系统应用模式，展望应用效益，大数据和云技术为省级山洪监测预警平台建设提供强有力的技术支撑。

山洪灾害；大数据；云技术；按需定制

0　引言

近年来，由于山洪暴发引起的溪河洪水泛滥、泥石流、山体滑坡等自然灾害频繁发生，带来了人员伤亡、财产损失、基础设施毁坏及环境资源破坏等多种伤害。国家对山洪灾害极其重视，根据党中央国务院的战略部署和 2011 年中央 1 号文件等相关文件要求，依据《全国中小河流治理和病险水库除险加固、山洪地质灾害防御和综合治理总体规划》的内容和任务，建设完成了全国 2 058 个县的山洪灾害监测预警平台，29 个省、新疆生产建设兵团和305 个地市的山洪灾害监测预警信息管理系统［1-2］；开展了全国山洪灾害防治项目建设，建立了全国山洪灾害防治数据库，开发了国家级山洪灾害调查评价数据审核汇集系统和监测预警信息管理及服务系统。

云计算、大数据时代的到来，为山洪监测预警平台建设带来了新的解决思路，全国山洪灾害防治项目实施方案大纲（2016—2020 年）已提出升级完善省、地市级监测预警信息管理系统，利用大数据、云服务、移动互联网等新技术，提高系统的监测预报预警能力和数据运行维护效率，扩大预警信息覆盖面，逐步开展山洪灾害预警信息社会服务的建设要求。但是目前市级山洪灾害预警系统功能较少，服务水平较低，系统的性能指标不能满足《省、地市级山洪灾害监测预警信息管理系统技术要求》的要求［3］，一些省份研制的全省集中式系统，预警方式单一，对于县级及乡镇来说反应速度不够迅速，使得预警效果难以满足实际需要［4］。部分省、市已建系统虽然基本能满足防汛工作需要，但操作便携性差、查询分析关联性不强，运行效率较低，数据量大时会造成系统卡死，统计报表不完善，给用户工作带来极大不便。

为此探讨大数据和云技术在省级山洪监测预警平台中的应用方案，为下阶段省、地市级监测预警信息管理系统升级改造，实现山洪监测预警数据多级共享，业务应用多级服务提供技术支撑。

1　建设目标

在现有山洪灾害防治体系的基础上，以省（自治区、直辖市、新疆兵团）为实施单元，服务于省、市、县三级山洪灾害防治管理机构，充分运用大数据、云服务等技术和资源，搭建省级云架构基础设施，并在此基础上部署大数据平台，实现对山洪大数据的处理和运算，实现海量数据内在逻辑关系的挖掘和分析，以满足山洪监测预警服务的需要，并通过整合完善已有功能，建设省级山洪监测云平台，采用分级分块权限管理和独立展现的模式实现省、市、县各级用户业务协同，使各级防汛部门能够及时掌握山洪灾害实时监测、预警、响应信息和防治情况，提高各级各部门之间的应急联动，提升综合防灾减灾能力，提高山洪灾害科学管理水平。

2　建设方案

2.1总体架构设计

系统总体逻辑框架是系统的核心，根据具体建设内容及要求，将系统总体逻辑架构自下至上分为云架构基础设施层、大数据资源中心层、平台即服务层和软件即服务层；同时安全保障体系标准规范体系贯穿整体系统，如图 1 所示。

1）云架构基础设施。基础设施层资源池主要包括计算、存储和网络等资源池，为上层的软件和数据等提供基础的计算、存储、网络服务，云架构的基础设施可通过资源的池化，实现资源的动态分配、再分配和回收。

2）省级山洪灾害大数据中心。数据库建设采用已颁布的国家或行业标准建立数据库，主要包括山洪灾害监测、山洪灾害预警、调查成果、分析评价和空间库等数据库。数据类型包括结构化、半结构化和非结构化等。

3）平台即服务层。平台服务层主要提供应用开发、测试和运行的平台。在原应用支撑平台基础上增加了大数据商用和开发类支撑软件，实现对省级山洪监测预警数据的基础分析功能，提供基础数据产品服务。

4）山洪灾害监测预警软件即服务。软件即服务是一种软件使用模式，在这种模式中，软件及其相关的数据被在云端集中式地托管。在应用模式上提供服务于各级用户的基于云端服务的业务应用，同时增加了基于大数据进行智能决策的模块，实现大数据挖掘、分析与应用功能。

2.2云架构基础设施

省级山洪监测预警平台可以采用云架构基础设施，其中交换、空间、应用及数据库等服务器均为建立在 2 台高性能服务器上的虚拟机。虚拟服务器通过 2 个光纤交换机连接存储控制器，进而达到实现高性能存储的目的。此配置为支持基础大数据分析处理及省、市、县三级山洪监测预警应用的基本建议配置，在下阶段省级山洪监测预警平台建设过程中，应充分分析省已建基础设施情况，对不满足条件的省、市宜参照此配置进行完善。

云管理软件推荐采用开源的 OpenStack 实现，OpenStack 是一个开源的云计算管理平台软件，由NASA（美国国家航空航天局）和 Rackspace 合作研发，可以实现对服务器、存储、网络等软硬件资源的统一调度管理，为用户提供自助式服务界面，支持多租户资源共享、安全隔离和按需弹性计算等功能。

2.3大数据资源中心

2.3.1数据获取

省（自治区、直辖市）大数据中心数据源横向来源于现有的省级防汛指挥办公室、水文局，包括水文局的实时水雨情、工情、气象数据；国家防汛抗旱总指挥部的全国山洪灾害防治数据库及现有国家防汛指挥系统，水利普查系统和国家水资源管理系统的业务数据。数据源纵向来源于市、县等单位的山洪灾害调查成果数据库，同时通过信息共享交换系统与国家级山洪灾害实时监测库同步共享。

2.3.2数据库规划设计

通过数据获取采集的数据信息类型包括：RDMBS 数据（结构化）；音频、视频和图像（非结构化）；文档、Excel 表格和 PDF 文件等数据（半结构化）。按照国家、行业标准和本系统的规范，通过信息资源规划，规划建设山洪灾害监测、山洪灾害预警、调查成果、分析评价和空间库等五大数据库，获取的数据通过整合处理、质量控制和入库复查，最终完成信息资源库的建设。

2.3.3大数据存储及管理

在原省级山洪数据库基础上增加了大数据存储平台和管理。推荐采用基于开放的 Apache Hadoop框架进行大数据存储和管理，Hadoop 是一个由Apache 基金会所开发的分布式系统基础架构，支持用户在不了解分布式底层细节的情况下，开发分布式程序。大数据存储平台在建设初期使用已有存储资源；大数据管理在关系数据库管理系统和文件系统基础上，增加 NoSQL 数据库和分布式文件系统HDFS，实现对半结构化和非结构化数据的获取和组织。在海量数据处理方面，应针对不同的数据类型考虑不同的技术，如针对数据量大且不间断的实时数据，需考虑采用流计算技术进行处理；针对数万亿行松散记录的查询则可以考虑采用大规模 NoSQL技术［5］。

2.4平台即服务

平台即服务层通过对底层基础设施和数据资源进行封装，对开发者屏蔽底层的存储、网络、计算和数据资源，以统一的开发接口供应用开发者进行调用。本平台除常规的统一用户管理及身份认证、统一数据访问、电子文档管理、报表服务等常规服务支撑外，需提供大数据分析服务，主要完成数据处理和分析功能，并通过数据服务为应用层服务。数据服务层应以数据之间的关系挖掘为主要方法，围绕山洪监测典型应用需求，以跨业务、跨层级、跨数据资源为重点，提供危险区相似性和山洪多因素诱因分析等数据产品服务。

2.5山洪灾害监测预警软件即服务

2.5.1云服务资源管理中心

云服务资源管理中心是管理服务的核心，它实时管理各种已经注册的服务资源，客户端先访问此中心的服务再去寻址调用服务。在服务器端可以通过网页查看各种服务资源的注册与管理状况并完成服务的启动、停止，还可以人工完成各种服务的注册、修改、查询、删除、状态变更等，同时实时监测所有服务的调用情况。

2.5.2山洪灾害监测预警平台应用开发

开发综合信息服务、综合预警预报、大数据智能决策、运行监测、社会化服务功能，并注册到云服务资源管理中心。

1）综合信息服务。综合信息服务系统基于“一张图”汇聚了山洪灾害监测、预警、调查评价成果等多源信息，对雨水情信息、墒情、旱情、工情、气象国土相关信息，山洪灾害预警等信息监控，统计，分析与展现。采用分级分块权限管理和独立展现、搭建云架构的省级山洪灾害监测预警信息综合服务平台，为省、市、县三级防汛抗旱管理部门提供业务应用。

2）综合预警预报。开发山洪灾害预警预报分析系统，基于实时雨水情信息和气象临近数值预报，以小流域基本单元为基础进行网格化暴雨洪水动态模拟分析，确定山洪灾害不同预警等级风险范围，通过用户等级权限控制，提供县级用户对山洪灾害预警监视、响应等业务工作平台，省、市级用户对县级山洪灾害防治单位上报和发布的预警信息进行监视，查看和统计分析。本系统建成后，应与现有县级山洪灾害监测预警平台形成主备方式，以本系统作为省、市、县三级山洪灾害预警监视，响应，反馈，统计的主要业务平台，现有县级山洪灾害监测预警平台为备用业务平台。

3）大数据智能决策。通过调用平台即服务相关服务产品，提供危险区相似性和山洪多因素诱因分析相关服务。危险区相似性分析主要基于各小流域样本数据，假定暴雨和洪峰流量是同频率，依据频率暴雨通过单位线获得控制断面的洪峰流量，利用水位流量关系曲线转换为对应的水位，确定出断面的各级危险水位，并以此水位，结合地形地貌情况，分析相似危险区，提供相似小流域山洪风险互警等功能；山洪多因素诱因分析主要通过山的海拔、坡度、走向、植被和土壤等状态的精细化分析，通过大数据关联分析，寻找这些数据与山洪之间的联系，辅助山洪灾害精准预警预报。

4）运行监测。建立统一的运行监测管理功能，实现网络、系统设备、遥测数据的接入，实现对系统网络和设备的运行情况实时监控，对水文遥测数据的质量控制。省、市级用户通过运行监测系统定制相关服务实现对系统网络监控，系统数据监测及对设备运行情况及异常数据站点统计信息的查看和维护；县级用户则只需定制异常数据校核、提示、处理，屏蔽站点恢复，异常数据站点统计，设备运行情况信息的查看和维护等相关服务。

5）监测预警信息社会化服务。应用提升社会化服务功能，开发面向群众的防洪减灾信息服务的APP，提供全面和综合的水文、气象、灾情等信息监视、信息查询，避险路线设计、智能导引等功能；同时建立以预警预报数据服务为核心的综合服务推送系统，实时接收并处理预警预报系统的数据，并针对不同用户需求进行内容分发，定制精准服务推送，通过广播、网络、社会媒体和户外电子屏等多种渠道对外发布。

2.5.3系统使用模式

面向国家、流域机构、省（市）、县四级防汛指挥部门使用各自的硬件终端通过公众服务网或互联网接入到软件即服务服务器群组注册，由服务器统一安排资源。现阶段县级部门可以采用县级系统及云端访问并行的方式运行，逐步过渡。用户可以根据其权限通过个人电脑、智能移动终端或者网页浏览器访问综合信息平台，获取相应的数据及服务。

3　应用效益展望

3.1资源按需定制，减少维护成本

考虑到县防汛抗旱部门，资金、人员都十分有限，无法投入太多力量管理维护服务器等基础设施及相关系统，下阶段转变建设模式，从以县级防办为主体的分散建设模式，转变为以省（自治区、直辖市、新疆兵团）防办为主体的云数据及应用中心的建设模式，搭建云计算基础架构的省级山洪监测云平台，可以以弹性、按需获取的方式通过网络向辖区各级用户提供相关服务，可以有效地实现应用资源按需定制，减少维护成本。

3.2实现资源的共享，消除信息孤岛

目前省、市、县三级防汛部门均开发了山洪监测预警相关系统，系统间需要进行数据及服务的交互和共享，与其他部门之间有时也需要进行数据的共享，基于云架构的省级山洪监测预警平台具有良好的开放性，系统可以以服务形式向其他系统提供数据、工具或计算模型，各县级用户及相关部门，可以根据其权限通过相应的协议访问云平台的资源。该架构可以很好地实现系统间信息和资源的交互，消除系统间存在的“信息孤岛”现象。

3.3丰富系统功能，提升服务能力

通过建立涵盖综合信息服务、综合预警预报、大数据智能决策、运行监测、社会化服务于一体的省级山洪监测预警平台，以多种可视化的方式进行信息的集中展示，提供全面综合的预警监视、智能决策和信息服务，将极大地改善现有系统部分市级山洪灾害预警系统功能较少、服务水平较低、操作便携性差、关联性不强等现象，全面提升综合服务能力。

3.4提高数据分析速度，提升响应速度

通过大数据系统备份或抽取历史数据资源，重构数据结构，针对典型应用添加算法模块，实现对大批量信息检索及统计分析的实时处理。如以小流域基本单元为基础进行网格化暴雨洪水动态模拟分析，通过常规的分析计算方法，从数据分析到结果发布需要较长的时间，但在大数据分析框架下，只需要几毫秒即可完成该分析计算。大数据的应用将有效地提高数据分析速度，解决原集中开发省级系统由于计算速度慢，预警发布不能满足县级及乡镇对预警信息获取时效性需求的问题，提升预警响应能力。

4　结语

大数据和云技术为省级山洪监测预警平台建设提供了新的思维方式，构建省级山洪监测预警平台，可以解决长期困扰各级防汛抗旱管理部门的山洪监测数据存储管理和共享中存在的问题，提高山洪灾害信息传递的时效性和可靠性，提高对山洪灾害的应急反应能力。但当前大数据获取、管理、分析和安全等关键技术尚无统一的技术规范把控［6］，寻找大数据和云技术等相关技术与山洪监测预警的应用切合点还存在一定的难度。下一步，还需要在标准规范制定、应用适应性分析等方面加强工作力度，以期通过运用大数据和云技术等技术在山洪监测预警信息的综合利用，在提高预警预报准确性和时效性等方面取得新的突破。

［1］ 涂勇，何秉顺，李青，等. 山洪灾害数据共享问题初探［J］. 中国防汛抗旱，2014 （4）: 1-2.

［2］ 何秉顺，黄先龙，郭良. 我国山洪灾害防治路线与核心建设内容［J］. 山洪灾害防治，2012 （5）: 19-22.

［3］ 林荡. 岳阳市山洪灾害预警信息系统设计与实现［D］. 长沙：湖南大学，2014.

［4］ 包鑫. 暴雨山洪灾害监测预警系统的研究与实现［D］. 南昌：南昌大学，2009.

［5］ 赵刚. 大数据技术与应用实践指南［M］. 北京：电子工业出版社，2013: 55-56.

［6］ 朱建安，巩建国，戴帅. 公安交通管理大数据系统框架设计与应用展望［C］//中国城市规划学会，城市交通规划学术委员会. 协同发展与交通实践——2015 年中国城市交通规划年会暨第 28 次学术研讨会论文集. 北京：中国城市规划设计研究院城市交通专业研究院，2015: 34-43.

Application of Big Data and Cloud Technology on Mountain Torrent Disaster Monitoring of Provincial Level

LI Dongjie，WANG Aina， XIAO Fenglin， LI Ji
（Beijing Golden-water Info-tech.Ltd.， Beijing 100053， China）

Aiming at the existent problems of some completed provincial level mountain torrent disaster monitoring Information systems， such as less function， low efficiency， and performance index of not meeting with the standard，based on the existing flood disaster prevention and control system， the article proposes the overall design architecture of the provincial level mountain torrent disaster monitoring information platform which based on cloud computing，big data and other key technologies. The specific application solution of big date and cloud technology on mountain torrent disaster monitoring information platform of provincial level introduced from four aspects， respectively， from the cloud infrastructure， big data resources center， platform as a service， mountain torrent disaster monitoring software as a service. It also discusses the system application mode， and looks forward to the significance and benefits. The big data and cloud technology can provide effective technical support for the establishment of the provincial level mountain torrent disaster monitoring Information platform.

flood disasters； big data； cloud technology； delivered on demand

P332.3

A

1674-9405（2016）04-0010-05

10.19364/j.1674-9405.2016.04.003

2016-05-05

李冬杰（1978- ），女，吉林辽源人，工程师，主要从事水利信息化系统设计。