一种基于层次结构的城市防汛平台设计

闫健卓，卜云飞，于涌川，高凯丽

（北京工业大学，北京 100124）

0 引言

中国是世界上洪涝灾害最频繁的国家之一，诸多大中型城市出现了道路积水瘫痪，车辆拥堵，低洼地段积水内涝的情况[1]。2012 年北京市特大暴雨灾害，更是造成 77 人死亡与极大经济财产损失[2]。社会对防汛工作的要求不断提高，需要建设更加可靠高效的防汛机制，提高城市防汛中的信息采集与处理能力则成为当务之急。但由于城市防汛业务的复杂性，以往的防汛工作基本是割裂开展的，水利、气象、市政等部门各自为政，出现了信息隔离、汛情预警不及时的问题。

在计算机科学与大数据的浪潮下，城市防汛工作引入了更多信息技术手段。以北京市水务为例，截至 2017 年，已建设完成 1 个基础设施平台、1 个中心综合数据库、6 个业务应用体系、3 个保障环境，并累积了数十年的暴雨与积水数据[3]。这些不断增加的巨量水务数据，如果能够有效利用，将对城市防汛工作提供极大帮助。在此基础上，提出一种基于层次结构的新型智慧化的城市防汛平台，从北京市水务局的业务需求出发，通过水务物联网的建设，对城市各环节进行动态监测，实现对城市水务环境的立体感知；将采集的数据传输至数据处理平台，在分布式存储与并行计算技术的支持下，优化数据结构与水文模型；利用云计算、空间信息技术，对海量水务数据进行分析、预测，完成洪涝状况与城市资源的全面调控；并以友好的可视化技术提供实时的信息发布服务，实现城市水务的智慧化服务。

1 总体设计

目前的水务工作在城市防汛方面仍存在较大短板。北京市特大暴雨灾害表明，加强城市防汛建设，加大暴雨灾难预警预报、资源整合调配和社会参与动员，构建全面系统、立体式的城市大暴雨防灾减灾体系刻不容缓[4]。城市防汛平台的智慧化建设，需要以水务业务工作需求为导向，建立全面的感知，汇集社会资源，以科学的决策指导水务业务工作[5]。建设智慧化的城市防汛平台，是将人的智慧与传统的水务业务结合的结果，智慧水务总体架构如图 1 所示。可通过以下 3 个阶段实现智慧水务建设：1）水务大数据建设。将大量高精度、敏捷化的传感器植入社会-自然二元水循环体系中，实现毛细血管级的全天候监控，构建泛在化的水务物联网。2）水务平台一体化。通过云平台、超融合等技术将计算机集群与业务数据管理平台进行融合，建设符合业务需求的数据中心；利用分布式计算、数据挖掘等方式，实现数据的快速分析处理。3）水务系统集成。将原有的各业务系统进行整合，建设综合性更强、效率更高的业务应用系统，在电子政务、水务业务管理、社会公众服务等领域提供服务，对城市水务进行精细化、灵活化管理，达成智慧化的业务应用[6]。

2 立体感知

立体感知即通过空天地一体化、物联网等技术实现泛在化的水务大数据的过程[7]。根据立体感知概念构建的水务大数据，按信息来源不同分为水务物联网采集与外部采集共享 2 类数据。基础设施模块为整套体系提供感知、存储、计算、控制的设备；信息采集模块则将获得的信息进行加工和分类得到更加精准、全面，更符合逻辑的数据，使感知手段更便捷，速度更快，精度更高，覆盖范围更广。

图 1 智慧水务总体架构图

2.1 基础设施

基础设施包括从信息采集、网络通信、数据存储到业务应用流程中使用的全部物理设施[8]。建设基础设施是为了能够获取信息源产生的水压、水位、流量、雨量、水温、水质、蒸发量等数据，将采集的数据保存在半持久化的数据存储设备中，通过通信设备传输到数据中心集中存储。

由于城市防汛工作中存在突发性、暴露性、危害性等问题，通过实时监测设备及时获取数据显得尤为重要，包括雨量、积水量、排水管网压力、管网等监测设备，取水栓控制装置，以及供水泵和排水泵监控设备。在建设智慧水务工作中，合理选择基础设施，并结合地理空间技术分配到合适的监测点，是构建水务大数据的关键。

2.2 信息采集

目前采集的信息主要是水务业务数据，拟建设的水务大数据的信息采集体系将包含 3 个大类、多个子类。3 个大类数据如下：1）水务业务数据，主要包括水文水资源、水环境、供排水、节水、积水等数据；2）网络舆情与系统数据，此类数据以非结构化的文本数据居多，在信息采集过程中需要更多的清洗工作，包括用户投诉、微博、微信聊天、系统运行状况等；3）其他涉水领域共享数据，主要由交通、人口、经济、气象、环保、城市规划等交叉领域的数据组成。水务业务数据是信息采集的核心与重点。当前北京市水务重点监测对象，具有对象繁多，监测频率不均衡，覆盖范围广阔，影响因素复杂等特点。监控与信息源主要是供水地水源、重点用水大户、排污口、城市河湖、水利工程安全监测，包括水量、水位、流量、水质、净水量、再生水量、气象、GIS 等数据。根据北京市水务主营业务特征，规划构建主要围绕防汛、水资源、水环境和水生态管理的四大监测体系。针对重点监测对象与水文水资源、水环境、供排水、防汛抗旱等的业务需求，有针对性地配置一些监测设备，将采集回的数据进行清洗、分类、整理，再按照标准规范格式存储到数据库中。

3 数据中心

水务数据中心是集水务数据汇集、交换、共享、处理、分析、服务于一体的综合数据处理平台，在智慧水务建设中处于核心地位。

由于水务数据具备规模大、计算量大、多源异构等特点，需要大幅度提高水务数据中心的存储与计算能力，云计算和大数据处理技术能够提供可靠的支撑。综合分析水务业务需求、元数据结构与原主题化业务库的设计，目前需要在数据采集的要素、时间、频次、空间密度、准确性与精度上进行协调规划。从数据的组织开始，通过降维、抽取、主题化等方式，形成新的数据结构，满足非结构化、半结构化数据处理的需求。如图 2 水务数据中心数据传输结构图所示，在数据存储环节，遵循主题、结构的基本数据存储，形成支撑上层数据分析产品、面向主题的业务应用及多模式的信息发布服务，强调对大量多源异构的水务大数据的动态组织[9]。

图 2 水务数据中心数据传输结构图

数据收集与集成。由于水务数据多源异构的特性，在实际工作中，多源端的业务数据的类型、格式、标签等均不一致，需要对其依照元数据结构进行动态抽取和清洗。从源数据中提取出关联关系，经过关联聚合之后，采用统一的结构存储[10]。

数据分析与应用。目前水务数据的分析还停留在结构化数值数据统计分析的层面上，可将水务大数据分析机制应用到更多情况中，包括基于语义的语义云，基于图像的现场信息采集，以及 PB 级数据的存储与并行分析计算等，采用数据挖掘、机器学习、分布式计算等技术辅助分析，难点是解决水务数据处理过程中的大规模计算的时效问题[11]。由于水务数据极强的时效性，导致只在某一段时间内数据具有较高价值，因此须在大数据的环境下进行实时流处理，保障实时性与准确率间的动态平衡，实现业务的快速反应。同时需要有简洁易用的人机交互界面，帮助领域专家与业务用户利用领域专业知识加入先验知识结果集，对水文水利进行数学建模，辅助计算机分析计算。

这种新型的水务数据中心，与传统关系型数据存储架构的主要区别在于：采用云平台、分布式存储技术，存储与计算能力更强；通过人工智能、深度学习技术，提升了平台的智慧化水平，帮助用户分析决策。从水务信息化发展的角度看，智慧化的水务数据中心是传统水务的升级扩展，是水务信息化发展未来必然的趋势。

4 智慧应用

智慧应用层位于城市防汛平台体系的最顶层，通过对行业管理与服务需求的分析，建立运行监测、协调联动、决策支持、公众服务于一体的水务大系统，是直接面向用户的展示平台和数据交互窗口，可根据用户的业务需求提供服务。

4.1 业务应用

在业务应用层，建立以业务管理平台为核心，数据平台为支撑，结合外部窗口化服务的智慧水务综合性应用体系。根据个性化模块建设的思想及北京市的业务需求，分为监测、控制、管理、指挥、发布等业务。各业务模块之间相互分离，避免内容重叠，通过数据中心实现数据共享，并在业务实施时相互协作[12]。

目前，北京市水务局在防汛、水资源、水环境、供排节水、安全方面有较多需求，这些业务可以统一规划到业务管理平台的工作范畴。由信息发布平台提供实时规范的便民信息，当遇到紧急灾情时，也能够及时发布灾情预警、防范等信息。在此基础上建立应急指挥平台，在防汛应急处置、资源调度等方面提供服务，确保人民的生命财产安全。由于北京市洪涝灾害具有季节性强、突发性大的特征，通过对监测对象特殊情况下的实时监测，可及时发现、应对、处理。因此，需要搭建智能监控平台，将监测业务进行整合和统一管理，优势是能够系统地管理监控对象，通过顶层的集体调配，实现资源的整合利用。同时，需要建设水务行业内部管理平台，建立工单、任务、行政管理机制，从而节省人力、物力、时间。

在应急指挥和业务管理平台的基础上，建立防汛监测与指挥工作机制，实现对城市洪涝灾害的预警与处置。防汛业务流程如图 3 所示，在每年雨季暴雨易发时期，通过气象、水文部门协同工作，加强辖区内的积水、降雨、河道流量等信息的监测，提高防汛监测预警能力。分类型、部门、等级发布汛情，根据汛期状况变更、解除汛情预警。预警信息发布过后，启动应急响应程序，按照对应的灾情预警等级，采取对应的响应措施。通知各级部门人员及时到岗，对灾情发生现场进行处置，并将灾情信息分类，按照灾情预案开展工作，保证人员生命财产安全。如发生紧急汛情，采取紧急应对汛情方案，并将灾情上报防汛办公室进行全市统一调控。应急响应结束后，做好灾后的恢复重建工作，包括水毁工程、设施修复，抢险物资补充，灾后救助等。

图 3 防汛业务流程图

4.2 用户服务

用户层主要实现平台各类用户的权限、功能、管理等服务。当前用户按照群体区分为政府部门、事业单位、水务企业与普通公众等。政府部门和事业单位的主要职能是决策、管理、行政，应为其提供面对洪涝灾害时的应急指挥、信息发布、行政管理、业务事务处理等平台支撑服务。为帮助水务企业用户更好地服务于居民，需要提供智能控制、行业事务管理、系统内部管理与及时的信息服务。普通公众，则更关心水务各行业提供的最直接的降雨、灾害、供排水、水电费等基础信息，可以通过与社交、支付等平台合作，开放相关接口，为公众提供新型水务业务。

5 平台功能

新型智慧城市防汛平台以北京市水务局的业务数据库作为模拟数据源，提取了 12 个数据库，上千个数据文件，共 80 GB 和 2.4 亿条记录。本研究选择在 Hadoop 平台上，采用 Hive 联合 HBase 的数据存储方式，基于 Spring 架构、Tomcat8.0 容器、Eclipse 开发工具实现平台的防汛业务系统应用。

5.1 分布式数据存储与分析

防汛平台基于 Hadoop 技术，由 HBase 实现分布式数据存储；使用 HBase 联合 Hive 架构进行数据关联映射，实现水务数据的类 SQL 语言查询功能；通过编写 MapReduce 程序实现数据并行分析计算；提供 Hive 的应用接口，可以将查询等数据操作通过内置的转化模块完成。

5.2 防汛预警信息发布

针对雨量站与受城市暴雨影响的街道、立交桥等城市低洼地段的相关关系，对实时、遥测雨量进行数据分析与挖掘，对产生预警的地段向相关单位和地区发布预警信息。用户收到信息，通过建立好的防汛预案进行排险操作。

5.3 水雨情分析

防汛业务系统结合空间地理信息，实现对实时雨情的在线监控，实现河道和水库水位、积水点积水、时段降雨量等信息的监测预警，实现对城市内河、湖泊、水库的监控，用户可以实时掌握雨水情的信息。

5.4 积水风险分析

通过对低洼地区的积水信息、雨量状况、时序信息的关联分析，对暴雨导致的积水概率进行计算，进而分析各低洼地区的洪涝风险等级。如图 4所示，为编码 330330324 的监测站，在 2012 年度发布的 4 个低洼地段的积水风险预警次数直方图，再结合各测站的空间地理坐标及积水次数、量、概率等信息，可综合评估各低洼地区的积水风险。

图 4 某监测站 2012 年度洪涝积水风险分析示意图

本研究以时段雨量为例进行数据分析，测试防汛平台的查询速度。在北京市共安装有 1000多个传感器，每隔 15 s 采集 1 次数据，在持续降雨的情况下，每天采集的监测数据达到 GB 级别。选取了1，10，50，100，500 MB，以及 1 GB 的数据量，分别进行列族条件查询与计数叠加计算。数据处理的测试效果如图 5 所示，平台在较大数据量级 1 GB 时，数据查询时间为 27 s，数据叠加计算时间为 38 s，能够符合业务需求。查询与计算时间并不随数据量的上升呈指数级增长，证明分布式并行计算能够有效提升平台处理数据的效率。

图 5 数据处理测试

通过建立积水与降雨的关联性分析，将原来接近 8 h 的数据分析时间缩短到 30 min 左右，实现了数据的快速分析应用，提高了水务行业处理突发事件的及时性与准确性。

6 结语

在对水务数据与防汛业务进行分析的基础上，设计实现了基于层次结构的新型智慧化的城市防汛平台，为智慧防汛的建设提供了理论与实践支撑。在立体感知层面，通过植入大量传感器，扩大数据采集的深度与广度；在数据平台层面，通过分布式技术，可以实现海量水务数据的存储与处理，提高数据查询、洪涝模型分析效率；在业务应用层面，可以通过个性化、标准化的模式提高应用系统的适用性。如何更精确、全面地采集数据，如何处理、利用、分析监测数据，通过何种方式实现数据驱动业务的发展，是未来智慧水务环境下的水务信息工作者面临的极大挑战。本研究有利于智慧水务的城市防汛业务建设与实施，为解决城市内涝积水问题提供重要途径。