关许为,肖庆华 ,张 庆
(1. 上海勘测设计研究院有限公司,上海 200434;2.上海浦宜亚软件有限公司,上海 200063)
上海三面滨江临海,易遭受风暴潮、上游洪水等灾害的影响,沿江海堤防是抵御风暴潮等各种自然灾害的第一道防线,其安全可靠性和防御能力直接关系上海城市的安全。
然而,20世纪90年代以来,由于人类活动、气候变暖、海平面上升、风暴潮频发以及上游工情水情变化如流域来沙的逐年减少等多重因素的交互影响,导致部分岸段堤防及围垦工程前沿滩地冲刷加剧,长江口与杭州湾重要岸段堤防及围垦工程安全保障受到严重威胁。如1997年8月18日,“9711”号台风影响上海,阵风普遍达到8~10级,崇明阵风11级,芦潮港阵风达12级(38 m/s),导致吴淞口潮位5.99 m,超过警戒水位1.19 m破历史纪录。暴雨和大风造成市区防汛墙决口3处,漫溢倒灌20处;沿江沿海主海塘多处溃决,受损处511处(69 km)。金山嘴潮位达到6.57 m(历史最高潮位5.97 m);奉贤长约22.6 km堤防全线漫溢;松江县沿黄浦江有35处(14 km)漫溢,13处(158 m)溃决。台风袭击过程中,死亡7人,伤多人,直接经济损失6.3亿元以上。
多年来围垦工程是解决上海城市土地资源短缺矛盾的重要途径,自1949年以来,上海市通过滩涂围垦新增土地面积约185 万hm2(相当新增陆域土地面积20%),为上海城市可持续健康发展提供了有力保障。但是,堤防及围垦工程安全与防护相关的科研工作还相对滞后,堤防及围垦工程防御预警能力还相对较弱[1]。此外,目前上海市堤防管理智能化、网格化、信息化、精细化程度仍不高,有必要应用目前互联网较先进技术开发研制上海市堤防安全智能化管理信息系统[2],为上海市长江口与杭州湾重要岸段堤防及围垦工程安全管理科学决策提供信息化平台支持。
综上所述,堤防管理信息化[3]是堤防管理的现代化要求,也是提高堤防管理和抢险能力的有效手段和方式,可以为堤防管理部门及时、准确地进行决策提供依据。在此基础上,物联网云平台技术[4]的应用使信息管理系统的扩容性得以提高,并进一步加强了堤防安全管理的高效性、实时性及可靠性。
图1和图2分别为堤防云平台总体物理架构图和堤防云监测节点的架构图。
图1 堤防云平台总体物理架构图
图2 堤防云监测节点的架构图
通过超大规模部署堤防云监测节点,组成堤防监测物联网,针对堤防监测建立堤防云监测平台。堤防云监测节点的监测项目相关信息,通过GPRS进行无线数据传输,传输到云平台,在数据接收服务器上进行数据接收、解析和预处理,将数据存入数据立方进行云存储和云计算[5],并且通过WEB服务器进行数据的最后处理和发布。通过WEB页面和移动终端可以实时的查看所有堤防云监测节点的监测项目的实时情况和历史数据,以及监测项目的变化过程,为堤防管理者用大数据科学地分析堤防安全情况,及决策制定提供完善的堤防安全的信息化技术支持。
堤防云监测是堤防监测物联网的核心,实现了网络节点的配置和控制、信息的采集和计算功能,在实现上可以采用分布式存储、分布式计算技术,实现对海量数据的分析处理,以满足大数据量且实时性要求非常高的数据处理要求[6]。
平台主要有堤防安全监测系统[7],堤防安全预警系统,云存储系统[8],堤防安全监测项目实时变化过程,面向 Jobkeeper分布式调度,分布式数据立方系统和堤防安全数据个性化服务等组成。
在云建设中,分布式文件系统属于基础平台支撑层,以用于数据集中存储和共享,实现对数据的统一管理和高效应用;分布式数据立方属于分布式数据库层,用于结构化和非结构化数据的高性能访问;分布式计算和Hive则基于云存储进行大规模的高性能的并发计算和数据的挖掘。
堤防监测及预警系统完全基于B/S[9]结构设计,为管理人员提供完善的操作平台,同时,为其他普通人员定制基于B/S结构的浏览模块。系统通过权限访问,提高系统运行的安全性[10]。系统可实时、准确、高效地监测堤防安全情况,并对数据整编入库、分析处理,形成结果,供决策人员使用。超大规模的部署堤防云监测节点,通过GPRS等方式传输到云平台后至堤防监测平台,监测数据直接通过云计算技术入库,作为堤防数据存放起来,以及后期堤防安全情况的分析作为详实准确的数据基础。功能主要包括堤防监测数据入库模块,堤防监测数据分析模块,海量数据分析模块,同时结合地理信息和堤防断面信息,便于管理者进行地理位置查询。
作为堤防管理云平台的重要功能,堤防安全预警平台承担着更多实时信息,为堤防管理者提供更多及时的有效的信息化支持。
预警系统的运行是根据堤防安全监测数据及数据处理平台形成的结果,当数据达到设定报警值时,预警系统会自动启动,决定预警级别及范围。并根据系统设定,启动报警通过邮件,APP推送或者是短信等方式直接发送给相关人员。
云平台Jobkeeper系统的总体架构涵盖资源、存储、处理、业务化应用等方面(见图3和图4)。其中,虚拟化资源层将机器进行虚拟化,形成更大范围的服务集群;存储层则为存储数据的处理结果集或其他中间结果集的单元;数据处理层为独立的数据处理程序,是对不同需求数据的统一处理方案,由Jobkeeper调度平台进行统一的配置管理;业务层则是对于应用层的相关功能的业务化、数字化处理,用于将应用层的需求任务进行规则化划分,以形成统一的处理化模式;应用层是一组用于管理和结果反馈的显示组件,是整个系统面向用户和开发人员的基础承载。
图3 Jobkeeper系统总体架构图
图4 Jobkeeper任务分发流程图
通过堤防云平台Jobkeeper系统调度,当用户在应用层下发任务给管理节点,管理节点调度机器采集机器节点的信息,根据具体的算法选取最优节点并分发任务,接下来具体的处理节点接收到任务并处理同时将结果返回给管理节点,管理节点整理汇总处理结果,而后返回给应用层。其中,服务器节点组主要负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保存,并将对应的信息镜像存储在基于cStor或者NFS服务的存储系统上;而处理节点组则通过RPC的远程调用获取各自节点的任务处理目标,并实时和处理节点上的任务处理目标进行对比,控制程序的执行和结束,并在一个设定的心跳间隔内主动和管理节点组联系一次,报告节点存活状态。
分布式数据立方,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用分布式数据立方技术可在廉价PC Server上搭建起大规模结构化存储集群。其目的是处理庞大的表,可以用普通的计算机处理10亿行数据,并且有数百万列元素组成的数据表这张表的索引是行关键字。
分布式数据立方可以直接使用本地的文件系统和云计算作为数据存储方式。不过,为了提高数据的可靠性和系统的健壮性,发挥分布式数据立方处理大数据量等功能,通常需要使用云计算作为文件系统[11]。
通过研究与开发,本文研发的基于物联网堤防管理云平台由堤防安全监测系统、堤防安全预警系统、Jobkeeper系统、分布式数据立方系统等组成,具有以下功能和特点。
(1)可超大规模部署。堤防云监测节点的安装部署方式方便,这种部署方式完全和传统的部署方式不同,符合超大规模部署的条件。并且堤防云监测节点完全基于的云平台,可以同时接入成千上万的堤防云监测节点。
(2)在线监测实时性强。可以根据需求进行增加堤防云监测节点,扩展整个系统的覆盖范围,但是不需要继续复杂的操作,可以动态的增加堤防云监测节点,并能自动组网,具有很强的扩容性。
(3)基于云平台的超强扩容性。云存储资源管理系统扩容非常方便,支持不停止服务的情况下,动态加入新的存储节点,无需任何操作,即实现扩容;同时,无需人为干预,也可以摘下任意节点,系统自动缩小规模而不丢失数据,存储在此节点上的数据将会重新备份到其他节点上。
(4)云计算海量数据处理。架构云计算海量数据处理平台,采用先进的云计算处理技术,支持自动容错和动态扩展,具有实时性、高可靠性、可伸缩性、高性价比等特点。
(5)平台科学管理。系统采用云计算架构的平台,提供科学的管理系统,以及服务器节点的管理达到任何一台服务器断电都不会影响到其他服务器,最大程度的解决运维管理人员的运维压力,保证系统的正常。
(6)及时提供安全预警。该系统根据堤防监测与检测数据以及设定的安全评价规则,可适时给出堤防安全影响的评估意见,为堤防管理相关单位及时提供堤防安全预警信息。
□
参考文献:
[1] 义红君.水利工程安全隐患分析及其对策[J].北京农业,2012,(12):268.
[2] 王天新.管理信息系统发展[J].现代情报,2007,(6):224-225.
[3] 魏承富,王 俊,李亚平.堤防管理信息化[J].水利科技与经济,2014,20(10):105-107.
[4] Partha Pratim Ray. A survey of IOT Cloud Plat-forms[J]. Future Computing and Informatics Journal, 2016,1(1-2):35-46.
[5] 林克振.对云计算与云存储技术研究的探讨[J].计算机光盘软件与应用,2014,17(20):39-40.
[6] 郭 崇.云端服务下物联网云储存技术研究[J].信息系统工程,2017,(7):78-79.
[7] 孙 彤,贡 欣,运乃斌.堤防安全监测系统的构建[J].现代农业科技,2012,(6):270.
[8] 傅颖勋,罗圣美,舒继武.安全云存储系统与关键技术综述[J].计算机研究与发展,2013,50(1):136-145.
[9] 李云云.浅析B/S和C/S体系结构[J].科学之友, 2011,(1):6-8.
[10] 任海鹏,方继才,何 晶,等.物联网环境下的云数据存储安全技术研究[J].无线互联科技, 2015,(17):24-25.
[11] D Li, G Chen, H Zhang. Analysis of hot topics in cloud computing[J]. ZTE Communications, 2010,8(4):1-5.