孙欣欣
(浙江水利水电学院信息工程与艺术设计学院,310018,杭州)
城市突发水涝灾害预防及恢复能力研究
孙欣欣
(浙江水利水电学院信息工程与艺术设计学院,310018,杭州)
目前,国内关于城市突发水涝灾害防治能力评价的相关研究较少,还没有形成系统的城市突发水涝灾害防治能力评价体系。为进一步推动城市突发水涝灾害定量化研究,对城市突发水涝灾害预防及恢复能力进行了探索性研究。运用信息化手段应对城市内涝问题,首先对城市突发水涝灾害数据及其特征进行了分析,并进一步构建了城市突发水涝灾害预防及恢复能力评价指标体系和评价模型,为各城市评价突发水涝灾害的预防及恢复能力提供一个初步的理论基础和框架。设计了应用于城市突发水涝灾害的混合大数据分析工具,通过搭建系统测试平台对分析工具进行了初步检验。结果表明,大数据技术的应用可以改善城市突发水涝灾害预防工作的技术与装备支持情况,进而有助于城市突发水涝灾害预防能力的提升。
城市突发水涝灾害;城市内涝;灾害预防能力;灾害恢复能力;大数据
城市突发水涝灾害(又称城市内涝)是一种严重的自然灾害,指由于强降水或连续性降水超过城市排水能力致使城市内产生积水灾害的现象,是对城市危害比较大的自然灾害之一。近年,随着我国城市化进程的加快,城市突发水涝灾害日趋严重,已成为城市发展面临的严峻挑战。目前,国内对城市突发水涝灾害的研究大多集中在成因分析、风险评估、预警模拟方面,对城市突发水涝灾害防治能力的研究较少,现有的定量研究也更多地停留在传统的数据分析技术上,如统计方法(频率分析计算)、GIS技术、仿真模拟等。
随着国内智慧城市高速发展,城市市政设施的自动化程度越来越高,物联网传感设备越来越普及;地下管网、地下管线等城市静态数据和本底数据越来越全面和规整,气象、水情、雨情等动态的实时数据则越来越详细和精确;在智慧城市大框架下,更强调多部门的协同,以及应用的关联,实现数据的高效汇总和更有效的协同合作。但是目前内涝防治工作中对跨部门海量数据综合利用率很低,大量数据没有得到充分利用,对海量、复杂数据的处理技术能力捉襟见肘,数据处理的时效性不强,防汛指挥效果有限,原有的对单一数据的处理已经不能适应现有的需求。新兴的大数据技术可以更有效地处理海量数据,分析挖掘海量数据之间的关联性,为城市突发水涝灾害防治实践和研究工作提供有力的技术支撑。
根据城市自然灾害防治理论,城市自然灾害防治可划分为预防阶段、发现阶段、应急处理阶段和灾后恢复重建四个阶段,城市突发水涝灾害亦然。本文将大数据技术应用到城市突发水涝灾害的预防及恢复两个重要阶段的研究中,在充分分析城市突发水涝灾害数据特征的基础上,以城市自然灾害防治理论为依据,构建城市突发水涝灾害的预防及恢复能力指标体系,建立相应的数据模型,并设计了应用于城市突发水涝灾害领域的混合大数据分析处理工具,从大数据的角度对城市突发水涝灾害领域的定量化研究进行探索。
运用信息化手段应对城市内涝问题,首先是基于数据的,城市信息化发展到今天,并不是没有数据,而是数据太多,价值密度太低,而要求处理的时效性又很高,所以在研究城市突发水涝灾害预防及恢复能力之前,有必要对城市突发水涝灾害的数据特征进行分析。
城市水涝灾害发生前后的每个环节都会产生大量的数据,贯穿预防预警过程、灾害发生过程、事后灾害补救过程等,不仅包括气象、水文、水力等各方面的数据,还包括空间地理数据和排水工程数据等,因为城市积水情况除了与自然降水量有直接关系外,还与城市中建筑物分布、地形地势分布、河流分布、排水设施布置等许多因素有关。从数据源看,城市突发水涝灾害相关数据分为六类,包括气象数据、水文数据、空间地理数据、排水工程数据、内涝监测系统数据、灾害相关互联网数据,覆盖雨情、水情、工情、灾情等全部与城市突发水涝灾害相关的海量数据。除了实时数据外,随着时间的推移,城市水涝灾害相关历史数据越来越多,有效的预防预警、减灾防灾需要充分挖掘上述海量数据的业务价值。
城市突发水涝灾害相关数据具有数据源多样、数据量大、数据格式多样、价值密度低以及数据实时性要求较高等特点,具有鲜明的大数据属性。大数据时代运用大数据技术来提高城市水涝灾害防治中的数据驾驭能力势在必行。
城市突发水涝灾害的防治是一项复杂的系统工程。虽然目前大数据技术已经相对成熟,但要走向行业应用,还需要有充分的理论指导和依据。城市突发水涝灾害防治能力的评价是提高城市突发水涝灾害防治能力的重要前提,本文将对城市突发水涝灾害防治的两个重要阶段——预防阶段及恢复阶段,进行能力评价指标体系构建,并作为探索城市突发水涝灾害领域应用大数据分析的导入和理论依据。
目前,国内关于城市突发水涝灾害防治能力评价的相关研究较少,还没有形成系统的城市突发水涝灾害防治能力评价体系。但是,关于城市自然灾害应急能力、减灾能力评价方面的相关研究较为丰富,并有学者对城市自然灾害防治能力评价指标体系进行过较为系统的研究。因此,之前的研究成果为城市突发水涝灾害预防及恢复能力评价体系的研究提供了有益的借鉴。
1.城市突发水涝灾害预防能力评价指标体系
从整个灾害管理周期来看,做好灾前预防工作相比其他阶段具有更大的现实意义,可以达到事半功倍的防治效果。城市突发水涝灾害预防能力是指城市在水涝灾害暴发前所进行防御准备的能力,是城市突发水涝灾害防治的长期性建设。
基于已有相关研究,结合城市突发水涝灾害自身特点,本文从体制机制标准建设、防汛抗涝行动支持、防涝基础设施建设、公众教育与宣传培训四个方面构建城市突发水涝灾害预防能力评价指标体系(见表1)。
2.城市突发水涝灾害恢复能力评价指标体系
灾害恢复是在灾害事件结束之后,遭受灾害的地区和人们向灾前正常的生活和生产秩序的回归。对于中国而言,在灾害恢复方面的研究尚处于初级阶段,城市突发水涝灾害恢复方面的研究更是有限。
灾害恢复具有非线性、动态性和复杂性等特征,根据灾害影响维度,灾害恢复度量指标可以从社会、经济、基础设施和自然环境四个维度进行划分。城市突发水涝灾害具有“两短一长”的特点,从开始降雨到开始出现内涝时间短,从开始出现内涝到出现最大水浸深时间短,内涝持续时间相对较长,而且灾害发生和影响范围局部特性明显。根据城市突发水涝灾害自身特点,本文着重从基础设施、自然环境、社会环境三个方面构建其恢复能力评价指标。城市突发水涝灾害恢复详细度量指标如表2。
根据城市突发水涝灾害预防能力评价指标体系,运用层次分析法,经过指标标准化处理,建立城市突发水涝灾害预防能力评估模型其中P表示城市对突发水涝灾害的预防能力,Xi表示第i项指标标准化后的指标值,Wi表示第i项指标所占的权重。上述指标权重可以通过专家打分法确定,由于不同的城市各方面情况有差异,因此指标值及权重值也不同。运用上述评估模型可以对城市突发水涝灾害的预防能力进行定量化评估。
根据城市突发水涝灾害恢复能力评价指标体系,运用层次分析法,经过指标标准化处理,建立城市突发水涝灾害恢复能力评估模型其中R表示城市在突发水涝灾害后的恢复能力,Yj表示第j项指标标准化后的指标值,Vj表示第j项指标所占的权重。运用上述评估模型,根据不同城市的指标及权重情况,可以对城市突发灾害恢复进程进行识别和定量化研究。对于城市突发水涝灾害来说,灾害恢复研究可以使相应主体更加有效地进行灾后风险管理决策。
城市突发水涝灾害预防及恢复能力评价模型可以为各城市评价内涝的预防能力和恢复能力提供一个初步的理论基础和框架,并可结合自身城市特点确定指标权重,进一步分析如何提升城市对突发水涝灾害的预防及恢复能力。城市突发水涝灾害防治是一个复杂的系统工程,影响城市对突发水涝灾害预防和恢复能力的因素也错综复杂,因此上述评估模型中的指标选取完备性与合理性,以及模型的可操作性有待进一步细化研究。
对城市突发水涝灾害预防及恢复能力进行评价是为了研究如何提升城市对突发水涝灾害的预防和恢复能力,最大限度降低突发水涝灾害对城市和居民的伤害。从本文构建的城市突发水涝灾害预防能力评价指标体系可知,技术与装备支持情况是影响评价城市突发水涝灾害预防能力的指标之一。王明祎指出,灾害救援技术支持对于应急救援体系来说是必不可少的,城市管理者为了保证灾害救援工作有效、顺利进行,就必须建立起自然灾害应急救援技术支持体系。通过前文分析可知城市内涝防治工作已经处于一个大数据的环境之中,传统的信息技术手段无论是在数据的获取还是处理分析上都已显现出局限性。与现有数据分析支持技术相比,通过大数据技术加强对城市突发水涝灾害海量数据的处理分析,充分实现数据的预防决策支撑价值,可以进一步提升城市突发水涝灾害的预防能力。
1.应用于城市突发水涝灾害的混合大数据分析工具设计
城市突发水涝灾害相关数据来自多类型异构数据源,既有来自水量计、位移计、雷达水位仪、传感器等的实时水位数据,又有来自智能探头、微信等的视频、图片、语音数据,还包括互联网上的大量文字、图片信息,涵盖了文本数据、多媒体数据、Web数据、社交网络数据、移动数据等多种类型。除结构化数据外,不同数据源、数据特性的数据需要不同的数据分析处理技术方法。对Hadoop改进并将其应用于各种场景的大数据分析处理已经成为新的研究热点,针对城市突发水涝灾害相关数据特点,本研究设计了一种基于Hadoop的混合大数据分析工具,以对城市突发水涝灾害中产生的海量历史或实时数据进行分析处理,为有效制定灾害预防对策提供科学的数据支撑。Hadoop是目前最主流的大数据处理平台之一,包括存储非结构化数据的分布式文件系统HDFS、存储半结构化或结构化数据的数据库HBase,以及分布式计算系统MapReduce等,非常适合城市突发水涝灾害大数据处理。
图1描述了混合大数据分析工具的结构图和数据流。该工具包含两个分析引擎分别针对城市突发水涝灾害的无结构化数据和关系数据。两个引擎均构建在Hadoop之上,利用云并行引擎来加速数据的处理。下文主要针对将图1所述的大数据分析工具应用于突发水涝灾害的预防及恢复能力测试。
2.平台搭建与实验
为进一步检验应用于城市突发水涝灾害的混合大数据分析工具,本文搭建了系统测试平台,共使用了4台PC机,型号均为Dell Precision WorkStation T3400,单核CPU,4G内存,500G硬盘。其中1台安装Window7操作系统作为开发主机,其余3台安装Linux CentOS6.4操作系统作为工作集群。
本文通过模拟数据,分别生成1万条、10万条、100万条、1 000万条、1亿条雨量水位数据,通过Hibernate批量导入到MySQL数据库,HBase数据库的批量导入是通过MapReduce完成的。和水位相关的数据结构以水位信息表的形式存储,主要包括测站、记录时间、水位等信息,如表3所示。
表1 城市突发水涝灾害预防能力评价指标体系
表2 城市突发水涝灾害恢复度量指标体系
本文对混合大数据分析工具中的Mapreduce算法进行了实验,用以测试响应速度随Hadoop集群规模的变化情况,由此显示大数据分析技术的优势。利用海量模拟数据,分别测试了单机版、Hadoop集群中包含一个节点、两个节点与三个节点进行预测所需的时间,其中雨量水位数据存放在HBase数据库中,测试结果如表4所示。
通过表4的性能测试对比图可以看到,当数据量较小时,混合大数据分析工具中的Hadoop集群的运算时间要比单机运算时间长,这是因为Hadoop集群运行Mapreduce作业在运行作业前后需要进行一系列的操作,比如数据切片分发给Mapper、作业初始化、作业清理工作等,这些都是相对比较耗时间的。集群由于采用多台机器进行分布式并行操作,因此其计算速度会大大提升。在上面的实验中可以看到,如果使用混合大数据工具Hadoop集群运行作业,当数据量为1亿条时,预测响应速度由单机的5 608 s提高到3 178 s。可以想象,如果使用规模更大的集群运行作业,响应速度还会得到很大的提高。
从前文分析和实验结果可知,基于大数据技术的混合分析工具不仅能够更有效地处理城市突发水涝灾害中的多源异构数据(无结构化数据和关系数据),充分挖掘内在的联系和规律,而且在海量数据处理速度上也有质的提升。可见,大数据技术的应用可以改善城市突发水涝灾害的技术与装备支持情况,进而有助于城市突发水涝灾害预防能力的提升。
图1 应用于城市突发水涝灾害的混合大数据分析工具
表3 模拟水位信息表
表4 MapReduce并行计算性能测试单位:s
城市自然灾害防治能力评价是提高城市自然灾害防治能力的重要前提之一,是整个城市自然灾害防治工作的重要环节。本文对城市突发水涝灾害中的预防和恢复两个重要阶段进行了研究,从信息化应对内涝的角度出发,对城市突发水涝灾害数据及其特征进行了分析,并初步构建了城市突发水涝灾害预防及恢复能力评价指标体系及评估模型,虽然指标体系选取的合理性及模型可操作性有待进一步验证,但可以为城市突发水涝灾害定量化研究提供一定借鉴。结合城市突发水涝灾害数据特征及预防能力评价指标体系,本文分析认为应用大数据技术可以提高城市突发水涝灾害的预防能力,并设计了应用于城市突发水涝灾害的混合大数据分析工具,通过搭建测试平台模拟实验对混合大数据分析工具进行检验,测试结果初步表明基于Hadoop的混合大数据分析工具在处理海量城市突发水涝灾害数据时比传统分析工具更有效率,可以为城市突发水涝灾害预防能力的提升提供有效的技术支撑。■
[1]毛磊,张慧明.基于城市化因子的南京市内涝影响因素实证分析[J].经济研究导刊,2011(3).
[2]陈洋波,罗进生,周浩澜,等.东莞城区内涝预报预警系统[J].中国市政工程,2013(10).
[3]王明祎.城市自然灾害防治能力评价指标体系研究[D].贵州:贵州大学,2009.
[4]唐彦东,刘春平,于汐.灾后恢复重建理论研究[J].自然灾害学报,2009(5).
[5]宛文博,葛怡,毕军,等.灾害恢复力研究进展——基于文献调查的分析[J].自然灾害学报,2010(4).
[6]吴吉东,李宁,周扬,等.灾害恢复度量框架——Katrina飓风灾后恢复应用案例[J].自然灾害学报,2013(4).
责任编辑杨轶
Studies on capability of sudden flood and waterlogging prevention and recovery in urban areas>
//Sun Xinxin
There are less studies on assessment of restoration capability from sudden flood and waterlogging in urban areas until present,and therefore no systematic approaches can be taken.In order tomake quantitative studies on flood and waterlogging disasters,exploratory research has been conducted on the prevention and restoration capability in urban areas.With application of information technology,relevant data and features of sudden flood and waterlogging disasters in urban areas are worked out.Indicator systems and evaluation models are built for prevention and restoration capability that provide a preliminary theoretical base and framework for further assessment.Mixed large data analysis tools are designed and tested through establishment of system testing platform.The result demonstrates that large data technology can be used to upgrade technology and equipment for disaster reduction,and enhance the capability of disaster prevention and control.
sudden flood and waterlogging in urban areas;urban waterlogging;capability of disaster prevention;capability of disaster recovery;big data
P426.616
A
1000-1123(2016)09-0033-04
2016-03-03
孙欣欣,副教授,主要从事计算机网络和软件工程教学科研工作。
浙江省科技厅公益技术研究科技计划项目(No.2014C33060),“基于大数据的城市突发水涝灾害预防与预警分析技术研究”。