摘 要 随着我国经济发展水平的提高,科技的进步,水利现代化建设成为我国社会主义现代化建设的一个重要组成部分,水利信息化又是水利现代化的前提和重要保证,其中大数据技术在水利信息化建设中的应用,其积极作用和良好效果也会越来越明显,本文重点对水利信息化建设中大数据技术运用进行了研究与探讨。
关键词 水利信息化建设;大数据技术;研究与探讨
引言
水利工程项目的建设施工、工程管理、运维养护的良好安全运行是现代社会农业生产、城市生活工业用水重要保障,是社会现代化建设发展的一个重要组成部分。信息技术在水利行业应用的日趋广泛,越来越多的水利信息化基础设施及应用系统,被应用到水利工程建设与管理、水行政业务处置等领域中,水利信息化长期的业务实践积累了大量异构且分散独立的业务数据,利用大数据技术其对于这些数据进行分析开发意义重大,值得进行深入的研究和探索。
1 水利信息化建设现状
随着社会各行各业对不断发展和创新信息技术的深入应用,水利工程建设及管理逐渐显示出难以跟上新技术的发展趋势的问题,相比西方发达国家,我国水利工程信息化建设起步晚、专业人才缺乏,导致水利工程信息化建设和管理水平、应用深度都不足,存在着很多问题[1]。
1.1 相对缺乏顶层设计
水利工程信息化建设投资回报较慢,投入之后不能立刻见到成效,所以水利工程信息化建设、运维阶段都要不间断投入。信息化建设前期投入大,设备和平台开发成本高,需要专业的设计部门对特定的水利信息化工程建设有充分的认知,统筹制定符合水管单位特点的顶层设计方案、体系架构,由上到下全面贯通,全面实施落实。现各水利单位已经开始重视信息化总体规划专项设计了,这样才能保证后续项目的连贯性和一致性。
1.2 缺乏有效的综合协调平台
协调平台作为整个信息化系统的重要组成部分,可以对水利工程运行至今的运行管理、生产经营、档案资料、维修养护等信息进行有效处理。如果缺乏有效的协调平台,就无法对上述信息数据进行联系、处理、应用,产生信息孤岛问题,资源难以共享,导致运行管理人员也不能很好的积累经验,还会产生大量的数据资源浪费和重复建设。
1.3 缺乏复合型专业人才
新时期下,水利事业要求实现现代化提升,新增业务、信息化建设、生态化建设、环境影响评价等,都给水利工程建设提出了更高的要求,但传统意义上的简单数据采集处理已经无法满足新时期行业发展需求,信息处理效率慢、信息深度不足等问题愈加凸显。当今水利工程信息化要求能实现的是对水利工程如测流站、水位站、水闸、放水口等实现远程控制,集中管理,并实现大量数据挖掘应用,开发辅助决策支持。这些系统的运行需要复合型专业技术人才支持。
2 水利信息化建设中大数据技术的应用
水利行业数据的特征概括为以下5点,①数据量大:经过长年积累,各水利单位累积数据量在数百TB 以上;②来源及形式多样:包括勘测、规划、设计、施工、管理、运维等多种来源,以及长系列的结构化、半结构化数据和大量非结构化数据;③持续增长:在水利行业各领域和环节的信息化应用不断增加,监测密度及指标不断提升,数据增加速度不断加快;④数据价值高:水利数据是水利工程建设、管理及水行政业务处置的依据,蕴含较高的价值;⑤实时或准实时要求:部分水利数据(如水利工程安全监测、地质监测等)是判别应急事件的依据,存在实时或准实时处理的需求。
利用大数据技术,可高效的存储和处理水利工程运行管理和监测等长系列数据以及文档、图片、视频等非结构化数据。可以从以下四个方面设计基于大数据的水利数据中心架构[2]。
2.1 数据汇集
水利数据中心需对不同来源的异构数据进行汇集,主要包括手自动上报采集数据、其他系统节点数据以及与其他领域交换的数据。上报采集数据主要为实时监测数据,可采取设备直连或现场服务器转发的形式接入;其他系统节点数据指水利业务范畴内已建成的应用系统中的业务数据的定时或不定时接入;其他领域交换数据指其他行业与水利相关的数据,如国土、水文、气象等数据,通过定义好的开放接口连接接入。
2.2 数据存储
在水利数据中心,通过元数据库存储对水利数据中心中所有结构化、半结构化和非结构化数据的描述和定义,利用元数据技术定义并统一管理系统元数据,为系统提供更高的可用性与易用性。
2.3 数据处理分析
水利大数据分析是根据主题化应用的需求进行数据处理分析,需应用并行计算或云计算体系下的数据挖掘、机器学习、统计分析等技术。
对于水利数据,还存在需要实时计算处理显示的实时监测数据。通过实时计算工具处理消息和更新数据库,快速实时计算大量的监测数据,实现监测数据的实时展示、预警以及水资源调度方案的实时生成和水利工程现场视频监控数据的处理。
2.4 数据应用
针对广泛的水利大数据应用,可构建大量高效的通用性或定制性服务,例如:水利工程安全监测、工程管理、水资源调度、防洪抗旱、运行维护等水利相关应用,实施统筹的面向防洪、发电、工农业生产、城市生活、生态用水的水资源多目标优化调度等。通过对用户和业务数据的分析挖掘,智能地获取用户最感兴趣的数据指标。同时,利用水利一张图和统一门户,可通过统一简洁的界面,直观的向用户展示各种实时和历史信息以及分析预报的结果,以帮助用户正确理解和应用分析成果[3]。
3 结束语
综上所述,随着大数据技术在水利行业不断地深入应用,行业用户的思维方式将逐步转变,越来越多的应用需求也将随之涌现,其在水利信息化建设和水利工程管理中是有核心價值的,值得在今后的水利信息化项目设计和建设中加强应用。
参考文献
[1] 冯钧,许潇,唐志贤,等.水利大数据及其资源化关键技术研究[J].水利信息化,2015,(4):12-13.
[2] 侯欢欢.数据中心在水网监控与调度系统中的建设[J].山西师范大学学报(自然科学版),2015,(2):33-34.
[3] 刘汉刚,李光.水利数据中心资源开发与应用研究[J].水利信息化,2015,(2):56-57.
作者简介
许跃华(1987-),男,安徽合肥人;学历:大学本科,工程师,现就职单位:安徽省淠史杭灌区管理总局设计院,研究方向:水利工程电气自动化、水利信息化设计工作。