大数据技术在我国水利信息化中的应用及前景展望

2015-07-25 05:03朱庆利
中国水利 2015年17期
关键词:水利信息化建设

武 建,高 峰,朱庆利

(山东省水利勘测设计院,250013,济南)

水利行业信息化建设的开展可追溯到20世纪90年代,从最早的甩图板、普及计算机CAD二维出图到利用三维协同设计改变工作方法、提升计算效率。随着信息化技术的不断发展,要求水利信息化工作达到提高管理服务质量、提升生产经营水平,在众多学者和从业人员的不断努力下,已收到显著成效。

在物联网、云计算、移动互联网等发展的推动下,水利行业数字化水平和程度得以不断提高。在各种数字化应用的普及和新兴产业的带动下,水利行业积累的数据资源呈级数增长,形成海量数据源,从而宣告水利大数据时代的来临。大数据虽然从数据的组织到存储、传输、查询、分析等为信息化工作带来了新的压力,但同时也带来了无穷的机遇与挑战。水利行业信息化从业者应根据行业需要和应用手段提升,依托单位信息化发展目标,形成自身可实现的发展思路。

一、水利行业信息化发展现状及建设方向

1.水利行业信息化发展现状及存在问题

目前,水利从业单位大多已基本建成了满足单位业务需要的生产和信息化管理系统,并随着信息化技术的提高而不断深入和完善。但由于起步晚、专业相对封闭等客观原因,信息化建设水平、管理和应用深度与国内外的信息化建设相比尚存在不小的差距。

(1)顶层设计相对匮乏

信息化建设只有不断投入,才能在一段时间后逐渐见到成效。这种成效的渐进性决定了建设和维护阶段需要不间断投入,且具有投入在前、产出滞后、无法立见成效的特点,因此需要单位主要负责人转变传统观念,加大投资力度,力求高层负责人统筹规划、合理推进,从而形成自上而下全面重视的理想局面。

信息化工作被称为 “一把手工程”,其发展理念需要单位主要负责人予以充分理解,制定适合本单位应用的顶层设计方案和总体规划,并自上而下形成“有效贯通,坚决执行”的工作态势;如果只是一拍脑瓜起步、走一步看一步,形成“遇到问题解决问题”的被动局面,将会使本单位的信息化发展走入死胡同,得不到个性化发展。

(2)缺乏有效的协调平台

有效的协同平台主要用于处理数十年来水利事业工作过程中积累的各种信息,主要包括生产经营、工程管理、文书档案等。协同平台的缺乏将无法对上述资料进行有效的关联、处理和应用,最终形成信息孤岛,其价值大大降低,无法达到有效积累、资源共享和重复利用等行业要求。

(3)促使行业持续有效发展的需求得不到满足和保障

伴随经济建设不断转型升级及各地区水利行业内的专业增设,包括水利信息化、水生态与景观设计、水土保持及环境影响评价等专业越来越受到重视。山东省水利勘测设计院的水保环评专业对国家极为重视的环境影响评价工程中的有关信息有着极为重要的依赖,但往往受制于可供参考和利用的有价值数据太少,设计人员在资料获取环节要下大力气。

面对水利行业内新兴专业和产业的发展,传统意义上的数据采集已经不能随着建设内容和目标的要求进行人性化调整,无法满足当代信息化建设发展要求。

2.大数据时代对水利行业信息化的技术支撑

20世纪90年代末至21世纪初,水利行业从业人员已逐渐将计算机作为主要生产工具运用在勘察设计中。伴随单位的不断发展,水利行业生产、经营等工作生成的数据积累形成了大数据的雏形,如何有效使用这些数据,使其投入生产管理工作,充分发挥价值,为单位生存发展提供技术支撑,成为水利行业对大数据技术最直观的客观需求。

3.水利行业信息化建设方向

以大数据时代为背景的水利行业信息化建设工作必须顺应时代要求,继往开来、与时俱进,以满足单位转型升级发展需要为目的,以最终实现“工程数据全生命周期管理”为发展目标。

二、大数据的特征及其价值

英国《Science》杂志在 2008年 9月发表了一篇名为《Big Data:Science in the Petabyte Era》的文章,首次提到了“大数据”的概念。对大数据进行处理,通俗地讲,就是相关性分析。对原本枯燥的数据进行相关性分析,可以寻找其背后的规律本质。现在各行业掌握大量有价值的数据,在未来,更多发达国家或行业龙头代表可能会将这些数据共享,如果该数据能够以每年3倍的速度翻番,其数量级将会大得惊人,而如果假以统计学的相关性分析,从中总结归纳出规律性,将会为国计民生作出预测。寻找相关性,将大数据中某些事件的共同点找出,并藉此发现其共有属性,将很大程度上可以“预测”未来,这是大数据时代的价值所在。深入挖掘大数据技术在水利行业信息化建设管理中潜在的价值,将极大程度提升水利信息化管理水平,也会对未来的科技与经济发展带来深远影响。

三、大数据技术在水利信息化管理中应用可行性分析

1.水利大数据的资源化之路

从水利事业现状及未来发展方向判断,追求高价值含量的水利信息大数据时代已经来临。高价值正体现在其关乎国计民生的水利大业之处,即在行业内形成的与社会需求相符的、能够共享、可提供参考的大数据,同时也是提高水利事业服务质量的手段依据。要做到大数据“价值化”,一是需要摒弃传统的 “数据薄弱意识”,建立顺应时代的“强数据意识”,即立足当前,着眼未来,将水利大数据应用和推广提升到重要的战略地位。二是进行大数据“价值化”整理。多年来,各地各级水利从业单位积累了大量有价值但不乏缺陷的信息化数据,因此建立完善的数据采集、汇集和存储机制,可以让文字、数字、图形、信息都变成可供应用的有价值的资料,并藉此塑造和延续可持续更新的生命周期。三是进行“数据开放”,数据应用最大价值莫过于因开放而形成的共享机制。让数据灵活应用、自由组合、信息创新并以此解决众多亟待解决的难题,为行业管理者提供高效决策营造高参考价值的环境。

2.水利大数据资源化的技术路线

水利大数据资源化将以水利数据基础服务平台为依托,进行资源化技术探索,力求实现数据分布式异构和高效利用。以技术建设为基础,打造以资源层为基础、以逻辑层为技术依托、以服务层和应用层为标准应用接口的四层结构蓝图,如图1所示。

其中资源层作为“数据化”的支撑层,为数据提供安全可靠并持续更新的存储能力;逻辑层作为“数据开发”的支撑层,为数据异构的处理、组合、封装、传递和共享提供多元化应用;服务层同样作为“数据开发”的支撑层,其更侧重于营造水利大数据应用结构的动态可伸缩的服务形式,满足从业者对大数据业务的基础应用;应用层作为“中间接口件”的支撑层则更大地体现水利大数据的价值:各用户可按照标准平台交互界面和应用接口制定本系统接口,有条件使用大数据,并通过大数据实现本系统的应用目的,从而进行数据处理、分析和预测等。

目前,受制于行业发展和技术发展的制约,水利大数据资源化研究尚停留在以数据共享为目的的环节,距离大众关注的复杂查询与分析预测的目的具有较大差距,而其中的难点主要集中在省级水利单位与流域水利单位相互交错,数据混合型强、复杂度高、结构性多样和多事权特性等水利行业固有特性带来的挑战。因此,结合改革开放、经济发展、技术飞跃带来的实践经验,对数据共享技术进行综合探讨,力求适应水利行业数据高伸缩性、易生长性、多异构化、长浮点型的大数据特性,创造出一整套可持续发展完整的大数据关键技术体系。

四、大数据时代水利行业信息化建设展望

大多水利单位都有对信息化工作常抓不懈的建设方案,并为之投入大量人力物力,信息化建设取得了丰硕成果。近年,山东省水利勘测设计院在信息化建设方面,根据行业发展现状和单位业务需要,明确了信息化建设和发展在强院发展战略的技术支持地位,制定了可供参考的信息化发展规划,并以此为依据持续建设中。

1.信息化管理制度和基础设施建设

信息化建设离不开强有力的制度约束和基础设施支撑。制度建设依据各单位具体情况制定,也可参考同级兄弟单位成熟经验总结制定。大数据时代的信息化设施建设需要依托先进的计算机软硬件设备和高速稳定的网络基础。

山东省水利勘测设计院近年在信息化建设方面得到领导重视和支持:升级改造了机房设施,购置了企业级高性能服务器,完成服务器虚拟化配置;重新评估了网络服务的安全性,并根据评估报告购置相关软硬件设备予以完善;建设完成综合管理信息系统(以下简称“管理系统”)并在功能应用上积极查漏补缺;对终端用户的设备进行升级,配置VPN系统,集成了即时通信工具和电子签章系统,提升网络易用性和安全性。今后,一方面,将对数据应用的安全性进行详细评估,并根据评估结果建立容灾系统,切实保证数据安全;另一方面,鼓励信息化从业人员努力拓展知识面,积累大数据应用技术储备,为下一步水利大数据应用奠定基础。

2.综合管理信息系统建设

山东省水利勘测设计院的综合管理信息系统建设是以《质量、环境、职业健康安全管理手册》(2013版)及各体系文件和程序文件为基础,以协同管理、高效应用为目的,组织有经验的人员组成开发团队,在全单位共同参与下完成适合本单位生产、经营、管理等工作的系统平台。

管理系统的建设完成,实现了办公管理、经营管理、技术质量管理、规划设计项目管理、测绘勘察项目管理、数字档案馆等日常工作的综合集成管理;同时实现支撑上述模块运行的数据共享,初步迈入大数据管理的门槛。

由于管理系统上的数据可根据划分的角色分配权限,并根据权限进行查阅、比对、(选择性)输出等,提高了数据的利用率,提升数据价值,为领导实时把握工程设计进度、人员工作负荷提供参考,并为其决策和管理提供有效依据,从而进一步提升管理水平和产品质量,并提高工作效率。

3.三维数字化协同设计平台建设

根据三维协同设计的行业发展和本单位目前信息化建设重点等客观条件,山东省水利勘测设计院目前仅处于三维数字化设计起步阶段,未来两年内主要建设工作将侧重于两方面:标准数据库的建设(基础建设项目)和协同设计平台的建设(最终建成可应用项目)。

标准数据库建设内容包括基础数据(测绘成果数据、水文水资源信息、地理信息数据、现代水网信息等)、业务数据 (水利行业知识型数据、历史基础采集数据、水工建筑物信息等)、文档资料(勘察成果数据、工程项目数据、设计成果档案数据等)等的收集、汇总、统计,形成统一的库管理,构建易用化标准基础库,如图2所示。

山东省水利勘测设计院三维协同设计目前以各专业独立试用为基础展开,其主要目的在于从业人员对三维设计的认知、使用,优点是易被设计人员所接受;但也存在一些弊端,例如分专业开展对于资料互提中数据传递存在沟通不畅、专业进度不一、错误校验不准确,继而增加施工难度的不利局面。该不利局面存在于多家设计单位,为解决该难题,笔者的研发团队计划引入国外协同设计先进系统提供商,由其结合单位具体情况定制开发,实现各专业在同一平台上的协同工作,数据依照实时传送的模式。

4.信息化工作重点向水利大数据价值化方向发展

(1)积累技术知识,提升认知能力,挖掘大数据可用价值

水利行业大数据是以从业人员工作过程中人为智慧创造出的成果汇聚而成,这比传统意义上的物质具有不可估量的价值,且有不可消耗性和资源再生性,认识并利用好水利大数据的这种特性可为水利勘察设计、施工管理、改革创新发展等提供高价值含量的技术支持,有利于促进水利事业的科学持续发展。

(2)加强智能手段,提升管理措施,促进大数据应用策略

加大水利行业大数据管理力度,形成易于管理、全面服务,为决策者提供精细化、程序化、正规化管理的数据参考,为水利行业发展创造价值。在新形势新任务的行业管理理念下,大数据技术将先进的软硬件系统与水利行业需求、管理策略相结合,依托高安全等级的存储和保护系统,形成一整套智能化管理策略。

(3)推广数据挖掘,获取信息价值,发现高等级数据资源

水利行业的大数据往往只是直观、肤浅的客观存在的原始资料,其对从业者来讲仅是价值有限、无法构成决策的非可靠依据。所以,数据挖掘技术将很大程度上为大数据价值提炼提供坚实的技术支持。需要指出的是,数据挖掘技术的应用并不是替代传统统计分析方法,数据挖掘利用统计学原理和人工智能技术对数据进行多元化的复杂统计处理,是对后者的深化和拓展。

(4)夯实设施建设,完善安全保障,筑造高级别容灾环境

从某种意义上说,水利大数据属脆弱、敏感型数据,由于环境安全隐患造成的数据变异、失效会使原本可供参考甚至可作为决策依据的材料转为负能量,对行业和社会发展造成不利局面。对数据安全有两方面应对措施:一是对数据本身安全的保护,例如提升磁盘阵列容错能力、提高数据备份手段、差异化容灾等。二是对数据防护的巩固,即防止数据窃取导致国家秘密泄露。数据产生后通过传输交互、分析测试、校审核批、交付应用等诸多环节,因此各环节流转都有保证数据全生命周期安全的举措。第一,形成数据产生环境的安全保护机制。根据生产环境,制定安全管理制度并监督执行;依托管理信息系统(或采集系统),配置数据安全保护软硬件设备,以备防控和事故善后查备。第二,制定数据应用权限把控机制。根据数据属性和使用权限设置管理机制,提升数据可控性,严格把控应用人权限,并将其细化为使用方法、使用权限周期、授权使用条件、使用者他权申请等多种类目。第三,采用隧道化传输机制。强调点对点传输的重要性,原则上杜绝点对面的传输。隧道化传输使数据传输途径中只有从(数据传出)出口到(数据接收)入口的唯一途径,整个路径全封闭,大大提升传输安全性。第四,交付安全确认机制。数据经过多环节运算处理后交付下级用户后,是否达到用户需求的标准需经用户确认,并对确认后的数据负责,这一点在大数据众多工作中往往被忽视,而由此引发的重复劳动极大程度上降低效率甚至产生错误。

[1]罗鹏,陈秀万,万玮,等.基于WebGIS的大型灌区水利信息综合管理系统设计与实现[J].节水灌溉,2013(1).

[2]冯钧,许潇,唐志贤,等.水利大数据及其资源化关键技术研究[J].水利信息化,2013(4).

[3]王喜春,孙志禹.基于大数据的水利水电云GIS平台概述[J].人民长江,2013(S1).

[4]侯欢欢.数据中心在水网监控与调度系统中的建设[J].山西师范大学学报(自然科学版),2014(2).

[5]刘汉刚,李光.水利数据中心资源开发与应用研究[J].水利信息化,2014(2).

[6]冯吉平,陈微,官涤,等.大数据技术在松辽流域水环境管理中的应用展望[J].水利发展研究,2014(9).

猜你喜欢
水利信息化建设
月“睹”教育信息化
月“睹”教育信息化
幼儿教育信息化策略初探
为夺取双胜利提供坚实水利保障(Ⅱ)
为夺取双胜利提供坚实水利保障(Ⅰ)
水利工会
水利监督
自贸区建设再出发
基于IUV的4G承载网的模拟建设
《人大建设》伴我成长