大数据技术在河长制管理中的应用探讨

2019-02-14 16:39蕾,杨
陕西水利 2019年12期
关键词:河长水质分析

王 蕾,杨 洋

(1.西安迪飞科技有限责任公司,陕西 西安 710018;2.陕西省引汉济渭工程建设有限公司,陕西 西安 710010)

1 河长制管理

河长制工作的主要任务包括全面落实最严格水资源管理制度、河湖水域岸线管理保护、水污染防治、水环境治理、水生态修复、执法监管共六方面[1]。伴随着信息化发展的大趋势,河长制管理数据的收集、存储、分析和应用逐渐流程化、电子化。由于涉及河湖管理和保护的方方面面,在工作中生成、累积的管理、业务数据规模更是庞大,如何分析、如何深入应用这些珍贵数据的问题也随之而来。

2 河长制管理大数据

河长制工作开展至今涉及了大量的数据,包含水文、水质、地质、供水、环境等多个专业,结构化、非结构化和半结构化并存,下至终端河湖水位、水质、生态等检测数据,上至河长考核评定、社会公众问题反馈与建议等管理数据都是河长制管理数据的范围,涉及面较广。由于传统数据技术的限制,传统数据分析基于结构化、关系性的数据,而且往往是取一个很小的数据集,来对整个数据进行预测和判断,针对多专业、多领域、多种数据结构并存的河长制管理数据而言,分析、应用深度十分有限。

自2011 年麦肯锡公司发布了关于大数据的报告,对大数据的优势和应用前景进行详细描述后,大数据技术发展迅速,在多个领域得到了应用,尤其突出表现在物联网方面。通过各类庞大的数据深入分析和挖掘,使其能够从日常点击习惯中判断用户的近期、远期需求、工作领域等内容。大数据技术以其超强的决策力、洞察力得到了大众的认可,它的出现也为河长制管理数据提供了新的处理模式,面对海量、复杂的河长制信息,挖掘潜质和预测准确性都是十分可观的[2]。基于大数据技术的河长制管理应用,将不断提高河长对河湖事件的预测能力和河湖管理的执行能力,全面促进河长制实施。

3 河长制管理大数据处理

大数据技术的精髓是能够将大规模数据中隐藏的信息和知识挖掘出来,为人类社会经济活动提供依据,提高各个领域的运行效率,甚至整个社会经济的集约化程度[3]。基于河长制管理数据的大数据特性,要想利用好大数据技术并最大限度的发挥数据效能,需要经历大数据采集、导入、预处理、分析、挖掘等多个处理阶段。

3.1 采集

数据采集是通过设备获取河长制管理的相关数据,最后传输、存储,是大数据技术应用必不可少的基础。由于河长制管理涉及多个与河湖管理相关的领域,数据采集终端设备较多。如针对河流生态,河长需及时了解水位流量情况,采集设备应包含水位计、流速仪、流量计等各种传感器,遥测终端机等传输设备,服务器、摄像头监控,平台等监控中心软硬件;针对水污染防治,河长需及时排查河湖污染源,加强综合治理,采集设备应至少包括各排污口的水质采集设备、水质监控设备等。

为确保数据安全进入数据仓库或数据集市,应根据现场环境和终端设备情况,考虑成本后选择适当的传输方式(有线传输、无线传输等),确保数据的安全性与连续性。

3.2 导入、预处理

为实现对来自各专业领域的海量数据进行有效的分析,需将这些来自终端的数据导入到一个集中的大型分布式数据库,或者分布式存储集群,同时进行一些简单的有效信息筛选和预处理,修正残缺数据,去除多余和错误数据,筛选有效数据进行集成。由于数据量级原因,导入与预处理过程对网络环境和设备性能要求较高。数据预处理的常见方法有数据清洗、数据集成与数据变换,具体的处理方法需对比、分析终端数据和预处理后数据库结构确定,通常通过引入数据库中间件或建立数据交换平台实现[4]。

3.3 分析、挖掘

分析是大数据技术的主要内容,是对数据进行计算、分析、处理,并获得有价值结果的过程。通过数据分析能实现河长制管理的三个层次[5]:一是数据统计层次,实现统计学方法对数据进行排序、筛选、运算、统计等处理,如当月水位变化情况,当月各采样点水质情况排行;二是联机分析处理层次,指基于数据仓库的在线多维统计分析。它允许用户在线的从多个维度观察某个度量值,从而为决策提供支持,如通过近三年水位、流量、水质数据获取每月发展趋势;三是从海量河长制管理数据中找到未知的、可能有用的、隐藏的规则,通过关联分析、聚类分析、时序分析等各种算法发现一些无法通过观察图表得出的深层次原因,如水位、流量变化和当地GDP 的关联趋势,某个采样点水质情况与当期降水量、当地特殊政策甚至居民风俗的相关程度等。

常见的大数据分析工具有 Hadoop、IBM SPSS Modeler、Teradata、国云大数据魔镜等。河长制管理工作涉及部分保密数据,应谨慎选择适合的分析工具,完成集成或自主研发,确保数据的安全性。

4 河长制管理大数据应用现状

河长制是我国河湖工作的重大决策,重要性不言而喻,而河长制管理数据具有的大数据特性,恰恰为河长制管理提供了新的思路和方法。目前,部分河长制实施机构已初步规划或建立了基于大数据技术的河长制管理平台,力求通过大数据技术提升管理工作效率,但由于河长制管理涉及领域较广、各专业数据相对独立的现状,应用深度有限,应用效果也有待提高。

4.1 缺乏顶层设计规划

河长制管理工作涉及面较广,数据来源及结构复杂,如何梳理繁杂的数据关系,建立有序、可持续发展的数据来源通道,使相关数据都能实现价值最大化是大数据技术的基础任务。顶层设计是运用系统论的方法,从全局的角度,对河长制管理工作的各方面、各层次、各要素进行统筹规划,以集中有效资源,高效快捷地实现预期目标。因此,适用、先进的顶层设计规划是实现河长制管理大数据应用的基础。然而,由于信息化建设的渐进性(投入一定时间后才可能见成效)致使应用成效缓慢;顶层决定性(一把手工程)致使信息化个性发展缓慢,因此,常常陷入遇到问题被动解决,走一步看一步的局面,严重影响数据应用效果。

4.2 专业数据共享困难

河长制管理数据的来源不尽相同,具体职能部门划分明确,尚未建立有效的相关数据共享机制,多数数据未实现共享。同时,随着信息化技术的发展,多数职能部门已建立了相关业务系统,基本完成了基础数据的展示、简单统计等功能,但业务系统相对独立,数据、流程无法互联互通,缺乏统一集约化数据平台。数据共享困难严重制约了大数据技术的实施。

4.3 配套资源缺乏

河长制管理大数据的维护直接影响了近期或远期的数据分析结果,是数据挖掘的保障。鉴于信息化建设的渐进性,多数单位尚未重视或忽略了数据管理、维护的重要性,未同步配套数据维护的相关设备、人员、经费等资源,致使信息化建设成果后期用不起来的僵局频频再现。

虽然大数据技术发展日新月异,但基于以上或其它原因,大数据分析在河长制管理中的应用目前主要限于数据统计层次,尚处于起步阶段,仍有很大的进步空间。

5 大数据在河长制中的应用前景

河长制全面实施后,相关信息量增长迅速,虽然河长制信息化发展迅速,但基于大数据技术的管理方式刚刚起步,根据河长制的工作特点和大数据技术的发展趋势,未来河长制管理大数据应用的发展趋势主要表现为大数据挖掘逐渐深入和相关技术深度融合。

5.1 大数据挖掘逐渐深入

近年来,对河长制管理大数据的应用主要体现在数据统计层次和简单的联机分析处理层次,缺乏深入分析与挖掘,数据的价值未深入展现。积累大量的数据后,未来河长制管理大数据应用将以深层次挖掘为主。通过相关数据分析,找寻潜在关联性与规律性,用于指导当前工作,对未来事件进行预测,为下一步工作提供参考方向。例如,分析连续10 年水位、流量的情况,结合当地同时段国民经济和社会发展统计公报中的GDP、三次产业构成等因素,通过类比及趋势推算分析,制定合理的河流生态保护措施;分析当年某区域内水质特点与当地产业政策的相关要素点,定量相关程度,制定适合的水生态修复目标,增强目标实现的可行性。

5.2 相关技术深度融合

指与GIS、无人机遥感、人工智能等前沿创新技术深度融合。大数据、GIS、遥感、人工智能等前沿技术的产生和发展均来自社会生产方式的进步和信息技术产业的发展。而前沿技术的彼此融合将能实现超大规模计算、智能化自动化和海量数据的分析,整合大量的河长制管理数据,使数据发挥最大的使用价值,助力河湖生态全面、健康发展。例如,在水域、岸线范围内按一定比例布置水质监测点、视频监控,无人机实施巡航,利用GIS、遥感技术建立水域、岸线的三维协同地理信息平台,接收监测数据,同时打通水文、供水、环境等数据的共享壁垒。利用大数据技术对河流的水位、流量、含沙量等进行深入分析,结合其他河流要素和社会要素,制定适宜的河流健康指标,编制河长制工作规程,明确管理责任,对河长制工作规范化具有指导意义;也可利用大数据技术对大量的水质相关数据进行分析、挖掘,若突发监测点水质数据异常事件,信息平台将自动提醒河长异常点位置,推送该监测点近期视频监控,帮助查找异常原因,同时根据无人机巡航路线实时修正平台地理信息数据,根据数据分析与挖掘,超前确定水域、岸线内可能受影响区域,在平台中对区域影响元素和影响程度进行定性、定量预测并展示,显示相各专业、各单位联系人员信息,为河长进行突发事件应急处理提供思路和方向,有效提高应急处理能力。

6 结语

河长制实施至今,陕西省共设河长湖长3.53 万名、河警2156 名,带动了陕西水安全体系建设,其中,13 个市县基本建成河长制管理信息平台,西安市河长制管理信息系统更是被水利部评为水利实用技术“优秀示范工程”,渭河流域陕西段河长制管理工作已见时效。但是,目前的河长制管理信息平台更侧重于信息的采集和预处理,随着河长制管理工作不断深入,信息平台的应用范围和潜在需求必然逐步深入,数据挖掘将成为主要趋势。因此,从现在起制定适宜的顶层设计势在必行。通过大数据技术的应用,无疑将显著提高河长制管理工作水平,真正释放信息化福利,达到珍贵数据价值最大化,是信息化水平迅速发展的迫切需要。然而不可忽视的是,鉴于部分数据的保密性,应建立相关数据的共享机制,配套建立对应的安全机制,确保信息安全见实效,为大数据技术的深入应用提供安全的支撑环境。

猜你喜欢
河长水质分析
山西省总河长、副总河长(总湖长)及省内主要河流省级河长的公告
隐蔽失效适航要求符合性验证分析
关于水质监测对环境保护的意义
一月冬棚养虾常见水质浑浊,要如何解决?这9大原因及处理方法你要知晓
这条鱼供不应求!虾蟹养殖户、垂钓者的最爱,不用投喂,还能净化水质
山西省省内主要河流河长调整公示
电力系统不平衡分析
图像识别在水质检测中的应用
从法律视角看“河长制”对水污染防治的作用
淮委研究部署淮河流域推进河长制工作