基于数据挖掘技术的水量预测模型与分析平台构建研究

王珏　郑楠　张建文　梁宇

摘要：针对水环境智慧管控平台进行数据挖掘，做好水量预测工作，建立水量预测模型，作为保护水环境、实现水环境绿色发展的重要工作。本文从数据挖掘，水量预测，数据分析，构建水环境智慧管控平台，构建水量预测模型，基于数据挖掘的水量预测模型和分析平台，在大数据平台实施水量预测与数据分析等几个方面，对水量预测模型等相关问题展开论述，为做好基于数据挖掘的水量预测工作提供技术支持。

关键词：数据挖掘;水量预测;数据采集;大数据平台

水环境管网是现代化城市不可缺少的城市市政基础设施，也是城市水污染防治和城市排涝、防洪的骨干工程，它的任务是及时收集、输送城市产生的生活污水、工业废水和降水。其作用是及时可靠地排除城市区域内产生的生活污水，工业废水和降水，使城市免受污水之害和免受雨水之灾，从而给人们创造一个舒适安全的生存和生活环境，使城市生态系统的能量流动和物质循环正常进行，维持生态平衡，保持可持续发展，所以水环境的正常运行切实关系到人民生产生活的方方面面，因此要以水环境管网空间数据和属性数据为核心，利用计算机技术、地理信息系统（GIS）技术、数据库技术、图像处理技术、网络通讯以及多媒体技术，建立一个能够长期、有效、动态管理水环境管控系统海量数据的综合管理平台，形成水环境智慧管控平台系统综合数据库，逐步集成、开发与完善各个业务管理和专业分析子系统，为水环境规划建议、运营维护管理等工作提供现代化的管理平台，从而全面提升水环境设施规划决策水平、运营管理水平和客户服务水平，保障水环境设施的安全稳定运行。

水环境智慧管控系统对流量进行在线监测，构建一套基础数据库，对水量监测数据进行统计分析，并在平台中直观可视化应用。由于大数据、云计算、人工智能等技术的快速发展，过去用完即弃的日志数据以及大量非结构化、半结构化的数据都可以进行存储和分析，以提取有用价值信息，数据成为一种新的资源。近年来，水环境污染造成了严重经济损失，破坏生态环境。城市河流湖泊生态系统遭到损坏，严重威胁到社会的生产与人们生活用水。对环保的重视力度从国家层面不断加大，在水量预测信息化建设方面政府的投入逐渐增加，在全国范围内推广应用智能化水量预测站点。由于水环境风险防范形势日益严峻，我国对水量预测风险预警的能力有待提高，以满足水量风险管控的需求。大量研究成果为水环境风险评价预警能力提升提供了支撑，但仍然存在许多问题。主要体现在如下几个方面：现有数据有效利用较少、难以满足業务需求、平台化与流程化的风险评价没有实现，使得水环境评价预警难以满足生态环保需求。

伴随信息化的发展，大数据在水环境领域应用日益广泛，水量数据实时采集、高速传输、大批存储与智能分析大量机构与非结构化的复杂数据，利用数据手段提取其价值，通过处理海量数据，获得高价值产品与服务，提高水环境系统的运行效率，降低水环境的污染。

根据水环境在线监测要求的提高，水量预测面临新的挑战有：数据挖掘、实时监控、精准预测。根据基础数据，开发最优化水量预测模型算法。最优化是指在一定的约束条件下，确定某个或某些元素的合理取值，使所选定的目标达到最优的问题。本文在数据挖掘与水量预测模型构建方面，建立起标准化的大数据水量预测算法，成为水量数据挖掘与分析的核心，为将来深入研究基于数据挖掘的水量预测模型做好技术储备。

1. 基于数据挖掘的水量预测模型

基于大数据的水量预测模型技术在工业互联网和传统水量预测技术等基础上，融合发展起来，实现了水量预测模型的智能化要求，是水量预测与信息化相结合的产物。基于大数据的水量预测模型综合利用了大数据与云原生技术，在水量预测中，采集到大量有价值数据以后，运用大数据的分布式存储与超级计算技术，满足水量预测大数据的计算与存储需求。大数据技术针对数据量大、具有实时性、动态性的数据，利用新的模型与系统工具进行数据挖掘，获取信息并建立应用。大数据技术以云计算数据处理和分布式存储为基础。大数据水量预测的发展，是云计算技术在水量预测模型中的具体应用。

2 水环境智慧管控平台的构建

2.1 数据类型

水量预测与分析中，主要从3个方面获取数据：一是通过人工录入数据，人工定时定点对水量预测区域进行取样分析，获取相关水量信息，将数据录入平台;二是过传感器现场实时采集的水量数据，通过物联网技术，无线传输到平台;三是通过网络抓取的水域属地污染源以及排放物、天气预报情况等数据信息，综合分析水量情况，平台做出预测。

平台对水量进行实时动态检测，不但要采集水量相关特征数据，还要对周边环境，排污状况，区域水源，地形地貌等，由于数据类型的多样性，需要配以多样化的存储方式。需要进行整理与归类，量化统一后再标准化存储。

2.2 水量预测模型特点

普通水量指标是根据地表水环境水质标准确定的，目标层是对城市河流健康状况的评价，指标层划分为水量综合标识指数、感观水量状况和水体黑臭指数。借助大数据平台，把采集到的水量预测数据进行量化处理，获取有价值的水量预测模型基础数据，然后根据数据属性及结构，统一数据格式，让平台系统数据实现标准化。数据进行分布式存储后，利用大数据平台所提供的资源进行分布式计算，利用水量预测模型对水量状况进行分析，指导社会的生活及生产活动。

2.3水量预测评价模型的构建

构建数学模型是进行水量预测综合评价预警的关键。随着数学理论针对水资源监测管理领域的应用研究不断深入，计算机技术的飞速发展，使得诸多数学模型与数学方法在实际中的应用更加广泛;由于水体本身的多元特性，而且相当复杂，有众多因素会对水量产生影响，没有统一可寻的规律性，这些因素共同作用，使得对水量预测的风险评价充满了模糊性。因此，在水量预测评价中缺乏被广泛接受与使用的方法，对水量预测中的水环境风险综合评价预警模型的构建，一直处于不断完善、改进与发展中，平台利用机器学习技术，能感知信息，通过注意、记忆、理解等方式将感知层信息转化为抽象知识，快速学习人类积累的知识;平台可以创造一个模拟环境，让机器通过与环境交互试错来获得知识、持续优化知识。

数据平台实施水量预测与数据分析。水量预测数据平台能够远程监控水量数据，实时动态分析水量数据，预测水量变化趋势。数据平台通过智能分析水量数据，准确判断发展趋势，发现异常情况并推送告警信息到监测终端。以水量测量为为例，当水量监测值超过阈值时，平台显示异常情况并发送报警信息。对监测异常结果以关注后推送的方式进行实时提醒;依据异常告警次数，对站点进行告警排查，制定实际且合理的解决方案，以便采取适当的处理措施。数据挖掘具体流程如图2。

基于大数据的水量预测设计。以监测数据的采集、处理、结果分析、状态呈现为主流程，将基于大数据的水量预测结果通过可视化的形式呈现出来。在基于大数据的水量预测设计中，划分为4个层次：基础差、数据层、中间层和表现层。其中，基础层主要部署了相关的水量数据采集设备，包括水量数据传感器、在线监测仪、定点监测仪等水量数据采集设备;数据层是存储水量等相关数据信息的，部署了基础数据库和水量数据库;中间层主要从数据层的数据库中获取相关数据，完成水量数据获取与数值数据监测等数据挖掘服务，并做好数据管理工作，如水量数据管理、后台管理、图表统计等;表现层主要提供水量控制目标，地图显示以及水量预测状态等。

3 结论

构建基于大数据的监测平台，平台的建设与运营，可以从服务体系和标准做起，对平台所提供的数据存储、计算、处理以及网络接入等服务制定一系列的技术标准、流程规范和付费标准，逐步拓展至大数据采集、挖掘、分析及应用的全流程，形成一整套的标准规范。对水量进行监测预警，技术设计目标是：收集影响水量的相关指标参数，并统一格式化存储，分类管理与分析监测指标，发现影响水量的关键参数指标。以大数据平台为依托，合理选择模型算法，利用对海量数据的分析学习与模型训练结果，构建分析预警模型，实时发送监测信息到前台。对水量预测技术的研究，主要从3个方面开展工作：用于进行水环境监测的数据来源不同，采集方式差异较大，为了统一查询分析数据，需要统一存储和访问不同来源数据;研究基于大数据平台的数据挖掘以及相关数据分析方法，提取影响水量的关键因子;构建水量评价预警模型，并經过反复试验，最终选择一个水量预测预测准确度高的模型。

参考文献：

[1]中国社会科学院工业经济研究所未来产业研究组，中国新基建未来布局与行动路线[M]，北京，中信出版社，2020，103

[2]李祚泳、王文圣、汪嘉杨，水资源水环境模型智能优化[M]，北京，科学出版社，2014，1

[3]腾讯研究院，中国信通院互联网法律研究中心，人工智能[M]，北京，中国人民大学出版社，2017，64

[4]大数据战略重点实验室，块数据大数据时代正真到来的标志[M]，北京，中信出版集团，2015，98-99