基于大数据及云计算技术的污水分析管控平台的研究与设计

戴 平

( 安徽信息工程学院 计算机与软件工程系，安徽 芜湖 241000)

随着国家加大推进环境建设的力度，实施节能减排战略，我国污水处理行业的需求将进一步扩大。国家信息中心发布我国“十三五”期间的废水治理投入将达到13,922 亿元。目前国有大中型污水处理厂多使用国外进口品牌的水质参数分析采集仪器，但国外水质分析采集设备集成度不高，需重新搭建网络传输系统，且进口设备价格非常高，接口单一、扩展性弱、无法支持个性化定制。国产多参数分析采集设备大多做到了较高的集成度、个性化定制多，但没有对前端分析采集系统、传输系统、设备管控系统及客户端应用系统等进行顶层化的设计整合和技术上的无缝连接[1]。

鉴于目前国外水质分析采集设备及国产多参数分析采集设备存在的不足，提出了基于大数据及云计算技术的污水分析管控平台的建设方案，通过专业的污水参数采集和大数据分析以及对污水处理设施的管控服务，为有环保处理需求的工农业企业提供污水管控的专业化、标准化的整体解决方案。该方案所设计的系统前端多参数分析采集设备具备目前市场上相似国产设备的所有优点，并增加接入电子显微镜和高清摄像机等视频图像设备，同时采用大数据技术对所采集的各种数据进行分析、挖掘与可视化处理，为政府管理、企业生产、大众参与的污水管控提供一体化的平台，对提高我国污水排放的管控水平，具有十分重要的现实意义[2]。

1 功能设计

该污水分析管控平台主要包括前端污水多参数集中分析采集系统、网络传输系统、后台软件综合分析管理服务平台及应用客户端系统。

前端污水多参数分析采集系统通过对污水进行多参数集中分析采集，实现对污水中的PH、温度及悬浮物等参数的实时在线监测，以及通过对各传感器设备的运行状况等参数的采集，实现对前端设备的监控。通过对污水处理厂的需求进行分析，搭建一套满足其工艺要求的自动化污水参数采集系统。

通过网络传输系统将前端采集的数据传输至后台软件综合分析管理服务平台。通过大数据分析建模，实现对前端污水多参数集中分析采集设备上传的数据进行实时分析记录，同时，结合污水处理企业对系统平台的要求，搭建一套完整的基于云平台的工业现场数据发布系统。包括对采集设备与云平台软件数据的通讯、系统的报警、数据实时更新及监控、历史数据查询、报表的打印等功能[3]。

应用客户端系统包括PC操作端、安卓手机客户端和IOS手机客户端，支持访问和管理前端数据采集设备，支持对水质分析报表和趋势图的实时展现、专家在线诊断、污水水质参数超标预警、系统连接设备设置功能、用户管理功能等，并拥有良好的UI设计及用户体验。

基于该平台要实现的主要功能，相对于现有的同类产品，需解决的关键问题主要有以下3点：

(1)提高前端污水多参数分析采集系统的集成度、易用性、稳定性及数据采集的实时性。

通过开发嵌入式硬件系统终端，将电子显微镜和高清摄像机等视频图像设备的数字图像处理技术融入到云环境前端多参数分析采集设备中，提高整个前端硬件系统的集成度，促进整个系统的易用性和定量可视化功能；系统前端硬件终端采用LINUX嵌入式系统，选择工业级别的嵌入式芯片平台，硬件终端系统需要在复杂的污染源环境下(高温度、高湿度、高腐蚀度)长时间稳定运行，能够通过有线或者无线(4G)的通信方式将系统前端硬件终端的采集数据，实时传输至后台数据分析系统中；利用视频流媒体技术，将前端的电子显微镜和高清摄像机的图像和图片进行实时压缩和转发，由于前端的电子显微镜和高清摄像机数量较多，以及视频和图片数据的非结构化特征，系统需要特殊的优化和稳定性处理[4]。

(2)通过HADOOP框架构建大数据分析平台，实现对污水多参数的实时分析、诊断及预警，提高数据挖掘分析的准确性及效率。

系统软件平台采用HADOOP框架进行搭建，主要包括：Hadoop分布式文件系统的建立；MapReduce计算模型的设计；配置HADOOP集群运行模式的方案，确定NameNode节点和journalnode服务直接的耦合关系。

利用数据挖掘分析技术，提高数据挖掘分析效率。利用系统对较为空闲时间(如凌晨)进行数据分析统计，按照周、月、季、年、行业、区域、污染物类型、企业类型等生成统计汇总数据，存储在统计表中，以备分析查询使用，提高数据挖掘分析效率。

图1 系统整体网络拓扑图

(3)通过移动互联技术，实现对前端采集设备的随时随地管理，以及对水质分析相关数据的实时查看与处理。

2 技术设计

该平台通过开发嵌入式硬件系统终端，运用数字图像处理技术，实现对水质参数的实时采集；通过大数据分析建模及云计算技术，实现对水质参数的分析及可视化展示；通过研发拥有良好用户的体验的客户端服务软件，实现对前端水质采集设备的远程管理以及对水质变化情况的实时监控及决策管理；最后，通过平台推广试点进行实证研究，对结果进行分析，验证相关研究成果的科学性，同步发现存在的问题，进一步完善、优化平台[5]。

2.1 平台整体架构

平台整体架构采用表现层、业务逻辑层、数据层等的三层分离结构基础上的B/S和C/S混合选择模式，综合HTML、ASP.Net、Ajax、Java、C++等多种技术实现。平台功能主要有：用户鉴权管理、基本信息管理、实时监控、数据查询统计分析、设备管理及系统管理等模块。系统整体网络拓扑图如图1所示。

2.2 应用系统架构

应用系统逻辑结构充分贯彻分层架构设计和模块化设计理念，由上而下主要可以划分为WEB应用层、应用服务层、数据存储服务三层组成。均采用表现层、控制逻辑层、业务逻辑层、数据访问层等四层分层设计，其中，WEB应用层设计为基于上述分层的B/S结构的WEB应用程序。 系统逻辑结构图如图2所示。

图2 系统逻辑结构图

(1)WEB应用层

从业务角度划分，WEB应用程序包含登录管理、基本信息管理、实时监控、综合查询、统计分析、设备反控、系统管理八个主要模块。WEB应用层是直接给系统用户提供业务功能的B/S结构的程序，服务端程序部署在WEB服务器(IIS)中，基于.Net Framework4.0运行；用户在客户端通过浏览器(IE7.0以上)访问服务器，进行相关业务操作。WEB应用层内部设计同样贯穿分层设计理念；WEB应用程序由上到下可以划分为界面表现层、控制逻辑层、业务逻辑层、数据访问及通信代理层四个层次。

a)界面表现层综合HTML、ASP.Net、Siverlight、Ajax、Javascript等多种技术实现。

b)控制逻辑层对客户端进行各项业务功能操作而发起的向服务端的请求进行命令式的封装，并负责调度到相应的业务逻辑处理。通过对控制逻辑的封装，可以在控制逻辑层横向插入权限认证、操作日志记录等增强控制。同时，控制逻辑层的封装将保证系统能够做到B/S和C/S程序切换的可适应性。

c)业务逻辑层接收控制逻辑层转发的业务请求，并通过内部计算或调用数据访问层对数据库进行相应数据操作，对于反控等要求则直接通过通信代理服务调用前端设备。

d)数据访问层将数据访问层单独抽离出来，有利于数据库切换和保证业务层以上的逻辑稳定，同时数据访问层代码可以直接利用现成的O-R Mapping框架，减少系统开发工作量和开发周期。

(2)应用服务层

应用服务层提供了系统运行的基础服务，由部署在应用服务器上的一组独立的程序或服务组成，主要包括登录管理服务、数据管理服务、数据统计服务以及通信中心组成。

通信中心是应用服务层的核心。污染源排口监控设备的下位机通过SIM卡直接连到位于环保专网上的通信服务器，并上传实时数据、分钟数据、小时数据及日数据给部署在通信服务器上的通信中心程序。通信中心收到数据后，将信息转发给本地的消息队列、由监听消息队列的入库程序负责将数据转换入库，另一方面，将接收用户通过本系统向前端设备(下位机)下发的控制指令。

a)登录服务为本系统用户提供登录服务认证，保存管理当前登录用户登录信息，并提供对登录用户链路的管理功能。

b)数据管理服务提供对过期数据自动备份和删除本自动服务功能，并提供数据管理服务程序，用户通过数据管理服务程序提供的数据管理界面，完成过期数据自动备份到指定文件夹。

c)数据统计服务从系统统计分析和报表应用的需求出发，对于涉及跨月、跨季度、跨年份的统计要求，将定时从原始监控数据表中提取、分析、归并相应的统计后数据，存储于分析数据库中，以提高报表的生成效率，以及应对历史数据归档后还需要进行跨年分析的业务需求。

(3)数据存储层

数据存储层由系统数据库和提供用户登录数据存取服务的数据库服务器组成。系统数据库按照逻辑结构可以细分为空间数据库、业务数据库、分析数据库几部分。由应用服务层提供数据管理服务对业务数据库和分析数据库中过期的数据进行归档管理。

2.3 前端污水的多参数采集

前端采集设备采用嵌入式开发技术，采用嵌入式Linux作为操作系统，选择TI公司的Davinci系列平台DM8168平台作为设备的主控芯片，DM8168平台是TI最先进的多媒体处理SOC芯片平台，芯片上集成了4个可编程CPU核心,分别是Contex A8 ARM核(1.0G)，DSP核(C674 1.0G), 2个ContexM3核(250M)。主控板与各类传感器之间采用分布式Can总线和Modlebus协议。视频传感器部分，采用RTSP协议进行网络流的传输，采用PS/TS标准进行视频的硬盘存储。前端设备支持100/1000M有线，支持Wi-Fi和4G无线等方式与后台数据处理系统平台进行信息交互。前端设备与后台采用分布式+集中式相结合控制连接方式。

2.4 污水多参数的分析统计

运用大数据挖掘及分析技术，实现对污水多参数的分析统计。系统软件平台采用HADOOP框架进行搭建，主要包括：Hadoop分布式文件系统的建立、MapReduce计算模型的设计、配置HADOOP集群运行模式的方案，确定NameNode节点和journalnode服务直接的耦合关系。利用数据挖掘分析技术，提高数据挖掘分析效率。利用系统较为空闲时间(如凌晨)进行数据分析统计，按照周、月、季、年、行业、区域、污染物类型、企业类型等生成统计汇总数据，存储在统计表中，以备分析查询使用，提高数据挖掘分析效率。

4 结语

基于大数据及云计算技术的污水分析管控平台，通过专业的污水参数采集和大数据分析以及对污水处理设施的管控服务，为有环保处理需求的工农业企业提供了污水管控的专业化、标准化的整体解决方案。同时，针对传统的单参数环境测量方法，提出了多参数集成测量的方案；运用前端数据采集及大数据分析技术，对水质参数的采集及分析，指导污水处理的工艺过程和污水处理设备控制流程；运用数据挖掘分析技术，通过采用灵活的系统处理策略，提高污水数据分析监控的效率与稳定性；运用移动互联开发技术，开发移动智能终端，实现对污水数据分析情况的实时监控管理和情况分析。支持通过移动客户端访问和管理前端数据采集设备，并支持其对水质分析情况的实时监控管理。当现场发生故障时，现场人员即使不在现场也能够通过移动智能端(手机、PAD)对污水处理厂数据进行实时的监控管理和情况分析。以上都是目前市场上所有国产多参数分析采集设备所不具有的，这对提高我国污水排放的管控水平，具有十分重要的现实意义。目前，系统已在合作企业上线运行，线上运行稳定，能够很好地满足其使用需求，可以有效地帮助指导企业进行污水管控。在后期的开发研究中，将对系统的用户体验和性能进行进一步完善和优化。