浅谈制水公司数据采集与处理平台构建

（上海嘉勉信息技术有限公司，上海 201900）

引言

随着信息化建设应用经验的不断积累，制水生产管理对信息系统所产生的价值要求也在逐渐转变，由现有的生产管理、数据汇聚和流程应用向数据分析、节能减排，生产指导优化，设备预知维护，以及其他应用及优化方向迈进[1]。迫切需要使用主流的工业物联网技术以及大数据分析与挖掘技术，能够统一高效的采集、存储、分析厂站工业现场数据，灵活实现不同系统间的信息交换、信息共享与业务协同，加强信息资源管理，开展数据和应用整合，进一步发挥数据资产信息资源和应用系统的效能，提升信息化建设对制水公司业务和管理的支撑作用。

一、总体规划

系统的总体规划应从根据制水公司生产工艺的实际情况，发挥水厂、泵站一体化管理体制优势，以网络系统安全、分布式多协议采集、海量数据存储以及数据资产管理规范为核心，围绕数据采集监控平台的各个环节，统筹规划，集约建设，行业引领，总体推进，建设能够为制水公司解决实际问题的大数据采集与处理平台。

1.数据管理标准

数据标准是进行信息化建设的基础性工作，是实现信息共享的重要依据，是系统建设的规范要求。通过加强数据标准化、规范化管理，有利于实现制水公司各基层单位生产数据的整合和优化，实现数据资源信息的集成与共享，从而保证生产业务的安全进行。凡有国家标准、行业标准的采用现有标准，各类标准不一致的原则上采用最高级别的标准。在国家、地方等相关标准规范的基础上，结合制水公司水厂、泵站的实际生产情况，制定制水公司采集监管相关数据标准，来指导平台建设后续实施，也可以约束其他系统开发方，按统一的标准和规则提供数据或使用数据。

制定数据标准可从业务和技术这两个方面展开。业务方面主要是从数据项在实际生产中涉及的属性信息，比如在PLC对应IP地址、所属工艺段、定义、描述、数据类型、单位、PLC上变量名、出现不同值代表的含义描述（状态量）、数据处理方法/公式，编码等方面去规定每个数据项应该遵循的标准、规则。技术方面主要是从数据存储（如字段长度）、数据安全（如权限）等技术角度来规范每个数据项，目的就是保证采集的数据不间断的正常运转。具体的数据标准产生的逻辑框架（见图1）。

2.数据分类

依据制水公司生产流程以及日常运维经验，可将采集的数据进行分类梳理，比如按照数据的重要性：原水进水流量数据，出厂水水质、出厂流量和压力数据是重点关注数据（可定义为一级数据）；沉淀池水质、流量，滤池水质、流量，清水库液位等主要的过程水是次重要的关注数据（可定义为二级数据）；电量数据，加药数据，阀门开度等就是一般关注数据（可定义为三级数据）。

3.数据存储

数据存储作为数据采集的下层系统，作为数据分析共享的支撑，也是制水公司数据采集与处理平台的核心组成部分。数据存储平台需要满足对结构化数据、非结构化数据和半结构化数据的统一存储和查询的需求，同时，保证查询的高效性和存储的安全性。拟采用分布式存储系统Hbase为主要存储介质，同时，搭配关系型数据库（mysql、Oracle等）作为辅助的存储介质。

图1 数据标准逻辑框架

4.数据分析

数据分析是实现业务功能和可视化展示的基础，利用分布式存储和并行计算框架，结合多种分布式计算引擎，对各类结构化、半结构化及非结构化的数据进行快速的分布式计算，并提供基于关联、聚类、分类、预测等类算法库[3]，同时，实施包含数据采集、清洗、转换、分析、应用等数据全生命周期的数据治理，提高数据及时性、准确性与可用性。

5.数据资产管理

数据资产管理的含义，根据DAMA（国际数据管理协会）的定义来说是指企业或组织采取的各种管理活动，用于保证数据资产的安全、完整、合理配置，有效利用，从而提升经济效应[2]。制水公司做数据资产管理的目的就是为了让数据使用者能够清楚地认识数据和数据关系，进而更好地运用数据；为了让数据应用的管理者能够洞察数据、应用、系统之间的复杂依赖关系，进而更好的管理数据。

根据当前的不完全统计，制水公司生产过程每天需要采集和处理庞大体量的数据，而每个数据项每天每时每刻都在产生实时数据，面对如此庞杂的实时数据，而且还需要通过它们来指导和管理实际生产，这对于管理者来说确实难度很大，所以有必要对于数据项以及会影响数据项实时数据好坏的因素做相应的管控，以快速、准确地解决实际生产的需要。

二、系统设计架构

系统主要采用分布式架构，支持分布式部署方式、分布式计算，支持Master/Slave的集群架构，系统性能随着节点数增加而线性提升，基于Hbase搭建的工业数据库支持分布式事务处理能力[4]。主要功能块包括数据采集层设计、数据处理层设计、数据管理层设计以及工业数据库设计、可视化监控设计等几大块的内容。设计架构（见图2）。

图2 系统设计框架

1.数据源层

其中数据源层是指所要面对的数据采集对象，按照数据源结构的不同可分为两大块：设备数据源和系统数据源，其中设备数据源包括各种PLC设备、仪表设备等，系统数据源主要包括各种数据库系统、文本文件和各类WEB系统等。

2.数据采集层

数据采集层就是针对不同的数据源所开发的数据采集系统，数据采集系统分为数据采集终端和服务器接收端并搭配企业级数据总线，能用于不同数据源的数据采集、接收与发布。

3.数据处理层

数据处理层是对数据进行抽取、转换、预处理的工作过程，通过对数据采集层所采集到的数据进行格式转换、过滤、清洗等操作，将多种不同设备、系统的数据进行整合，同时，将数据项按照以制定好的数据标准进行分类、归档。

4.数据管理层

数据管理层是通过元数据管理、主数据管理、数据资产管理等功能模块，再加上相应的数据管理流程对数据实行管理的一种方法和手段，保障数据的一致性与准确性，进一步发挥数据作为资产的价值。

5.数据中心层

数据中心层是指业务数据库和大数据存储仓库。业务数据库用于数据采集汇总平台所需要配置的信息，包括采集标记名、站点属性以及系统本身所需要的配置信息。大数据存储仓库是将数据采集、处理层所产生的规范数据做统一的存储，消除了各数据中的不一致性，将数据按照统一的标准做实时的存储，从而为制水公司数据采集与处理平台提供多维度数据分析支持，真正将数据转换为价值。

6.数据监控层

可视化监控层主要包括数据实时监控、数据地图、3D工艺过程监控以及报表统计、数据资产目录等。同时，尽可能实时动态反应生产情况，实时监控关键工艺环节、关键点的压力、流量、浊度、余氯等数据，完成系统平台内各水厂、泵站等生产全过程数据的动态监控与管理。

图3 3D工艺过程监控

同时，数据安全和数据全生命周期为各层数据提供基础保障，在保证数据安全的基础上，记录数据从产生到呈现的全过程，实现对数据资产真正的管理。

三、展望

随着信息时代的发展，水务建设已成为智慧城市建设的重要环节，而制水作为智慧水务建设的重要工艺环节，要从被动的支撑水务管理变成主动监管，为生产全链条制水环节实施全过程实时监控、动态化管理、生产运行优化、设备保障以及为水务建设提供强有力的数据保障，从而推进制水公司数据采集与处理平台实现智能感知、智能共享、智能分析、智能响应、智能处置、智能指挥，提高制水公司的管理能力，驱动生产过程的数据管理向智能化转变[5]，实现海量数据的汇聚、存储、整合与共享。

四、总结

制水公司数据采集与处理平台是运用新一代信息化技术实现采集水务信息，并进行实时处理与分析，以更加精细、动态、实时的方式管理制水公司生产全过程的数据，实现对制水公司数据资产化的管理流程。同时，大数据技术与数据管理结合有效地为制水公司调度决策提供了真实有效数据支撑和决策依据，为城市智慧水务的建设添砖加瓦。