饮用水水质监控网络实时数据采集及传输技术应用与展望

1 引言

目前饮用水水质监测主要是服务于供水企业的生产活动，在突发事件发生时，各级政府无法及时获取到准确的水质数据。为提高各级政府部门对饮用水水质的监控能力，要建设好国家、省、市三级的饮用水水质在线监控网络，实现水质数据采集、传输与数据存储的平台，为突发事件的及时应对做好强有力的后盾。

2 技术路线

在饮用水水质监测网络中，通过计算机技术、数据库技术、通讯技术、工控技术将海量、分散的饮用水实时数据进行采集及传输，实现数据及时共享，有效的监控水质。它的研究及实施的技术路线如下：

①实时监测点的合理布局、监测项目及采集频率的确定。实时监测网应能直接反应从“取水、净水到配水”的水质状况，并能实现以最合理的监测点布局获取完善的水质信息。强调合理选择“取水、净水到配水”监测点的监测项目，提高资金的利用率。

②确定数据采集及组网方式。

根据监测项目和数据监控的需求，利用两化融合技术实现数据采集。组网方式则根据课题安全等级及各地方的实地情况的要求，选择合适的有线及无线网络。

③选择精准、高效，稳定的数据存储，传输方式，以便数据信息可以在各级平台中及时、准确的展示，高效的数据分析及挖掘。

④政府监控中心与供水企业实时监测点的信息共享。政府监控中心与供水企业实时监测点信息共享的关键点是管理部门之间的协调，在技术层面上不存在创新。新建水质实时监测点，政府监控中心与供水企业的信息共享在技术上较易实现；但供水企业的已建实时监测点，一种方法需要修改实时监测点的RTU（远程终端监控单元），重新定义通讯协议；另一种方法是增加其他外部设备，实现信息共享。政府监控中心与供水企业实时监测点的信息共享，有利于实时监测点的可维护性，并且节约成本。

3 研究及应用

按照技术路线的研究思路，确定了实时在线水质数据的采集传输模式。实时数据通过无线GPRS网络，每隔15分钟送入国家级、省级、市级数据中心，数据中心管理员负责维护监控在线设备的运行维护。在水质监控点安装的一套或多套在线监测仪表与数据采集传输仪连接，采用Modbus现场总线协议，RS-232C兼容串行接口采集在线监测设备的水质、状态等信息，然后数据采集传输仪通过网络将数据传输到上位机的数据中心，它采用的是TCP协议。

3.1 数据采集传输仪技术指标

在这个过程中数据采集传输仪是上下连接的关键节点，对它的重要功能技术指标包括：

（1）数据采集设备应具备多中心数据传输功能，支持至少4个中心数据发送，并可以独立的配置各中心的数据发送频率，发送频率可设置为60秒～12小时。

（2）数据采集传输后，将数据包写入到现有管理平台标准数据库中。与现有平台无缝对接。

（3）数据采集设备应内嵌数据库，在与中心的通信临时中断后，至少可以存储15天的数据，并应具备数据断点续传功能，通信一旦恢复可以将存储的数据再传回中心。

（4）支持Web形式能对采集器进行简单配置，如IP地址等。

（5）采集器需支持实时及历史数据查询和校时等功能。

3.2 数据采集传输仪与数据中心传输要求

数据采集传输仪与数据中心传输的数据包结构包括：包头、有效数据总长度、有效数据、CRC校验、包尾五部分。其中有效数据是采用XML格式，并通过AES加密的字符串。如图1。

图1

有效数据中的XML格式如下：

这其中的指令类型分为五大块，分别是身份验证、系统授时及心跳、配置设定、水质传输、扩展指令。其中数据采集传输仪的身份认证采用MD5的加解密算法，当上位机与数据采集传输仪计算的MD5码相同，表示身份认证成功。在没有数据传输的时间里，数据采集传输仪会通过系统授时及心跳指令定期向上位机发送心跳包，保持通道畅通。水质传输指令中重要的两个指令是定时最新的水质监测数据上报和断点续传的水质监测数据上报。断点续传功能是必不可少的，当数据采集传输仪上传数据失败或者是网络断开是，数据采集传输仪会将历史数据保存下来，这是为实现断点续传做准备，当上位机通讯正常，发出断点续传指令，再将历史数据上传。如何通过上位机去控制数据采集传输仪，如设置数据采集传输仪的传输间隔等，在扩展指令中可以完成这项任务。当然这需要数据采集传输仪自身具有反控的功能。以上的设计方案在山东等地得到很好的应用， 取得了很好的运行效果。

3.3 实时数据的存储技术

目前考虑到实时数据的存储量大，读取频率高，但存储格式较为简单的特点，故采用实时数据库（实时库）存储水质数据及其他采集数据，实时库采用Oracle Berkeley Db作为支撑，使用Java实现。数据存储结构对用户透明，为数据展示提供两种形式的数据操作方式：基于JRT Client包的接口和基于Telnet的Console终端操作。

3.4 实时数据采集及传输技术展望

随着近年无线互联网的发展，联通的3G无线网络的覆盖范围已经与日俱增，部分地区如南部地区这一年来移动4G网络的覆盖也大大加强，在这些覆盖高速无线网络的地区，在线实时数据的传输，是不是也应该从简单的字符串传输，向时空数据及视频，音频数据传输的方向发展，对于在线监测点做到全方位的监控，如同身临其境。

图2

在大数据快速发展的当今社会，巨大的实时数据库结构简单，适合Mapreduce模式，首先将数据拆分成键值对（key/value）的形式，每一个键值对通过Map函数映射成一组新的键值对，当需要输出时调用Reduce函数，它会将中间数据合并（combine）、排序（sort）等后再分发输出最终结果键值对（key/value）。Mapreduce的框架图如图2：

举例来说明mapreduce的逻辑过程。假设我们需要处理一批有关实时在线监测设备测量的水质ph值，其格式为每行一条记录，每行字符从1开始计数，第16个到第23个字符为日期，第30个字符到第32个字符为水源的在线监测ph值，如图3：

现在需要统计出每日在线监测点ph值得最大值，MapReduce模式的思想包括两个步骤：Map和Reduce。在Map过程，输入的key/value键值对如图4：

图3

图4

在Map过程中，通过对每一行字符串的解析，得到日期/ph值的key/value键值对作为中间结果输出，如图5：

图5

在Reduce过程，将Map过程中的输出，按照相同的key将value放到同一个列表中作为Reduce的输入，如图6：

在Reduce过程中，在列表中选择出最大的value，将日期-最大ph值的key/value作为最终结果输出，至此整个MapReduce的逻辑过程说明完毕如图7。

Hadoop是MapReduce模式的Java实现的软件架构，由分布式文件系统（HDFS）及分布式数据库（HBase）来存储数据，可利用基于Hadoop的Hive做为数据仓库工具，大数据处理的利器hadoop，能更好实现饮用水水质监控网络实时大数据的价值。

4 结语

本文阐述了饮用水水质监控网络实时数据采集及传输技术从技术路线的制定到技术设计及实施，很好的解决了海量、分散的实时数据在三级网络中的数据库共享。为城市饮用水安全保障，打下坚实的基础。