太湖流域人工巡测数据采集系统设计与实现

马莎莎 ，杨旭昌 ，徐建秋 ，张 健

（1. 太湖流域管理局水文局（信息中心），上海 200434；2. 太湖流域水文水资源监测中心，江苏 无锡 214024）

太湖流域河流水系纵横交错，湖泊星罗棋布，是全国河道密度最大的地区。流域内地势低洼，受潮汐顶托，水流复杂，污染严重，流域内“水多、水少、水脏”问题并存[1–2]。近年来，随着流域经济社会的快速发展，水资源最严格管理制度的实施，对流域水资源管理和保护工作提出了更高要求。在现有站网布局的基础上，围绕流域水资源管理与保护、防洪与供水安全、水资源优化配置等工作的实际需要，基本形成在线监测为主，人工监测为辅，固定点监测与移动监测相结合的水资源和水环境监测体系，实现了省际边界河湖、环太湖主要出入湖河道、流域性引供水河道等的水量水质的实时监测与预警，以及控制省界交换水量、入太湖水量和污染物、流域河道内重要取水户取水控制断面的在线监测[3]。人工巡测数据可以对在线实时监测数据进行校核率定，在线实时监测数据弥补了人工巡测频次低、时效性差的不足，因此目前还无法实现在线监测的指标数据仍需通过人工巡测采集。

为加强流域机构与地方水利部门的协作，推进流域水资源水环境信息共享与交换，太湖流域管理局（以下简称太湖局）在现有流域与地方水文部门基础设施的基础上，建设了 8 个水量水质信息采集分中心，包括太湖流域、浙闽皖 2 个水文水资源监测中心，青浦水文巡测基地，苏州市、无锡市、常州市水文分局，嘉兴市、湖州市水文站，其中 2 个水文水资源监测中心和青浦水文巡测基地归属太湖流域机构管理，其余 5 个分中心归属地方管理。

水量水质人工巡测监测数据在流域水资源保护工作中发挥了重要作用，但现有的巡测填报手段、数据上报实时性、资料整编时效性、自动化等方面已难以满足流域水资源巡测和管理的需求。为满足流域水资源管理保护工作的需要，必须及时掌握太湖及环太湖主要出入湖河道、流域性引供水河道、省界主要河湖等的水量水质信息，尤其在应对水污染突发事件时，更需要掌握全面的水资源与工程运行信息，为流域调度决策提供依据。因此，需要通过现代化技术手段改变目前水量水质信息人工巡测数据采集方式，满足水量水质实时信息采集、传输、管理及业务应用要求，为太湖流域综合业务服务和调度决策支持提供数据支撑[4]。

为此，遵循《水法》《太湖流域管理条例》和实行最严格的水资源管理制度，梳理水量水质信息采集 8 个分中心的具体业务应用需求和整编规范，设计太湖流域人工巡测数据采集系统（以下简称人工巡测采集系统），实现基于移动端和 PC 端应用的太湖流域人工巡测数据采集的应用功能需求。

1 人工巡测数据采集现状及存在问题

目前，太湖流域水文水资源人工巡测工作包括样品采集、现场观测和调查、图片视频资料收集及成果记录等。采集的数据主要包括以下 3 类：

1）水量数据。水量数据包括水位、流量、水面宽，以及断面过水面积、平均流速、最大流速、平均水深、最大水深等数据。

2）水质数据。水质数据种类较多，各分中心、水文站点采集的要素各不相同，需要进行灵活配置，总体上主要包括 GB 3838—2002《地表水环境质量标准》提出的地表水环境质量标准 24 项基本项目（如水温、pH 值、溶解氧、高锰酸盐指数、化学需氧量、五日生化需氧量、氨氮、总磷等），以及水源地补充监测项目。

3）图片视频数据。图片视频数据包括断面、水体现场状况的照片视频，以及蓝藻水华分布图等。

太湖流域水量水质巡测一般有固定巡测线路和站点，定期不定期开展巡测工作，具体分析如下：

1）水量巡测。主要有流速仪法和走航式 ADCP测流法 2 种方法，现场记录测流数据，并将数据传回分中心进行计算和处理。

2）水质巡测。现场观测指标通过纸质方式进行现场记录；其他指标现场采样，再将样品运回实验室或水质监测站进行人工化验，得到水质数据后，与现场观测指标一起再进行录入和上报。

目前，人工巡测数据采集、处理、提取和服务还未有效形成一体化体系，存在以下几方面问题[5–6]：

1）现场（外业）信息采集信息化程度低，技术手段落后。目前现场信息采集是采集体系中信息化程度最低的环节：水量巡测数据采集处理须人工计算，成果数据写入 Excel 模板中保存，定期整理形成汇编报告；水质巡测现场采集的数据记录在纸质文档上，后期须二次录入信息系统，数据处理效率低且为重复性劳动。

2）图片视频信息即时采集传输处理能力不足，多元信息融合不够。引江济太水资源调度、太湖蓝藻预警、水源地供水和水生态安全等太湖局中心工作，既需要实时数据支撑，更离不开现场照片、水华分布图、藻类图谱及高清视频等综合信息的辅助支持。目前，这些图片视频信息未进行结构化（数据库）存储，日常查询使用不方便且数据容易丢失，距离智慧太湖提出的透彻感知目标要求还存在一定差距。

3）太湖流域各分中心之间存在信息孤岛现象。各分中心水量水质人工巡测数据采集与处理系统自成体系，各不相同，数据管理分散，缺乏统一的人工巡测数据采集系统的规划与设计；各单位信息化程度差异较大，过程数据填报不统一，难以有效地进行大数据分析和数据积累；数据整编流程不一致，自动化程度不高；数据共享交换机制未建立，难以达到数据资源与服务资源的共享交换与互联互通。

因此，人工巡测采集系统的建设应从流域各分中心整体需求出发，整合各分中心的水量水质人工巡测流程，深化综合应用服务，提供统一的人工巡测数据采集、整编和共享等服务。

2 人工巡测数据采集填报流程

人工巡测人员通过移动端或 PC 客户端对各类人工采集数据进行录入填报，人工巡测采集系统对数据的正确性进行巡测校验，校验失败则重新录入，校验成功则把人工巡测采集的水量水质数据进行二次处理并存入人工巡测水量水质数据库。人工巡测采集系统数据库应符合国家、行业的数据标准和规范，用于存储各类人工采集数据，保证系统扩展性与数据共享交换需求。

同时，将人工巡测数据上报至太湖局预警中心，通过部署在太湖局预警中心的数据共享平台，实现数据资源与服务资源的共享交换与互联互通。具体采集填报流程如图 1 所示。

图 1 人工巡测数据采集填报流程图

人工巡测采集系统为太湖流域多个水量水质信息采集分中心提供标准化的数据采集填报流程，架构图如图 2 所示。

人工巡测采集系统位于太湖局，通过网络防护墙与其他分中心进行通信，按照《实时水情数据库表结构与标识符标准》《基础水文数据库表结构及标识符标准》《水质数据库表结构与标识符》《水资源监控管理数据库表结构及标识符标准》《水文巡测规范》和《水文资料整编规范》等标准或规范对人工巡测的数据进行解析和录入[7–12]。

图 2 人工巡测采集系统架构图

3 人工巡测采集系统平台构架设计

人工巡测采集系统平台基于 B/S 模式，采用业界标准的分层结构设计，大体上分为基础设施层、数据层、应用服务层和客户层 4 个层次，可有效实现软硬件扩展升级、用户数量扩展、客户端零维护等，结构框架如图 3 所示。后台数据处理采用分布式部署，实现系统服务压力负载均衡。

图 3 系统结构框架

3.1 基础设施层

基础设施层是人工巡测采集系统最底层，是系统软件的基础，包括硬件设备、网络环境、操作系统软件等系统运行所必需的支撑环境，是系统高效、稳定运行的基础。

3.2 数据层

数据层位于基础设施层之上，主要组成部分是人工巡测采集系统数据库，保存来自各分中心的人工巡测采集数据。数据库采用关系型 SQL Server 2012 数据库，保证数据访问的时效性和可靠性。

3.3 应用服务层

应用服务层是实现人工巡查采集系统功能的核心部分，包含以下组件和平台：

1）人工巡测业务组件。为 App 人工巡测业务提供巡测流程服务，创建巡测任务，进行巡测任务状态管理、数据保存等。

2）数据上报组件。提供人工巡测数据采集及上报功能，实现数据资源与服务资源的共享交换与互联互通。

3）水文流量计算组件。根据人工巡测点的河道断面、水位、多条垂线的流速仪测流等信息，提供标准化的水文流量计算功能。

4）系统权限认证组件。根据客户权限定义，区分不同的用户拥有的权限，实现系统级用户权限认证、数据管理和功能服务的权限管理等功能。

5）非结构化数据存储组件。统一管理非结构化数据，实现统一的图片处理（支持 jpg，png，bmp，gif，tiff 等多种图片格式的转换，以及缩略图缩放等操作）、音视频处理（支持音频、视频的转码，视频缩略图生成）、文档处理（支持文档类型转换）等非结构化数据的应用处理功能，使非结构化数据文件轻松应对各种终端设备。

6）数据接入与通信组件。负责管理与电力、气象数据源的通信，一方面把数据接入本地人工巡测数据库，另一方面向太湖局共享平台提供数据上报服务，实现服务的统一共享。

7）信息检索查询组件。为人工巡测采集系统提供统一的数据访问接口，屏蔽不同数据库的差异，实现特定方式查询优化、结果过滤等功能。

8）统计分析与报表组件。对信息检索查询组件获得的源数据进行分析加工，生成统计报表、折线图、柱状图等可视化应用结果。

9）报警应用组件。提供报警策略编辑，采集录入数据的报警检测，以及报警信息分发等功能，为人工巡测采集系统提供统一的报警信息的生成与处理。

10）短信发布组件。短信发布组件是短信发布和管理的应用接口，提供报警内容的发布功能。

11）Web 和 App 接口服务发布平台。运用智能缓存插件、负载均衡模块和请求转发组件，优化服务器性能，实现客户端的快速访问。

3.4 客户层

客户层位于客户终端的 Web 浏览器上。由于人工巡测采集系统采用网络主流的前台框架 Bootstrap技术，客户终端上不需要安装任何客户端程序，即可浏览系统功能页面。

4 人工巡测采集系统应用功能

人工巡测采集系统按照统一标准、统一方法、分级建设、资源整合、信息共享的要求构建[13]，具有人工巡测数据采集、录入、处理、存储、上报等多种功能，提供各类结构化和非结构化数据的录入和统一管理，提供统一的人工巡测数据库，支持批量数据的导入和导出操作，为太湖流域提供全面可靠的人工巡测数据采集和管理服务。

人工巡测数据采集主要有以下 3 种方式：

1）借助移动终端等设备，用户通过人工录入App 进行现场数据的采集、填报、处理、上报。

2）用户通过系统或移动终端设备，以格式化文件的形式导入人工巡测数据。

3）用户通过网络登录中心站软件系统，通过PC 端人工巡测采集界面填报数据。

4.1 巡测建模功能

巡测建模是整个人工巡测采集系统正常运行的基础工作，主要实现以下管理功能：

1）站点信息管理。主要管理站点的基本信息、站点图片、断面数据（断面站）等信息。

2）巡测线路管理。主要管理巡测线路信息、线路上所包含的站点及站点巡测任务属性等。

4.2 移动端人工线路巡测功能

移动端人工线路巡测功能提供水量或水质单一任务和双任务类型混合巡测，满足不同分中心对应不同巡测任务的实际需求。应用功能提供常规和自定义 2 种线路巡测功能，在巡测任务开始后，根据巡测站点和各站点的巡测类型进行时间轴显示，在各站点的状态中显示巡检状态、任务类型、站点缩略图和结果。整个线路巡测完毕后，结束巡测，并填报线路巡测结果。

4.3 人工巡测信息填报功能

移动端和 PC 端人工线路巡测信息填报主要包括以下功能：提供水量、水质信息填报，现场情况描述，现场图片和视频上传，以及填报人和时间录入等功能，支持 pH 值、电导率、高锰酸盐指数等理化指标原始记录在线录入；支持大型仪器数据在线采集（直接解析大型仪器 pdf，Excel 等原始数据文件）和数据校核审核管理；支持公式计算、自动修约，并形成检测结果数据。

同时开发了与 LIMS（实验室信息管理系统）的接口，为信息采集提供 LIMS 系统数据调用和写入，提高了水质指标实验室检测的数据采集、处理和上报时效性。

4.4 人工巡测信息查询功能

移动端和 PC 端人工线路巡测信息查询功能，提供以下 2 种查询功能：

1）按站点查询。支持自定义时间、线路和站点，以及不同填报类型查询，记录信息支持详情查看和修改。

2）按巡测线路查询。可以查询人工线路巡测结果，自定义时间、线路，以及不同任务类型查询，查询内容包括线路巡测站点的巡测要素信息，各站点巡测结论、巡测图片和视频等信息，巡测结果以报告形式展示。

4.5 人工巡测水文流量计算功能

移动端和 PC 端人工巡测水文流量计算功能提供通用水文流量计算功能。根据巡测河道断面信息（主要包括起点距、水深、测速垂线等）、测量水位、流速仪型号、左右岸坡系数、转子式流速仪测量总的转速和历时等信息，通过常测法水文流量计算，得出河道水情信息，主要包括平均水位、流量，断面过水面积、平均流速、最大流速，水面宽，以及断面平均、最大水深等。

4.6 媒体文件管理功能

媒体文件管理功能，主要针对非结构化数据存储和管理提供一套统一的应用方案，涵盖图片格式转换及大小缩放、音视频的格式转换、缩略图生成、文档的格式转换等功能，使经过处理的非结构化数据轻松应对 PC 端及 Web 端多种终端设备。

4.7 综合信息应用功能

移动端和 PC 端综合信息应用功能提供以下 2 种展示方式：

1）数据列表展示。提供数据导出功能。

2）图形展示。进行多样化设计，支持拖动、放大、缩小，以及显示、隐藏类型曲线等功能。

应用功能以标签方式切换展示，支持功能区的筛选功能，图形标签提供在线保存、打印预览、打印等功能。

综合信息应用功能还具备历史资料的查询、统计、对比、相关分析等功能。

4.8 报警功能

人工巡测采集系统报警功能根据数据应用的需求生成多种报警策略，当巡测数据填报录入时，对其进行策略判断并进行报警信息生成，主要对系统报警策略、流程、信息管理和发布等进行统一管理。

4.9 短信发布功能

短信发布功能把多种策略下生成的报警内容传到短信处理流程中，经策略判断筛选，满足条件后，发出短信，完成对报警内容的发布和管理功能，包括短信生成处理、服务、管理，以及报警事件生成等功能。

4.10 权限管理功能

权限管理功能主要针对 PC 端和移动端应用进行权限统一认证和控制，主要包括用户、用户组、视图、角色、部门、功能的管理，以及系统日志、配置等功能。

5 人工巡测采集系统关键技术

5.1 流量自动计算

以往的数据填报系统流量数据录入方式比较单一，在系统界面上直接填报成果数据，缺少数据处理过程技术支持。针对流速仪测流技术，设计开发流量自动计算算法，在后台存储各巡测断面的断面资料（主要包括起点距、水深、测速垂线，左右岸坡系数等）基础上，根据现场测量的实际水位和测流点流速，自动计算出断面流量并将成果数据上报。

5.2 走航式 ADCP 在线自动解析

针对走航式 ADCP 测流技术，设计开发走航式ADCP 原始数据读取和自动解析方案[14]，可以将计算的中间和最终成果数据进行上报，从而优化人工数据采集流程，避免了二次录入，有利于统一数据计算口径和维护，提高了人工监测数据处理的工作效率，提升了人工巡测数据处理的信息化水平。

5.3 多元数据融合

人工巡测采集系统设计更注重巡测过程的管理，通过多元数据融合，对结构化和非结构化数据进行统一管理，对不同类型数据进行关联处理，实现了监测数据、数字图片、高清视频、地理信息等多元信息的在线采集和融合服务，丰富了信息即时感知要素，提升了现场信息采集和实时传输能力。

6 结语

人工巡测采集系统是太湖流域各分中心统一人工巡测水量水质数据采集的一套通用系统，提供了PC 端和移动端应用，提供了规范化的人工巡测流程和水量水质数据采集界面、统一化的非结构数据上报存储，以及统一的水文流量计算算法、数据处理和整编规则，实现了数据填报电子化、信息上报实时性、整编处理自动化等。自人工巡测采集系统上线运行以来，太湖流域省际边界河湖、水功能区、环太湖 22 条出入湖河道、流域引供水及重要取水河道、太湖等 149 个人工巡测站点的巡测数据，已通过人工巡测采集系统实现数据采集、录入、处理、存储、上报。

人工巡测采集系统设计开发较以往信息录入系统更侧重于过程管理，致力于提高人工巡测数据采集的时效性，提升现场数据采集处理能力。为保证本系统在各分中心得到推广应用，进一步研究建立人工巡测数据共享的工作机制是保障系统作用充分发挥的有效措施。