面向南水北调工程可视化调度的数据仓库实现

盖嘉俊 谭宇翔 顾盛楠 戴慧千 浩鲸云计算科技股份有限公司

引言

南水北调工程调度运行管理系统承担工程运行管理主要核心业务，通过专有云服务框架建设相对稳定的采集实时工情、水情、水质信息，在进一步建成的业务中台共享机制[2]中实现了系统数据资源充分共享，本论文在此基础上，针对南水北调工程可视化调度主题的实际业务需求，利用数据仓库技术，通过ETL 工具整合可视化调度多源数据形成数据集，并根据业务规则有效集成数据，在前端阿里云DataV中实现数据展示。

1 可视化调度

江苏南水北调工程可视化调度通过柱状图、折线图等多种交互图形化的形式来展示关键数据指标的统计与分析、差距分析、对比分析、因果关系分析等，呈现宏观的工程信息、调水信息，便于用户实时动态感知工程运行累计调水量、安全运行时间、泵站运行实际情况及水量、水位关键指标，为调度管理提供科学依据，辅助管理人员掌握宏观数据的目标值、实际值、发展趋势。

江苏南水北调工程可视化调度包括七个业务主题，主题数据及展示需求见表1。

表1 主题数据及展现方式

2 数据仓库

数据仓库是一个面向主题的数据集合，通过将时序数据集成到数据集市中形成相对稳定的数据集合，支撑管理决策。数据仓库系统包括数据源、数据仓库数据集市及数据提取分析展示工具。面向南水北调工程可视化调度主题的数据仓库技术应用是将水情、水质、工情等多源数据进行收集处理形成数据集市并通过可视化工具展示的一个数据处理过程，主要包括四个方面的内容。

1.根据业务规则识别数据源。江苏南水北调工程已经建成适应南水北调工程运行管理业务的共享服务数据中台，满足各类业务专题信息共享，数据项包括：运行时长、开机台数等泵站工情，泵站等设备设施，实时水位流量等水情数据，水质参数，基于GIS 地图的各类站点坐标及底图，泵站拓扑关系等调水路线，调水概况统计信息。

2.利用ETL 工具抽取、清理、存储数据形成数据集市。通过ETL 工具按照各主题数据刷新频率需求完成对多源数据的访问，实现数据抽取、清理并存储形成数据仓库。多源数据源包括SQL server、Mysql、ArcGIS 平台、Excel 文件及其他系统API 接口。

3.按照业务主题进行数据有效分析集成形成多维数据集。根据业务规则，从数据仓库将主题数据进行抽取组合，按照预先设置的采集频率形成读取数据逻辑规则，将数据组合形成主题数据集，以便可视化工具调用。

4.利用可视化工具集中展示。可视化调度显示界面利用阿里云DataV 技术，构成以GIS 地图为底图，周边覆盖关键指标数据为主的展现形式，布局清晰明确，宏观简洁，各区域分布均匀，松散有致。设计风格以深蓝为标准色，代表科技与创新，橙红蓝绿分别代表指标数量的高中低，为辅助色，整体的视觉风格与目前主流的扁平化一致。动画在屏幕上能够较平滑地运动，无明显的停顿或跳帧。

3 结语

南水北调工程可视化调度在南水北调工程专有云服务平台数据共享机制的基础上，通过数据仓库技术，进行数据抽取、清理并存储形成面向业务的稳定的时变数据集合，为调度业务提供有效的工情、水情、水质、地图及调水概况等宏观数据集中展现，提升了南水北调工程调度运行管理系统综合服务能力。