关于大数据中心在漫湾电厂应用的研究

引 言

随着设备状态监测技术的不断发展，用于水电站的在线监测系统越来越多，涉及的专业包括振动、气隙、局放、色谱等，涵盖的范围包括机组、电气、大坝、水情等，这些监测、检测系统或装置已成为水电站自动化系统的重要组成部分，在水电站的建设、运行、维护、检修等各环节发挥着越来越大的作用。

不同于监控、保护和调度等成熟自动化系统，在线监测系统是处于发展阶段的自动化系统。起步时间较晚、专业性强、标准化差；技术难度高、使用人群小、应用难度大、实用性有限；与管理模式关联密切，系统功能定位不明晰等方方面面的因素都制约着在线监测系统向电站主流自动化系统发展。

图1 数据平台结构图

本文正是在上述背景下开展的系统化解决方案的探索与研究。希望通过对漫湾电厂20多年的运营经验分析，引用全新的技术架构，打破产品和专业壁垒，实现状态数据采集、汇聚、发布和应用的系统化设计，在各类专业监测装置或系统之上，形成一体化的水电站大数据中心，全面支持水电站的各种应用需求，实现状态监测系统从孤立系统向集约化系统的转变，最终成为水电站(群)的主力自动化系统。

1 系统开发的关键技术及难点

目前在水电厂应用的数据监测平台五花八门，数据类型多种多样，传统的集成方案很难搭建有效、统一的数据中心进行数据的挖掘分析，在设计过程中，必须寻求有效的技术突破，用于解决影响数据中心系统建立的各种不利因素。以下我们将以回答问题的方式，引出本文需要落实的各项关键技术。

1.1 如何可靠、迅速地完成数据的集成？

图2 标准写入接口

显然，让程序员为每一种数据源开发通信程序是费时、费力又不可靠的做法。标准的工业通信协议只有几种，为每一种协议开发一个可配置的通信协议转换模块，现场实施时，只需少量的配置工作，即可完成通信调试任务。因此，数据中心必须具备标准的数据输入服务接口。

1.2 如何让不同开发商的数据在数据中心上开发应用、挖掘分析？

如果数据中心具备了标准的数据输出服务接口，每个应用开发商都可以从这个接口上取到数据，编写独立的程序，体现用户功能。

为了让开发商找到想要的数据，每一个数据最好有一个唯一的名字或编码，为方便查询，最好采用KKS编码为数据命名。

一大堆应用程序放在计算机桌面上，容易让人眼花缭乱，为此必须设计一个客户端门户，统一管理这些应用程序。

1.3 如何解决应用模块的移植问题？

应用模块是在平台的基础上开发的，当两个平台的数据命名规则（或编码规则）完全一样，数据输出服务接口也完全一样时，应用模块在两个平台上都可以运行。进一步说，当电厂内部的平台都采用相同的编码规则和接口标准时，所有的应用模块都可以不同的平台上运行，可以做到“一次开发，多次使用”

综上所述，本项目研究的关键技术罗列如下：

为实现上述服务接口或功能，平台研制过程必须开发大量的内核程序，这是数据中心开发过程中的工作量和难点所在。

2 系统设计的探索与研究

2.1 数据平台

数据中心要以规划和整合企业信息资源为目标，让电厂生产系统的数据能够为电厂管理服务，同时提供给上层决策人员，实现企业管控一体化，降低管理成本。

2.1.1 平台结构

2.1.2 数据源连接

数据源是数据产生的源头，目前主流的数据类型分为：实时数据，泛指各种类型的数据采集设备、通讯装置所提供的实时性很高的数据，一般以时间为序列，数据标签为唯一标识。非机构化数据，例如excel统计表、实验报告，离线数据等以文档方式存在的。结构化数据：主要是以关系型库为存储介质的，数据和信息之间关联关系明确，数据结构标准的数据。

为了能够接入这些不同类型的数据，平台需要具备可扩展的数据转换模块，在保证运行效率的同时又能进行大规模的集成部署。

2.1.2.1 接入方式

数据转换模块在设计时要重点考虑多种数据源之间的并行，功能应具备但不限于以下功能：

图3 数据类型

2.1.2.2 接入类型

转换模块连接数据包括但不限于以下类型：

2.1.2.3 数据接入方式建议

（1）生产系统提供标准的通讯协议，把离线数据转发出来，由数据平台接收

（2）生产系统提供数据读取接口，例如http、webservice等接口，由数据平台进行主动读取

（3）生产系统开放数据存储库表，由数据平台进行主动读取

2.2 数据中心

数据中心是企业数据集中管理的核心，是完备的大数据管理，能够实现多层级数据和信息的汇聚、集成、存储、管理和应用。

数据中心包括但不限于以下主要功能模块：

数据输入接口：系统可以使用多种数据源进行数据存取，数据接口用于读写各类数据库。

数据共享服务：为外部应用程序提供标准统一的数据访问接口及标准。

标准模型化数据：依据标准编码规则定义的数据，并能够进行分布式存储结构，以及模型化存储的数据存储体，支持浮点数、图片、视频、二进制波形等多种类型数据的存储。

图4 数据共享服务

管理和监督：对数据中心内的数据进行增删改查等操作实现的访问接口，对数据中心的整个运行组件及服务进行监控。

数据清洗：对数据的完整性，有效性和数据质量等方面进行审核，过滤，去重等清洗操作的服务。

数据同步：两个数据中心之间进行数据的同步，是一种平台多级集成的必要服务功能，系统级联和汇聚的关键部件。

数据路由：多级部署数据中心之间数据远程调用的服务功能，支持非数据同步的情况下，由本级数据中心对下级平台数据进行远程数据进行按需调用。

数据中心工具集：配套数据中心正常使用所提供的基本工具，包括数据管理工具、数据检索查看工具、报警配置工具等，可以依据客户的基本要求进行配套开发和升级。

2.2.1 数据写入接口

数据中心存储层的设计要求能够存入多种类型的数据，同时数据来源不进行限制，因此依据图书馆的模式建立了标准的数据写入接口。

接口主要对送来的数据进行解析，按照编码规则对数据进行“类型分类”“存储规则解析”和“存储位置解析”后将数据写入数据中心。

2.2.1.1 接口描述

数据写入的功能主要把编码处理后的数据写入到数据中心的标准输入接口，该处理部分主要对编码数据进行分类，根据类型把数据写入到数据存储中心的不同存储模型中。数据类型至少满足以下几类：

2.2.1.2 接口主要功能

2.2.2 标准数据存储

数据中心内的所有数据均要求以标准化编码规则进行定义，以业务模型方式进行存储，编码体现及数据存储模型是数据的规范化保障，也是数据中心的核心部分，整个数据的存储应具有但不限于以下功能特点：

图5 管理和监控服务

2.2.2.1 数据编码

2.2.2.2 数据模型

2.2.2.3 数据存储

数据中心的建设应该不与数据库厂家进行绑定，可以自由配置和选择数据库，并能够在不同数据库中采用统一标准存储模型结构。

2.2.2.4 数据挖掘

数据中心内的数据存储主要分为两大应用方向：基础数据存储和特征数据存储。特征数据的存储要求在数据中心内建立数据抽取和数据仓库，可以针对某些既定的需求，对数据中心内的数据进行挖掘和特征提取，形成具有特殊数据属性的特征数据集合进行存储，简化应用程序的开发，提高了展示速度。为了满足上述要求，数据中心设计要考虑以下几个方面的功能：

图6 应用门户

特征数据存储：特征性数据主要是存储面向应用的定向挖掘数据，该类数据的存储同样与存储体无关，可以为实时数据库，也可以为关系型数据库。

2.2.3 数据共享服务

数据中心需要以服务的方式对外提供数据，此服务要能够连接标准的数据，同时以标准规范进行输出，经过标准接口给出的数据具有标准的编码规则和存储规则，可以由webservice、http、socket 等方式调用来支持应用模块。

2.2.3.1 整体性能

数据共享服务的设计需要重点考虑性能问题，并在保证性能同时，满足可靠、可监控、可操作等功能：

2.2.3.2 服务类型

为了满足不断扩展的应用及多用户的开发需求，数据中心应该提供丰富的服务接口，并且要求接口设计简练、明确、智能化高，应重点考虑支持多种类型接口：提供webservice、HTTP和API三种方式，开放自身的数据服务，开发商可根据自身的开发模式选择，或者方便地与自身的系统结合。

2.2.4 管理和监管

为了实现数据中心的稳定运行、简单操作、实时监控、简便维护等功能，数据中心自身需要配套设计一套管理和监管服务功能，通过这个服务，可以随时的对数据中心的状态进行查看，依据运行条件进行灵活配置，卸载和加载数据中心的任何关键服务，并能支持数据中心的运行状态自检功能。

2.2.4.1 服务管理

数据中心设计要考虑具备通用的服务管理，通过该管理服务，可以全局的对数据中心内的所有服务进行管理，保证数据中心的一体化运行，主要功能包括：

2.2.4.2 监控管理

数据中心可分布部署于企业范围内的任意一组织节点，从而将企业全范围的生产数据进行集中汇集。因此为了满足对系统自身的监控，数据中心需具有监控功能可以实时监测数据中心的运行状况，实现集中掌控。主要需满足功能点如下：

表1 漫湾电厂应用模块规划设计表

2.2.5 数据清洗

数据中心是否能够稳定运行，能否很好地支持应用的开发使用，除了要用数据中心标准化的结构保障外，还需要用数据中心内的数据质量进行保障，因此要求存储入数据中心内的数据必须是完整的、有效和质量合格的。

为了保证数据中心内数据的质量，数据中心要支持数据清洗功能，能够对数据中心内的信息和数据进行检查、过滤、审计、清洗、屏蔽、去重等操作，保证数据的完整性、有效性及数据质量，具备但不限于以下功能：

2.2.6 数据同步

为了满足数据中心多级部署的需求，数据中心功能中要包含数据同步功能，依据此功能可以轻松的实现两个同构数据中心间的数据实时同步，保证不同级别数据中心间数据同步存储。数据中心需支持自定义源端和目标端，实现两个同构数据中心间的数据同步功能。

2.2.7 数据路由

为了解决数据大规模集中带来的不利因素，数据中心要求在支持数据实时同步的前提下，还要支持数据路由功能，即在一个连通的网络里，通过一套访问机制来实现数据中心之间可以远程按需调用一些非常规使用数据，这样就可以避免大量非常规数据与常规重要数据同步传输，从而解决长期占用资源的问题。路由服务仅在少数需要使用的条件下才调用使用，在使用时建立数据通路，使用完成即可断开通路。

数据路由功能是大数据时代必要的功能，因此也是数据中心建设的一个核心部分，需要满足以下几个需求：

2.3 应用中心

2.3.1 应用门户

数据平台，首要任务是将不同专业的监测量成在一起，高度集中的一体化的平台很难有能力实现所有专业化的分析功能，往往使得集成后的功能少于被集成设备原有的功能。这就要求集成后的平台能够向所有的开发商开放，像苹果手机的IOS平台一样，允许第三方开发厂家开发独立的应用程序，在保护知识产权的前提下，纳入到综合状态检测系统，提升系统的功能和性能。

应用门户具有模块集成标准和相应的集成功能，使得门户具有开放的扩展协议和标准，支持多方同时开发实现应用模块，同时门户集成了一些基础的功能模块和应用管理，能够使得门户的通用性更好，集成功能更丰富：

（1）应用模块封装标准；

（2）数据获得接口定义；

（3）应用模块下载信息接口定义；

（4）应用模块加载信息接口定义。

（5）门户设同样要考虑集成了一些基本的应用功能和管理功能，主要为以下几个方面：

（6）APP应用接口：主要是应用门户访问APP服务器获得模块信息和下载服务；

（7）消息公告展板：应用门户集成了一个消息展板，具有标准的接口消息接口，该接口可以向应用模块开放，应用模块的消息可以通过门户的展板来展示，例如报警信息，数据更新信息等；

（8）公文流转模块：门户集成的公文流转模块，使得门户的使用者可以利用门户自带的公文系统，进行文件的传递和审核等操作，同时可以存储流转的文件到数据中心；

（9）及时通讯模块：及时通讯模块是门户的一个附带的局域网及时通讯工具，可以在门户上进行注册人员间的及时通讯，设计目的是满足针对应用模块的数据和应用进行及时沟通需要。

2.3.2 应用模块

应用中心应配备一些基础的应用模块，以便数据平台建立时能够进行一些基本的数据展示、分析和报警等功能。基本模块应该包括以下几大类：

3 结束语

大数据中心的建立，可以使全厂数据挖掘、分析一体化，达到数据相互佐证、相互支持的目的，是未来实现状态检修的必备平台，也是未来水电厂数字化、智能化管理的基础，本文对大数据的建立及其挖掘分析应用、设计的研究将给行业内类似平台建立提供了丰富的经验和思路，应用前景广阔。