配网多源异构数据分析与接入管理方法概述

刘佳?党卫军?李智斌

摘 要 本文基于主数据管理的思想，利用互联网接口通信技术，建立各个系统的数据通信通道，将数据进行解析、处理后，持久化到目标系统。结合主数据管理思想，本文使用通用的web service接口，确保系统之间的通信协议和数据格式的一致性。目标系统接入其他系统的数据后形成一个全面的数据中心，为后续的数据管理和数据分析提供基础支持。文章主要探究与分析多源异构数据和管理方法，对主数据管理思想加以了解。

关键词 主数据管理思想;web service;数据中心

引言

电力行业围绕着国家中心城市建设做好电力供应，这对电网的安全、可靠提出了更高要求，保障电网安全、可靠性成为供电局的一项重要任务。近年来，电力企业的信息化建设不断深入，企业的管理、外部环境等方面产生了大量的数据，种类多样、量大，实时性强。而且，企业的数据建设还在不断的发展中，数据的质量在不断提高。但是电力企业的信息系统众多，企业数据分布在各个系统中，无法共享信息和统一管理，造成数据管理混乱，存在大量冗余数据浪费存储资源。因此对多源异构数据进行分析，制定相应的主数据管理策略。

1多源异构数据

多源异构数据是指数据源不同，数据结构不一样的数据。在企业信息化建设过程中，由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其他经济和人为因素等因素影响，导致企业在发展过程中积累了大量采用不同存储方式的业务数据，包括采用的数据管理系统也大不相同，从简单的文件数据库到复杂的网络数据库，它们构成了企业的异构数据源[1]。多源异构数据的价值在于信息内容丰富多样，多源异构数据可以反映企业的全面运作情况。

主数据管理（Master Data Management ，MDM）是指一组约束和方法用来保证一个企业内主题域和系统内相关数据以及跨主题域和系统的相关数据的实时性、含义和质量[2]。用主数据管理的方式接入多源异构数据的目的是保证系统协调和重用通用、正确的业务数据。

2多源异构数据的接入分析

2.1 系统架构

系统总体架构包括不同层面的业务应用、技术、安全、数据的方案和相互关系，这些内容按维度分为接入层，集成层、应用层、数据层、如图1所示。接入层主要描述数据源系统。各个数据源系统独立分布，系统间以网关平台转发数据的方式通信，解决系统间内外网通信问题。网关平台的监测审计功能可以有效保障数据传输的安全性，防止网络攻击出现的数据泄漏问题。应用层是目标系统的系统功能应用，其中包括有安全管理、接口管理、缓存管理、日志管理等的系统功能。安全管理是通用接口的访问权限安全的系统应用。接口管理是webservice接口发布维护的系统应用。缓存管理是目标系统内部运行的缓存数据的系统应用。日志管理是系统操作日志记录的系统应用。数据层的作用是持久化多源异构数据。

2.2 功能流程

多源异构数据接入的整体流程如图2所示：

流程說明：数据源系统提供所需同步的数据信息，数据源系统主动或被动推送数据信息。主动是数据源系统经过中转系统调用目标系统的web service接口，将数据信息以字符串推送。目标系统接收请求后开始经过解析数据，数据缓存，队列处理缓存，数据映射，数据持久化等一系列处理后完成数据同步。系统同步数据量较大，数据缓存可以有效提高接口响应速度，将数据先缓存起来，然后用异步线程处理剩下的流程，提高系统同步的性能和保证系统运行的稳定。异步多线程处理队列缓存保证数据安全，每个线程单独处理一个队列的数据。数据映射是确保同步准确性的关键，先建立起同步字段和数据库字段的映射关系，保持字段属性一致。最后将数据持久化到数据库表中完成同步流程。

数据源系统被动推送数据是该系统提供数据查询接口，目标系统发布定时任务来定时调用查询接口，获取同步数据。后续目标系统处理流程一致。

数据文本传输的形式，是数据源系统以文件方式提供数据。目标系统发布定时任务定时从文本服务器上读取文件。目标系统解析得到数据后的流程与上述一致。

3多源异构数据的接入管理

3.1 建立通用统一的web service接口

根据接口通用性需要，目标系统采用soap协议发布web servcie接口，将接口的通用字段进行统一规范化，提供给各个异构系统进行调用。web service接口具有较高的稳定性和安全性。数据接口具有较高的稳定性和安全性，可以提高系统的运行效率，有效保护用户的消息安全[3]。

3.2 建立方便配置的映射模型

在对接数据源系统的数据的时候，需要接收的数据是多样的，此时针对多样化数据，目标系统需要适配映射各个异构系统的数据。通过字段关系的映射接入数据和数据库字段关系，达到准确的接收数据的效果。

3.3 构建多样化的数据解析模型

系统间传输数据形式不同，有的是字符串形式，或者是文件形式。对于不同的数据接收方式，分别提供不同的解析数据模型，可以广泛适用于多数据源系统，符合接口的可扩展性原则。

4结束语

综上所述，应用主数据管理思想来管理多源异构数据可以保证系统协调，对业务数据重用通用，保证数据的正确性。随着电力行业的发展，信息化建设的不断深入，多源异构数据不断增长。数据是信息系统的核心，高效规范管理多源异构数据将为企业的建设数据生态圈的基础。

参考文献

[1] 马新建，夏士雄.基于本体的多源异构数据集成方法研究[J].微计算机信息，2008，（25）：302-304.

[2] 谢定芬.大数据时代企业的主数据管理[J].环球市场信息导报，2016，（34）：46.

[3] 余莎莎.计算机软件数据接口的设计与实现[J].科技创新导报，2016，13（10）：73，75.

作者简介

刘佳（1986-），女，湖南湘乡人;学历：本科，工程师，研究方向：配电运行与维护。