基于电力企业大数据环境下的数据治理

文/李方军 宋曦 赵博 袁昊 金铭

随着现代智能电网的不断发展，促进了电力系统的信息化及智能化发展，其运行过程中的历史数据、状态监测数据及电能计量数据等较为庞大，并且增长速度较快，充分展现出大数据的特点。所以，随着电力系统的数据不断增加，导致传统数据的治理无法满足实际需求。电力大数据治理为基于数据责任的明确，创建规范化数据使用标准，使组织数据质量得到提高，从而实现数据的广泛共享，而且还能够将数据应用到战略决策、资源管理、业务管理中，充分展现数据资产的商业价值。基于大数据实现，如何完善数据治理体系，有效规范工作流程，从而治理海量数据，将其中的价值充分的挖掘出来，是现代电力行业需要面对的主要问题。

1 创建电力大数据质量评价模型

因为电力数据的收集包括电力运行、供电售电、业务维护等方面数据，所以对电力数据质量造成影响的主要因素就是工作人员自身素质及能力、后期数据维护体系、数据分析算法、数据管理机制等。以数据定性、定量、可比性及实用性的原则，实现以下指标考察纬度的定义：

（1）电力数据数量性。基于指标历史数据、数据应接入量、实际接入量等实现考察。

（2）电力数据时间性。将各源业务系统数据接入、上报的及时性作为基础进行等查。

（3）电力数据完整性。主要是基于数据业务纬度、指标值完整、单位纬度完整等方式核查。数据质量完整性主要包括数据业务纬度组合完整、指标值完整、单位完整等，通过月指标、周指标及日志表等数据完整率。

（4）电力数据精准。主要指的是数据之间业务逻辑精准及数据纬度、字段及频度之间业务逻辑精准性。

在电力数据指标纬度划分之后，为了降低人为主观因素对于各个指标权重的影响，能够利用信息熵使数据不精准性进行消除，从而使质量评价数据更加的精准。

2 创建电力大数据治理体系

企业要使数据治理作为专门业务对待并且管理，以企业实际情况实现相应数据自理目标的制定，从而创建专业化数据治理体系、保障机构，从而创建高效率、全方位的数据治理体系。此数据治理体系要企业各个组织、部门及技术等全面配合。

（1）实现相应数据治理组织机构的创建。能够在企业顶层创建数据治理委员会，包括业务部门、信息管理部门及高等管理人员等主要负责人。在中间层创建通过各个业务部门呢、数据库管理、信息部门技术及培训等专家构成的数据治理工作组。

（2）实现相应标准规范的创建。基于企业角度创建统一化数据标准，和数据治理工作相互结合，创办技术标准工作组，实现工作计划及标准的制定，主要包括业务标准、技术标准、数据质量标准及管理标准等。

（3）在实现数据治理的过程中，和数据技术支撑具有密切的关系，企业要通过数据技术实现企业信息数据管控及支撑，使元数据管理、收集及应用作为主要核心，结合规范数据标准及高质量信息，充分使用企业已经创建的元数据管理平台、数据分析技术，从而创建完善数据治理体系。

3 使数据质量管理水平得到提高

以企业的实际情况实现目前额数据质量管理现状的改进，实现完善数据质量管理体系的完善。选择和企业相关指标作为基础，对数据成熟度进行分析，并且实现集中抽取。从而实现编码、标准、数据及模型的统一管理，避免出现数据多头管理及冲突，将数据冗余进行消除，实现数据集中管理、共享的目的。逐渐实现事前防范、事后管理及集中监控的闭环管理，对企业级数据质量管理规范、制度的创建，从而对高价值数据属性的识别，保证能够提高数据质量，从而使其支撑业务运营及经营分析。

4 结合大数据处理功能

定义大数据架构，使其能够使多数据、高速度、多样性等需求得到满足，实现独特分布式并行处理结构的创建，解析大数据集。其次，具备使不同技术策略实现实时处理需求的满足。存储实时键值，实现高性能的索引。此过程就是MapReduce技术处理，就是将制定数据作为基础删选数据，之后实现数据的全面分析，使其能够加载到其他非结构化数据库中，然后发送到移动设备中，和结构化数据相互关联。

不仅具备全新非结构化数据种类，大数据的优势还包括：

（1）因为具有小量数据集，无法实现原始数据存储到移动仓储中。利用Map实现处理，从而使缩减结果集成到数据仓储环境中，便于实现常规BI报告、统计、语义和关联的功能。结合传统BI平台与大数据可视化的功能，能够提高分析功能的效果。

（2）为了能够使Hadoop环境分析功能得到提高，可以创建沙盒环境实现。

5 结束语

目前为深化改革的时代，在全新能源改革、工业改革及互联网+行动计划导致社会改革中，电网企业具有重要角色，并且还面临转型发展机遇。在大数据演化模式及价值功能重构，能够为全球能源及智能电网互联发展提供全新思路、解决方法及解决方案，也为我国电网企业超过国际先进水平提供了基于。但是，在电力大数据库中，要通过数据治理解决大数据数据多、杂的问题，从而有效促进大数据能够通过概念走向现实，提高大数据在电力企业中的作用。