电力物联网数据质量评估的研究与实现

郭晶 唐冬来

摘   要：基于电力物联网数据特征，采用数据自动采集、数据质量评估和数据修复三种技术，提出电力物联网数据质量评估模型，以信息化支撑电力物联网的数据精益化管理，从而为智能家居、主动配电网等设备提供精准数据支撑的目的。本文首先简述了电力物联网数据质量评估模型由数据源管理、質量规则库和数据评估管理三部分构成，其次，介绍了系统研发、测试的关键点，最后展望系统对智能家居、需求响应等业务场景的提供的支撑，旨在探讨数据质量评估技术对电力物联网的支撑的关键要素。

关键词：电力物联网  数据质量  自动评估

中图分类号：TU47                                  文献标识码：A                        文章编号：1674-098X（2019）05（a）-0003-02

电力物联网是物联网在智能电网中的应用，通过对电网基础设施、运维检修人员以及环境识别、感知、互联、控制等方面的整合，提高电力系统信息化水平，改善电力系统现有基础设施利用效率，为电网发、输、变、配、用电等环节提供重要技术支撑。

电力物联网数据量十分庞大，数据所包含的纬度也比较复杂，这导致了各种系统应用之间的信息孤立现象越来越明显，在一定程度上导致不能对数据进行有效地利用。因此，对电力物联网数据行集成、评估分析和处理，得到有效的数据。电网公司在十年前就针对该问题提出了数据清洗的概念，针对从PMS、OMS、营销等各个业务系统抽取集成到数据中心这一过程，对脏数据进行分析、研究及处理，以使经过清洗处理后的数据能够在数据质量方面得到保障。

但根据当前电力信息化的特征来看，供电公司人员往往输入的数据不完整，存在质量问题，即使经过数据清洗处理，也不达标。随着运行时间的增加，导致PMS、OMS、营销等系统数据质量不断下降，导致无法有效使用。如果想要得到更加有价值的信息，提高数据源的可用性和多样性业务系统的数据质量便成为了非常重要的因素，数据质量评估环节变得不可忽视。

1  评估模型设计

建立电力物联网数据质量评估模型的步骤包括：建立数据质量评估规则，数据抽样采集，对数据的质量进行评估三部分。电力物联网数据质量评估模型如图1所示。

电力物联网数据质量评估模型包含的有电力物联网数据、数据抽样采集、数据质量评估规则、质量评估、质量评估报告和问题分析及处理六部分。

通过对数据质量评估模型的研究分析，明确了数据质量评估方法的流程，为数据质量评估工具的构建提供相应的理论依据。

2  评估方法与实现

通过多种评估方法和评估算法实现电力物联网数据质量评估，能更好的发现数据中存在的错误、纰漏以及相关问题。目前采用了数据挖掘算法和评估规则约束方法两种。

2.1 数据源管理

通过保持数据抽样的样本原始数据，以方便用户查阅，样本表如表1所示。

2.2 质量规则库的构建

通过准确性、完整性和一致性三个纬度来对数据质量的特点进行详细表述。

准确性：准确性可以分为语法准确和语义准确，在这里，我们对数据的语法准确性进行讨论。客观事物的值x与客观事物的真实值之间的近似程度。

完整性：完整性可分为模式完整性、列完整性和总体完整性。

一致性：对关系数据库而言，可以将一致性划分为关键依赖一致性、包含依赖一致性和函数依赖一致性三种。

2.3 基于表达式树的数据质量规则的描述方法

采用一种称为质量规则表达式树的结构来描述所有的数据质量规则。

在质量规则表达式树的结构由函数和终端两部分构成。终端就如同树叶，函数则是将树叶连接起来的节点。每一个函数节点具有确定数目的子节点。

2.4 质量规则库的构建

存储规则需出于易存储、易调用和易于管理的目的出发，这样在后期的分析统计才更有效率。本项目采用q-ET的树型结构特征用xml的方式搭建质量规则库。

3  系统实现

本系统设计的数据质量检测系统的工作流程主要是数据采集、规则设计、规则运用以及问题数据记录。系统分数据抽样采集、数据质量评估、数据质量评估和问题处理展示界面。

在数据抽样采集页面，用户可添加采集点、设定采集点变量以及逻辑定义;在规则设计页面，包括规则数量添加、规则变量设定等功能;数据质量评估显示了规则执行的选择;问题处理展示则是对问题数据处理结果的展示。

4  结语

本文对电力物联网数据质量的几个问题进行了研究，但由于电力物联网业务系统多、数据量较为庞大，在处理这些数据的时候需要综合考虑多方面的因素才能制定不同的评估规则，另外一个需要注意的问题，则是如何使不同评估规则之间不产生冲突，使所有规则都能相互包含。另外，充分地运用统计工具，结合数据挖掘的理论，有效提高数据评估的效率，进一步加强信息化对电力物联网的支撑力度。

参考文献

[1] 韦荣桃，李舒，张艳玲，等.电力物联网建设环境下可充电无线传感器网络能效与路由优化策略[EB/OL].电测与仪表：1-7[2019-04-09].http：//kns.cnki.net/kcms/detail/23.1202.TH.20181207.1730.168.html.

[2] 林静，林柏.电力物联网建设中的关键技术研究[J].通讯世界，2017（24）：185-186.

[3] 张莉莉，邵长恒，梁明君.一体化城市大数据中心建设[J].电子技术与软件工程，2018（23）：147-149.

[4] Carinci F， Van Gool K， Mainz J， et al. Towards actionable international comparisons of healthsystem performance： expert revision of the OECD framework and quality indicators[J].International Journal for Quality in Health Care， 2015.

[5] Wu X， Zhu X， Wu G Q， et al. Data mining with big data[J]. Knowledge and Data Engineering，IEEE Transactions on， 2014： 97-107.