陆可欣
(国网江苏省南通市通州区供电分公司)
大数据最初是在商业和金融领域得到应用的, 后来找交通、医疗和能源等多个领域也得到了广泛应用。随着国家智能电网、能源互联网建设的不断深入, 大数据在电力领域的应用日益广泛。目前, 在行业中, 大数据的概念并没有一个明确的定义, 在宏观层面上, 大数据不仅仅是一组数据, 它还是一种以此组数据为研究对象的综合性分析研究技术。大数据具有“4V”的基本特点, 即: 量大、类型多、速度快、价值高。伴随智能电网的不断发展, 大量的智能电表以及与之相适应的监控装置的全面投入使用, 实时收集了种类繁多且大量的电力大数据, 这些电力大数据包含了电力生产过程的数据资料、图像数据资料和声音数据资料等。电力系统中的各种数据信息, 在整个电力系统中都具有广泛的应用价值, 他们相辅相成并互相关联。伴随电力大数据云平台的不断发展和完善, 电力大数据技术随之越发成熟及完善, 其对数据的采集、存储以及分析、分类和应用等的功能也变得越来越明确和完善, 电力大数据的潜在价值得到了进一步的挖掘, 从而使其在电力工业中的作用得到最大程度的发挥。
采集、分析和应用电力大数据的技术是非常复杂的, 其流程可以分成五个大步骤进行, 分别为: 电力数据采集, 数据预处理、分类, 数据存储和管理, 以及数据挖掘与分析和数据应用。这五个大大步骤共同组建成了电力大数据技术的主要构成体系, 如图1所示。
图1 电力大数据技术的体系图示例
电能质量数据采集是电力数据分析与运用的基础和前提条件, 在电力数据分析中, 电力数据采集是电能质量分析的重要组成部分, 而在数据集成方面, 主要包含了数据的感知和辨识、数据的压缩和加密、数据的传送和通讯; 数据的预处理与分类, 指的是对电力大数据展开过滤、筛选和去粗取精后, 针对数据展开识别、整合、分类处理, 在预处理及分类后, 数据会变得更加清晰、条理分明, 方便了数据的存储。数据预处理的核心工作是对复杂多样的电力数据进行甄别, 将其转化为单一类型和简单结构的电力数据, 然后再对其进行分类处理[1]。数据存储与管理, 主要为及时存储收集、分类好的数据, 并构建相关数据库,方便对数据调取与分类管理, 从而有效解决电力大数据存储困难、调用难度大和数量庞大等的问题; 数据存储、管理包含了大数据存储、管理、融合、检索、可视化等多种技术内容, 其是融合了各种大数据处理技术类型的具体表现。
数据的挖掘和分析, 指的是利用计算机, 借助神经网络、数据统计以及模糊算法和机器学习等方法,对电力数据信息展开分析计算, 并从中挖掘出数据中所隐藏的信息和数据之间存在的潜在联系, 并将这些规律、联系表达出来, 为今后的学习研究提供参考。数据挖掘的主要工作包含六项分析任务, 即关联分析、聚类分析, 分类分析, 以及异常分析、特异群组分析和演变分析。数据分析方法、数据应用可见表1所示。
表1 数据分析的方法与数据应用
电力大数据技术平台(如图2 大数据智能分析平台示例图所示) 具体包含了以下八大板块, 分别为:数据存储、数据整合和数据计算, 数据分析, 数据管理、平台服务以及安全管理和配置管理[2]。其中, 数据管理、配置管理、安全管理三大模块贯穿整个过程, 为其他数据管理板块提供全过程服务, 同时也为电能质量的电力数据采集、电力数据分析平台更好进行安全运行提供支撑和保障。除此之外, 电力大数据采集分析平台还将、软件技术、先进数据算法技术进行了全面的融合, 为电能质量, 即电力应用数据的采集、预处理、分类、存储与管理, 以及挖掘、分析、应用等提供了一个坚实且可靠的保障基础。
平台所采集整合的数据, 不仅限于电力大数据,还可以是和电力数据有关的地理数据、气象数据以及社会环境数据、用户信息数据和经济数据, 将这些数据进行有机融合起来, 形成一个种类繁多且结构鲜明的电力大数据采集、分析结构, 为电力行业的各有关生产行业、在线监测行业, 包括各相关部门、社会服务行业等提供准确并及时有效的数据支持服务。通过合理利用传统数据挖掘、领域普适知识挖掘和数据统计, 以及据可视化数据和机器学习等技术, 能够有效发现、洞察、明确电力大数据中隐藏有的一些数据关系、分布、模式以及趋势、性质和规律等, 在此过程中, 可以有效了解到用户的个性化与目的性用电需求, 及不同用户的用电行为与特征, 以及各用户与电网间存在的关联性等特征, 可以实现更为科学合理地进行分析和预测用户的用电行为, 从而为电网企业或公司的运营和营销提供更优质的服务。
在传统意义上, 电力用户的分类主要是以用户的实际用电模式、所用电量电压等级的不同作为依据来分类的, 可以此将其划分为四种用电类型, 即商业用电、工业用电与居民用电和农业用电。对于工业用电类型的具体划分如表2 所示。
表2 工业用电的各项有关类型及主要内容
商业用电、居民用电和用电的电压水平都相对较低, 通常在10kV 以下, 甚至存在不满1kV 的情况。电力用户类型各不同, 其对电压水平、电能质量等的要求也不尽相同[3]。在电力大数据的基础上所进行的电力用户分类, 主要是利用电力大数据中所蕴含的各种信息, 通过与一定的数据分析算法相结合方式, 实现对电力用户的分类; 通常情况下, 最为常见和应用的用户分类方法主要是利用电力大数据当中的数据信息以相应的数据曲线形式进行表现, 而后将致使曲线变化的相关影响因素, 以及聚类算法、最小二乘法、模糊算法相结合, 而后在此基础上利用回归法等算法, 如无监督层次聚类, k-means 聚类, 自组织神经网络, 有监督的KNN, 以及决策树、支撑向量机等方法对电力用户进行分类。
除此之外, 还可以使用逆向分析的方法来将不同类型电力用户的用电特点作为切入点, 以用户的特点为依据, 运用熵权法, 对用户电力数据的特点和各部分电力大数据的权重进行分析, 最后, 以获得的数据特点为基础, 在电力大数据中寻找出与之相对应的数据, 并对该部分数据的用户类别进行确定。由此可见, 在电力大数据采集与分析基础上针对电力用户进行分类的方法更具有效性、合理性和科学性, 并且分类结果的精准度更高, 且有较强的理论依据作支撑。与此同时, 适当地将用电客户进行分类, 能够让电网企业依据不同的客户类型, 提供更有针对性、目的性和更高效的服务, 这有利于电力工业中的资源较好实现最优配置。另外, 对电力客户进行准确的分类, 还能让客户的用电行为分析变得更加精确, 且电力用户的用电特征也会变得更具有典型性及代表性[4]。
在电力大数据技术基础上对用户用电特性进行分析, 在此之前, 我国已经逐渐形成了较为成熟的分析方法与体系。比如, 电力使用价格制度对电力用户用电模式的引导, 对电力用户实际用电负荷的预测, 以及对电网设备运行状态的监测、设备故障的预测和针对电力用户进行用电分类构建管理模块等, 这些相关用电信息分析机制与体系, 构成了我国大数据电力行业的服务、运营和管理矩阵。以分析电力用户的用电行为作为目标, 其主要方式是利用一个专用的电力数据库, 以大数据分析平台为基础, 进行收集、整理、分类、分析、处理各种电力数据, 然后与相应的用户用电需求与机制相结合, 对数据进行整合。分析以及提取和实际应用。
譬如, 在对居民用电客户进行分析时, 首先, 要合理提取总体数据信息, 根据电流、电压和用电量等电力大数据呈现的曲线图来提取相应的数据特征。而后, 在此基础上, 对这些数据中各不同类型的影响因子进行归类和排除, 然后对其进行归类与分析; 最后, 运用符合预测方法、负荷分析和聚类分析法等多种科学有效的电力大数据分析方法, 对不同区域和不同时段的电力用户的电力消费行为进行分析[5]。总的来说, 在传统的用户用电行为分析中, 聚类分析法是一种较为普遍和常用的方法, 特别是对k-means 聚类算法的实际应用(如图3 所示), 在对用户用电行为的分析过程中, 其所起到的作用至关重要。在使用kmeans 方法进行用户用电分析过程中, 必须注意如何获得与电力大数据相关联的初始值, 否则初始值的偏离会对用户用电行为的分析结果产生极大不利影响。针对此问题, 可在大数据技术基础上利用Fuzzy Canalysis 均值聚类方法来对用户用电行为进行研究,这一方法是在进一步优化有关目标函数的基础上, 对其中含有的有关样本点的分类属性加以判断, 从而达成有关电力大数据的自动分类。
图3 基于k-means 聚类算法的用户用电行为分析示例图
当前, 伴随国力与科学技术、经济水平的不断提升, 我国应用电力大数据技术的频率不断增高, 并以此逐步建构了一套科学且行之有效的电力大数据采集分析体系和机制。基于大数据技术对用户用电行为进行深入和全面地分析, 能够有效挖掘更多更有价值和可应用的数据信息, 从而实现在用户用电需求、合理预测电网荷载等方面全面提升分析能力和分析水平,进而促进电力资源更好实现合理配置, 全面提高电力行业整体服务水平的同时, 进一步降低和减少电力设施故障率, 促进电力行业持续健康发展。