配用电大数据应用综述*

张铁峰，梁思博，顾建炜

（1.华北电力大学电气与电子工程学院，河北 保定071003；2.杭州供电公司，杭州310009）

0 引 言

考虑经济社会发展对用电需求的增强，结合电网的新趋势和国内电网发展的现实情况，国家电网公司提出建设具有信息化、自动化、互动化特征的坚强智能电网战略［1］。作为智能电网的重要技术支撑，自动化、控制及信息与通信技术对中国电力工业的价值贡献正处于量变到质变的关键时期，其本质是这些技术与电力运营、生产的深度融合，其最终表现形式将是电力数据的爆发性增长。对于电力行业而言，电力大数据将贯穿电力工业生产及管理等各个环节并起到独特而巨大的作用。这是中国电力工业未来有效解决资源有限、环境压力等问题，实现可持续、经济和安全电力供应的关键［2］。

智能配电网信息化、自动化、互动化水平的提高以及相关技术应用推广［3］，使得大多数城市拥有多种电力相关的系统，主要有：配电自动化系统、生产管理系统、用电信息采集系统、配变负荷监测系统、负荷控制系统、营销业务管理等系统［4］。由此电力企业积累了大量数据，如用户用电数据、企业管理数据、移动设备产生的以及公共服务部门提供的数据等，这些数据可供企业挖掘利用以支持运营决策，而这些数据来源广泛、关系复杂、粒度不一、结构多样且生成快速，具有明显的大数据特征。

针对配用电的大数据，论文就相关概念，技术及应用进行了全面综述，以为未来配用电大数据的发展应用提供参考。

1 配用电大数据

聚焦电力大数据，通过采集而来的数据进行系统性和战略性的分析可以为电网运行各环节提供更为丰富的反馈，这有助于修正和加强电网规划与运行，反映电网运行及发展进程［5］。而将这些数据进行实时有效处理有助于 “新知识”的发现［6］，其分析结果对于大量业务创新并对改善决策质量有积极意义。随着“三集五大两中心”业务的推进，智能变电站系统、现场移动检修系统、测控一体化系统、GIS（geographic information system，GIS）［7］系统、智能抄表等配电自动化业务的建设，以往数据类型较为单一、增长缓慢的情况将发生转变，逐渐步入到由异构数据源广泛存在和驱动的时代。

1.1 配用电大数据的来源

配用电大数据主要来源于三个方面，配电自动化、配电管理系统和用电需求侧管理。其中配电自动化及管理系统是进行配电网监控、运行管理的重要部分［8］。目前与之相关的应用系统有许多，它们之间都有着天然的业务联系，存在大量信息交换。换句话说，配电自动化及管理系统将调度自动化系统、生产管理信息系统（PMS）、电力营销系统和计量自动化系统等信息高度集成。如图1所示的高级配电自动化架构存在大量的多源异构数据。

图1 高级配电自动化架构Fig.1 Advanced distribution automation architecture

配用电大数据的另一个主要的数据来源是需求侧管理。电力需求侧管理理念已经越来越多为人们所接受，其协调各方利益、降低能源成本和实现效益最大化［9］。内容包括负荷监控和管理与远方抄表和计费自动化两方面。负荷监控和管理根据电力系统负荷特性，改变电力需求在时序上的分布，减少日或者季节性的电网高峰负荷，达到提高电网运行可靠性和经济性的目的；而远方抄表和计费自动化利用公用电话网络、负荷控制信道等方式自动采集用户电表数据到计算机中心处理。图2为配用电大数据集成示意图，配电管理系统、配电自动化系统以及需求侧管理是三个主要配用电数据来源，涵盖数据采集，处理和数据综合应用等方面。

图2 配用电大数据集成示意图Fig.2 Schematic diagram of integrated distribution and utilization big data

1.2 配用电大数据的发展

在过去的20年中，数据在各个领域都大规模地增长。2011年某国际数据公司在一份报告中指出，全世界创造和复制的数据量为1.8ZB（≈1021B），五年内增加了近九倍［10］。这个数字将在不久的将来至少每隔两年翻一番。此外，大数据也带来了有关发现新价值的机遇，帮助我们获得对隐藏价值的深入了解［11-12］。当然同时也迎来了新的挑战，如：如何有效率管理和组织这样的数据集并发现隐藏在各数据集之间的内在价值。

早在2001年已经有机构给出大数据的定义。某国外公司的分析师在一份研究报告中，定义了挑战和机遇所带来的不断增长的3Vs模型数据。也就是说，数量、速度和类型的增加。而在2010年，Apache Hadoop这样定义大数据：“在可接受的范围内的普通计算机不能被捕获、管理，并且处理的数据集。”在这个定义的基础上，2011年5月一家全球性的咨询机构，公布大数据是下一个创新，竞争和生产力的前沿领域。大数据是指它无法由传统的数据库等软件获取、存储和管理的数据集。

从目前应用来看，配用电数据分析的很多应用已经充分体现出大数据的优点。文献［13］指出，通过对来自智能电表的大数据进行有效分析，可以帮助电力运营部门更好地了解用户用电行为。文献［14］提出基于k-means算法云计算平台的居民用电行为分析模型，提供用户个性化服务。在文献［15］中，国外研究人员通过捕获的智能电表数据建立分析模型，揭示了居民光伏发电装置和天气变化等诸多因素对低压供电点的影响。在国外，某公用事业公司通过智能电表和大数据分析，让分时动态电价成为可能。智能电表的利用和智能电表数据实时采集技术的发展使电网获得海量数据来更好地定制服务。

国内的电力大数据工作也在有序开展，国家电网公司自2012年以来启动了多项智能电网大数据研究项目，其中“智能配用电的技术体系及仿真基础性问题研究”由中国电科院和南瑞集团公司承担，已于2015年10月验收。江苏省电力公司于2013年初率先开始建设营销大数据智能分析系统，开展了基于大数据的客户服务新模式。国家科技部2014年下达了3项863项目，支持智能电网大数据研究［16］。国家863计划项目《电力大数据在输变电设备状态估计和配用电中的应用》之一的“智能配用电大数据应用关键技术”由国家电网公司作为课题承担单位负责申请，中国电科院等10余家单位作为协作单位参与，也在2014年末完成了方案论证答辩。2015年中国南方电网有限责任公司也启动了“配用电大数据信息模型与体系架构研究”。

1.3 配用电大数据的特点

配用电大数据的特征可以概括为4“V”和3“E”。其中4“V”分别是体量大（Volume）、价值密度低（Value）、类型多（Variety）和速度快（Velocity）［17-18］，这是一般大数据所具备的基本特征。3“E”［19］是电力大数据独有的特点，分别是数据即能量（Energy）、数据即交互（Exchange）、数据即共情（Empathy）。另外，智能电网数据处理过程中，对数据质量有一定的要求。为此，大数据强调数据的真实性。真实性是指在数据的可信度、适用性、噪声、偏差和异常等质量方面的特性［20］。

2 大数据相关技术

2.1 云计算

智能电网环境下状态数据量远远超过传统电网监测的数据。而电网状态监测与诊断主要侧重单台独立的设备，数据无法共享，无法进行统筹分析［21-22］，形成“数据丰富，知识贫乏”的现状。常规的数据存储与分析方法无法解决这些海量的、异构的状态数据。而云计算技术使得解决上述问题成为可能。文献［23］详细阐述了智能电网环境下应用云计算平台的情况。

2.2 物联网

在物联网模式下，数量巨大的传感器被嵌入到各种设备。不同领域的传感器可以收集相应数据，如环境数据，地理数据，天文数据和后勤数据。移动设备，运输设施，公共设施以及家用电器都可以是物联网数据采集对象［24-25］。物联网的发展也推动大数据时代的来临。其中，文献［26］探讨了未来智能电网控制中心将会面临的挑战，提出物联网和云计算技术结合可为新型控制中心提供技术支撑。

2.3 Hadoop

目前，Hadoop［27］广泛应用在工业大数据领域，它已经成为重要的并行处理架构之一。文献［28］针对智能电网状态监测的特点，结合Hadoop，借助虚拟化技术、分布式存储以及基于列存储的数据管理模式来存储和管理数据，以保证电网海量状态数据的可靠和高效管理。已有课题组在实验室中搭建了Hadoop云计算实验平台，设计实现了基于Hadoop的电力设备状态监测存储系统［29］，并对系统进行了测试，验证了云计算平台的高可靠性、良好的可扩展性和数据并行访问的性能优势。根据这些实验，可以看出松藕合将被越来越多地应用到研究电子云，以及并行编程技术（MapReduce）的并行处理框架［30］，以更少的成本为用户提供更为便捷的服务接口。如图3所示，这是一个典型的配用电大数据处理路线。通过传感器以及其他部门收集而来的电力数据和非电力数据，经过数据集成与融合，数据储存和管理，数据分析三步，最后应用于实践，形成“知识库”供给各业务部门利用。

图3 配用电大数据处理路线图Fig.3 Road map of distribution and utilization big data processing

2.4 电力运营驾驶舱技术

进入21世纪以来，电力行业内开始研究新一代调度自动化系统，电力运营驾驶舱技术应用而生。该技术主要利用信息共享［31］，强调优化决策、预警预控、可视化技术等，提出建设基于各类安全指标的电网实时安全预警系统，并采用人工智能的智能机器代替工作人员，推进一体化管理、决策、智能可视化等应用方案。

驾驶舱以数据多维度、多层次展示为核心，按照各层级管理者自身岗位业务需求自动采集各专业系统的数据，由驾驶舱对数据进行数据挖掘分析，对异常关键指标做出预警，通过将数据更直观地提供给电力运营人员，进一步提升电力企业各层级管理人员管控和决策能力［32］。数据驾驶舱使用各种常见的图表（速度表、音量柱、预警雷达、雷达图等）形象地以驾驶舱的形式展示运行的关键指标，直观地监测电力企业运营情况，并对异常关键指标进行预警和挖掘分析，以帮助运营人员更好进行决策。业务决策模块位于分析系统的顶端，底层是生产系统、在线监测系统、和其他专业系统，这些数据通过驾驶舱设定的数据接口调取各专业系统的数据库，将数据抽取、转换后存储至数据仓库中。文中提到的数据驾驶舱是基于此数据仓库，在此基础上进行在线分析，数据挖掘和报表处理。数据驾驶舱构架如图4所示。

图4 数据驾驶舱架构Fig.4 Architecture of the data cockpit

3 配用电大数据的应用与展望

智能电网的最大特点是电网中的电源及用户和信息技术的结合［33］。基于智能配用电大数据应用，可为配电企业制定措施提高运营水平提供决策依据，最终在节约电网投资，提高资产利用效率，提高电网可靠性和经济性，改善用户体验，提升企业社会形象方面发挥作用。通过对这些海量数据进行有效挖掘分析，电力生产供需管理将变得更为灵活有效。

3.1 大数据在配用电业务中的应用展望

3.1.1 协同调度

过去，前期规划与运行调度所用的完全是两套基础数据，彼此不贯通不兼容。导致电网进入运行阶段后难以完全达到规划阶段预想的目标。而电气部分的数据也难以完全符合当前实际情况。因此，迫切需要建设统一的大数据管理，支撑规划业务与生产运行业务融为一体，无缝衔接。通过对用户的用电行为特征进行分析并建立基于大数据的用电预测模型［34］，得到更高精度、更细粒度的预测结果，实现负荷精准调度。

3.1.2 数据驱动的新型技术

随着智能电能表的普及以及用电数据采集自动化技术的提高，形成整合抄表系统的高级配电自动化系统（Advanced Distribution Automation，ADA）［35］，如图5所示。该系统近几年积累的这些海量用电数据为研究“数据驱动（Data-Driven）”［36］的用电预测技术提供了很好的数据基础。如，可根据不同用户对象的用电数据在采集频率、数据真实性等方面的差异性，研究兼容不同时间尺度数据的用电预测技术，以最大程度利用所采集的数据资源。

图5 整合抄表系统的高级配电自动化系统Fig.5 Advanced distribution automation system of the integrated metering system

3.1.3 智能用电

不同用户在负荷特性、用电理念和节电策略之间存在较大差异，导致了多样的用户用电行为模式［37］。而分布式能源以及电动汽车等新型设备的接入也将加速这种多样性的发展。从用户的角度，了解多样的用电行为模式有助于为其量身订制经济合理的用电方案。目前，虚拟发电厂（Virtual Power Plant，VPP）是对大规模新能源电力进行安全高效利用的有效形式。利用新能源电力与传统储能装置集成的模式，能够在智能协同调控和决策支持下对电网呈现出稳定的电力输出，为新能源电力的安全高效利用开辟新的路径［38］。如图6所示，应用大数据技术可以采集并分析处理区域中各对象的数据，如分布式发电设备的发电量和运行效率并能对这些数据进行有效的检索和调用［39］。

3.2 配用电大数据技术的应用难点

3.2.1 面向高频、实时、多源和异构的配用电大数据处理的实时性

对于高频、实时、多源和异构的配用电大数据的高效管理，目前缺乏异构数据的一体化信息模型、元数据规范与统一转换格式的准确定义，无法对配用电大数据进行高效的集成与融合，因此需要提出可扩展的，适用于多源、多层异构数据的融合技术。

未来智能电网环境下，各运行环节都离不开数据的实时处理。短暂的网络拥塞，甚至单台服务器故障都可能影响云计算系统提供的快速服务而不能满足其时间响应。目前电力系统已经开始使用内存数据库，以提高实时性［40］。另外，有研究表明，正常运行的SCADA系统接收到监测信息延时如果超过50 ms，可能会导致错误的控制策略［41］；还有研究表明，TCP协议进行流量控制和数据纠错而造成数据传输的延迟是Internet环境下SCADA系统中最普遍的TCP/IP协议故障的原因［42］。未来智能配电网需要解决即使节点出现故障的情况下，也能实时地响应。

图6 智能配电系统的通信和控制设施Fig.6 Overlay of communication and control infrastructure on smarter distribution system

3.2.2 异构多数据源整合

根据配用电大数据的异构、海量特点，以及典型业务应用的数据访问模式，研究可扩展、高可靠、高效率的配用电大数据管理技术。针对不同来源的配用电数据以及外部非电力数据在数据规模、结构化特征和价值疏密程度等方面的差异性，研究适合于配用电结构化、半结构化、非结构化数据的优化存取、高效查询以及数据清理［43-44］。实现减少数据冗余，提高数据共享的目标。

包括配电自动化系统在内的电网各系统大多是各自为政分头规划，导致信息与资源不能共享，上下级间纵向贯通困难，形成信息孤岛［45］。而采用云平台管理智能电网异构多源信息，可实现这些分散孤立系统之间的信息互联。面对电网基础设施增加且分布在各地的现实，如何有效率的管理这些基础设施并处理异构数据，减少电网成本将是一个巨大的挑战。

3.2.3 适用于不同结构特征配用电大数据的态势感知与知识提取技术

大数据分析技术需要有具体的应用目标，结合所处理数据的类型、规模和结构等特征，以提出与之相适应的分析方法。对于配用电大数据而言，其应用目标是多元的，包括对于配电网健康状态的诊断、对于配网运行的分析等，需要提出具有适应性的大数据基础分析方法；除了要研究面向海量结构化数据的高效处理技术，包括经典的模式识别、聚类分析与特征提取技术等［46］，也要研究面向半结构化、非结构化数据的知识提取技术，以满足配用电大数据的高速检索、实时计算等技术要求。

4 结束语

在信息化时代，“数据”的能量是巨大的，它已经成为驱动社会创新、机制变革、能力提升的重要力量。因此，有充分的理由相信，基于“配用电大数据”，电力企业一样能够尝试从数据中学习更多的知识，可以更广泛、深入、准确地把握配电网可靠性、经济性的关键影响因素，实现更精细化的需求侧管理和优化响应机制，进一步优化配电网架和运行方式，大幅度提高电能输送效率和设备资产利用率，提高智能配电网的可靠性，逐步构建良性互动机制。当前，配用电大数据技术应用处在初级阶段，其未来值得期待。