智能电网中大数据的概念、技术与挑战

王钦，蒋怀光，文福拴，梅天华

(1.美国爱荷华州立大学电气与计算机工程系，美国爱荷华市 50010；2.美国丹佛大学电气与计算机工程系，美国丹佛市 80208；3.浙江大学电气工程学院，杭州市 310027；4. 文莱科技大学电机与电子工程系，文莱斯里巴加湾 BE1410；5. 国家能源局浙江监管办公室，杭州市 310007)

智能电网中大数据的概念、技术与挑战

王钦1，蒋怀光2，文福拴3,4，梅天华5

(1.美国爱荷华州立大学电气与计算机工程系，美国爱荷华市 50010；2.美国丹佛大学电气与计算机工程系，美国丹佛市 80208；3.浙江大学电气工程学院，杭州市 310027；4. 文莱科技大学电机与电子工程系，文莱斯里巴加湾 BE1410；5. 国家能源局浙江监管办公室，杭州市 310007)

大数据作为技术概念正逐渐获得普遍的认可和重视。随着智能电网和能源互联网的发展，传统电力系统在技术应用、服务模式和发展理念等方面会发生深刻的变化。电力网络设备和用电设备的普遍分散化、智能化和小型化，必然会导致电力系统运行和控制信息急剧增长。承载这些信息的数据量将会呈几何级数增加，逐步呈现出大数据特征。在此背景下，讨论了大数据在现代电力系统中应用的概念，总结了智能电网大数据的技术和特点，并论述了智能电网大数据安全的重要性及保护措施。在此基础上，给出了几个大数据技术在智能电网中的应用案例。最后，展望了大数据技术所带来的新的商业模式和政府监管部门的作用。

电力系统；智能电网；大数据；数据安全；机器学习

0 引 言

随着现代电力系统规模的不断增大、可再生能源发电渗透率的提高和电动汽车的发展等，能量和信息双向流通的智能电网应运而生。与此同时，智能电网与交通网、一次能源网络(天然气与石油输送网络)、智能交通网络的深度融合和共同发展引发了数据的爆炸式增长。这些多来源、高维度、高度异构、非确定性的数据对传统的数据采集、存储、调用、处理和传输带来了一系列新的挑战，同时也象征着智能电网大数据时代的到来。

“大数据”作为科技创新的主攻方向之一已于2012年在国家层面被首次提出。此后，国家电网公司和南方电网公司等在可再生能源并网、智能电网、电力信息与通讯及网络安全、用电能效与环境保护等多个专业领域开展了大数据的研究与应用[1]。与此同时，其他一些国家在智能电网大数据方面的研究报道也逐步增多。在美国，大数据被形容为“未来的石油”。Autogrid System公司以智能电网大数据为基础为用户提供优化调度、需求响应等服务。丹麦政府在2013年实行智能电网战略，预计2020年在全国普及智能电表，引导用户更加灵活高效地使用电力。在韩国，智能电网大数据和智慧城市被结合起来重点研究，以实现城市低碳化和绿色化。

除了可以采用传统数据处理和分析的因果式思维模式外，对大数据的分析还可以基于统计分析等方法研究数据搜索、聚类和关联，也可采用机器学习、数据挖掘、概率图模型等考察数据集之间隐含的联系[2]。计算机、网络、通讯等领域的软硬件技术的高速发展，为大数据处理和分析提供了研究与应用的强大平台，如云计算、Apache Hadoop/Spark等。

在上述背景下，本文阐述与现代电力系统大数据相关的概念、技术与面临的挑战。

1 智能电网环境下大数据的基本概念

大数据是一个抽象概念。相对于以往的“海量数据”(massive data)和“超大规模数据”(very large data)概念，大数据有一个所谓的4V定义，即大数据需满足4个特点：体量大(volume)、多样性(variety)、速度快(velocity)和价值大(value)[1]。大数据技术不仅是对数据的广泛收集，更重要的是要有从大量数据中提取知识的能力。大数据要解决的核心问题就是从搜集的海量数据中提取出有用的知识并应用于解决具体问题。

电力系统以及由其进化而来的智能电网中的数据具备大数据特征。美国电力科学研究院(Electric Power Research Institute，EPRI)近期的一项研究表明，大数据在智能电网领域的3个最重要应用包括可视化(visualization)、态势感知(situational awareness)和预测(forecasting)[3]。其中，可视化即是把有用的信息展现出来供调度决策等使用，包括电力系统的精确连接图、智能电表与分布式发电和储能等的位置、网络安全信息图等。态势感知则包括对电力系统运行状态和运行效率进行评估以寻求提高系统可靠性(reliability)和弹性(resiliency)的措施。大数据环境下的预测技术用于估计未来可能发生的事件，以有效提高系统的安全性(security)，并为电力系统提供更好的保护和故障后的系统恢复服务。

图1展示了技术更新如何影响一个典型电力公司的数据量[4]。横坐标表示各项技术发展的时间顺序，纵坐标表示每年产生的数据量。先进测量装置(advanced metering infrastructure，AMI)从20世纪80年代起就逐渐在电力系统中得到应用，其在一个典型电力公司每年产生的数据量在20 TB(Terabyte，太字节)左右。随着配电系统自动化、需求侧管理、地理信息系统(geographic information system，GIS)在电力系统的应用，分布式计算与管理等技术在过去10年的快速发展，电力公司年产生的数据量已达到300 TB级别。在未来20年，随着分布式电源在电力系统中的广泛渗透以及家庭能源管理系统的发展，电力系统将逐步由强集中式管理向更分布式管理演变，所控制的对象由传统的发电机、变压器、输配电线路逐步延伸到家庭用电设备和用户用电行为。这些发展会极大增加传统电力公司的年数据量，可望达到800 TB的量级。

图1 典型电力公司的数据增长驱动力

为更直观显示大数据对电力系统的作用，这里列举2个实际例子，以说明电力公司可以适当运用大数据技术提高其运行管理水平。

第1个例子来自美国的公共电力和天然气服务公司(Public Service Electric and Gas Company, PSE&G)。该公司服务的天然气用户和电力用户分别达到180万户和220万户，资产达170亿美元，年收入达80亿美元。该公司采用计算机辅助检修管理系统 (computerized maintenance management system, CMMS)，其中利用大数据技术来收集和分析变压器与其他设备的各项数据，包括每日湿度、变压器电介质强度、供气管实时气体流速等，来综合分析设备运行状况，提出设备维修、替换和停运建议，从而提高自动化的决策服务。该公司还基于实时传感器数据的分析结果，提前预测事故发生并建议采取适当措施。采用上述措施每年可避免一些事故的发生, 从而为该公司节省数百万美元[5]。

第2个例子来自法国的EDF Energy公司。在欧美很多国家，用户可以自由选择电力公司。如何分析用户需求，尽可能留住用户，是许多电力公司面临的重要挑战。该公司通过采用大数据分析技术发现，当停电事故发生时，电力公司如果能够在预先通知的复电时间的10 min之前就恢复供电，则用户会获得最大的满意度；如果在预先通知的复电时间之前2 h以上就恢复供电，则用户的满意度反而并不高。通过获得这类数据，电力公司可以制定相应措施来提升用户满意度。该公司采用大数据分析方法，尽可能避免了用户流失，每年带来的效益超过3 000万美元[6]。

对许多电力公司而言，大数据研究与应用尚是一个新兴领域，因而对采用大数据技术尚有顾虑。图2展示了美国一份调查报告中的结果[7]，从图2中可见：用户最大的担心在于数据存储和处理成本太高(占26%)，其次则是大数据的复杂度所导致的处理难度的增加(占23%)。

图2 电力公司应用大数据分析技术的顾虑因素

2 智能电网中的大数据技术和特点

根据智能电网的特点，文献[8]从发、输、变、配、用几个环节分析了智能电网大数据的产生及特点，并指出目前在大数据方面存在的问题和不足是制约电网智能化发展的主要因素之一。文献[2]从大能源与大数据的角度，提出了解决智能电网中大数据储存、处理和展示等问题的新思路。文献[9]阐述了从智能电网到能源互联网的发展路径，指出了融合智能电网、智能交通网络、一次能源网络的能源互联网对多维异构、高速、海量大数据的储存、处理和分析提出了更高的要求甚至挑战。

2.1 数据来源与数据结构

从数据产生的角度看，智能电网中的数据可分为2类，即内部数据和外部数据。

内部数据包括电压、电流、相角、频率、有功功率、无功功率等。这些数据可以由电力系统中的不同软件系统或平台获取[10-13]，例如：数据采集与监视控制系统(supervisory control and data acquisition，SCADA)、能量管理系统(energy management system，EMS)、配电管理系统(distribution management system，DMS)、广域监测系统(wide area measurement system，WAMS)、家庭能量管理系统(home energy management system，HEMS)、楼宇管理系统(building management system，BMS)、电-气混联综合能源系统(integrated electricity and natural gas energy systems)[14]。通过采用各种同步或者异步传感器，例如相量测量装置(phasor measurement unit, PMU)、微相量测量装置(micro-PMU)、频率扰动记录器(frequency disturbance recorder，FDR)等进行测量和记录[15-16]。

外部数据来自于与智能电网连接的其他网络，如智能交通网、一次能源网络、物联网、互联网等。这些外部信息也可能对智能电网的运行与维护产生重要影响，例如，天气信息可以反映太阳能发电站与风力发电站的出力变化，从而对系统调度与调控产生影响；电动汽车的运行轨迹数据可用于分析对充电桩及充电站的分布需求；煤炭、石油与天然气价格可以影响电力市场中的电价。此外, 还有路况信息、空气污染信息、政府公共服务信息等。上述信息都可以纳入智能电网大数据之中，挖掘它们隐含的知识并考察可能的应用领域。

可按数据结构特征将其分为结构化、半结构化、非结构化数据。结构化数据指可以储存在数据库并用二维逻辑表结构描述的数据；非结构化数据指不便用数据二维逻辑表来描述的数据，如图片、影音、文字等，需要对其先进行处理如语音识别、语义识别和图像识别等以转化为结构化数据；半结构化数据则处于这二者之间。

2.2 数据挖掘与机器学习

根据电力系统大数据的应用目标，可将现有的数据挖据和机器学习分为四大类，即分类方法、聚类方法、回归方法、降维方法。其中，分类和聚类比较类似，二者的区别是：分类(classification)是针对数据集有标记的集合，而聚类(clustering)则是作用于数据集无标记的集合。表1中列出了现有的数据挖掘与机器学习方面的主要方法。

这些方法之间有些相互联系、也有些互为补充。

表1 数据挖掘与机器学习方面的主要方法

Table 1 Major methods in data mining and machine learning

例如，随机梯度下降法(stochastic gradient descent, SGD)是一种在训练集中给分类器寻找最优参数的优化方法，其既可以与SVM共同使用，也可以与逻辑回归分析(logistic regression)结合，从而构造出各种灵活而高效的分类方法以适应于不同应用情形[17]。SVM是一种监督式学习方法，其构建一个或多个高维超平面对数据进行分类，其另一种形式支撑向量回归(support vector regression，SVR)可用于回归分析和预测。此外，如果使用核函数(kernel function)，则可进一步提升对高维非线性情况的分析处理能力；如果使用套索算法LASSO则可减小过拟合风险同时减小系数规模。除了分类和回归，核函数也可以广泛应用于多个不同的方面，例如，与PCA结合可用于新颖性检测(novelty detection)及数据降噪。有些时频分析方法如小波分析(wavelet analysis)和匹配追踪分解法(matching pursuit decomposition)也可用于抑制噪声并提取特征，因此也经常与数据挖掘或机器学习方法共同使用。贝叶斯方法(Bayesian method)和决策树(decision tree)等，都可以合理整合成为新的集成学习(ensemble learning)方法，例如，多棵决策树可以组成随机森林(random forest)，以取得更好的预测性能和更强的鲁棒性。此外，概率图模型(probabilistic graphical model，PGM)与图论结合起来可以更进一步挖掘大数据中隐藏的知识。近年来，神经网络、玻尔兹曼机(Boltzmann machine, BM)、受限玻尔兹曼机(restricted Boltzmann machine, RBM)等可以通过多层次的叠加或深度融合，组成深度神经网络(deep neural network, DNN)或深度信念网络(deep belief network, DBN)以处理半结构或者非结构数据。

综上所述，可以根据实际问题的特征，把表1中列出的某些方法进行适当组合使用。对于如此形成的混合方法，可以选择合适的优化方法优化模型的结构和参数，以取得更好的性能和更高的计算效率。

2.3 电力系统大数据的特征外延

除了前面提到的大数据的4V特征之外，智能电网的大数据还具有下述分散性、稀疏性和安全性。

分散性。智能电网一般覆盖辽阔的地域，数据源具有空间上的分散性。从监测的时间性来看，智能电网的数据库往往包涵1年或者更多年的数据，在时间上跨度大。此外，智能电网不是孤立网络，也与其他网络交互，导致数据来源的种类、特征和速度方面具有分散性，例如空气污染监测数据与PMU的多种测量数据在时空上都是高度分散的，且采样频率不同。这样，考虑到智能电网大数据的分散性，其大数据存储系统最好是动态的分布式系统。

稀疏性。虽然智能电网大数据的量巨大，可以从太字节(TB)到拍字节(PB)但有价值的信息并不多且往往淹没其中。例如，对于电力系统故障情况的分析需要不同情况下的电网故障数据，但电网故障数据往往只占电网运行数据的很小一部分，需要用数据挖掘或者模式识别方法将有用数据提取出来。从数据来源上看，有的数据特征决定了其稀疏性，例如电动汽车在交通系统中的运行数据，对于每辆车的运行轨迹一般只纪录离散时间点上其所在空间的位置。如何根据数据的稀疏性，以及反映数据重要性和准确性的权重，确定不同时间点的充电负荷是应用大数据技术的一个重要领域。

安全性。本文认为安全性有2个内涵，即数据质量和数据保护。这二者分别从数据本身及外部依赖方面表征智能电网大数据的安全性。就数据质量而言，数据采集、存储、调用、通讯、处理等每个环节都影响并支撑着整个系统的数据质量。智能电网的数据保护依赖于发、输、变、配、用等各个环节，同时也与数据质量的各个环节相互交叉。整个系统的综合能力水平取决于最弱环节(或系统短板)，因此电力系统大数据的安全性取决于最薄弱环节的数据质量和数据保护能力。因此，在建设高效节能的电力大数据系统的同时，需要在各个环节上把控大数据的安全性。

基于以上分析，智能电网大数据的分散性与稀疏性在给数据存储与调用带来新的挑战的同时，也给数据的安全性提出了诸多亟待解决的问题。下一节从安全性的2个内涵即数据质量和数据保护来分析智能电网大数据的安全性。

3 智能电网大数据的安全性

自2010年伊朗核电站的离心机被Stuxnet病毒攻击开始，智能电网的数据安全性逐渐引起多国政府和学术界的重视。美国国会专门批准170亿美元，研究网络与信息安全防御系统[9]。智能电网是一个高度数字化网络，且物理系统与信息系统已经深度融合，这样大数据的安全性直接影响智能电网的运行行为。

3.1 大数据质量

为系统地分析数据质量，可把智能电网的数据处理过程分为5个基本环节，即数据采集、存储、调用、通讯及处理，其中的存储和调用环节因为联系紧密而通常被一起研究。

(1)从数据采集的角度看，多维多种海量的结构、半结构、异构数据，例如电压、电流、车流、天然气流量、空气污染程度等，对大数据采集和预处理提出了新的挑战。与此同时，这些数据由于种种原因通常又包含不同程度的噪声、误差和错误。因此，如何对数据进行清洗和规则化，剔除噪声、尽可能减小误差、删除重复数据等，就很值得研究[18]。

(2)由于数据种类多，数量大，时空分布不同，速度要求也不一致，因此对数据存储和调用系统的需求也不同。这对传统数据库的存储模式提出了挑战, 其不适于对海量、多种类、动态数据进行管理。有鉴于此，很多公司从数据动态管理的角度出发开展了相应的研究工作。例如，Google的Spanner系统可以实现数据库的全球规模扩展，并支持各种复杂的调用[19]。

(3)不同种类数据的采集、存储、调用、处理都离不开高速可靠的数据传输系统。在表2中, 对各种数据通讯模式及其应用做了归纳。表2中列出的各种通讯协议可以灵活组合，实现大数据的高效、经济、快速的传输。

表2 智能电网大数据通讯技术

Table 2 Big data communication techniques in smart grids

(4)对于数据质量问题，数据处理的含义很广。例如，用户的隐私保护与数据可信度分析也属于数据处理的内容。首先，随着智能电网和其他网络的深度融合，不同类型用户的信息可以从各种社交网络或其他企业用户网络中获得。目前对于用户数据的搜集、存储、使用等尚缺乏规范和监管，这就更需要政府、企业、用户3个方面相互配合，建立合作机制，以防范于未然。此外，刻意伪造、编造、制造虚假数据以破坏数据系统也是对智能电网数据质量的一个挑战。可以结合密码学、数据挖掘、机器学习、社会行为分析等来研究这一问题。

3.2 大数据保护

智能电网是高度复杂的系统，既要对实际物理系统进行调度、控制和维护，也要对信息空间进行防卫与保护。物理系统和信息空间的高度交互与相互控制，要求新的安全防御机制，对大数据提供适当的保护。

首先，考虑到智能电网的复杂性，发、输、变、配、用等环节对于数据保护要求的水准也不同。例如，在传统发电侧，各种控制机组的运行命令往往是明文，因此需要最高级的保护。文献[20]由高到低定义了4种安全区：(1)实时控制安全区，包括各种物理系统的自动化控制、数据采集、监控系统；(2)非控制安全区，包括各种模拟系统、继电保护、批发电力交易系统等；(3)生产管理系统，包括各种数据统计、气象信息、生产信息调度等；(4)管理信息区，包括客户服务、企业管理等。其中，管理信息区与外界有广泛的互联互通，因此在大数据背景下，更应该建立既严格又开放的安全机制；同时，也应保证各种跨安全区的信息能够高效和安全的交互。

其次，除了上面介绍的通讯网外，为应对智能电网大数据的多种类、高速度的信息传播特点，也需要对电力系统传统通讯协议进行改进和提高。文献[21]指出，从能量管理与分布式管理方面分析IEC 61970和IEC 61980等协议，从控制中心间协议分析IEC 60870-6、DNP3和IEC 60780-5-104等，从变电站协议分析IEC 62445-1和IEC 61850等，是构建智能电网和能源互联网大数据传输的基础。

最后，考虑到发展高容错、抗攻击智能电网大数据的愿景，建立有冗余度的大数据仓库以动态备份大数据资料、建立云平台等也是数据保护的重要措施。一些互联网公司，如Google、Amazon、Facebook等已经基于机器学习、图论、GIS等方面的理论与方法在全球部署自己的大数据仓库，以应对各种物理系统和信息空间的攻击。最近提出了利用风险分析方法研究对大数据的保护[22-26]。

4 大数据技术在智能电网中的应用

随着智能电网在多个国家的发展，许多电力公司在电网中安装了大量的实时测量或传感设备，从而产生了大量数据[27-29]。一些电力公司甚至用“数据雪崩(data avalanche)”或“数据海啸(data tsunami)”来描述所面临的情形。这既描述了在现代电力系统中可获得的数据量非常之大，也反映了一些电力公司在面临大数据时的无所适从。大数据对电力工业带来的挑战如下所述。

(1)数据量和数据传输速度。电力公司的大数据主要来自从传感器测量得到的物理数据以及与终端用户的用电数据。现代传感器能够在min级甚至s级的时间尺度上对系统运行情况进行自动更新。当大量数据同时传输到控制中心时，数据传输速度(也可用数据到达顺序描述)和处理速度便成为需要考虑的重要因素。

(2)数据的自动化处理。电力公司的数据一般存储在不同的数据仓库(silos)中。对数据进行分析时，一般采用如下自动化数据处理过程：1)从不同数据仓库中对数据进行筛选；2)对数据进行验证以确保其正确性，因为从不同渠道收集来的数据可能会相互冲突；3)把数据转换成需要的格式；4)填充丢失的数据从而保证信息的完整性；5)从数据中提炼有效的信息并进行可视化。

(3)快速决策。传统上，电力公司的很多决策是通过手动过程完成的，这已经无法满足电力工业发展的需要。发电厂发出的电输送到用户只需要ns级的时间。当诸如停电这样的事故发生时，电力公司需要做出快速决策，而不允许进行长时间的数据管护(data curation)。电力公司需要采用更先进的计算架构来对大数据进行管理，例如最近出现的WAMS和高级配电管理系统(advanced distribution management system，ADMS)。这些系统可实时计算从而辅助电力公司快速决策。

(4)先进的数据自动化分析方法。数据分析(data analytics)是大数据技术的重要内容。GTM Research公司曾预测在2012到2020年间全世界花费在与智能电网有关的数据分析方面的成本高达206亿美元，收益可达1218亿美元[30]。

(5)新的国际标准。电力公司所采用的系统一般都具有较强的针对性, 即并非通用系统。不同系统之间的数据格式未必兼容，这大大增加了数据处理和分析的难度与消耗的资源。因此，在大数据环境下需要统一的国际化标准来规范数据格式，以方便数据共享。

虽然面临上述挑战，大数据及其数据分析技术在电力工业中有良好的发展和应用前景。推动其快速发展和应用的主要因素如下所述。

(1)电力公司在智能电表等设备上的投入持续增加，达到数亿甚至数十亿美元。从追求投资回报率的角度上讲，电力公司有动力充分利用这些设备产生的数据。

(2)可以采用大数据分析技术对用户分类，以更好地实现需求侧管理, 进而节约电力公司的投资和运行成本。

(3)采用大数据分析技术可以改善拥有众多资产和设备的电力公司的资产管理水平。

(4)可以采用大数据分析技术提高电网运行管理水平，特别是在面临极端天气等罕见事件时，可以减少停电时间和停电成本、降低用户的不满意度。

(5)大数据分析技术可用于减少偷电等非技术损耗。

(6)采用大数据分析技术有助于促进可再生能源发电和电动汽车更加顺畅地接入电力系统。

(7)大数据技术可以与地理信息系统结合，提供可视化的电力系统规划、运行与检修方案。

智能电表、分布式发电和用户侧参与使得电力公司获得的数据量在近几年呈现出井喷式的增长[31]。从时间尺度上看，多数数据是h内(sub-hourly)的数据，甚至达到s级或μs。以服务50万户用户的中型电力公司为例，智能电表的普及使得来自用户侧的数据量呈现爆炸式增长，每年光读电表的次数就从600万次增加到近180亿次，即增加了3 000倍[32]。为解决能源互联网环境下对海量数据的处理需求，文献[33]提出了基于互信息(mutual information，MI)的方法，将信息融合理论中的“数据—特征—决策”三层结构应用到能源互联网的海量监测数据中，构建了多层模式的数据融合方案。

图3[27]显示了从发电到终端用户之间复杂的数据传输和互联。电力公司可运用大数据技术对历史存储数据和实际运行数据进行分析，从而更好地对系统未来状况作出判断并针对可能出现的问题给出预防措施。下面详细介绍大数据技术在电力系统中可能应用的几个领域。

图3 电力系统中复杂的数据系统及其互联

电力公司可能遇到的典型大数据来源包括：(1)用于实时态势感知的同步测量系统(synchrophasor measurement system，SMS)产生的数据；(2)用于管理电力系统资产所需数据，如与系统检修相关数据；(3)用于支撑系统决策所需数据，如来自天气、GIS、市场交易信息系统的数据等[34]。

近年来，电力系统正在引入越来越多的相量测量单元(phasor measurement units, PMUs)来快速准确地测量电压和相角。PMU使得对系统的广域测量和广域保护成为可能。对于系统振荡事故，SCADA系统一般难以识别出来，但可通过分析PMU数据确定。

图4展示了大数据技术在改善电力系统运行方面的4种典型应用：设备资产管理、运行规划、系统安全分析、分布式发电与电动汽车[34]。

图4 电力系统运行中的大数据应用

(1)设备资产管理。可以采用大数据技术来监控和分析设备运行情况。断路器误动是难以准确预测的，其危害电力系统运行的安全性。可以采用大数据技术对每个断路器的历史运行数据进行分析，得到断路器各种运行状态的概率分布函数；在实际运行时，利用实测的电流和电压值等，便可有效预测断路器可能发生的误动，并提前采取预防措施。

(2)运行规划。电力系统运行从时间尺度上可分为长期、中期和短期。一般把前两者称为运行规划。中长期运行规划结果会被分解到到短期(实时)系统调度之中。然而，由于系统中存在大量不确定性因素，尤其是随着系统中可再生能源发电和电动汽车充电负荷渗透率的不断提高，中长期运行规划和短期调度都可能与实际情况有较大偏差。系统短期运行中有可能出现无法预料的停电事故，这在制定中长期运行规划时是很难预测的，从而无法提前做好预防措施。虽然在日前电力市场中会对第2天的实时电价进行预测,但实际预测经验表明，预测电价与实际电价之间的偏差有时相当大。采用大数据分析技术有望改善这些状况。

(3)系统安全分析。在线电压监控是调度中心的一个重要职能。在美国的互联电力系统控制中心中，如PJM、MISO和ERCOT，一般都有类似功能。调度员根据经验对未来可能的运行场景进行仿真分析。这种集中计算方式的效率受到越来越多的挑战，因为其需要可靠的状态估计结果，需要准确估计薄弱的线路断面，需要对外部系统进行精确等值等。采用大数据技术，有望基于分布式测量和分布式计算方法来监控系统的准静态电压安全和电压稳定状况[35]。

(4)发电与电动汽车。可以预见, 分布式发电和电动汽车在未来配电系统中的渗透率会趋于提高。AMI和通信网络在配电系统中的应用使得数据采集成本明显降低。传统上, 配电公司对系统情况的把握相当有限, 除了每月读取1次的电表数据外，基本没有其他信息。随着分布式发电和电动汽车在配电系统中的渗透，配电系统的潮流不再是单向的，这引起很多运行问题，为此配电公司需要对系统运行情况更快速和精确的把握。传统的只用Excel就可以处理的数据已经逐步演变成为需要专业分析软件才能处理的大数据。这将对配电系统运行带来深远影响，促进包括配电系统状态估计、设备诊断、负荷和可再生能源发电出力预测、设备停电预测和数据可视化等高级应用软件的发展和应用。

5 未来展望：新的商业模式和政府监管

大数据技术在电力系统中的广泛使用会促进新的商业模式出现。从某种意义上讲，能源互联网概念就是在大数据背景下提出的，其能引导电力系统的运行管理智能化，能够像今天的互联网一样与数据产生密不可分的联系。成立于2011年的美国初创公司(AutoGrid)就专注于能源领域大数据分析，业务范围包括分析居民和商业建筑的用电量、智能电表测量的变压器和发电机数据、系统停电数据等。该公司发明的算法能够利用这些数据为电力公司提供多种服务，包括负荷和可再生能源发电预测、电网设备运行效率优化、图表化展示用电量的走势等。该公司现有客户包括美国一些大电力公司如南加州电力公司、萨克拉门托市电力公司、佛罗里达电力公司、德州奥斯丁电力公司、俄克拉何马燃气与电力公司等。其中，佛罗里达电力公司用该公司开发的软件预测输电线路附近的树木何时需要被修剪。该公司于2016年5月第2轮融资高达2千万美元，资助方包括美国一些著名能源集团如南方电力公司(Southern Company)和Xcel Energy公司，其将利用这些融资扩展销售业务并开发新的能源应用软件。

其他从事类似业务的高科技公司包括第1家能源数据公司Opower，其致力于开发帮助用户节省用电量的软件。最近，软件巨头甲骨文公司表达了购买Opower公司的意愿。此外还有eMeter公司，其致力于对智能电表数据进行分析并被西门子公司收购。基于互联网的区块链(blockchain)技术最近也受到越来越多的关注，例如，西班牙大型能源公司Endesa建立了区块链实验室，试图开发能源行业中基于区块链的解决方案，转变当前能源行业的基础设施使用模式。德国电力公司Enercity引入比特币作为支付方式，方便用户结算电费。美国TransActive Grid是由LO3 Energy和区块链技术开发企业ConsenSys合资成立的公司，其以去中心化的方式促进能源的点对点交易。该公司在纽约布鲁克林运行一个示范性的微网项目，居民可将自家屋顶太阳能板产生的过剩电力出售给对面街道的用户，相互间的交易以区块链网络连接，几乎不需要人员参与就可以记录和管理交易。

大数据技术除了会引导技术变革外，还会导致管理方式的进步。安全性是电力工业的基础，在大技术环境下确保电力系统安全性需要有新的监管模式和思路。可以预期，大数据在给电力公司带来巨大收益的同时，也会带来安全、隐私、传播上的风险。从美国的经验来看，目前政府推出的与大数据有关的法案还很少。一般而言，公司在使用大数据时，必须确保其行为受相关的一般社会法案约束，同时也要遵循公司内部与数据合理使用和流通有关的规范。例如，当金融机构希望使用客户的私人数据时，必须确保其符合《格雷姆-里奇-比利雷法案》(Gramm-Leach-Bliley Act)的要求。为推动大数据技术在电力行业的发展，政府部门应该做好如下2方面的工作：(1)出台与电力大数据相关的规划政策，明确大数据应用的总体目标和要求，指明大数据应用的发展方向，布局推进大数据应用的重点任务，更好地推动大数据在电力行业的快速发展，切实发挥大数据的作用；(2)强化企业信息互联，将电力系统运行的各环节纳入到企业的信息化系统中，完善在线监控体系，确保大数据技术得到有效应用。

随着云计算、物联网、能源互联网等的发展，数据呈现爆炸式的增长。大数据时代已经到来，且大数据技术在很多领域已经得到应用。以智能电表、分布式电源、用户侧参与和电力通信等技术发展为代表的智能电网，是大数据技术应用的重要场所。大数据技术对建立可持续性、有弹性、高效运行、具备更强自动化和智能化的现代电力系统具有重要作用[36]。

6 结 论

本文首先介绍了智能电网环境下大数据的基本概念，阐明了智能电网大数据技术的特征。在此基础上，指出了智能电网大数据所面临的安全挑战并给出大数据保护的一些具体措施。之后，采用几个例子阐明了大数据技术在智能电网中的应用。最后，展望了大数据技术在智能电网中的应用和发展，介绍了一些新的商业模式和政府监管机构需要关注的问题。

大数据技术在电力系统中有广阔的发展前景，为传统电力工业的发展注入了新的活力。研究适用于智能电网的大数据分析理论、方法与技术，以实现更安全、更经济、更智能的电力系统，是值得研究的重要课题。

[1]刘世成，张东霞，朱朝阳，等．能源互联网中大数据技术思考[J]．电力系统自动化，2016，40(8)：14-21．

LIU Shicheng，ZHANG Dongxia，ZHU Zhaoyang，et al．A view on big data in energy internet[J]．Automation of Electric Power Systems，2016，40(8)：14-21．

[2]薛禹胜，赖业宁．大能源思维与大数据思维的融合(一)大数据与电力大数据[J]．电力系统自动化，2016，40(1)：1-8．

XUE Yusheng，Lai Yening．Integration of marco energy thinking and big data thinking part one：big data and power big data [J]．Automation of Electric Power Systems，2016，40(1)：1-8．

[3]Electric Power Research Institute．Improving electric power system situational awareness：data analytics for utilities[R]．Palo Alto，California： Electric Power Research Institute，2015．

[4]SUNIL P．Solving big data challenges in US electric utility industry．Presentation at IEEE Power and Energy Society General Meeting，Washington D．C．，USA，July 29，2014 [EB/OL]．(2014-07-29) [2016-11-11]．http://www．ieee-pes．org/presentations/gm2014/14_02176_IEEE_PES_Final．pdf

[5]WERNSING R， ROTHWEILER A．Data enables proactive asset management：PSE&G is determining effective age of substation transformers through advanced analysis [EB/OL]．(2015-05-01)[2016-11-11]．http://tdworld．com/may-2015?PK=UM_Dig15&utm_rid=CPG04000000096003&utm_campaign=2413&utm_medium=email&campaigncode=CRM-XU15-UTI-TDPSEGEM&t=1#56．

[6]Capgemini Consulting．Big data blackout：are utilities powering up their data analytics? [EB/OL]．(2015-05-04)[2016-11-11] www．capgemini-consulting．com/resource-file-access/resource/pdf/bigdata_blackout．pdf

[7]Capgemini Consulting．Big and fast data：the rise of insight-driven business．[EB/OL]．(2015-03-01)[2016-11-11] https://www．capgemini．com/resource-file-access/resource/pdf/big_fast_data_the_rise_of_insight-driven_business-report．pdf．

[8]宋亚奇，周国亮，朱永利．智能电网大数据处理技术现状与挑战 [J]．电网技术，2013，37(4)：927-935．

SONG Yaqi，ZHOU Guoliang，ZHU Yongli．Present status and challenges of big data processing in smart grid [J]．Power System Technology，2013，37(4)：927-935．

[9]董朝阳，赵俊华，文福拴，等．从智能电网到能源互联网：基本概念与研究框架[J]．电力系统自动化，2014，38(15)：1-11．

DONG Zhaoyang，ZHAO Junhua，WEN Fushuan，et al．From smart grid to energy internet：basic concept and research framework [J]．Automation of Electric Power Systems，2014，38(15)：1-11．

[10]JIANG Huaiguang，ZHANG Jun，GAO Wenzhong，et al．Fault detection，identification，and location in smart grid based on data-driven computational methods [J]．IEEE Transactions on Smart Grid，2014，5(6)：2947-2956．

[11]JIANG Huaiguang，DAI Xiaoxiao，GAO Wenzhong，et al．Spatial-temporal synchrophasor data characterization and analytics in smart grid fault detection，identification and impact causal analysis [J]．IEEE Transactions on Smart Grid，2016，7(5)：2525-2536．

[12]JIANG Huaiguang，ZHANG Yingchen，ZHANG Jun，et al．Synchrophasor-based auxiliary controller to enhance the voltage stability of a distribution system with high renewable energy penetration [J]．IEEE Transactions on Smart Grid，2015，6(4)：2107-2115．

[13]YU Chengbo，CUI Yanzhe，ZHANG Lian，et al. Zigbee wireless sensor network in environmental monitoring applications [C]//IEEE 2009 5th International Conference on Wireless Communications，Networking and Mobile Computing．Beijing：IEEE，2009 ，1-5．

[14]黄国日，刘伟佳，文福拴，等．具有电转气装置的电-气混联综合能源系统的协同规划[J]．电力建设，2016，37(9)：1-13．

HUANG Guori，LIU Weijia，WEN Fushuan，et al．Collaborative planning of integrated electricity and natural gas energy systems with power-to-gas stations [J]．Electric Power Construction，2016，37(9)：1-13．

[15]GU Yi，JIANG Huaiguang，ZHANG Yingchen，et al．Statistical scheduling of economic dispatch and energy reserves of hybrid power systems with high renewable energy penetration[C]//2014 48th Asilomar Conference on Signals，Systems and Computers．Pacific Grove，CA：IEEE，2014，530-534．

[16]茆美琴，孙树娟，苏建徽．包含电动汽车的风/光/储微电网经济性分析 [J]．电力系统自动化，2011，35(14)：30-35．

MAO Meiqin，SUN Shujuan，SU Jianhui．Economic analysis of a microgrid with wind/photovoltaic/storages and electric vehicles [J]．Automation of Electric Power Systems，2011，35(14)：30-35．

[17]JIANG Huaiguang，ZHANG Yingchen，ZHANG Jun，et al．Synchrophasor based auxiliary controller to enhance power system transient voltage stability in a high penetration renewable energy scenario[C]//2014 IEEE Symposium Power Electronics and Machines for Wind and Water Applications (PEMWA). Milwaukee，MI：IEEE，2014：1-7．

[18]冯登国，张敏，李昊．大数据安全与隐私保护[J]．计算机学报，2014，37(1)：246-258．

FENG Dengguo，ZHANG Min，LI Hao．Big data security and privacy protection [J]．Chinese Journal of Computers，2014，37(1)：246-258．

[19]孟小峰，慈祥．大数据管理：概念，技术与挑战[J]．计算机研究与发展，2013，50(1)，146-169．

MENG Xiaofeng，CI Xiang．Big data management：concepts，techniques，and challenges [J]．Journal of Computer Research and Development，2013，50(1)：146-169．

[20]胡荣，李鹏，赵曼勇．运行服务总线跨安全区的服务部署方式探讨[J]．南方电网技术，2012，6(3)：73-77．

HU Rong，LI Peng，ZHAO Manyong．Research on OSB-based service deployment modes over multi-security zones[J]．Southern Power System Technology，2012，6(3)：73-77．

[21]查亚兵，张涛，黄卓，等．能源互联网关键技术分析[J]．中国科学(信息科学)，2014，44(6)：702-713．

ZHA Yabing，ZHANG Tao，HUANG Zhuo，et al．Analysis of energy internet key technologies [J]．Science China(Information Sciences)，2014，44(6)：702-713．

[22]WANG Qin，WEN Fushuan，SUN Weizheng，et al．Risk-based security-constrained economic dispatch in power systems [J]．Journal of Modern Power System and Clean Energy，2013，1(2)：142-149．

[23]WANG Qin，MCCALLEY J D，ZHENG T，et al．A computational strategy to solve preventive risk-based security constrained OPF [J]．IEEE Transactions on Power Systems，2013，28(2)：1666-1675．

[24]WANG Qin，MCCALLEY J D．Risk and ‘n-1’ criteria coordination for real-time operations [J]．IEEE Transactions on Power Systems，2013，28(3)：3505-3506．

[25]WANG Qin，MCCALLEY J D，ZHENG T，et al．Risk-based locational marginal pricing and congestion management [J]．IEEE Transactions on Power Systems，2014，29(5)：2518-2528．

[26]WANG Qin，MCCALLEY J D，ZHENG T，et al．Solving corrective risk-based security-constrained optimal power flow with Lagrangian relaxation and Benders decomposition [J]．International Journal of Electrical Power and Energy Systems，2016，75(2)：255-264．

[27]宋璇坤，韩柳，鞠黄培，等．中国智能电网技术发展实践综述[J]．电力建设，2016，37(7)：1-11．

SONG Xuankun，HAN Liu，JU Huangpei，et al．A review on development practice of smart grid technology in China [J]．Electric Power Construction，2016，37(7)：1-11．

[28]刘道新，郭万祝，王世成，等．面向能源互联网的新型需求侧管理模式研究[J]．电力建设，2016，37(6)：10-16．

LIU Daoxin，GUO Wanzhu，WANG Shicheng，et al．New demand-side management pattern for energy internet [J]．Electric Power Construction，2016，37(6)：10-16．

[29]曾鸣，张晓春，王丽华．以能源互联网思维推动能源供给侧改革[J]．电力建设，2016，37(4)：10-15．

ZENG Ming，ZHANG Xiaochun，WANG Lihua．Energy supply side reform promoting based on energy internet thinking [J]．Electric Power Construction，2016，37(4)：10-15．

[30]LEEDS J D．The soft grid 2013-2020：big data & utility analytics for smart grid [R]．Massachusetts，United States：GTM Research，2012．

[31]张华一，文福拴，张璨，等．考虑能源需求不确定性的居民小区能源中心运行策略[J]．电力建设，2016，37(9)：14-21．

ZHANG Huayi，WEN Fushuan，ZHANG Can，et al．Operation strategy for residential quarter energy hub considering energy demand uncertainties [J]. Electric Power Construction，2016，37(9)：14-21．

[32]ALIGNE Energy Trading，Risk & Operations．Big data：challenges and opportunities for the energy industry [EB/OL]．(2013) [2016-11-11]．https://www．sungard．com/～/media/fs/energy/resources/white-papers/Big-Data-Challenges-Opportunities-Energy-Industry．ashx．

[33]李刚，杨立业，刘福炎，等．能源互联网关联数据融合的互信息方法[J]．电力建设，2016，37(9)：22-29．

LI Gang，YANG Liye，LIU Fuyan，et al．A mutual information method for associated data fusion in energy internet[J]．Electric Power Construction，2016，37(9)：22-29．

[34]KEZUNOVIC M，XIE L，GRIJALVA S．The role of big data in improving power system operation and protection [C]//2013 IREP Symposium-Bulk Power System Dynamics and Control，Rethymnon. Greece: IEEE，2013：1-8．

[35]XIE L，CHEN Y，LIAO H．Distributed online monitoring of quasi-static voltage collapse in multi-area power systems[J]．IEEE Transactions on Power Systems，2012，27(4)：2271-2280．

[36]甘霖，刘育权，文福拴，等．弹性电力系统及其恢复策略研究的理论与实践[M]．北京：科学出版社，2016．

GAN Lin, LIU Yuquan, WEN Fushuan, et al. Theory and applications of resilient power systems and associated restoration strategies[M]．Beijing：Science Press, 2016.

王钦 (1984)，男，博士，研究方向为新能源并网和电力系统运行安全；

蒋怀光 (1984)，男，博士，研究方向为大数据分析和新能源；

文福拴 (1965)，男，博士，教授，博士生导师，本文通信作者，研究方向为电力系统故障诊断与系统恢复、电力经济与电力市场、智能电网与电动汽车等；

梅天华(1980)，男，博士，研究方向为电力市场与电力系统负荷侧管理。

(编辑 张媛媛)

Concept, Technology and Challengs of Big Data in Smart Grids

WANG Qin1, JIANG Huaiguang2, WEN Fushuan3,4, MEI Tianhua5

(1. Department of Electrical and Computer Engineering, Iowa State University, Ames, IA 50010, USA； 2. Department of Electrical and Computer Engineering, Denver University, Denver, CO 80208, USA； 3. School of Electrical Engineering, Zhejiang University, Hangzhou 310027, China； 4. Department of Electrical and Electronic Engineering, Universiti Teknologi Brunei, Bandar Seri Begawan BE1410, Brunei； 5. Zhejiang Energy Regulatory Office of National Energy Administration，Hangzhou 310007，China)

The technology concept of big data is getting more and more widely acknowledged and emphasized. With the development of the smart grid and energy internet, the traditional power industry is undergoing profound changes in terms of technical applications, service modes, and development ideas. The decentralization, digitalization and intellectualization of power system devices and end-user facilities could significantly increase the information amount of power system operation and control. This will in turn significantly increase the data volume which is gradually exhibiting the features of big data. Give this background, this paper discusses the concept of big data applications in modern power systems, clarifies the technical features of big data in smart grids, and illustrates the significance of big data security and corresponding protective measures. Some examples are next employed to demonstrate the applications of big data technologies in smart grid environment. Finally, new business modes brought in by big data technologies are discussed, as well as the role of governmental regulation.

power system; smart grid; big data; data security; machine learning

国家重点基础研究发展计划项目 (973计划)(2013CB228202)；国家自然科学基金项目(U1509218)；国家能源局浙江监管办公室科研项目(H20152711)

TM 711

A

1000-7229(2016)12-0001-10

10.3969/j.issn.1000-7229.2016.12.001

2016-10-08

Project supported by National Basic Research Program of China (973 Program) (2013CB228202)；National Natural Science Foundation of China (U1509218)