云计算视野中的电力大数据分析技术与应用

高骞 徐超 杨俊义 张飞 顾姝姝

摘 要：21世纪以来智能电网迅猛发展，与此同时也带来了数量庞大、种类繁多的海量数据，传统的电力数据处理系统已经不能满足当前的实际需求。云计算作为一种基于互联网的服务模式，通过虚拟化技术，以其可异构计算资源、海量数据的存储和管理能力、快速高效的计算分析能力、易于动态扩展等特点给电力大数据分析带来了新的理念与思路。基于基础图表、SVG和地图的可视化方法则充分运用了电力大数据，借助这些新技术和新方法，电力数据分析与应用的平台也在不断发展和提高。

关键词：云计算 数据分析 数据应用 电力大数据

电能自十八世纪发明以来，与我们的生活休戚相关。一方面电能提高了居民生活质量，另一方面对促进国家经济发展、加强国防建设、推进社会和谐等都产生了深远的影响。电能的应用程度也成为衡量一个国家发展水平的重要标准之一。在进入21世纪以来，电能进入了高速、全面、系统的发展时期，智能电网的概念应运而生，智能电网建设的热潮在各个国家如火如荼地进行着。但随着智能电网爆发式的增长，各类监测数据不断扩大，种类不断增多，价值不断提高，现有的传统电力数据处理系统无法满足这种需求。而云计算的出现，如同第三次革命浪潮一般，彻底改变了我们的生活方式和生产方式，也给电力数据的分析与处理带来了全新的理念和思路。

在云计算的技术支撑之下，电网系统的数据收集、数据监测、数据分析和数据应用都实现了大数据式的革新和升级，在这个全新的高性能的平臺上，能够解决很多以往电力大数据发展遇到的问题，并开展全面的应用服务。

一、云计算在海量电力大数据分析上的优势

云计算是一种通过网络来提供的虚拟化服务，因此它与互联网是密不可分的。云计算可以充分利用各种硬件和软件资源如存储设备、网络系统、服务器等，是一种可以为各种互联网应用提供基础架构服务、硬件服务、平台服务、存储服务和软件服务的系统。在中国，云计算也受到了越来越多的重视。总体来说，云计算技术的优势非常明显，结合本文主题，主要从以下几个层面来研究：

（一）可异构计算资源

在传统的数据平台上，由于各类资源都需要有统一的接口，因此传统数据分析具有同构性的技术特点，但召集资源信息异常繁杂，一致接口则是很能达到的一种状态。而云计算可以采用一些虚拟化技术如计算、存储等，将计算机服务器等不同组织上的零散、无序的资源汇总整合，从而为数据收集、分析和应用提供了全新的思路和技术支撑。

（二）海量数据的存储和管理能力

我们知道电网中的数据数量大、种类大，因此处理电网大数据的平台也必须达到相应的数据管理能力。传统数据存储容量有限，存储状态不够稳定，数据有丢失和排列失序的可能，想对这些数据进行管理和分析，实操起来难度非常大。而云计算则完全不同，在虚拟化技术的支持下，大量混乱无序的资源得到了分门别类的归集和识别，状态稳定、获取简便、处理起来能够实现智能化，受一些客观因素的影响变少，根据不同的指令，实现不同的功能和服务模式。

（三）快速高效的计算分析能力

分析速度快慢，解读效率高底是衡量数据挖掘与分析能力的重要指标。对于电力系统来说，海量的电力大数据需要通过复杂繁琐的计算方法来进行有效评估，并产生预警机制。云计算智能化的并行计算模式，能够最大程度的节约成本提高效率，从而实现电力大数据分析与应用的基本需求和高参数需求。

（四）易于动态扩展

传统的电力数据分析平台，只有通过购置更换更新的核心部件，才能够提升相关数据分析能力，同时这种扩展也是有限制的，一旦升至上限就要完全更换设备。而云计算与传统电力数据分析平台则是完全不同的原理，并不受制于设备和硬件等条件的参数限制。从理论上来讲，云计算是没有空间限制的，可以实现无限扩展。这个扩展并不需要更换原有设备，只需要增加相关设备即可。动态扩展的成本本、效率高，实用价值大大提高。

通过以上对云计算技术的优势分析，我们可以看到传统数据分析平台已经不再能够适应现代数据分析的需求了。随着智能电网系统的全面发展与革新，大数据的收集、分析和应用的需求越来越大。要想解决在发展中遇到的问题，充分利用电力大数据来解决问题，就必须采用云计算技术。

二、电力大数据的主要分析技术

大数据分析技术种类较多，在此结合电力行业的实际，主要介绍三种电力大数据的分析技术。

（一）Hadoop

Hadoop是在电力大数据分析中较为常见的一种技术，如今已经发展成为一个大数据相关的庞大的软件生态系统。Hadoop对待大型数据的处理方法，主要是采用编程模型来进行计算和分析，这种大数据式的处理框架效率高、速度高。Hadoop以单一服务器扩展至千百万个机器，架构安全，可用度高，服务高效。其用户在前期也不用花费太多的时间和金钱，就能够从事数据开发和处理的相关工作。在电力大数据的分析实践中，我们可以发现对Hadoop的应用是比较广泛的，也主要是用于处理批量的离线数据。在对实时大数据的处理过程中，Hadoop则显示出其不能快速响应的缺陷，因此需要其它数据分析技术给予补充。

（二）Spark

Spark技术相较前两者，它是一个新技术新思路。Spark与第一种Hadoop有类似之处，开发者是UCBerkeleyAMPlab，其计算框架与MapReduce能用，基于MapReduce实现分布式计算。可以这样说，Hadoop所具有的优点，Spark都具有。而Spark又具有前者所不具有的一些优势，即它将中间处理的结果保存在内存中以便于下次计算时能够快速的读取数据，减少了频繁读取HDFS带来的I/O方面的开销。因此，Spark在迭代计算方面的处理性能比MapReduce高出一个数量级。

（三）Storm

Storm自2011年8月成为正式开源以来，受到了很多用户的喜爱和追捧。而在实践过程中，Storm也确实表现出惊人的业务处理、数据流处理和服务支撑能力。Storm既表现出跟Hadoop一样的稳定的离线数据处理能力，也能够轻松应对实时大数据的分析处理工作，可以达到一秒钟处理百万消息的速度。当今很多电子商务巨头也采用Storm应用来处理实时数据变化。

总体来说，电力大数据平台的研究系统化不强，研究类别也不多，相对来说对Hadoop的大数据的离线批处理研究的比较多，但仍然存在较多的问题。云计算技术正好能弥补传统电力数据分析系统的缺陷。

三、电力大数据的可视化应用

电力大数据的获取是为了更好的应用数据，让枯燥的数据反映出问题和趋势，并提供解决问题的方案。这也就是电力大数据可视化所要研究的问题。可视化研究的关键，是在庞大的数据海洋中发现规律、寻找联系、归整指标，并采用科学合理的方式进行直观展示。当前电力大数据可视化的方法主要基础图表法、基于SVG的可视化法和基于地图的可视化法。

（一）基础图表可视化方法

最基础的可视化展示手段，就是通过图形、表格的方式来展示数据。人们在获取数据时，能够在最快的时间内发现问题所在，并利用数据所体现出的规律特征来解决问题。在可视化系统的实现过程中，主要使用了表格、折线图以及柱状图三种可视化展示方法。表格主要用于记录详细的数据，用户可以通过查找来获取数据资源。拆线图主要应用于时间序列数据，描述在某个时间间隔下连续数据随时间变化趋势。而柱状图顾名思义采用的是通过柱体的长度，按照不同标准排列起来，来展示相关数值差异。

（二）基于SVG的可视化方法

SVG的文件主要通过颜色显示的方式来代表不同的电力数据。采用这一方法必须掌握某区域内电力数据的基本情况，结合具体的指标参数，对各区域的地力数据进行颜色赋值，不同的颜色、深浅程度代表不同的电力数据情况。这样一来，不同区域的电力数据差异一目了然。以中国地图为例，如果需要了解在某一时间区间内不同省市的用电人数情况，则可以通过色块的方式在地图上有非常直观的呈现。而如果你想调用某一具体数据，则可以通过SVG文件来实现控制功能，查看各类型数据资源都非常方便和稳定。

（三）基于地图的可视化

以用户用电量为例，传统数据显示法就是直观的统计数据，而基于地图的可视化可以将数据引入到地图中去，并结合色彩、图形等个性化地展示不同地区的用电量数据特点，方便用户直观地看看到数据以及不同区域之间的数据对比。同时，基于地图的可视化也可以做的十分精细，可以具体到某一个用户甚至某一个用电设备。在数据统计时，也可以选取某一种类的用电设备，如空调，可以实现及时查看各类数据。目前主要会选择高德地图、百度地图等地图工具。

电力设备状态的监测分为数据采集、数据分析和状态评估三个阶段。随着信息时代的不断发展，电力数据的数量不断提高，数据采集工作量很大。但最为核心的技术还是数据分析。云计算在当前数据资源的发展态势下显现了一定的优势，本文结合云计算技术，提出了基于云计算的海量电力数据分析平台技术，并引入了三种可视化的方法，分别是基础图表可视化、SVG可视化以及地图可视化。云计算技术在电力行業有着广阔的发展前景，未来的研究中还需持续关注、不断创新。

参考文献：

[1]杨莉.用大数据助力互联网金融高效监管[J].人民论坛，2018（15）.

[2]熊里.基于云平台的电力大数据多角度可视化分析与研究[D].华北电力大学，2017.

[3]刘燕.电力大数据可视化融合[D].华北电力大学，2017.

[4]马晓丹.电力大数据平台下数据分析与挖掘研究与应用[D].华北电力大学，2016.

[5]曾文静.Storm在电力大数据分析平台中的研究与应用[D].华北电力大学，2016.

[6]谢然.社交关系与大数据的结合，催生真正的互联网与金融领导者[J].互联网周刊，2015（1）：22—25.

[7]邵梦.大数据如何颠覆传统金融？[J].徽商，2015（1）：68—68.

[8]孙艺新.电力大数据应用模式与前景分析[J].中国电力企业管理，2015（9）：22—24.

[9]毛羽丰.基于云计算的海量电力数据分析系统设计与实现[D].北京交通大学，2015.

[10]杨佳琦.互联网金融模式及发展研究[J].电子商务，2014（4）：1—2.

〔本文系国家自然科学基金资助项目“基于agent与众包数据获取服务的企业决策支持关键方法研究”（项目编号：71471083）、国家自然科学基金资助项目“互联网环境下信息产品与服务的多途径价值创新关键支撑方法与建模研究”（项目编号：71771118）、江苏省自然科学基金“基于众包模式的数据获取与决策支持关键方法与技术研究”（项目编号：BK20151388）研究成果〕

（高骞、徐超，国网江苏省电力有限公司。杨俊义，国网江苏省电力公司电力经济技术研究院。张飞，国网江苏省电力公司淮安供电公司。顾姝姝，南京大学商学院）