电力大数据全景实时分析关键技术的研究

庞宁

（深圳供电局有限公司，广东深圳 518048）

0.引言

电力大数据全景设施分析是智能电网的重要内容，为了让系统更加可靠，需要对大量的数据进行处理和分析，对电力系统设备进行全面监测和实时监测，为了保证数据处理的时效性和准确性，需要在电力大数据处理中引入先进的技术，根据全景实时数据的分析结果进行调度。

1.电网可靠性分析技术

在电力需求不断加大的情况下，电网的规模也越来越大，电力系统中引入了大规模可再生间歇性能源。现阶段，最重要的工作就是保证电力系统的稳定和安全，虽然安全可靠性分析技术早就被运用在电网中，但是该技术有着较大的运算量，只在一部分区域设置了采集点，无法实现全面分析。如今，信息采集系统更加完善，覆盖了整个电网，解决了数据采集点较少的问题，电网对智能技术进行运用后，形成了智能电网，能够得到电网的全景实时数据。全景实时数据的数据量非常大，在采集和计算的过程中会形成几千阶的微分方程，计算起来要耗费大量的时间，不能保证全景数据分析的时效性。另外，大规模分布式间歇能源有很强的变化性，很难对其进行精准预估，往往会形成较大的冲击，严重影响电网的稳定性。所以，用实时动态的方式对电网数据进行分析是当前电力大数据分析工作的重点。

分析电网可靠性的常用方法是潮流计算法，受到采集点较少和数据较少的影响，过去的潮流计算无法保证计算结果的精确性。使用了分布式能源之后，要想对全景实时数据进行计算和分析，就必须要改变过去低效和局限性较大的计算方式，利用大数据技术优化潮流计算技术，使潮流计算具有更高的精确程度和更快的计算速度，确保全景实时数据计算分析的准确性和时效性，为电网的可靠性提供保障。

分析电网可靠性一般会使用N-1安全准则，当电力系统中的设备发生故障后，往往会用这一准则评价电网的安全。N-1安全准则具有一定的局限性，该准则没有关注电网中的多重事件，只能考虑了个别设备的故障问题，但是电力系统出现问题时，故障的设备往往会对其他部位产生影响，形成连锁反应。为了弥补N-1安全准则的不足，需要从多重事件的角度研究电网可靠性分析的方法，在N-m的基础上进行研究，计算量的增长速度会变得越来越快，需要解决计算速度的问题，保证多重事件下的数据计算能够在一定时间内完成。目前，解决这个问题最有效的方法就是快速高维稀疏矩阵，可以利用迭代法对非线性方程进行运算和求解。

2.输变电设备全寿命周期管理

电网的运行过程是一个动态变化的过程，电网不会一直保持稳定安全的状态，所以要在电网中加入实施监测系统，对电网的运行情况进行实时监控，尽量在最短的时间内发现系统的异常情况，找出故障部位并对该部位进行维修处理，确保电网能够尽快恢复正常的运行状态。电力系统中存在各种类型的设备，对电网故障问题进行分析，发现很多情况都与设备有关，要重视设备的监控和管理，尤其要重视输变电设备，对该设备的运行数据进行采集和分析，根据全寿命周期数据进行分析和评估，利用这些数据建立相应的模型，使评估过程更加直观、评价结果更加准确，以这种方式降低设备故障和电力系统故障的几率。

电力系统中的设备数据基本都是台账信息，这些数据信息都存储在设备管理系统中，但是全寿命数据存在较长的间隔时间，在电网的分布上也比较广泛，数据的收集和整理将会变得异常困难。而大数据中心能够对全部设备的数据进行整合，为全寿命周期管理提供了必要的支持，根据全寿命周期数据建立性的评价模型，对不够准确的数据进行调整，让模型更加精准，解决等级划分较少的问题。等级划分可以采用聚类划分的方法，对设备的异常部位进行检测，同时还可以运用深度学习技术，综合多种技术，对输变电设备进行自动分类，准确预测输变电设备的故障情况。

对设备运行情况进行评价和预估，大都是在实验室环境下的评估，其中的数据也是模拟过程中形成的数据，可以对人工智能技术进行运用，在该技术的基础上划分风险的级别。实验室模拟的缺陷在于数据量较少，实验环境和真实的电力设备运行环境有很大的差异，无法保证该算法对大规模设备数据进行运算评估的高效性和准确性。可以对数据分析技术进行运用，找出电力设备运行情况和设备所处环境的联系，分析两者的规律和关联特征，在真实环境中更好对设备进行监测、运算和评估。所以，对输变电设备全寿命周期数据进行运算和分析的过程中，可以运用数据挖掘分析算法[1]。

3.全景实时能源动态平衡调度技术

发电量、用电量和输电量并不是一成不变的，电力系统的能源一直处于变化的状态，如果各个方面的数值差异过大，就有可能使电力系统出现问题，所以要让各部分保持平衡，按照瞬时平衡规律进行调整，由于电力系统无法存储大量的电能，所以要根据用电情况对发电量和输电量进行控制，保证电力系统整体的平衡性。目前在整体的调度和控制上，最常用的系统就是SCADA系统，该系统能够对电网设备的运行数据和环境数据进行监测和采集，发现电力设备出现异常情况时，及时进行报警，SCADA系统还能调整系统设备的参数，以达到控制设备和调节系统的目的。

调度系统是最初是根据系统的需求和实际情况进行设计和构建的，随着电力系统不断发展和变化，电力系统的数据规模越来越大，传统的处理方法已经无法满足当前电力系统的实际需求，各方面数据的处理速度非常慢，而且数据的处理范围十分有限，基本上只能对主参数进行处理，忽略了很多细节数据。如今的电力系统中加入了大量的间歇性能源，系统的不确定性和复杂性更加明显，大量分散的数据和异构的信息会在同一时间传输到数据中心，如果数据中心继续使用过去的调度系统，调度系统的功能和效果就会受到很大影响，无法保证数据处理的时效性和精确性，也无法根据数据处理的结果进行科学调度。

电力大数据中心可以利用大数据技术对大规模的数据信息进行处理，把控全局，合理调度，整合系统各个部分的资源，平衡供电量和用电量。电力大数据中心能够准确统计能源的用量，对能源的需求进行预估，还能够统计电能的生产量，根据各部分的数据参数进行自动调配，发挥自动调配技术的作用。能源动态平衡调度技术以大数据技术为基础，能够对大量的多元细节数据进行运算和处理，根据实时数据和数据模型进行调度，使电力系统的调度更加精确和高效[2]。

4.内存计算技术

电力大数据全景实时分析对计算机内存和计算技术有较高的要求，在目前的计算机体系和计算技术中，对于64bit计算机来说，最大的内存容量为232×4GB，内存计算技术满足了电力系统大量数据的存储需求，不必再使用磁盘进行存储和计算，极大提高了系统的性能、加快了数据处理的速度。当电力系统出现海量的数据，同时又要对这些数据进行实时处理时，就可以对内存计算技术进行应用，该技术在实时处理大量数据和密集型计算方面有很大的优势。电力大数据可以根据使用频率的不同进行划分，将其划分成2种数据，一种为冷数据，主要在磁盘中存储，另一种为热数据，可以直接存储到计算机内存中。

内存计算技术需要依托于具体的平台，当前常使用的平台为Spark平台。Spark属于开源集群计算系统，该系统以内存计算技术为基础，即使是在大数据电力全景实时分析对数据分析算法的运算速度有较高要求的情况下也可使用，未以达到系统稳定运行的效果。Spark系统能够在并行操作的过程中对工作数据集进行运用，使运算的速度更快。在Spark系统的作用下，电力系统将会更加高效，例如，在监测设备的过程中会形成不同类型的数据，Spark能够快速划分数据的类型，利用k-means聚类划分算法对数据进行分类处理[3]。聚类算法实现过程如下：（1）读取存储于HDFS中的文件块到内存中，并将每个块转化为一个RDD，其内部为监测数据特征量集合；（2）映射RDD，计算不同vector对应聚类编号，并完成键值的输出，最终生成新的RDD；（3）在归纳操作中混合各RDD，并将相同的聚类数据一起存放；（4）将输出结果写于HDFS中。

5.流式大数据分析技术

电力流式大数据有较多的特点，如无限性和突发性，在监测和处理时很容易遗漏部分数据，必须要保证数据的完整性和数据处理的实时性。目前的流式数据分析平台无法保证实时性和可靠性，电力大数据全景实时分析在流式数据的分析中，可以对Storm进行运用，Storm系统不会出现遗漏数据的问题，而且计算过程相对简单，整体的分析更加高效。但是该系统在资源分配方面有一定不足，由于系统没有运用拓扑结构，导致该系统无法满足调度的需求。对Storm进行优化时，要先设计完整的拓扑结构，明确数据处理的前后顺序，根据一定的逻辑进行处理。以电力设备的监测为例，对流数据进行处理时，要先对数据进行去噪处理，接下来要对流数据的特征量进行计算，最后根据计算结果评价电力设备的运行状态[4]。使用Storm系统时，应注意系统的2种节点，系统包含一个主节点，即nimbus，另一种节点是从节点，即supervisor，这种节点的数量较多。系统会在3种环境下运行，一是slave，二是master，三是cluster。处理流数据的过程中，还要对拓扑结构进行设计，明确处理的顺序，要掌握数据源和不同的处理节点，根据一定的逻辑关系处理流数据，以设备运行状态监测流数据为例，第一，先获取流数据；第二，采用不同的方法进行去噪处理；第三，采用不同的运算方法计算流数据的特征量；第四，对流状态进行评价。

6.多核并行计算技术

电力系统还可以对多核并行计算技术进行运用，在多核并行计算技术的应用中，可以形成多核CPU，将系统中的算法并行，提高电力系统中密集数据的处理效率和分析效率。当前，电力系统需要处理海量的数据，还要执行非常复杂的计算任务，这种情况增加了处理和计算的时间，多核并行计算技术能够让数据处理和运算更加快速，在使用多核处理器和众核处理器的情况下，可以利用并行计算技术实现多线并行，更有效地利用数据集群节点。图形处理器存在着数以千计的计算核心，只有运用并行计算技术，才能更快更好地完成数据处理工作。CPU实现了大规模线程并行，即使有几百万线程，也可以顺利运行，切换的过程非常快速。在并行计算中，主要使用SIMD，即单指令多数据的并行方式，只要下达一个命令，就可以同时控制非常多的数据。

7.列存储技术

在列存储技术的应用中，电力大数据全景实时数据中各种类型的数据都能被有效存储，在电力系统的数据类型中，大部分都为结构化数据，具体来说，包含用户的用电数据和电力系统中各个设备运行时的数据，还包括PMU数据，这些数据都可以对列存储技术加以利用，使全景实时分析的数据分析更加高效。使用列存储技术时，单独存储每列数据，查找相关数据时，只要找到对应的列即可，不用读取其他列的数据，该技术大大减少了磁盘I/O，加快了数据查询的速度。将每列数据单独存储，往往会使同列中的数据具有很强的相似性，可以将列存储技术与压缩技术结合起来，如位向量压缩技术或数据字典压缩技术，通过压缩技术提高每列数据的压缩率。

例如，在监测电力系统中的电能质量时，往往会产生非常多的时序监测数据，而且数据的监测包含多种类型，形成参数数据和谐波数据等类型的数据，可以将监测类型细分成具体的列簇，对单独通道里的数据进行存储，使其处于相邻的节点中，使后期的检索更加方便。列簇的划分如下：（1）设备运行时的监测数据单独成为一个列簇；（2）闪变数据单独成为一个列簇；（3）电力系统中的电压电流波形数据单独成为一个列簇；（4）将频谱数据与谐波和简谐波融合到一起，共同组成一个列簇，对这些数据进行存储时，可以采用组合压缩的存储方式，不用按照次数单独进行存储。对电力系统的数据进行划分之后，可以根据数据的相关性进行存储和查询，使数据的查找和读取更加快速。

8.结语

大数据全景实时分析会用到多种先进的技术，需要对这些技术进行研究和应用，将各种技术综合运用到电力大数据全景实时分析中，结合电力系统的现状问题、电能的需求、关键技术的难点进行创新，发挥各种关键技术的作用，构建一个更加高效和精准的电力大数据分析平台。