杨茗 王雷 刘斌 王轶
摘 要:智能电表及低压集抄改造是深化电力体制改革和互联网时代背景下,打造智能电网,实现电力营销精益管理的必然要求。随着省级计量自动化系统的应用深入,针对计量运行数据的深化应用是实现计量精益化工作的重点,而计量采集数是按分钟级进行采集存储,数据维度广、采集频率高、数据存储量大,通过传统的分析方式无法完成如此大量而复杂的数据分析工作。本文提出通过构建分布式计算技术,解决目前计量运行数据分析中的技术难题。
关键词:分布式计算;数据分析;计量运行数据
中图分类号:TM73 文献标识码:A 文章编号:1671-2064(2019)03-0146-02
0 引言
随着数字化电网及移动通信网络的发展,要求电网发展向更加智能、高效、可靠、绿色方向转变,企业管理向精益化方向转变,同时结合目前电力体制改革和互联网+战略的发展诉求,对电网企业电能计量业务提出了更高的要求。目前电网计量业务朝着省级集中方向发展,实现全省计量业务的统一化、规范化、一体化开展,在支撑电网常规计量业务开展的基础上,进一步需要开展针对计量运行数据的深化应用分析,提升电网企业在计量故障识别、数据采集率、实时线损、停电准确性等方面的深化应用。
1 计量运行数据分析现状
目前计量数据涵盖电力负荷、厂站电能量、配变监测、低压集抄不同维度的数据,涵盖数据范围包括:电压、电流、潮流、表底、功率因素等不同数据,历史数据存储了几年以上,需要把“沉睡”的数据变为有价值应用。计量运行数据具有如下特点:
(1)数据量大:计量自动化系统目前涵盖电力负荷管理、厂站电能量采集、配变监测、低压集抄四类数据,计量点数量多,采集的数据类型包含:电流、电压、表底、功率因数等不同维度的数据,数据采集周期比较短,加上计量自动化系统上线运营的时间比较长,已经积累了几年的历史数据,数据量极大。(2)数据变化快:系统每天都会产生业务归档数据,计量数据采集频率较高,不同类型的数据时刻在发生着变化,即使同一只计量设备的数据,也随着电网的运行时刻发生着变化。(3)數据维度广:计量自动化系统涉及到电压、电流、潮流、表底、功率因素等不同数据,不同维度的数据存储结构复杂多样,存储字段类型多。
目前电力企业已经进行了一些有益尝试。例如,建设基于数据中心的数据资源管理平台,围绕数据采集、存储与计算相关技术,完成初步技术探索,大幅提升了数据治理效率,显现出良好的应用效益,不仅使得分析效率提升数倍,还将硬件成本降低了50%以上,为后续构建企业级大数据平台奠定理论基础。
2 基于分布式计算技术的分析
2.1 分布式计算技术简介
分布式计算是一种计算方法,和集中式计算是相对的。有些应用需要非常巨大的计算能力才能完成,如果采用集中式计算,需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分,分配给多台计算机进行处理。这样可以节约整体计算时间,大大提高计算效率。
2.2 基于lts+zookeeper的分布式分析框架
(1)LTS分布式任务调度。LTS(light-task-scheduler)是一个轻量级分布式任务调度框架,参考hadoop的部分思想。有三种角色,JobClient,JobTracker,TaskTracker。各个节点都是无状态的,可以部署多个,来实现负载均衡,实现更大的负载量,并且框架具有很好的容错能力。(2)Zookeeper分布式应用协调。ZooKeeper是一个分布式的开源的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
如图1所示,计量数据分析任务可以向所有集群组提交,也支持向单个群组提交,例如:表码分析任务比较大,可以配置让所有集群组参与计算;亦可以根据业务规模估算任务与集群组处理的配置关系,比如:末端停电用户分析任务需要快速处理,可由单独的集群组进行计算处理。
2.3 基于Mycat+Mysql的分布式存储
(1)Mycat数据库中间件。Mycat是基于阿里开源的Cobar产品而研发,具有Cobar的稳定性、可靠性、可扩展等优秀特点。它核心原理就是拆数据,将一个张表的数据通过某个字段进行水平拆分后存到多张表中,如图2所示,通过路由字段去不同的数据库中查询数据,同时也存在一定缺陷,那就是查询语句中如果没有路由字段Mycat将不知道该数据在那个分片数据库上,会查询所有的分片,在返回结果给客户端。
(2)Mysql数据库存储。MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一,在WEB应用方面,MySQL是最好的RDBMS(Relational Database Management System,关系数据库管理系统) 应用软件。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策,分为社区版和商业版,由于其体积小、速度快、总体拥有成本低。
如图3所示,通过分布式任务分析后的结果数据,基于Mycat进行数据路由,实现不同地区、月份的数据进行分布式存储,解决海量数据的分析及存储压力。并根据业务数据的访问效率,对于只做查询的数据进行历史表存储,实现读写分离,解决数据查询访问效率。
3 计量运行数据分析应用效果
针对计量运行数据量大、数据变化快、数据维度广的特点,构建分布式计算框架,实现海量数据的分布式分析计算,有效地提升计量业务的精益化管理水平,开展针对电量、功率、电压、电流、负载率、线损、停电等相关业务的精益化分析,提升电网运行管理能力。如图4所示,基于计量日冻结表码,每天进行台区线损的计算,实现台区线损的跟踪分析,针对有异常的台区进行跟踪处理[1]。
图5所示,基于日冻结表码数据,实现对用户日均用电情况的跟踪处理,辅助电网企业进行电量波动、电力现货交易、窃电等分析工作[2]。
4 结语
通过对分布式计算技术在计量运行数据分析中的研究,实现对海量计量数据的分析挖掘,实现客户日用电情况分析、异常数据监控等深度应用,使数据的价值得到最大程度的发挥,突破目前计量数据仅仅停留到表底采集的功能应用,把计量运行“沉睡”的数据盘活,提升电网企业计量业务的精益化管理水平,提升电网企业营销业务管理能力。
参考文献
[1] 高源晴.分布式计算在电能量计量系统中的研究与应用[J].科技资讯,2013(9):8.
[2] 衡星辰,周力.分布式技术在电力大数据高性能处理中的应用[J].电力信息与通信技术,2013(9):40-43.