于莉
(河南理工大学,河南 焦作 454000)
随着计算机技术的不断发展,各行各业都进入了计算机时代,而大数据技术也逐渐渗透进了各行各业。作为国家命脉的电网则变得越来越庞大复杂,数据也越来越多,如何对这些数据进行有效的整合和利用,就需要我们现在的大数据技术。在电力系统的发、输、变、配、用五个方面之中,配电网可以算是数据流通最繁忙的环节[1]。因此,就需要针对大数据在配电网中的应用做进一步的探究。
大数据,最早是指在一定时间内无法用我们平常所用的软件进行捕捉、处理和管理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据不能用我们平常概率论理论中所用的随机分析法,即抽样调查来分析,而是需要对所有的数据进行综合分析处理[2]。大数据有其独特之处——5V,即Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。大数据技术则是伴随着大数据时代而来的一些新技术,通俗一点是指大数据的应用技术,涵盖了主要包括各式各样的大数据平台、大数据指数体系等一系列的大数据应用技术。而从大数据的生命周期周期来看,则主要包括了四个方面的核心技术:
(1)大数据采集阶段。即是对日常生活中各种来源的,无论是结构化的还是非结构化的海量的数据进行的采集,其主要技术包括:数据库采集(传统的MySQL和Oracle,现主流的Sqoop和ETL)、网络数据采集(基于Python的网络爬虫技术)、文件采集和处理技术(Flume、基于ELK的日志采集和增量采集)。
(2)大数据预处理阶段。主要指的是为了提高数据质量,需要对采集的数据进行“清洗、补充、合并、规范化处理”等操作。其主要技术包括:数据清理(指的是利用ETL等工具,对遗留、噪音以及不一致的数据进行处理)、数据集成(将不同源的数据,合并存放到统一的数据库之中)、数据转换(对抽取出来的存在不一致的数据,进行处理)、数据规约(是指在保持数据原貌的基础上,最大限度的简化数据数量)。
(3)大数据存储阶段。是指以数据库的形式,采用存储器,将采集到的数据存储起来的过程,主要包括:大数据一体机、基于Hadoop的技术扩展和封装、基于MPP架构的新型数据库集群等技术。
(4)大数据分析阶段。最后则是对处理过的大数据进行分析,主要采用可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量管理对海量的数据进行萃取、提炼和分析。
随着计算机技术的飞速发展与电网结构的日益庞大,传统的配电系统已经远远不能满足现如今庞大的负荷需求,为了解决这个极富挑战性的问题,人们就把计算机技术,尤其是大数据技术应用在了配电网中产生了智能配电网[3],主要就表现就是将一些大数据领域的一些技术与算法(如蚁群算法、量子算法、遗传算法)应用在有源配电网规划的负荷预测中,通过将计算机技术有机的应用于配电网的负荷预测中,不断地完善负荷数据的来源渠道,加强对数据的存储与整合分析能力,从而大大降低了工作人员的劳动强度。
众所周知,配电源的运行状态在配电系统中起着至关重要的作用,而基于大数据的配电网运行状态评估与预警主要包括五个部分:安全性评价(主要包括频率和节点电压水平,变压器及线路的负载率)、供电能力评价(主要包括容载比,负荷转移能力)、可靠性和供电质量(主要包括负荷点故障率,电压合格率,电压偏移,平均停电频率,波形畸变率等)、经济性评价(线损率,设备利用率等)、故障辨识与风险指标(配网设备故障率、DG故障率、指标计算等)[4]。
采用大数据技术对配电网的各个方面进行数据收集与分析计算,计算出配电网运行的风险系数,然后预测未来可能出现的故障及危险情况,然后将信息反馈给工作与科研人员,对风险进行评估,进一步提出解决方案,尽最大可能降低配电网中可能出现的风险[5]。
随着分布式电源更新与发展的速度越来越快,我国乃至全世界的配电网都逐渐形成了大大小小的不同规模。在这些配电网中,由于系统参数(电压、电流、频率)的波动,我国电网受到了不同程度的冲击。因此,我们可以利用配电网的大数据,制定科学化、合理化的配电方案。
停电优化是在计量自动化、剩余电量采集装置、电网检查与维修装置的基于上不断优化升级而得来的,需要利用现有的较为先进的大数据技术对配电网的数据等资料进行有效的整合分析,最后会形成较为科学的一套理论体系,根据形成的理论体系,可以将停电的时机,停电的成本在尽可能的情况下降到一个较低的水平[6]。
不良数据辨识就是找出配电大数据里是否存在不良数据,配电网发展至今,有传统的方法来检测与辨识不良数据(如模糊数学法、间隙统计法等),但这些传统的方法局限性很大,但曾经也发挥过非常重要的作用。也有现代的方法来进行检测与辨识(如加权残差法、非二次准则法、估计辨识法等)这些现代的方法则更适合日益庞大的配电网。
配电网的大数据在经过不断的更新发展之后,来源渠道多变,数据源也非常多变。因此,这些不同来源的数据可以相互监督和审核,能够有效地发现不良数据,更好的反映系统的状态,而对于检测与辨识方法,主要有三种:不同数据系统间审核(对配电网中来源非常广泛的数据进行相互审核)、对电度量测量的监督审核(电度量与测量数据主要由配电网大数据来进行精细划分,因此可以用这两者来审核不良数据)、对不同数据结构间的审核(配电网中的多种数据结构可以进行相互修改)。
智能配电网中呈现出来的大数据蕴藏着无数的信息,随之带来的就是无与伦比的巨大的商业和社会价值。因此,充分挖掘这些隐藏的价值是大数据技术在智能配电网中的一个重要机遇。通过对配电网及用户的深度数据采集和大数据挖掘[7],就能实现用电智能化管理,大大提高管理和决策水平,也能使用户在线进行交互,实时的对电价做出响应[8]。
但同时我们也必须清晰的认识到大数据在智能配电网中也正在遭遇着挑战,主要包括:数据质量的挑战(现在的大数据准备性差,完整度不高,会影响决策)、多数据融合的挑战(电力生产各个环节的数据相对独立,不能有机的进行融合以更好的被使用)、数据可视化信息传递的挑战(配电大数据中蕴藏的有关电力生产和服务经济社会发展的规律一般比较难易发现)、大数据存储与处理的挑战(电力大数据对数据的存储与计算能力要求很高)。
将大数据技术应用在智能配电网中,是一种全新的概念和解决问题的理论。尽管现在仍处于初步阶段,但显示出了配电大数据中拥有的巨大能量,也预示了未来的趋势。大数据在智能配电网中的应用,给配电网带来的是全新的工作以及商业模式,它也必将对促进电力工业转型升级、促进节能环保有重要意义。