冯晓宏
摘 要:近年来随着电力规模的增加,用电信息采集系统的应用范围以及所采集数据的量都在不断加大,同时期复杂程度也在提升。传统的数据采集处理技术和系统架构很难满足不断发展的电力数据处理分析方面的需求,而随着大数据技术的出现和应用能够有效解决传统采集系统无法完成的作业,能够为处理用电信息数据量快速提升、数据关联性不断增加的需要提供技术支持。本文主要分析大数据背景下用电信息采集系统建设方面的问题,希望能够对相关人士有所帮助。
关键词:用电信息采集系统 大数据 系统架构
中图分类号:G202 文献标识码:A 文章编号:1672-3791(2018)10(a)-0024-02
随着近些年我国智能电网建设的加快,传统数据采集处理技术和系统架构已经无法满足现阶段对于用电信息数据处理的要求,这也促使了用电信息采集系统的快速发展,其所具有的信息化、自动化以及智能化的特点使其得到了广泛应用。随着信息技术的快速发展,大数据技术已经在很多的领域得到了应用。将大数据技术应用到用电信息采集系统中也成为发展方向,能够进一步推动用电信息采集系统的发展,对于电力行业的发展具有相应的作用。
1 用电信息采集系统的相关概述
随着近些年用电量的数量逐渐增加、规模逐步扩大,在很大程度上增加了我国用电数据的采集量,并且也提升了用电信息采集系统数据采集以及数据分析的难度。但是随着近些年大数据技术的快速发展以及应用能够很好地处理用电信息采集系统实时数据量较大的问题。从相关文献以及实践中可知,满足IEC国际通信标准的大数据用电信息采集系统能够同时满足千万级用户的需求,可以高效稳定地实现用电信息采集方面的功能,例如远程参数配置、数据实时采集、电能质量检测、停电检测等,从而进一步提升对用电客户的服务质量。
2 大数据技术应用
2.1 数据的存储
大数据技术在信息采集系统中的应用,可以通过分布式存储方式有效解决数据丢失的问题,避免出现严重的经济损失。同时分布式存储能够支持集群数据实施流计算,能够确保计算数据的实时性。相对于集中式数据采集系统来说,分布式数据采集系统的可靠性更强、更具有可操作性,在进行用電信息采集时能够确保采集数据的实时性以及HDFS数据的及时性。
2.2 深度的数据挖掘
随着电力建设规模以及用电用户数据的加剧,用电信息采集系统接收以及处理的数据量越来越大。为了能够有效处理这些数据,可以对大量的数据实施必要的整合,通过深度的数据挖掘计算得到其潜藏的价值。可以通过大数据技术来对信息系统采集到的数据进行深入的挖掘和处理,将此作为依据来帮助用电信息采集系统实施更加精细化的管理以及决策。在对数据进行深度分析挖掘基础上,可以准确及时地发现设备存在的异常,这样就能够采取针对性的措施进行解决来确保信息采集系统的正常运行,同时也可以利用反窃电、用电预测以及用电负荷预测等对潜在数据以及价值进行进一步的分析和挖掘。
3 大数据背景下用电信息采集系统建设
用电信息采集系统的总体架构主要包括3个部分,分别为采集对象、通信信道、系统主站等。传统的系统主要架构的读写较为集中,这就造成了数据库非常大的压力,从而使得很多报表分析等不能按时完成。而在大数据技术的支持下,用电信息采集系统的主站架构可以采取分布式计算方式与传统关系型数据库并存的方式,将Hadoop分布式计算框架当作现有主站系统的补充,从而提升系统的整体性能。在大数据技术的应用下可以将原有数据库进行扩展,形成生产数据库、业务应用库、历史数据库、大数据分布式集群所形成的全新架构。可以对业务实施必要的分割,形成符合传统数据库架构运行的事务处理业务以及满足大数据技术机构的分析统计业务,这样就能够有效缓解生产数据库的压力。其架构如图1所示。
3.1 生产数据库
除了主站原有生产数据外,将其他功能进行剥离,只是进行系统采集数据的入库所用。生产数据库的重点在于数据的写入、业务操作以及数据查询(这些数据要和现场具有比较强的交互,具有较高的时效性)等方面,例如电价的巡检、实时费控等相关业务。一般情况下生产数据库可以储存3~6个月的数据。
3.2 业务应用库
业务应用库的作用在于数据的应用以及统计分析,不同于生产数据库的写入操作,业务应用库重点在于数据读取和上层的数据统计分析,从而建立起其他业务系统的统一数据接口。正常情况下此库所存储的数据主要有所有的档案数据、和生产数据库同步的原始采集数据、统计分析计算所得报表数据(主要是分布式计算所得)等。为了确保数据的准确性、可用性、及时性,要确保业务应用库的数据要和生产数据库的数据实时同步。
3.3 历史数据库
通过历史数据库的建设能够有效缓解生产数据库、业务应用库数据方面的压力,能够防止由于数据量较大的影响而造成的数据分析计算性能的降低。正常情况下历史数据库只需要保留业务应用库之前的原始采集数据即可。同样也要确保历史数据库和业务应用库的数据同步,一般可以采取存储过程定时抽取、ETL数据抽取等方式来进行。
3.4 大数据分布式集群
此部分的主要作用在于分析并计算数据存储层的基础数据内容,从而为上层业务的应用提供必要的数据支持。首先要通过前置采集服务器集群进行电力用户用电信息数据的采集,之后将其写入到大数据分布式集群进行相应的分析计算。
4 结语
随着用电规模的逐渐加大,用电信息采集系统面临着数据量不断增加的问题。通过大数据技术的应用能够建立起全新的系统架构,缓解因数据量增加而对用电信息采集系统造成的压力。本文主要介绍了大数据背景下用电信息采集系统建设的内容,对于电力行业信息系统发展具有一定的参考作用。
参考文献
[1] 牟颖莹.用电信息采集系统大数据在电能表时钟管理研究中的应用[J].南方农机,2018(8):15-17.
[2] 刘亚骑,张昌栋,韩为民.大数据环境下的用电信息采集系统建设[J].自动化与仪器仪表,2018(5):18-19.
[3] 许向东,胡赫.用电信息采集系统应用现状及发展趋势[J].科技经济导刊,2018(1):88-91.
[4] 陈子轩,梁安波.基于大数据的用电信息采集运维监测系统设计[J].电子设计工程,2018(7):18-19.