基于大数据的量费异常分析应用系统研究

乔 麟 林乃瑜

（广东电网有限责任公司江门供电局，广东江门529000）

0 引言

电力营销稽查是电力企业营销与客户服务工作的质量监督环节，是对营销与服务工作的“内部审计”。营销稽查的主要目的是有效监督整个电力营销业务流程及活动，并在一定程度上规避一些常见的经营风险，能够降低电力营销活动中的经济损失，减少差错发生的可能，进而提高电力营销管理水平，因而其对增加电力营销企业的经济收益具有重要意义。

1 项目背景

目前电力营销业务种类较多，涉及范围较广，时效性要求强。电力营销管理者很难全面把握电力营销业务活动中的整体营销变化情况及工作质量，大大降低了电力营销管理工作的时效性。当前营销系统的稽查作业主要还是基于数据库进行运算，速度慢，效率低。业务规则主要基于经验制定，其阈值的设置往往一刀切，无法适应变化，无法从群体性、规律性的异动中有效识别真异常。营销的规则繁琐，受性能拖累，只能事后核查，无法提前预防，更无法在线识别。另外，智能电表以及低压集抄的全覆盖，更加剧了数据量爆炸式的增长，对数据处理速度的要求更高。

以计量低压集抄项目数据质量管理为例进行研究开发，如何编制程序，通过科学合理的信息化途径，对大批量的计量低压集抄项目数据进行抓取及全面核查，并结合经验对所有重要数据进行比对，分析存在的问题，是本项目研究的重点。因此，本文提出借助基于大数据的量费异常分析项目来改变目前基于经验规则而导致效能过低的营销稽查工作模式，在营销稽查工作中开创数据驱动运营的新局面，以技术创新推动营销稽查工作的业务创新。

2 项目技术方案与实施

2.1 项目技术方案

基于营销稽查历史数据以及现有的营销稽查业务系统产生的规则数，引入有监督学习和无监督学习相结合的机器方法（图1），基于大数据技术开展数据挖掘工作，建立营销量费稽查领域的客户行为模型、离群分析模型以及异常识别模型，以数据挖掘模型驱动业务过程开展，解决以往基于硬性规则，稽查过程中出现的识别效率低、耗时过长、噪声数据过多、稽查精准度不高、工作压力过大等问题，提高量费异常识别率。

2.2 项目实施

本文提出的基于大数据的量费异常分析应用系统，一是使用Java和Python语言编制源代码，通过连接营销系统数据库，获取数据返回包，根据工作需要对相关字段的数据进行抓取；二是使用Python语言编制简单分析程序，对抓取的数据进行初步的分析和判断异常；三是使用Excel软件编写函数，设定批量数据分析条件，找出有异常的用户数据，再进一步开展人工分析和现场检查，确认数据错误，并对数据进行统计汇总。

图1 大数据平台丰富的数据挖掘算法结构关系图

如图2所示，基于大数据的量费异常分析应用系统主要分为稽查数据管理、智能化量费异常筛查、量费异常处理流程三大模块。

图2 基于大数据的量费异常分析应用系统

（1）稽查数据管理模块：包括了数据采集管理、数据维护管理、数据质量管理、数据日志查询、即席分析数据资源管理、数据模型构建、元数据管理、自助分析和查询八大功能，主要用于数据的采集、存储及统计分析查询。海量大数据存储技术打破了传统关系数据库的容量限制，采用数据分布式存储方式解决数据存储扩容的问题，并充分利用大数据平台提供丰富的数据分析、机器学习、数据挖掘组件，结合分布式计算框架，可在短时间内完成海量数据的分析与挖掘。同时，大数据平台提供的各种新型数据库技术，如键值数据库、列式数据库、图数据库以及对象存储数据库等，可以解决不同应用场景下的海量数据查询效率问题。

（2）智能化量费异常筛查模块：包括了基于历史数据的专家规则分析、基于机器学习的异常识别与预判及异常用户提醒三大功能。该模块跳出现有的基于人为经验规则的量费异常识别方法，利用大数据技术所提供的海量数据处理能力，重构自主化、自动化、智能化的营销稽查业务，

分析规则和历史异常数据，对现有的专家规则有效性和辨识率进行判别和分析，从规则产生的嫌疑数据中进一步筛查可疑数据，提高精度，降低稽查工作强度，实现智能化的量费异常筛查和异常处理，提高了量费异常目标的识别率，提升了工作效率。

（3）量费异常处理流程：主要内容包括量费异常处理任务启动、异常下发、异常整改、归档等环节，并对量费异常处理建立限时监控机制，确保按时间要求完成异常处理工作。

在营销业务方面，此项目实现的数据智能抓取和初步分析尚属首例，且该项目的可持续发展性较强，今后可结合实际工作，实时更新程序源代码，实现不同数据的抓取和分析。

3 项目应用分析

以计量低压集抄项目的数据质量管控为例，原来每周只能通过稽查中心5人3天的核查工作量，按照2%的比例进行数据抽查，抽查的数据无法确保发现全部问题，且无法做到全覆盖。本项目程序开发建设完成并实施后，本中心仅需1人半天的工作量，就能实现100%全覆盖对每周计量低压集抄项目的数据质量进行核查，核查范围包括字段为空、数据错误、数据异常、比对异常错误、时间错误、逻辑错误共计26项内容；对所核查的数据不会有错漏，有更多的时间给基层单位对问题数据进行及时整改；能确保计量低压集抄项目数据质量的准确性和完整性，也能有效缓解稽查中心由于工作量大而导致的人手不足问题。

4 结语

基于大数据的量费异常分析平台项目的建设及实施，实现了计量低压集抄数据管理工作的信息化、自动化，大大降低了人工和时间成本，有效提高了工作效率，能够保证今后三年内全覆盖核查计量低压集抄数据质量的准确性及完整性，最大限度地减少因录入数据错误而导致的营销差错及因处理营销差错而耗费的许多人力、物力。此外，本项目建设及实施后，还可应用于其他稽查业务的数据核查，例如线损管理、计量管理、电度管理等方面。

[1]李学龙，龚海刚.大数据系统综述[J].中国科学（信息科学），2015，45（1）：1-44.

[2]张钧.电力营销大数据平台建设及数据挖掘分析[D].天津：天津大学，2015.

[3]王海燕，孟昭霞，侯锐锋，等.营销稽查监控系统的建设与应用[J].电力信息化，2012，10（3）：72-76.