基于大数据处理的现货计量自动化数据异常判定与处理

梁洪浩

(深圳供电局有限公司， 广东 深圳 518001)

0 引言

随着当前我国电力体制改革的全面深化，现货市场[1-2]的全面铺开已成为下一阶段我国电力市场建设的核心与重点。现货市场作为电力中长期交易和实时运行的关键环节，激发了电力的商品属性，促进了资源配置和价格发现。现货计量数据的可靠获取是支撑现货市场正常开展的基础。因此，研究现货计量自动化数据异常判定与处理有一定实际意义。

为保障电力市场正常运行，现货交易用户的日前、日内、实时电能量交易和备用、调频等辅助服务交易，对现货交易用户[3-4]的数据采集、数据推送、日常监控等方面提出了更高的高可靠性的数据要求。故需从源头出发，对此类用户的各项采集数据、指标、通讯等各方面进行预警监控，且根据特殊预警规则判断相应的故障情况，以避免漏抄、误抄等情况发生，从而最大程度减轻或预防问题所造成的损失。目前，对现货交易的研究主要集中在现货市场模式、定价机制和市场组成等方面。文献[5]提出兼顾多模式的区域共同市场设计方案,并结合南方区域电力工业特点、市场发展基础及关键问题解决思路,设计适用于南方区域的电力市场模式；文献[6]设计了广东现货市场交易的机制，设计了基于节点电价的两部制结算方法，提高了交易频次和种类，优化市场交易；文献[7]对供电公司收益与售电间的关系建立了数学模型，针对正态下产生的不同场景，分析收益情况；文献[8]介绍了英美的现货市场机制，结合云南现货市场的实际情况，建立市场运营机制；文献[9-10]主要研究了大数据聚类挖掘技术，克服了在处理云平台中的大规模数据集时典型聚类挖掘算法的技术不足。

目前，对于现货市场交易研究主要集中在交易规则方面，而对所需要的数据的采集及准确性研究较少涉及。因此，本研究构建现货计量异常数据处理系统架构，并将数据异常分为表码异常和电量异常。对异常的数据查阅主终端或副终端负荷记录，根据检索要求，以目标值或直线插值拟合表码。按时间跨度，对需要拟合的数据进行分类，并按照不同的规则结合历史数据进行拟合，最后，对异常数据生成预警工单。

1 现货计量异常数据处理系统架构

现货计量系统基于大数据处理，将现场智能表计采集到的用户数据上传至大数据系统并进行存储，利用大数据挖掘Spark模块对数据进行处理。根据数据缺失情况分为表码异常和电量异常，根据制定的规则对异常数据进行处理。对缺失的数据，结合历史数据，按照相应规则进行拟合，最后生成现货交易工单进行预警，系统框架如图1所示。

图1 现货计量异常数据处理系统架构

2 数据异常判定与处理

2.1 码的异常判定与修复(规则)

表码的异常[11-12]分为更换电表、表码倒走、数据飞走、新装电表和拟合表码与实抄表码倒走5类。给出了各类问题的典型判据，并规定了处理规则。

(1) 更换电表

当电表上一时刻表码大于下一时刻表码，且当天24点表码未恢复正常(若24点表码缺失，则往前回溯进行判断，最多回溯3个时点)，则判断为换表。假设电表在t时后(t时有数)发生更换，若不缺失表码，则删除t时电量，重新拟合为0电量，若缺失表码，则删除拟合的的表码和电量，表码采用平推规则拟合，电量拟合为0。

(2) 表码倒走

表码倒走特征为上一时刻表码大于下一时刻表码，且当天24点表码恢复正常(若24点表码缺失，则往前回溯进行判断，最多回溯3个时点)。删除倒走表码数据，并按《深圳供电局计量自动化现货数据替代拟合流程图》从“T日数据是否完整”开始重新拟合表码、出工单。

(3) 数据飞走

假设14时表码为T，13时表码为T+K。当K等于(额定电压)×(最大电流)×3(三相)×3倍，则判断为飞走(换表剔除)。删除飞走表码，并按《深圳供电局计量自动化现货数据替代拟合流程图》从“T日数据是否完整”开始重新拟合表码、出工单。

(4) 新装电表

电表新装，且此前无数据进行参考拟合。按照最早采集到的表码进行拟合，即0—14点缺数，15点采集数据为A，则0—14点表码拟合为A，对应电量拟合为0。

(5) 拟合表码与实抄表码倒走

上一时刻t1表码大于下一时刻t2表码，其中t1表码为拟合值，t2表码为实抄值，则判定为拟合表码与实抄表码倒走。从t1开始往回追溯拟合表码，将所有大于t2表码的拟合值全部删除，重新平推拟合表码。

2.2 小时电量异常判定与修复规则

小时电量异常分为小时电量为负、小时电量为空和小时电量突变3类。当小时电量为负时，小时电量显示小于零，此时，人工检查表码和电量并协商客服中心处理；当小时电量为空时，电表中不显示小时电量的数据，人工检查处理，若综合倍率为空，出工单运维部门处理；当小时电量大于(额定电压)×(最大电流)×3(三相)×综合倍率×3倍时，判定为小时电量突变，派人到现场检查表码和电量情况，并协商客服中心进行处理。

2.3 现货数据替代拟合

对异常数据进行替代时，首先查看主终端主表负荷记录是否完整，若完整则直接用来进行表码的异常判定和修复，若不完整则采用副表的负荷记录。对于T日数据不完整的数据，则检索至T+2日12时，根据是否有目标值，分为2种处理方法。对于有目标值的则以直线插值和按目标值以相似日拟合；对于没有目标值的则按平推拟合和相似日拟合表码。并以拟合的表码计算小时电量。现货数据替代拟合如图2所示。

图2 现货计量代替流程图

3 现货交易电量数据拟合

对于参与市场的用户，截至到T+2天12：00时，计量系统仍无法采集到其电表数据，则由电网公司提供电量拟合数据用于市场化结算，按时间属性，日期暂定分为3种：工作日、双休日、国家法定节假日(节假日分为小长假(元旦、五一、清明等)和大长假(春节、国庆)两类)；每天内的时间区段定义为(0:00-23:00)，即1号24:00点数据定义为2号数据。

当主表采集失败无电量数据时，若副表采集成功有电量数据，则所缺电量数据采用副表数据进行近似拟合；当双表采集失败无电量数据时，且连续时间点内缺点数小于等于2小时，取主表缺点区间内前后时间点的区间电量算术平均值做为电量拟合值；当双表采集失败无电量数据时，且连续时间点内缺点数大于等于3个时，取主表同比同属性日期的电量数据进行近似拟合。

当发现电能表时钟存在误差，误差在30分钟以内，根据电能表《DLT645-2007多功能电能表通信协议》要求[13]，由计量自动化系统在系统后台按5分钟/每日完成调整；误差在30分钟以上，为防止时钟直接调整造成电能表内电量数据突变，对时钟误差电能表在现货交易数据完成推送前进行更换处理。台风、用户自停等由于无法及时获知用户实际现场是否正常用电情况，按照以上规则照常以工作日、双休日、节假日进行拟合。采用拟合电量数据进行结算，如跨越结算期重新获得电表实际表码，且当日拟合总电量偏差超过实际电量-10%至+10%时，则按照电量追补原则进行处理,如图3所示。

图3 现货计量交易电量数据拟合

业务场景实例数据拟合如表1所示。将表计在九月十三号下午五点到十点记录的原始数据进行处理。根据拟合电量类型不同，对缺失的数据进行拟合。

表1 业务场景实例数据拟合

4 现货交易预警工单

4.1 功能结构

现货交易工单预警进行了后端规则的制定和修改完善；前端进行了页面开发，流程修改，数据优化的改造。它以现货交易工单为数据源，以规则分析后的数据为载体，通过数据对比实现系统主站和现场设备的数据监控，保证现货交易用户数据的相对完整和准确性，并通过接口同步档案、电量等数据。

4.2 现货交易预警工单

(1) 零点数据缺失

统计现货电表采集的3种数据项，判断每日零点数据是否缺失。同一电表采集的负荷曲线数据，终端小时冻结，电表整点冻结(电表上一次整点冻结数据)3种数据的每日零点数据均缺失时生成工单(现货电厂也可以采集到负荷曲线数据，电表整点冻结，但终端小时冻结在CJ_GK_JL中)。 统计对象为现货用户(包含站内侧用户)、现货电厂终端下电表。负荷曲线数据采集表为CJ_DNSZQX_DBDJ，终端小时冻结采集表为 CJ_DNSZQX、CJ_GK_JL，电表整点冻结采集表为 CJ_DNSZQX_DBXSDJ。

(2) 零点数据不一致

统计现货电表采集的两种数据项，判断每日零点数据是否一致。负荷曲线数据，电表整点冻结(电表上一次整点冻结数据)两种数据的每日零点数据不一致时生成工单。统计对象：现货用户(包含站内侧用户)、现货电厂终端下电表。负荷曲线数据采集表为 CJ_DNSZQX_DBDJ，电表整点冻结采集表为 CJ_DNSZQX_DBXSDJ。

(3) 完整率异常

统计现货电表采集的负荷曲线数据，判断每日整点采集点数。现货电表每日24个整点的负荷曲线采集数据缺失6个点及以上，生成工单。 统计对象：现货用户(包含站内侧用户)、现货电厂终端下电表。负荷曲线数据采集表为CJ_DNSZQX_DBDJ3，统计每个电表每日的负荷曲线数据，缺失点数为N， N>=6默认设置为6，可配置。

(4) 时钟异常

统计现货电表时钟偏差值，偏差值超过30分钟时生成工单。 统计对象：现货用户(包含站内侧用户)、现货电厂终端下电表。

(5) 抄表失败

连续9个整点未采集到数据时生成工单。今日0点—今日8点，共九个点。因终端未升级，不能上送终端任务，故采集不到负荷曲线数据，目前先统计终端整点数据，后续终端全部升级后，更换采集表统计。

(6) 电量异常

每日推送的表码和电量数据中，拟合表码未计算出电量的电表，需生成异常工单。

5 总结

现货计量在现代交易体系中发挥着日益重要作用，文中针对数据获取过程中出现的问题进行了研究分析，得到了如下研究成果。

(1) 构建了基于大数据的现货计量异常数据处理系统，将采集到的数据按照表码异常和电量异常进行区分，并结合历史数据进行处理。

(2) 针对表码异常和电量异常给出了判据和处理方法，对异常数据进行替代时，首先查看主终端主表负荷记录是否完整，若完整则直接用来进行表码的异常判定和修复，若不完整则采用副表的负荷记录。以直线插值和按目标值以相似日拟合；对于没有目标值的则按平推拟合和相似日拟合表码。

(3) 按时间属性，数据异常日期分为工作日、双休日、国家法定节假日和大长假4种。针对不同时间数据按照相应规则对数据进行拟合。

(4) 目前算法没有自动学习能力，下一步研究考虑增加机器学习算法，通过自动学习不断提升数据拟合的准确性。