重庆电力营销数据归档项目成果及发展趋势探讨

段立+刘冲+蒲箭

[摘 要]电力营销数据归档，是一种为解决系统数据库的运维管理问题而进行的操作。本文介绍了重庆电力营销数据归档项目成果，并围绕营销数据归档进行了一系列的探讨，希望本文的研究能为同行提供借鉴。

[关键词]电力公司；数据归档；重庆

doi：10.3969/j.issn.1673 - 0194.2017.22.102

[中图分类号]TP309.3 [文献标识码]A [文章编号]1673-0194（2017）22-0-02

1 重庆电力营销业务历史数据归档工作背景

2010年，国网重庆市电力公司（以下简称：重庆电力）上线了营销业务应用系统。该系统涵盖重庆电力营销专业19个业务类型、137个业务项以及700多个子项，涉及业扩、计量、抄表、核算、收费、用检和客服等电力营销业务范围，为重庆电力营销人员顺利开展相关业务工作奠定了基础。从上线以来，营销业务应用系统的用户数量迅猛增长，目前已经有接近1 500万电力用户，系统的数据量已超过13 TB，并且以每年2 TB以上的数量递增，给系统数据库的运维管理带来了很大的压力，重庆电力也感受到海量数据对系统稳定运行带来的压力。

随着营销系统数据量的迅速增长，营销业务应用系统面临着多方面的问题：第一，系统运行性能下降会让前台用户与系统进行交互时花费更多的时间，拖慢业务处理速度和客户服务效率；第二，庞大的系统数据量会使系统花费更长的时间处理相应操作，以及要花费大量的窗口备份时间；第三，系统管理成本不断提升，维护日益庞大的数据库所消耗的成本远高于轻负载的数据库；第四，运维人员需要消耗更多的时间和精力去重构数据库，从人力资源角度来说是一种不必要的浪费；第五，系统宕机时间会随着数据库规模的扩大而逐渐增长。

随着电力企业的对外服务压力不断增大，电力企业对于系统性能的需求也在不断提升。为了有效提升系统性能，减轻服务压力，国网重庆市电力公司于2017年开展了营销业务应用系统的历史数据归档工作，目的是最大限度减少营销业务应用系统数据库存储数据量，并提升系统的整体运行效率。归档采用完全在线方式进行，将系统影响降至最低，完成后系统运行情况达到了预期效果。

本次营销业务应用系统采用了完全在线归档，在归档期间，所有业务正常运行，在最大程度上减少了归档工作给基层单位运营带来的不便。经过归档后，在线系统数据量从归档前的13 TB降低到8 TB，系统负载显著减少，同时也让主机资源消耗降低了很多，CPU占用比例从归档前的53%下降到35%，降幅达1/3，内存由91%下降到80%，降幅为12%。营销业务应用系统经过归档后，抄表核算、收费账务、业务流程等模块的响应速度都有了不同层次的提升，从1.8秒降低至0.8秒左右，大大提升了系统性能，提高了资源的利用率和系统的可用性，从而降低了重庆电力营销业务应用系统的总投资成本，为营销业务应用系统的良好运行提供了技术上的保障。

2 电力行业历史数据归档的现状

2.1 电力行业各应用系统数据迅猛增长

在信息技术快速发展的今天，电力企业的各信息系统也迈进了大数据时代。在2007年之前，电力行业的业务系统数据库体量超过1TB的便是大型数据库系统。如今，电力行业各应用系统数据迅猛增长，以重庆电力公司为例，10TB数量级仅是中型数据库系统，超过20TB的数据库系统多达数套。业务系统累积的数量越大，系统运行性能就越慢，维护成本也越高。因此，电力企业大量的业务系统都有历史数据归档的迫切性。

2.2 电力行业历史数据归档的技术现状

目前，电力企业绝大多数应用系统的数据库归档，采用的归档方式是首先将历史数据抽取到历史数据平台，然后再利用数据库自身的SQL命令删除历史数据。

电力企业采用这种方式有许多不足。首先，由于生产系统数据量太大，每张表（包括移除历史数据、重整数据库碎片、索引等操作）的归档时间都很长，而在生产表操作的过程中，都会给该表加上“数据库锁”；其次，“数据库锁”会使生产业务系统性能急剧下降，无法完成对外的业务交易。因此，传统的归档方法，仅适用于数据量小的应用系统或有较多停机时间的应用系统。

3 新型数据归档方式在重庆电力的实践

传统的数据归档技术采用删除历史数据方式产生的“数据库锁”，会影响生产系统的性能或要求生产系统停机操作，不适合于重庆电力营销业务的发展现状。因此，重庆电力公司上线了营销业务应用系统。该系统能保持营销业务应用系统完全在线，且所有历史数据归档操作均不对生产系统性能造成影响的新型数据技术。

在实践中发现，新型数据归档方式的工作流程如下。首先，工作人员在需要归档的原表中建立采集触发器，收集新发交易，存放在交易队列表中，此过程持续到该表归档结束前的表名切换。其次，工作人员使用数据库底层的FastCopy技术将原表数据拷贝到临时表。再次，工作人员利用触发器将收集的新发交易追加到临时表中，同样，此过程持续该表归档结束前的表名切换时。然后，工作人员在将原表数据拷贝到临时表后，触发器自动比较临时表数据与原表中的新发交易记录是否一致，如果不一致，继续等待原表与临时表的同步。最后，工作人员在確认数据完全一致时，采用数据库的Online（Exchange Partition）或者TLock（Rename）进行表名切换。临时表改成原表名，原表备份成ORIG表或者直接删除，这样便在线完成了一张数据库表的归档。

新型数据归档技术是基于数据库底层技术，不会产生数据库锁，并且可以同时进行历史数据迁移、表及索引的碎片整理和重整。因此，整个归档操作过程不会对业务系统的性能产生影响，且整个归档进程完全可视可控，极大降低了由数据库归档带来的额外风险。

4 未来电力行业应用系统历史数据归档的发展趋势

随着信息技术的不断发展，电力行业已经或即将进行大数据时代。在大数据时代，一方面，电力企业需要对大数据进行充分挖掘，为电力企业创造更多的有利价值；另一方面，针对大数据的信息生命周期管理也十分重要。本文所探讨的历史数据归档，实质便是针对大量历史数据的信息生命周期管理。合理的信息生命周期管理，可以为电网企业节省大量的管理维护成本。

本文介绍的新型数据归档方式的优势主要体现在两个方面：一方面业务生产系统不需要停机，另一方面整个归档过程不会对业务生产系统产生性能影响。随着大数据时代的到来，电力企业在进行业务系统历史数据归档时，除了要保持完全在线、对生产系统无影响外，还有两个技术点将成为未来历史数据归档的趋势。第一，在历史数据归档中，压缩技术或重复数据删除技术的充分应用。目前，电力企业采用的归档技术是将生产数据从高端存储介质转移至低端存储介质，以达到节省成本的目的。归档至低端存储的历史数据如果能充分应用压缩技术或重复数据删除技术，将进一步节省电力企业对历史数据管理的投资成本。第二，历史数据的自动转移技术。目前，针对非结构化数据的历史数据归档，已有成熟的技术可以根据策略配置，自动将历史数据转移到低端存储介质，以近全自动化的方式完成历史数据的信息生命周期管理。而针对数据库类的结构化数据，目前还未出现成熟的自动化历史数据归档技术。相信在不久的将来，本文所探讨的结构化类数据，也可以实现自动化的历史数据归档，从而大幅降低人力投资成本。

本文介绍了营销业务应用系统数据归档成果，并通过分析电力行业的历史数据归档技术，探讨了未来电力行业应用系统历史数据归档的发展趋势，希望为电力行业历史数据归档提供一些建议和理论参考。endprint