方志丹
摘 要:随着信息技术大数据时代的到来,以及供电局信息化建设的逐步推进和深化,信息业务系统的应用数据飞速增长,对这些数据有效的处理需求也日趋提升。该文从电力行业角度,在业务和硬件层面列举了目前信息系统应用数据处理所面临的问题和对数据分析技术的应用需求,阐述了数据分析技术对电力行业信息数据的应用思路并进行了探讨和展望。
关键词:数据分析 信息系统 应用数据
中图分类号:TM73 文献标识码:A 文章编号:1674-098X(2015)10(a)-0057-02
在物联网、云计算、移动互联网、电子商务、社交媒体等基于网络的信息技术的快速发展和广泛应用的作用下,全球的信息数据量呈现出指数增长的趋势,IDC《数字宇宙》(Digital Universe)[1]在2014年的研究报告中指出,全球的数据总量按照每年40%的幅度增长,即每两年翻一番,在这个速度下,到2020年时全球数据总量将可以达到4.4ZB(即4.4万亿GB)。在这样的环境下,各种信息应用数据的迅速产生和积累也促使着企业的信息化加速进入大数据阶段,其中,虽然有2/3的数据创建自个人,但各企业仍须对85%的数据负有各种相关责任。
传统信息系统对数据的创建和使用的依据仅建立在业务流程和业务模型的基础上,实现底层业务关系数据的增删查改基础操作,而对海量数据、对不同类型和范畴数据的价值提取却存在不少的缺陷。与之相比,基于数学分析理论的数据分析技术侧重于海量数据处理,跳出传统信息系统的形式约束,可对已收集到的数据进行进一步统计分析和挖掘,从而获取这些数据更深层的意义或规律,更深入发掘数据背后的隐藏价值,能进一步提高信息利用率,提高数据效益。
如今,传统信息系统已逐渐无法满足对大数据的处理需求,中国的互联网、政府、金融、通讯等行业和企业都在逐步深入和逐步拓展对大数据和数据分析技术的应用,从结构化数据到半结构化、非结构化数据,以充分挖掘各行业数据的表层及潜在或隐藏的价值。同样,近年来,随着电力行业的信息化不断推广和深入,诸如电力营销管理、营配信息集成、GIS、资产管理等大型、复杂业务系统的建设和广泛投运,使得各层面的电网单位均面临着对诸如电费详单、用户分布、业务峰谷、服务器性能、存储数据等方面的巨大数据量的处理和管理上的难题,加之相对于金融、通讯等行业,电力行业的业务和用户数据的变化性和多样性较低,在价值提取方面更具难度,需要寻求适应企业自身需求的数据分析技术对这些数据进行更有效的统计、挖掘或预测。
1 电力行业信息系统现状和数据分析需求
一般情况下,基于信息系统的各项业务均存在峰谷分布特性,即在某一时段会集中发生大量业务操作,此时用户访问量大、操作数多、服务器资源消耗高、网络带宽占用大、数据库读写频繁;反之,在另一时段则是业务低谷期,此时很少外部用户访问业务系统,可分配服务器的一部分计算资源进行数据整理或备份操作。
应用系统层面上,根据电力营销系统的历史业务记录,可以看出,在用户缴费方面,本地供电局每月的用户缴费行为大体上集中出现在当月的第一周之后(图2),因此供电局需在用户缴费前完成大量的电费计算、核查和发行操作(图3),以确保用户可以顺利完成缴费。
服务器运维层面上,服务器计算资源的消耗与应用系统业务使用量成正相关关系,业务繁忙程度越高,服务器出现资源异常的可能性就越大,所以保障服务器正常运转的需求也越高。以电力营销系统为例,其系统架构总体上采用客户机—负载均衡设备—应用服务器—数据库集群—存储设备的结构建设,其中数据库的IO、日志文件同步等指标可在一定程度上反映出当前业务量情况。图4所示为某月各工作日对数据库3个性能指标的执行等待时间统计,可以看出,从该月第二周开始逐步出现一定程度的数值升高,此处反映该时段内集中出现的客户缴费行为,引起数据库读写量和事务量上升,从而增加了事务的等待时间。
另外,服务器硬件发生故障的概率虽然大体上随着设备使用时长的增长而提高,但某些情况也会存在一定的偶然性和突发性。当在业务过程中出现硬件故障,尤其是在业务高峰期,会出现较为严重的影响,这也要求运维人员对业务高峰有一定的估测能力以及对设备故障有足够快的响应速度。
综上,不论是面向客户的行业主营业务,还是内部的服务器性能消耗和信息系统日常使用,各项数据都在各方面存在一定的规律性特点或互相关联的因素,这不仅对上述的业务量或服务器性能统计来说如此,对行业内的各类具体数据同样适用。然而,目前对这些数据的利用往往只停留在表层的增删查改操作上,并不能很好地抽象出其中的特征或模式,造成信息利用率的下降。电力行业的数据具有数据量大、类型多、价值高的特点,对控制管理和企业盈利的影响甚多,有专家分析称,数据利用率每提高10%,电网的利润则可提高20%~49%。为了适应大数据的逐步普及、适应企业的改革与转型、满足新阶段对信息技术的要求,亟需寻求合适的技术充分利用这些数据,实现对变化趋势的预测和拓展企业核心能力、提高企业经济效益的目的。
2 数据分析技术在电力行业的应用
常用的数据分析方法包括聚类分析、相关分析、回归分析等涉及统计学和概率论的理论,目前市面常用的数据分析软件有SPSS、Stata、SAS、R、Matlab等系统,分别适用于不同专业程度的应用场景。
如今各行业已开始探索和采用这些技术来处理与行业自身相关的各项数据,例如对根据时间和话费等指标分析移动通信客户的消费行为[2]、利用收集的资料分析及发现银行零售业务的潜在客户[3]、利用关联分析等方法评价病人病因、处方及药物副作用[4]等,同样,在电力行业,可以从客户用电量、用电时间、客户分类和分布状况、季节和气候变化、政府法规政策、信息系统使用情况、计算和存储资源消耗状态等各项指标着手进行分析,实现相同或类似的目的。
利用数据分析技术处理电力行业数据,优化企业管理模式,提升企业经营水平,其适用场景包括以下方面。
2.1 客户信息分析
类似于通讯行业的客户行为和消费分析,根据电力营销的大量的历史数据,一是可利用聚类分析的方式,在时间、空间和客户性质上分析客户的用电行为和用电规律,采用手动标签类别特征或对数据特征做自动聚类的方法,对客户群进行不同粒度的细分,从而可在不同层面制定不同的更具针对性的营销方案和服务模式,也可避免供电业务的一刀切问题;二是可利用关联分析的方式,统计收集到的可能与客户用电存在影响关系的电价、气候、环境、政策、交通等因素,提取这些因素与客户用电数据的相关性,找出对其存在显著影响性的成分,并据此优化客户的用电需求预测模型,从而通过多维的因素对市场和业务进行分析和预判,也可实现避免客户流失和发掘潜在客户的目的。
2.2 业务服务质量提升
目前,电力业务普遍只为客户提供基础性的供电服务,仅确保客户能够正常用电。而随着企业的改革和转型,更大的需求是以客户为中心,从客户体验出发,提供更为全面和丰富的电力增值服务,可从地区、行业、客户等不同层面的用电明细历史数据提取出各自的用电规律和特殊需求,制定合理、优化的营销方案或业务套餐,或让客户根据自身的用电行为和趋势调整相应的用电方案,提高客户的用电效益。
2.3 协助优化IDC资源
如前文所述,信息系统的资源使用量往往取决于其业务的使用情况。对于营销系统,可从大量的客户缴费时间、缴费数量和对应的服务器资源使用记录中拟合出服务器资源随时间变化的占用曲线,并根据实际情况进行适当的业务窗口或后台数据处理窗口调整,在确保业务正常进行的前提下降低业务高峰和提高空闲时段的资源利用率,此外,对业务量和数据存储量的综合测算,可对系统的存储资源占用量趋势做出更为准确的短期和中期预测,避免存储资源池的短缺或浪费问题;类似地,对于企业门户、办公自动化、人力资源等内部业务系统,用户访问量分布和各端点间的数据交互数量则是影响其服务器计算和存储资源使用的主要因素,也是形成对服务器的采购、运维和升级的具体需求的来源之一。
2.4 营销稽查数据的进一步分析
本地供电局于2013年建成在线稽查业务精益化管理平台,投运至今成效明显,其中部分重要规则共筛查差错样本2000多个,纠错挽回或减少经济损失约450万元,为营销稽查工作、营销业务单位自我诊断、风险管控提供了强有力的支持。在此基础上,根据对差错数据的数量、区段、等级、来源的分析,结合营销客户信息分析,可推断差错的性质、原因和客户用电行为、营销方案、收费操作之间的联系程度,趋利避害,进一步规避问题数据乃至偷电行为的出现。
2.5 为电力基础设施建设提供支持
电力基础设施的选址往往需要以大量的前期调研为依据,其影响涉及地区性质、行业分布、人员密集程度、交通流量、气候条件等社会环境因素,此外,随着社会发展和城市建设,若干已有的线路规划、高压杆塔、变压器,乃至变电站、发电设施都可能成为发展阻碍成分,进行改建则需进一步花费人力财力。通过对相关数据的分析,可以预测当地的电力使用量和发展趋势,为基建选址提供更多的客观的参考依据。
数据分析技术对电力行业信息数据的应用并不只局限于上述的若干场景,在未来的信息技术发展过程中,各个信息系统、业务线条、电力运营单位之间的数据界限将逐渐淡化,形成具有更高关联度的大数据整体,而大数据技术也会得到更广泛的应用。
3 结语
与物联网、云计算等新兴技术的快速普及一样,大数据技术在企业发展过程中的重要性和影响力也逐渐显现。随着信息技术数据价值的日趋凸显,电力行业在推进信息化建设的过程中,需要加速完成的任务之一,便是快速适应新时代的发展需求、利用现有资源和技术,构建大数据的技术环境,充分应用数据分析技术,提升信息化产业效益,为企业的总体发展提供更为有效的助推力。
参考文献
[1] Vernon Turner,John F.Gantz,David Reinsel,et al.The Digital Universe of Opportunities:Rich Data and the Increasing Value of the Internet of Things[J]Australian Journal of Telecommunications & the Digital Economy,2014,2(3).
[2] 刘蓉,陈晓红.基于数据挖掘的移动通信客户消费行为分析[J].计算机应用与软件,2006(2):60-62,130.
[3] 王真真.我国中小商业银行零售业务潜在客户开发管理[D].大连:大连海事大学,2012.
[4] 邹北骥.大数据分析及其在医疗领域中的应用[J].计算机教育,2014(7):24-29.