张明杰,张才俊,江帆,张波,杨照辉
摘 要: 针对目前电网业务运营体系不完善以及问题定位不及时的情况,对电力系统运营监控内容进行研究,优化指标监控方式,建立一种多层次全方位的指标体系。设计、整合出基于分布式流式处理技术、缓存以及消息队列为核心的架构形态,研究了一套基于业务运营监控指标体系的分布式微服务系统架构实时监控系统。从而进一步提升电网信息系统的运行效率。
关键词: 指标体系; 分布式架构; 实时监控; 运营分析
中图分类号:TP311 文献标识码:A 文章编号:1006-8228(2022)06-62-04
Real-time monitoring system of business operations based on index system
Zhang Mingjie1, Zhang Caijun1, Jiang Fan1, Zhang Bo1, Yang Zhaohui2
(1. State Grid Customer Service Center, Nanjing, Jiangsu 210000, China; 2. China Real-time Database Limited Corporation)
Abstract: In response to the current imperfect power grid business operation system and the lack of timely positioning of problems,by studying the content of power system operation monitoring, the index monitoring method is optimized, and a comprehensive multi-level index system is established. A real-time monitoring system of distributed micro-service system architecture based on business operation monitoring indicator system is designed. It further improves the operation efficiency of the power grid information system.
Key words: index system; distributed architecture; real-time monitoring; operational analysis
0 引言
為适应当前大批量数据的统计需求,需切实解决指标异常,工作差错,业务操作频繁,业务数量增长等方面的问题。国网公司按照“指标体系化、工具自动化、工作常态化、管理标准化、队伍专业化”总体思路推进信息系统运行监控分析能力建设和运营监控的专业化,全面的业务运营指标体系设计是关键。本文在现有的业务指标分析及实时监控系统处理架构基础上,优化业务指标体系,设计出一种分布式实时监控处理架构,从而对电力运营实时监控管理,通过信息化手段提高电网业务管理效率[1]。
1 研究背景
随着当今社会步入信息化时代,各个行业对信息系统的依赖程度日益提高,电力行业也不例外。信息系统上线运行后的业务运营监控是企业信息化工作的重要任务,如何对运营中各类问题进行预警[2],如何使信息系统来为企业生产经营活动提供健康稳定的服务并做好信息数据的安全保密工作是运营项目的第一要务。
国网公司为落实数字化转型工作要求,需推进电力营销APP深化应用,满足各单位运营工作需要;构建与基础设施、网络环境、第三方服务,以及应用软件相对应的、实时的、完整映射的业务运营监控体系,实现指标开发运营系统安全可靠接入与审计改造。国网的指标活动设计开发是常态化的,需要专题研讨和跨界合作,只有这样才能高效拉新促活,支撑电力运营需求。
2 研究现状
现有调度系统有着大量的监测数据,从而衍生出许多监测指标。每个指标重点关注电网运行的某一方面(安全性、脆弱性、风险性、经济性等),缺乏一套整合全方位因素的指标体系来综合反应及分析电网监控平台的运行情况[3],单一的指标体系构建已经不能满足对整个电网运营分析[4-6]。因此,需要在目前单一指标分析的基础上,建立一种多层次全方位的指标体系。
传统的电网运营数据分析模式通常采用不同维度的数据融合方式[7]。运监系统的指标计算的数据来源是电力营销APP用户的使用数据,如用户行为日志、用户办电工单等数据。随着客户数量的激增,产生了大批量的用户业务数据[8]。这些数据最后都会汇总流入贴源层数据库。运营监控系统指标计算会直接查询贴源层里的数据。数据量的激增导致运营监控系统平台大部分指标的计算性能明显下降,进而影响了与之相关的其他指标,并且在指标监控的时效性方面带来了巨大的影响。
针对大数据量的指标数据,传统的指标计算方法已经不能更好的满足需求,急需设计一种分布式数据处理与计算架构。
3 基于指标的业务运营实时监控研究
3.1 指标体系构建
业务运营监测系统建设内容包括全景监测,平台运营监测,营业服务监测,在线客服监测。
⑴ 全景监测
全景监测主要对平台、营业、在线客服三个方面核心指标综合展示。
⑵ 平台运营监测
平台运营监测包括:用户运营监测,内容运营监测,活动运营监测。其中用户运营监测主要对用户注册数、实名认证数等核心指标进行监测展示。
⑶ 营业服务监测
营业服务监测包括:低压业扩监测,高压业扩监测,缴费业务监测,电动汽车监测,分布式光伏监测。
⑷ 在线客服监测
在线客服监测包括:在线服务总览,实时业务监测,坐席明细监测,工单受理监测。
业务运营指标体系如图1所示。
3.2 总体设计
系统主要架构分为采集层、计算层、展示层,具体系统架构图如图2所示。
3.2.1 采集层
原始业务数据存放于各业务库中,指标计算需在归档的指标库中进行,因此指标业务数据由业务库汇总到指标库,数据采集层主要负责数据抽取及数据同步任务。
3.2.2 计算层
汇聚运营数据,通过大数据分析技术,融合分布式流式处理技术、分布式缓存和分布式消息队列计算模式,数据一次落地后进行获取加工,缩减数据链路,对运营主题分析提炼,形成运营主题数据库,通过可视化技术动态展示分析结果,支撑业务量预测、优质服务、内部员工推荐、细分客户、精准营销等服务场景。对各类信息数据进行规范化、体系化管理。
3.2.3 展示层
对指标运营数据进行实时的监测预警,提升业务部门现场管控力度,进一步完善现场管理方式,降低服务风险;通过新增对业务流程及业务阻断场景的监测,实现对业务受理及APP业务受理环节阻断场景的实时展示,降低因业务系统原因或内部流程超时问题导致的客户服务风险,提升客户满意度;通过对多媒体业务的监测,实现对多媒体业务整体运营情况的展示,进一步提供业务数据运营支撑;通过完善指标规则自助管理,实现业务人员自助维护规则数据,提升客户体验。
3.3 架构设计
3.3.1 技术架构
技术架构遵从前后端分离的微服务设计理念,采用现今互联网主流应用框架(Spring Boot)、云平台和微服务,运用流行的分布式服务框架(Dubbo)和分布式配置框架(Spring Cloud)技术,提供内部服务注册/发现、服务治理、服务调度、服务监测等功能。将业务指标运营监测及可视化大屏等监测主题设计成不同的微服务,整个技术架构体现了高内聚低耦合的设计理念,且系统具备高可用性、高可靠性和可扩展性水平,形成以分布式流式处理技术、分布式缓存以及分布式消息队列为核心的架构形态,技术架构如图3所示。
数据层是监测对象的基础数据信息层,监测对象主要包括业务、渠道、服务资源状态等。
技术支撑层主要应用事件处理引擎实现简单的事件处理、事件流处理、复合事件处理,并对捕获的事件、问题等数据进行清洗、筛选、过滤、汇聚等数据的预处理工作,技术选型上利用Storm的容错和水平可扩展性,处理海量数据。利用Kafka的高吞吐量来满足实时大数据量的需求,基于Redis的分布式内存数据库能带来极快的存写速度。通过业务监测规则及事件规则关联形成告警信息及触发自动处理。
服务支撑层主要是系统的业务功能,主要实现客户服务监测、渠道监测、服务资源状态监测、大屏监测等微服务应用,运用Spring Cloud技术栈,实现微服务治理:所有的微服务都需要注册到服务注册中心(Eureka)上,以供发现和调用,当请求到达API 网关Spring Boot Zuul,动态路由服务(Zuul)根据请求的url转发到具体的微服务,由对应的微服务完成请求响应及消息组装。
应用层主要是通过H5、JS、FLEX、高级可视化组件等前端技术来满足对业务数据运营监测,实现可视化展示。
3.3.2 应用架构
应用架构承接业务运营监控架构设计内容,根据业务监测建设核心业务需求,结合对业务需求点的归纳总结,设计出对应的业务应用架构,形成包括监测分析、监测管理、系统配置应用功能,应用架构如图4所示。
3.3.3 数据架构
数据主要分为以下类:客服服务监测数据,业扩办电业务监测数据,电费业务监测数据,新型业务监测数据,互联网运营监测,预警告警管理数据,预警告警规则管理数据,系统配置管理数据,指标管理数据,采集管理。
3.4 实时监控部署
3.4.1 物理部署
架构涉及到消息队列集群、缓存集群、分布式服务管理集群、存储集群,如图6所示。
3.4.2 服务器配置
各类服务器配置要求如表1所示。
3.5 可视化设计
业务运营实时监控系统可对各类运营指标实时监控,将实时电力数据运营情况通过柱状图、饼状图、曲线图等可视化界面展示出来,如图7,图8所示。
4 结束语
通过运营指标实时监控系统,可将分散在各个业务库中的源数据,通过数据同步转换整合在一起,经过数据清洗转换和实时计算统计分析,最终以图表的形式直观呈现出来。本文研究了该框架下信息系统运行监控工作流程的规范化管理和监控指标体系的建立,并在实践中实现了运营指标体系的设計与指标计算架构的构建,以及透过数据去发现电力营销生产经营中的问题,及时反映指标运营情况,实现对指标运营状况动态监控,及时定位问题,从而提供更多的运营决策支持。
参考文献(References):
[1] 郭永豪,付灿栋.基于大数据的企业运营指标监控系统建设与应用[J].智能制造,2020(1):72-74
[2] 林海.电网运营监控体系建设与实践[J].大众用电,2014(4):47-47
[3] 程逍,孙立时,徐春雷,等.基于监控大数据的设备监控业务评价指标体系的设计与实现[J].电力大数据,2019(6):47-51
[4] 陈厚源.关于电力信息系统监控水平提升及指标体系完善[J].电工技术:理论与实践,2017(5):100,102
[5] 王莉芳,滕静.“大营销”模式下电力营销管控能力评价体系研究[J]. 未来与发展,2016(5):100-105
[6] 余雯,李伟,潘宏斌.基于数据驱动的电力运行监控指标建模研究[J].通信电源技术,2019,36(8):40-41
[7] 乔俊峰,王一清,杨佩,等.基于大数据技术的配电网全景监测系统的研究与实现[J].供用电,2018,35(3):41-46,51
[8] 张自强,高建勇,李志,等.基于大数据技术的运营监测(控)领域数据质量管控研究[J].电气应用,2015(S1):566-568