基于企业中台云化构建及大数据分析研究

刘翠玲，徐敏，张翠翠，王鹏

（国网安徽省电力有限公司信息通信分公司，合肥230041）

0 引言

企业中台基于国家电网公司云平台构建，是企业级能力共享中心，是能源互联网核心基础，统驭公司跨专业共享服务、全局数据资产，支撑公司各类前端应用灵活编排，助力公司数字化转型[1-2]。

企业中台包括业务中台和数据中台，业务中台实现跨专业跨领域共性业务共享，是企业级共性业务服务的集合；数据中台实现公司数据标准化处理、归一化存储，为业务中台提供数据库服务，是集数据存储、接入、处理及分析为一体的数据服务集合[3-4]。

1 现状分析

企业中台按照服务能力类型划分共享为业务中台、数据中台。其中数据中台以公司数据中心为基础，根据数据共享和分析应用的需求，沉淀共性数据服务能力，通过数据服务满足横向跨专业间、纵向不同层级间数据共享、分析挖掘需求[5-6]。企业中台提供统一的企业级共享服务、公共数据服务、大数据分析服务和能力开放服务，支撑电网数字孪生。数据资源融通共享，跨专业共性服务统一沉淀，强化业务支撑和服务开放能力，实现资源全域汇聚、跨域融合与全局共享[7-8]。

数据中台承载全局数据需求，提升资源全局纳管能力，数据中台提供业务数据库服务，提升实时处理和分析能力，数据中台可以对复杂场景的支持[9-10]。利用数据中台可以构建分布式、高可用、高性能事务型数据服务，满足复杂业务应用系统基于企业中台运行的数据处理需求，实现数据处理和数据分析的全覆盖。提升海量数据分析时效性，实现分钟级（T+M）数据同步能力和亿万级数据计算能力，支撑准实时业务场景。实现流批一体化处理能力，面对随业务动态扩展的多源异构数据，实现实时数据与离线数据融合分析，支撑实时业务场景。

2 基于云环境的数据中台

结合电力行业特点，给出了数据中台的总体架构和数据中台跨域计算，基于数据中台设计了不同数据类的大数据分析方法。

2.1 数据中台总体架构

以“资源融通共享、资产全局纳管、服务柔性扩展、能力开放共享”为重点，围绕企业中台服务范围的全面性、服务内容的多样性、服务质量的可靠性三个方面开展规划。基于国网云的数据中台架构如图1 所示。

构建共建共享的全网智能数据标签、自助便捷的数据分析工具、敏捷高效的数据服务能力，降低数据使用门槛，支撑业务创新。建设两级数据标签，实现数据标签嵌入业务、闭环运营和迭代进化，逐步成为连接业务与数据的桥梁，让业务人员能够看懂数据。提供简单高效的数据API 服务和自助分析工具，实现业务人员自主构建分析应用，支撑业务人员广泛参与数据价值创造。

图1 数据中台架构

基于沉淀的共性数据服务，通过数据服务的叠加复用，提升对业务需求的快速响应。基于企业中台的模型管理、服务组装、流程配置和界面编排等服务开放能力，赋能传统业务系统实现数据驱动和智能决策，最大化实现数据中台的价值延展。适应新兴业务快速发展和业务深度协同的需求，持续拓展业务中台覆盖范围，逐步形成覆盖公司核心业务领域、面向内外部相关方、能力完备的中台服务体系。

通过数据中台打造服务统一管理体系，构建一体化编排组件，实现各共享中心服务的统一管理、原子服务灵活组合、聚合服务柔性扩展，支撑多渠道、多类型应用的快速构建。基于业务中台电网资源共享中心和数据中台海量数据，以数字化方式为电网构建数字空间模型和信息物理模型，实现数字孪生电网。

2.2 数据中台跨域计算

数据中台实现分析域向处理域延伸，扩展数据中台数据管理范围，实现企业内外网数据资产全量纳入。构建统一数据模型、数据资源可视、数据治理等工具组件，实现企业数据标准自动化管理，提升数据融通共享能力。在两级异构数据中台架构模式下，通过服务代理等部分功能补强实现跨域协同，主要思路为基于两级的数据资源目录，实现全网数据路由服务，定位跨域数据资源；通过两级实时计算代理，解决两级实时数据跨域获取需求；通过数据服务组合，综合调用集团总部、二级公司两级数据中台服务能力以及数据实时同步能力，实现“搬计算、不搬数据”的数据中台跨域资源调度的服务目标。数据中台跨域计算如图2 所示。

图2 数据中台跨域计算

全网数据资源（明细数据、指标、标签等），统一纳入两级数据资源目录纳管，通过数据路由服务实现全网数据资源定位。两级实时计算代理，解决跨域数据资源获取需求，指标、标签、明细数据表等通过两级中台数据服务统一对接获取，实时业务数据通过DataHub（总部）、DataHub 或Kafka（省公司）对接获取，通过实施计算代理本地化计算后推送给数据组装服务。数据组装服务，负责组合各级来源数据及数据服务，通过数据服务组合调用来直接支撑业务应用。针对频繁使用的周期性数据资源，为避免两级实时调用导致的链路稳定及性能影响，下发同步策略至数据交换平台，按需将数据资源后台自动同步至总部数据中台，并更新总部数据资源目录，后续调用直接通过总部数据服务提供。

2.3 数据分析

结构化数据是数据中台主要存储和计算的数据，其他如量测数据、非结构化数据最终都会处理成结构化数据。该类数据通过数据接入组件抽取至贴源层，利用批量计算和内存计算组件，结合业务分析场景，形成共享层和分析层，相关应用使用数据服务组件获取分析结果，明细数据不出中台。数据分层设计虽然减低了数据时效性，但是可以让数据最大化共享使用，避免重复计算，提升数据利用率。结构化数据离线处理如图3 所示。

图3 结构化数据离线处理

针对量测类、时序类数据，将数据实时接入数据中台，利用流计算组件，即可以单独对实时数据进行分组聚合计算，又可以结合列式数据库进行流批联合计算，极大地减低计算时延，适合于实时监测、风控、应急指挥等对数据时效性较高的场景。同时流计算组件的流批一体处理机制，也适合建立实时数仓，在处理过程中形成实时共享层和分析层，满足数据实时分析场景。量测类数据实时处理如图4 所示。

图4 量测类数据实时处理

针对图片、视频、语音、文本等非结构化数据，可集中存储在文件存储服务中，利用图像识别、语音识别、自然语言处理等人工智能分析模型，提取关键特征，形成结构化数据。根据分析需要将数据存储在共享层或分析层，结合业务其他结构化数据构建联合分析应用，可广泛应用于安全可视化生产、企业知识图谱构建、语音智能助手等场景。非结构化数据处理如图5 所示。

图5 非结构化数据处理

3 实验验证

依托国网安徽电力数据中台，以供电服务指挥系统停电信息实时推送在线实时业务为例，设备运维部根据检修计划，完成业务审核后发布停电计划，营销部根据停电影响范围第一时间告知相关用电客户，防止发生生产事故、提高用户的服务满意度。数据中台需实时接入获取PMS 提供的停电计划信息，直接通过数据中台流计算组件，关联离线分析架构中共享层整合的设备台账、台区信息，计算得到停电影响设备范围信息，进一步实时关联共享层整合的用电客户档案，实时计算分析停电影响用户范围信息，存储到提供实时查询能力的中台分析型数据库后，通过数据服务推送停电用户信息实时推送给供服系统，由供服其根据业务需要，面向用户推送最终的停电通知及用户关怀内容，基于数据中台的供电服务改造如图6 所示。

图6 基于数据中台的供电服务改造架构

利用数据中台数据工厂组件，基于共享层标准数据，根据业务分析模型进行加工计算，分析结果通过数据服务对外发布共享。通过数据中台实时计算组件，基于流式数据完成停电信息影响用户实时分析。通过实时队列订阅发布功能，将实时计算结果实时对外发布共享，支撑供服业务在线应用。

通过上述实验，实现供电服务指挥系统停电信息实时推送在线实时业务典型应用，验证了基于数据中台的数据分析应用的可行性。

4 结语

针对当前电力数据中台建设需要，本文提出了基于云平台的数据中台构建方法，给出了数据中台总体架构，阐述了数据中台跨域计算流程，设计了基于数据中台的数据分析典型方法，通过实验验证了基于数据中台的数据分析的可行性。