面向电网企业项目管理的智能化系统架构研究

2022-09-07 03:21:24沙宇恒梅鑫兰姣韩芳旭赵学臣
电气传动 2022年17期
关键词:储备架构项目管理

沙宇恒,梅鑫,兰姣,韩芳旭,赵学臣

(1.国家电网有限公司,北京 100031;2.国网江苏省电力有限公司,江苏 南京 210024;3.天津天大求实电力新技术股份有限公司,天津 300392)

项目管理是企业提升战略执行力、提高管理精益化水平、提升资源配置能力的有效手段[1]。在信息化管理水平日益提升的今天,智能化系统在企业项目管理的有效实施中具有重要地位,而系统架构的建立更是深刻影响着企业项目管理的智能化水平[2-7]。近年来,随着我国技术水平的不断发展,各行各业的项目管理系统及其架构取得了较快的发展,企业的项目管理信息化率不断攀升。电网企业作为典型的资金与技术密集型企业,其项目管理水平直接反映着我国电力行业的项目管理水平[8-11]。目前,我国电网公司主要有国家电网有限公司、中国南方电网有限责任公司、内蒙古电力有限责任公司以及陕西地方电力集团公司等,为了便于精细化分析与阐述,同时鉴于国家电网有限公司的供电范围、体量最大且其代表性较强,在此以国家电网有限公司项目管理系统架构为依托进行研究分析。

目前,国家电网有限公司项目采用“综合计划+专项计划”的矩阵式管理模式。在项目管理信息化方面,以综合计划管理信息系统为主导,以专项计划管理系统为辅助,在企业资源计划(enterprise resource planning,ERP)系统中开展项目执行。项目管理各阶段多系统并行运行,数据关联交互,缺乏统一的数据源头,缺乏统一规范的信息标准,存在规划计划系统项目数量与设备运维精益管理系统项目数量不一致、规划项目产生的设备与设备运维精益管理系统的设备勾稽关系混乱等问题。再者,缺乏共性服务的统一支撑平台,同一业务跨系统处理,存在同一业务在多个系统中来回操作,数据往返传送、难以跨专业审核的现象;同时,现有统推系统和自建系统的IT架构主要为“烟囱式”,形成了资源“孤岛”和信息“孤岛”,各专业系统烟囱林立,存在数据壁垒,决策者无法获取项目决策需要的设备设施及生产运行等实时数据,无法应对市场激烈的竞争格局,全业务数据中心尚未全面统一实施,难以保障项目管理源头数据的一致性和严密性[12]。

近年来,无论是在企业,亦或在政府工作部门,云计算已为其办公运行的数字化提供了强大的动力,为差异化业务的创新搭建了稳固的支撑平台[13]。随着公有云与私有云的不断发展,兼备公有云资源、服务优势与私有云安全性能的异构云已逐渐成为云计算架构的主要模式[14-16]。数据中台作为一个大数据服务平台,能够提供大数据采集、清洗、管理和分析功能;同时,其可以有效实现不同业务应用的标准化与快速定制化,便于数据I/O吞吐、数据冗余、错误数据量的降低,完成业务计算结果的重复利用,提高数据使用效率[17-18]。在数字化经济的驱动下,数据中台作为企业IT分层治理架构的转型之道,成为解决传统信息系统重复建设、烟囱林立、资源分散、数据壁垒的有效手段。

为适应新形势下电力行业的发展趋势,整合公司项目资源,提炼共性业务需求,建立项目数据标准,统一项目数据源头,构建共享服务能力,本文以国家电网有限公司推进企业中台为契机,充分发挥项目中台的重要作用,将企业共性的项目管理和数据进行服务化处理,沉淀至数据中台,再以数据中台提供的大数据为依托,开展基于异构云平台和数据中台的电网企业项目管理智能化系统架构研究,将项目管理同质流程和共性数据整合为共享服务,供各专业管理应用调用,形成公司级的统一项目管理智能化系统架构,切实提升协同管理效率,为电网企业项目管理智能化系统的开发和应用奠定基础。

1 智能化系统需求分析

目前,国家电网公司的16个项目管理业务功能分散在10多个业务系统中,形成了项目数据多头管理、多方定义特点,各系统项目数据之间存在大量交集,由此生成了重复数据、脏数据与垃圾数据等,直接影响了项目数据的安全和有效属性;同时,各专业对于项目产生节点定义不一,造成项目基础数据不完整、不准确,管理维度、颗粒度不统一。再者,不断更迭的系统产生了大量数据,对业务管理工作带来的复杂和不确定性累计增加,杂乱无章、无源无序的数据池必定会成为企业发展的阻力。由此,本文以问题和目标导向为原则,分析电网企业项目管理智能化系统的关键点,提升项目智能化管理效率。

1)目前电网企业项目管理业务分散在多系统中,项目管理的流程、工具与数据复用化程度低,导致项目管理业务沉淀和积累少;同时分散的技术架构和业务模型无法快速响应日益增长的业务需求。多系统分散管理的现状,造成“信息孤岛”和“烟筒林立”,不利于项目数据信息的集成,限制了公司资源的优化配置、制约投资效率效益的进一步提升,也导致了项目重复建设、管理混乱、缺乏外部监管等问题,影响公司高质量发展。需结合电网企业项目管理业务需求,将其上升为“企业级”。

2)随着电网企业各类项目规模越来越大,项目运行方式也越来越复杂,采用传统的架构已经越发不能满足现实需要,需整合设计创新的项目管理智能化系统,使得项目管理更加行之有效,从而全面实现电网企业跨越式发展。

3)国家电网公司已通过统一数据模型CIM和数据中台建设,将多数据源进行了统一整合,但目前的数据中台仍缺乏数据分析和处理的工具与方法,对于数据的加工仍较原始,有必要将大数据技术引入到系统的架构设计中,实现对数据的深度挖掘和分析。同时,电网企业作为关系国民经济命脉和国家能源安全的国有重点骨干,企业性质决定了系统应在实现数据资源整合的同时,严格区分公有、混合与私有数据仓储,确保电网项目数据信息安全。大数据技术、异构云、区块链等技术为项目管理智能化系统的架构设计提供关键技术支撑。

2 智能化系统整体架构设计

2.1 技术路线

考虑到传统客户机/服务器结构与浏览器/服务器结构系统架构设计模式中存在的“信息孤岛”、“烟筒林立”等问题,分散的技术架构和业务模型已无法适应电网企业日益增长的业务需求。本文在电网企业既有系统分散、“数据中台”数据集成的条件下,遵循实用性、标准化、去耦合、数据驱动、适用性、可扩展性、安全性、先进成熟性与经济性的原则,以面向服务的架构体系(service oriented architecture,SOA)为理论依据,以微服务为实现形态,从技术层面提出基于数据驱动和消息组件集成的解决方法,通过设立微服务消息中间件,形成消息总线,可为整个系统形成一个简单的SOA,具体如图1与图2所示。

图1 基二数据驱动和消息组件集成的解决方法示意图Fig.1 Solution diagram based on data driven and message component integration

图2 项目管理智能化消息集成解决方案Fig.2 Project management intelligent message integration solution

系统在技术上围绕“服务路由”和“消息中心”,在数据来源上以数据中台提供的数据资产进行挖掘和分析处理,通过数据接口将数据集成于业务中心;利用消息组件集成各个原有系统,通过消息适配器供项目管理系统使用。技术上强调使用已有的现成组件和成熟技术,在构建、部署、测试与运维等方案中,尽量采用自动化服务;经过微服务接口和安全访问机制,提供给前端应用或外部访问。再者,分布式消息平台的应用,可以解决信息的单向获取问题,信息不再是等待被动查询而是可以主动发布给其他服务,为项目管理智能化系统提供两大核心功能:一是集成原有系统,在不修改原有系统的情况下,通过编写消息适配器来集成原有系统的数据;二是改变传统项目管理系统的使用模式,例如传统的操作往往是单一的请求/应答模式,通过分布式消息队列平台技术可以支持订阅/发布模式、广播模式、选举模式、会议模式与监听模式等等。

2.2 整体架构设计

以智能化管理为核心,集成全业务流程,基于异构云平台和数据中台,构建贯穿项目全生命周期的电网企业项目管理智能化系统,协同部门间工作,以数据整合与共享、实时监控、智能分析与信息柔性化管理模式进行系统的集成和部署。考虑电网企业项目管理的整体业务需求,同时适应项目管理在数据、决策与应用等维度的新技术需求,系统整体架构的设计遵循多级分布式体系架构思想,底层数据与前台应用分离,应用层、服务层、数据层与基础设施层各自相对独立,更加灵活的支持各业务功能服务,从而保证系统各层次的逻辑独立性、灵活可扩展性,项目管理智能化系统整体架构如图3所示。

图3 系统整体架构图Fig.3 Overall system architecture

由图3可以看出,项目管理智能化系统的整体架构从平台架构角度分为:异构云平台、数据中台、项目管理中台、多形态应用。

2.2.1 异构云平台

从平台角度看,异构云平台是由专有云(国网云)、公有云(阿里云、华为云等)、省公司云(二级从云平台)组成的,包括运行在云平台之上的物理设施、计算资源和存储资源。

2.2.2 数据中台

数据中台的基础是数据资产,包括大数据仓库(如HBASE)、分布式数据库(如Redis)、传统的关系型数据库(如Oracle、MySQL)以及项目账本(区块链),本质上区块链也是一种分布式数据库。数据中台为整个系统提供数据分析和数据处理功能,通过数据服务提供数据接口来发布数据。数据中台本质上是集成原有系统数据的平台,为项目管理智能化提供数据支持。

2.2.3 项目管理中台

项目管理中台本质上是微服务平台、消息组件平台和运行保障平台,通过将业务按四个核心管理模块(项目管控、项目流程、项目辅助决策、项目评价)包装为一组业务微服务、数据微服务和消息处理微服务,进而完成整个系统的核心功能。

2.2.4 多形态应用

整个系统的前端为多形态,包括桌面端、手机端、微信小程序、公众号等形态,可以通过短信和邮件推送完成项目进度信息推送和预警。

3 智能化系统核心架构设计

3.1 业务架构设计

依据电网项目管理的基本流程,设立四个管理模块:项目管控模块、项目流程模块、项目辅助决策模块和项目评价模块,各管理模块在业务上既相互独立又互相联系,其业务架构如图4所示。

图4 系统业务架构图Fig.4 System business architecture

3.1.1 项目管控模块

项目管控模块含有项目储备管理、合同管理、采购管理、计划管理、资产管理与项目账本等。项目储备管理包括储备报送、储备审核、评分评级与项目立项等;合同管理包括合同的新建、修改、删除和查询等;采购管理包括供应商管理;计划管理包括项目下达、年度计划编制下达等;资产管理包括预算编制、预算下达、预算调整、资产汇总与资产明细等;项目账本包含项目基本信息、业务信息、采购信息(供应商信息)与进度信息等。通过区块链技术实现项目信息的唯一性、安全性、共享性和可追溯。

3.1.2 项目流程模块

负责管理项目全寿命周期的工作流部分,包括工作流的定义和执行。通过与计划模板比较,发现进度异常,按照预定义流程通知到相应人员,根据轻重缓急设定告警级别,并利用邮件、微信等手段通知。当进度出现未来可能的告警前,进行预先通知,如已接近最后的时效期,通知到有关人员。

3.1.3 项目辅助决策模块

通过运行大数据平台提供的分析算法,对正在运行中的项目进行实时分析。将实时分析中发现的项目风险问题与大数据分析结合,进行风险评估;同时,运用人工智能和大数据技术为项目管理者提供决策辅助;综合大数据提供的历史项目数据,进行项目核准备案,进而,通过合规监测保障项目正常运行。

3.1.4 项目评价模块

针对项目运行过程中的所有经济指标进行跟踪和监测,实时核算项目经济效益。参照大数据分析对项目进行验收评估并结合项目历史库进行项目趋势分析。利用机器学习积累项目知识图谱,为人工智能算法提供数据来源。项目完成后,进行项目整体评价,以深度优先的方式构建回溯空间,进行归纳总结进入问题库,为同类项目储备与立项提供依据;对于最终完成的项目,进入项目历史库,完成项目信息的积累。

3.2 数据架构设计

数据架构承接数据中台,数据中台对于项目管理智能化系统而言是一种数据资产,通过数据层提供的数据接入工具来接入数据中台数据,并通过数据抽取工具进行数据清洗加工转到数据存储层。在数据存储层,按照Hadoop分布式文件系统来存储管理数据仓库。此外,数据集成也包括对于分布式消息队列的序列化存储工作。通过资源的统一调度,系统可以实现并行计算,以通过各种大数据算法来挖掘项目信息的数据价值。在数据大脑层还提供全文搜索和数据可视化服务,数据接口具有丰富的连接方式,数据架构设计如图5所示。

图5 系统数据架构图Fig.5 System data architecture diagram

3.2.1 数据集成层

数据集成层由数据接入、数据抽取工具、分布式消息队列、文件上传FTP与外部接口组成。数据接入主要是对接数据平台和其他业务系统的关系型数据库,如Oracle与SQLServer等,也包括对接文件数据等其他数据。通过数据ETL抽取工具抽取来自分布的、异构数据源中的数据和关系数据。数据集成层集成了分布式消息队列的序列化存储,将需要物理存储的消息进行存储。通过FTP等接口上传项目文档附件。此外,数据接入预留了外部接口供二次开发新类型的数据整合方案。

3.2.2 数据资产层

数据资产层由分布式文件系统、分布式数据库与数据仓库构成。分布式文件系统适合大文件的存储,为大数据并行计算提供支持,分布式数据库支持文档的全文搜索等功能实现。数据仓库包括HIVE和HBASE两个部分:HIVE用于构建系统的数据仓库,处理大数据量的离线处理工作;HBASE适合对大数据进行实时查询和海量存储,离散型数据的支持。

项目管理智能化系统将在国网现有的区块链技术研究基础上,运用“一主两侧多从”的设计思路建立项目账本,包含项目基本信息(主链)、供应商信息(数据侧链)、采购信息(交易侧链)、计划信息和问题信息(省公司从链)等基本数据。将项目的基本信息(如项目ID与名称),加上业务补充信息、采购信息与进度信息等核心部分通过区块联盟链的方式建立起来,在联盟中共享和共同维护(包括国网公司或子公司、可信的采购供应商、施工单位等),通过区块链作为分布式数据库的特性,数据保存在多个节点,通过消息组件进行数据同步更新,具体如图6所示。

图6 区块链在项目管理智能化系统的应用Fig.6 Application of blockchain in project management intelligent system

应用好区块链需要做好以下重要保障:首先是确定在区块链中保存的项目账本应该是项目的核心信息(主链);其次,应用区块链的前提条件是要对现有项目信息进行统一标准化,如项目ID与名称等均需有统一规范的设计;然后,运用联盟链等技术,构建数据侧和交易侧信息共享,推进区块链与能源系统进行深度融合,进而在未来形成能源区块链。最后,通过国网总部、省公司的主从关系维护共有数据。

3.2.3 数据大脑层

数据大脑层由统一资源调度、数据智能、数据安全、机器学习、数据挖掘与数据处理引擎组成。统一资源调度是一种资源管理器,可为应用提供统一的资源管理和调度,为大数据集群在利用率和数据共享等方面带来好处。数据智能即结合大数据和人工智能算法两种技术来为系统提供数据计算算法支持,特别是对于项目辅助决策管理的支持以及项目评价管理的支持。数据安全指通过数据安全服务来为系统的各个子功能(微服务)提供数据安全开发接口,完成各种数据安全操作。机器学习是指经过大数据采集和抽取对积累的数据资产进行机器学习以为数据智能和决策支持算法提供基础。通过属性筛选、聚类分析、关联分析、时间序列分析和回归预测等数据挖掘手段从海量项目数据中搜索和挖掘数据价值,为项目辅助决策提供依据。运用数据处理引擎Spark完成SQL查询、文本处理与机器学习等各种运算。

3.2.4 数据接口层

数据接口具有丰富的连接方式,如API接口、Restful接口、消息推送订阅、短信/推送与FTP/Socket接口。支持多种编程开发语言进行二次开发的应用程序接口(application programming interface,API);支持表述性状态传递(representational state transfer,REST)风格的API;基于典型的HTTP或HTTPS协议,利用HTTP的GET,POST,DELETE,PUT方法对应业务数据的增加-检索-更新-删除(create-retrieve-update-delete,CRUD);数据消息订阅是完成诸如数据传递完成之类的集成通知消息的发布和订阅、数据消息推送订阅的接口服务;外部文件传输协议(file transfer protocol,FTP)和 Socket接口可以通过 FTP 提交文件,通过Socket接口访问数据大脑的功能。

项目管理智能化系统将充分利用数据中台建设成果,以数据中台提供的大数据为依托,利用多源数据融合与数据挖掘技术应用数据中台成果,综合运用各种算法对项目数据展开深入分析与挖掘。采用创新的“数据大脑”技术作为分布式底层的数据处理平台框架。使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据,它的设计是从单个服务器扩展到数千个机器,每个都提供本地计算和存储。通过建立分布式文件系统,将数据中台的数据进行集成存储。大数据分析平台的建立为应用人工智能算法提供了基础,最终实现智能化的数据价值挖掘。

3.3 技术架构设计

按照SOA设计理念,基于数据驱动和消息组件集成解决方案的架构模式,以软件分层的设计理念设计系统技术架构,具体如图7所示。

图7 系统技术架构Fig.7 System technical architecture

基于异构云平台和数据中台,项目管理智能化系统在云平台的基础设施之上,利用SOA服务能力组件构建业务应用,其中各组件应用场景及能力如下:

3.3.1 基础设施层

基础设施层提供通用的计算、存储与网络等服务。计算服务提供基于虚拟机、容器与裸金属等计算环境构建业务应用,同时提供图形处理器(graphics processing unit,GPU)计算与存量虚拟化接入等能力。存储服务支持块存储、对象存储和文件存储等数据存储方式。网络服务提供专用网络虚拟机(virtual PC,VPC)、负载均衡和虚拟防火墙等能力。基础设施层由专有云(国网云)、公有云(阿里云、华为云等)、省公司云(二级从云平台)组成。

3.3.2 数据访问层

提供大数据平台基础设施,HIVE,HBASE,Spark,PIG等大数据应用在内的数据架构,充分利用已建成的数据平台基础,同时利用数据采集、抽取工具,加上丰富的大数据算法,为项目管理过程决策提供强大的数据保证和丰富的分析计算服务。

3.3.3 消息服务层

消息服务层通过部署kafka消息组件平台,建立消息总线和消息适配器,实现以下功能:1)通过编写具有消息转换器、过滤器和聚合器的组件传递消息;2)通过消息路由器和消息适配器形成消息总线来集成原有系统;3)提供项目信息的请求应答、订阅发布、广播与监听等多种获取手段;4)改变项目管理流程被动式为主动式,如推送进度告警;5)增加项目管理的时效性;6)实现整个系统面向服务和去耦合的架构思想。

3.3.4 业务支撑层

业务支撑层通过各种自动化的服务来完成系统的运维保障,通过Docker Swarm来实现容器化集群部署,通过Jenkins来实现自动化构建,通过Hue来实现集群监控,通过Flume搜集日志。通过Gitlab来管理代码和持续演进等。

3.3.5 应用层

应用层支持多形态的前端应用,当前的前端应用早已不再局限于传统的桌面或Web页面形态及手机应用形态,而是具有更多新的形态,包括微信小程序、公众号与手机推送等。当前架构支持以上所有形态,如:1)项目进度告警通过手机推送消息到用户手机端弹出;2)通过短信集成,用户收到项目进度报告;3)施工单位在现场通过微信小程序上报进度;4)供应商通过公众号获取招标信息和招标结果;5)管理者通过手机收到项目经济指标分析报告等。

3.4 部署架构设计

项目管理智能化系统的部署涉及国网公司项目管理智能化、国网公司数据中台、省公司项目管理智能化、省公司数据中台以及前台应用五部分内容。两级项目管理智能化之间通过数据中台建立数据传输通道。核心项目信息(项目账本)以区块链技术(分布式数据库)在国网公司和省公司、各省公司之间共享信息,以消息组件平台进行数据同步、数据发布和一致性检查。

在项目管理智能化系统中,既存在国网公司和各省公司之间需要共享的信息,也有需要与供应商、施工单位等外部单位共同分析的业务数据,同时还会涉及到高安全要求的敏感信息,因此,以去中心化为目标,采用异构云平台的方式进行部署,如图8所示。

图8 异构于平台部署结构Fig.8 Deployment structure of heterogeneous cloud platform

通过部署国网总部云和省公司云的二级部署方式,建立可信的安全机制确保各部分间的通信安全和数据安全。同时,利用部分公有云的能力(如阿里云的消息推送、腾讯云的微信小程序整合等能力),为部分功能应用提供云平台支持,最终部署利用区块链实现去中心化,达到各个计算节点间的平等、可替代与可横向扩充。

4 智能化系统的初步实现

以国网项目中台储备中心模块的初步实现为例,对项目管控模块中的项目储备管理进行分析介绍。项目中台储备中心用于公司各专项的项目统一储备管理,用户范围主要有:省公司及下属的各地市公司和各直属单位综合计划相关人员、各专项人员,省市经研院所相关人员以及评审专家。项目中台储备中心模块总体概览界面如图9所示。

图9 项目中台储备中心模块总体概览界面Fig.9 General overview interface of project platform reserve center module

图9所示界面展示了项目储备整体情况以及项目批复情况。项目储备分析专业统计展示各专项的项目储备情况;项目储备分析单位统计展示选中专项的各下属单位项目储备情况;储备进度完成率展示当年项目储备规模的完成率;储备项目同比展示当年储备项目与上一年储备项目同比分析情况;储备项目批复统计展示储备项目完成批量情况。项目中台储备中心模块是项目中台前端应用系统的核心应用模块之一,主要包括项目需求管理、项目立项管理、可研评审管理、项目储备管理、模版配置等功能,不同功能的界面具体如图10所示。

图10 项目中台储备中心模块功能界面Fig.10 Functional interface of project platform reserve center module

图10所示项目中台储备中心模块功能界面中的项目需求管理功能界面由问题库管理和需求库管理两部分构成;项目立项管理功能界面由项目立项、立项审核、立项项目库与评审计划挂接构成;可研评审管理功能界面由评审批次管理/查询、评审计划管理、可研评审管理/分析、评审专家库与评审自查项配置构成;项目储备管理功能界面由储备库管理、分级排序与储备分析构成。项目储备是指以公司发展规划为指导,以满足项目需求为根本,以经过可研论证的项目作为综合计划项目储备,包括电网基建、小型基建、生产大修、生产辅助大修、生产技改、生产辅助技改、零星购置、市场营销投入、研究开发、信息化、管理咨询、教育培训、股权投资等专业项目。项目按照专业类别、电压等级进行归类,并按项目实施的重要性、轻重缓急等进行排序,是提交综合计划的项目唯一来源。综上分析,项目中台储备中心模块初步实现了从项目需求、立项、可研评审到储备管理的全过程管理,相较分散的业务模型,将有助于国网公司项目储备管理业务的良性发展。

5 结论

本文利用区块链、大数据、异构云和分布式消息队列等关键技术,提出了基于异构云和数据中台的项目管理智能化系统架构。分别通过业务架构设计、数据架构设计、技术架构设计与部署架构设计对所提项目管理智能化系统架构进行了详细分析。所提架构为企业级管理系统架构,实现了项目管理数据的资源整合;同时,该架构是一种“多规合一”的服务平台,具有横向扁平协同、纵向垂直贯通的特点,能够推进电网企业项目管理信息系统架构向“微应用”“大中台”“强后台”演进,实现了数据标准统一、流程精简高效、服务动态多元等。以期将项目规划、储备、执行、竣工、后评估等各环节整合,优化项目管理模式,为电网公司项目管理新业态、新模式和新技术的发展提供有效支撑。

猜你喜欢
储备架构项目管理
基于FPGA的RNN硬件加速架构
装配式EPC总承包项目管理
释放钾肥储备正当时
基于大数据分析的集合式EPC总承包项目管理软件技术的应用
项目管理在科研项目管理中的应用
现代企业(2021年2期)2021-07-20 07:56:54
功能架构在电子电气架构开发中的应用和实践
汽车工程(2021年12期)2021-03-08 02:34:30
国家储备林:为未来储备绿色宝藏
绿色中国(2019年19期)2019-11-26 07:13:20
未来如何更高效地进行工程项目管理
LSN DCI EVPN VxLAN组网架构研究及实现
电信科学(2017年6期)2017-07-01 15:45:17
外汇储备去哪儿了
支点(2017年3期)2017-03-29 08:31:38