马承杰
(中国石化胜利油田分公司信息化管理中心)
中国石化胜利油田分公司(简称胜利油田)作为传统能源企业,已经走过60年的勘探开发历程。多年来,油田持续推进“两化深度融合”[1],实现了油田主要业务信息应用的全覆盖,助力业务提质增效。但面对企业数字化转型发展提出的新要求,由于缺乏统一集成、共享复用的云平台体系支撑,带来信息系统多、杂、散,系统架构、开发语言、数据访问方式繁杂,系统间数据共享和联动难度大等问题。“十三五”期间,胜利油田通过攻关研究与应用实践,探索形成了“数据+平台+应用”信息化建设新模式,为油田企业数字化转型发展提供了数据与平台支撑。
胜利油田信息化建设起步早,信息化经历了百花齐放的快速发展阶段。在满足业务需求的同时,带来的共性问题也逐渐显现,主要表现为以下3个方面:
一是系统数量过多,系统功能重复问题严重。胜利油田2017年开展了信息系统全面梳理与分析,油田在用信息系统达到501套,有60多套应用系统存在功能重复问题,包括二级单位信息系统与油田级信息系统功能重复、二级单位间系统功能重复、二级单位内部系统功能重复。系统应用效果明显、一般、较差的所占比例分别为65%、22%、13%。
二是部分信息系统技术标准不统一。由于缺乏标准化、一体化的企业级研发环境,油田信息化建设引入过多研发团队,不同公司的技术架构各异,开发语言不同,功能模块难以复用,造成所开发信息系统的研发周期长、运维成本高、集成难度大等问题。
三是部分信息系统间数据不共享。信息系统应用架构封闭,系统单独建立数据库,数据标准不统一,造成了系统数据集成共享不足、数据重复录入、人工计算再录入等问题,加重了基层人员的工作负担,因专业数据口径不一、版本不一,影响业务运行与决策部署。
导致上述问题的原因较多,有信息技术方面的,也有信息化管理方面的。综合分析可归纳为3个方面:一是信息化建设管理机制方面的原因。根据信息系统“瀑布式”开发模式,信息化建设管理侧重项目前期和验收阶段的管理,对于系统研发过程与运行评估等环节缺乏有效管控手段,导致系统实际功能与设计不符、研发周期难以控制,项目以信息系统为提交成果,后期难以复用。二是缺少有效的技术管控手段。由于缺乏软件研发人员,油田信息系统开发依赖外部公司,因油田未建成统一的集成研发平台,不同的公司采用不同的技术框架和开发语言,导致各公司研发的系统难以功能复用,造成严重的信息孤岛现象。三是信息技术队伍建设和管理方面的原因。因未能深度介入系统研发过程,油田内部技术力量难以接受系统源代码等资源,造成系统后期运维严重依赖外部公司,形成信息系统运维“卡脖子”问题,油田信息技术能力逐步降低,难以满足核心技术与系统自主可控的发展要求。
2017年,中国石油化工集团有限公司(简称中国石化)开展了消除信息孤岛专项工作,提出了“一切系统皆上云,一切开发上平台”的工作思路。经过在云平台和数据治理方面的不断探索、持续推进,基本形成了适应企业数字化转型的“数据+平台+应用”信息化建设新模式。该模式的基础是数据,核心是平台,应用则是轻量化的APP,颠覆了传统的以应用为核心的建设模式,既是信息化工作自身数字化转型的核心举措,也是油田业务数字化转型的基本支撑。
近年来,胜利油田加快推进两化融合及生产物联网的全面建设,实现对生产前端的实时感知[2],勘探开发数据总量和数据类型均呈现快速增长的趋势,给数据资源管理带来了新的挑战。大数据、人工智能等建设与应用,对数据科学、有序管理和共享应用提出了更高要求,需要通过加强数据治理、构建油田数据湖,进一步提升数据资产化管理能力。
2.1.1 建成企业级数据中心,持续完善“采、存、管、用”数据资产化管理体系
采集方面,26家源头采集单位、2233个采集点,平均月采集数据270余万条,覆盖6个业务域13个专业;存储方面,存储86个油气田、2313个区块/单元、55963口井、374个地震工区结构化数据5.2亿条,非结构化数据172TB;管理方面,专业部门负责数据质量,动态分级管理,数据整体规范性达到了99.97%;推广勘探开发业务协同平台(EPBP),提升源头数据采集及协同能力,共研发1949个业务模块,扩展和新增模块占比75%,打造了中国石化EPBP2.0。
油田勘探开发、生产运行、综合研究等业务中,机器学习、图形识别、自然语言处理等新技术应用已由试点摸索转向推广普及。油田精细化管理的不断推进,业财融合、数据融合、数据联动等跨专业、跨类型的数据共享应用需求也越来越迫切。根据上述业务场景应用需求,需全面开展企业数据治理,建成油田企业数据湖,运行不同类型大数据工具,对海量数据进行大数据处理、实时分析和机器学习等操作,将数据加工成信息、将信息加工成知识,为业务提供知识化服务。
2.1.2 完成油田数字资产盘点,初步建成油田数据湖
覆盖胜利油田勘探开发、经营管理、生产运行等专业,建立数据资源业务分类,对各数据源进行梳理,同时理清数据支撑应用情况,明确数据归口责任,形成数据资源清单。经过初步测算,涉及200余套应用库和各类存储,累计结构化数据7亿余条记录,各类非结构化数据近2000TB。
基于油田基础设施云,搭建数据湖软硬件环境。设计数据入湖策略,根据各类数据实际情况,按照逻辑入湖和物理入湖两种方式入湖。针对不同的业务数据源,完成数据资源的入湖,实现对数据源状态的动态感知、数据源的抽取和加载[3]。
2.1.3 开展数据融合与关联,深度挖掘数据价值
利用复杂网络和数据自动化治理工具等人工智能技术[4],从数据模型、业务数据两个方面开展数据治理,建立全维度数据关系图谱,通过“一张图”全景展示数据维度及数据间关系,为发现隐藏在数据背后的规律和知识提供支撑,简化提升跨库跨表的综合应用能力和水平。
数据关系融合方面,应用复杂网络技术,基于元数据对入湖数据模型进行解析,构建湖、库、表、字段“四位一体”的数据关系图谱,实现数据关系融合。数据内容融合方面,针对结构化、图形文档、实时数据等不同数据类型,制定不同的融合策略,实现不同类型数据之间的融合,为跨类型、跨业务数据集成检索和联合应用提供基础。开展业务对象画像,设计面向业务对象画像的标签体系,完成井、设备、油藏等对象的标签建立,进行大数据画像[4]。
2.1.4 面向业务场景,提供高质高效的数据服务
基于数据湖建立了数据服务、服务集成、服务发布、服务申请、服务使用的管控流程,打造灵活、快速的数据服务定制能力,规范应用开发,提升支撑应用开发效率和业务应用能力。
制定数据服务规范。数据服务在支持传统应用的基础上,制定面向云上组件化应用和大数据智能化应用的数据服务规范。针对结构化、音视频、实时数据、GIS数据、体数据、文档图形6大类数据的特点设计服务规范。
实现数据服务提升与价值管理。通过对数据服务应用情况的跟踪与分析,评价数据服务能力及数据湖数据热度,持续提升数据服务水平,建立面向大数据和智能化的数据服务新理念。
参照国内外相关行业工业互联网平台的架构,结合中国石化业务特点及数字化转型发展需求,初步建成石化智云平台(图1),通过提供统一标准的公共服务,打造多方协同的持续交付中心,建立面向业务的APP和组件应用商店,解决信息孤岛难以根本消除、业务功能重复开发等问题。
图1 石化智云平台技术架构
2.2.1 企业级公共服务支撑体系
建设油田信息化各类公共服务,包括用户服务、流程服务、权限服务、日志服务等。建立公共服务管控中心,负责公共服务的集中接入和发布,相关公共服务的治理,服务状态和日志的详细审计,实现各类服务接口运行状态的实时监控和预警。
用户服务为油田各单位提供用户身份标识、用户账号认证、访问控制、单点登录等服务功能,实现用户生命周期的集约化管理、用户访问的统一入口,促进油田主要应用系统的集成。
流程服务实现业务流程的全生命周期管理,实现不同流程引擎的流程数据集成、展示及流程表单的打开,为油田的企业门户及其他业务系统提供统一的流程待办服务入口。
权限服务以油田现有的业务管理层级为蓝本,打造符合岗位化应用的权限分配、管控、应用体系;建立油田统一的、基于岗位的权限管控模型,实现各应用权限信息的集中管理和监控,通过统一的权限服务接口为各应用提供权限管控支持。
日志服务实现了一个高可用、高可靠、分布式的海量日志采集、聚合和传输系统。采用分布式部署方式对日志进行接收和处理,自动进行均衡负载。实现分布式搜索引擎支撑,支持时间文本索引和全文检索,提供丰富的API用于索引、检索、修改大多数配置,能够快速搜索数百亿的日志及TB级的数据。
服务管控中心提供了方便的服务注册功能,实现对接口服务的有效管理,可供运维人员和服务管控中心管理员进行各类服务详细指标的监控和相关故障排查。可实时监控原始服务的状态、服务运行状态及应用程序使用服务状态等,并提供最近1年的历史数据进行查询分析。
2.2.2 标准化软件开发体系
统一开发环境可实现基于XML的图形化编程功能、图形化开发与代码转换功能,通过图形操作的方式完成部分编码工作;封装固化云平台公共服务接口,形成统一开发环境中的业务构件,实现公共服务的集成复用、统一认证功能的集成应用;综合统一开发环境中业务构件和业务控件的管理与应用,形成油田统一的技术组件库;支持跨平台移动开发技术,实现1套代码兼容安卓、IOS、Windows等系统,降低开发复杂度。
建设持续交付中心,支持跨项目协作和项目群管理,提供需求、计划、开发、测试、部署、运维的一站式管理,实现从需求到发布的完整跟踪;支持项目迭代的规划和运行监督,提供项目的统一仪表盘;提供统一的在线代码仓库,实现统一代码管理规范,确保开发协同化,降低代码管理成本;支持统一的知识管理,集中管理项目的所有碎片信息,减少关键信息的搜集和整理成本;提供持续构建、持续测试、持续部署,支持自动化测试与部署,减少人为失误导致的部署故障,提高部署效率。
统一开发环境和持续支付中心的建设与应用,形成了企业级标准化软件研发体系,实现信息应用系统研发标准化、研发过程规范化,为一切开发上平台提供了研发环境支撑。
2.2.3 基于油田工业APP的软件装配体系
建设基于油田工业APP的软件工厂,形成组件共享、按岗定制的应用服务体系,为业务人员提供个性化应用环境,形成“量身、自主”和“一人一桌面”的业务应用新模式,打破勘探开发、生产运行、经营管理等核心业务边界。
工业APP应用商店实现了业务组件、技术组件等软件资源的统一管理、网络发布、授权共享和效果评价。从应用系统中将具有复用价值的功能解耦,通过标准化、规范化封装,实现油田核心业务的组件化,按照业务域体系建设,可复用的组件在工业APP中分类展示、导航查询。
应用门户整合油田各类信息资源、应用系统信息,以个性化定制的方式,为部门、个人建立灵活的工作门户,实现个性化定制,单点登录,及时推送相关信息,方便所有应用系统的应用。实现个性化门户应用,提供灵活的部署和管理工具,形成高度可伸缩的门户体系。从不同的用户视角,同时为领导、业务人员、开发者和研究人员提供服务。
2.2.4 构建“ABCD”四方协同工作方式
基于石化智云的系统建设改变了传统的信息化项目“甲乙方”建设组织模式,提出了“ABCD”四方工作模式。A方是传统信息建设模式下的甲方,是需求提出和项目管理方,相当于工程建设项目中的“业主”;B方是石化智云的平台服务方,负责平台运维和服务支持、资源配置等工作,相当于工程建设项目中的基础设施服务提供和运维者;C方是平台上的软件开发质控方,负责研发过程管控、组件部署测试、审查发布工作,相当于工程建设项目中的监理角色;D方是外部和内部软件研发服务队伍,负责组件、APP等的研发,相当于工程建设项目中的建筑公司。基于这种四方协同模式,需求方全程介入系统研发,确保功能交付质量;通过项目研发全生命周期在线运行,B、C方全面接收消化软件代码资源,为后期自主运维奠定基础。
在《工业互联网术语与定义(2019)》中,工业APP是基于工业互联网、承载工业知识和经验、满足特定需求的工业应用软件,是工业技术软件化的重要成果。在“数据+平台+应用”建设模式[5]中,基于数据湖和石化智云平台,建设油田板块工业APP群,沉淀勘探开发核心技术方法和管理模式,覆盖油田板块勘探开发、油气生产、工程管理等关键业务环节,实现关键业务环节技术和管理软件化。
在油田板块APP规划中,首先基于中国石化勘探开发业务模型的已有成果,对油田业务进行充分分析,完成全业务流程的完善与建模;然后从业务活动出发,分业务域完成APP规划,形成覆盖油田企业核心的业务APP规划成果;最后将APP成果纳入石化智云平台统一管理,指导油田板块信息应用建设。
2.3.1 完善油田业务模型
将EPBP、PCS等反映业务现状的分析成果融入业务模型中,重点将EPBP业务分析成果融入物化探、井筒工程等业务域,将PCS2.0业务分析成果融入油气开发生产、地面工程业务域,确保业务模型全面覆盖,符合油田业务现状。以全新的勘探开发业务模型为基础,开展规划原则、APP分类及规划步骤的方法论研究,依据方法论形成油田板块业务APP规划成果。
2.3.2 开展工业APP划分
工业APP必须有独立应用场景和实体对象,能独立运行;符合油田业务特点,解决业务过程中发生的问题,支撑业务高效运行;可满足石化内各油田企业业务应用;根据业务不断发展,能够快速容纳、扩展、集成新功能。
油田板块按照APP的应用范围,可分为业务类、管理类、通用类3类。(1)业务类APP。勘探开发工作固有流程,不随管理变化而变化,上下游关系基本不变,是找油采油必须要开展的工作。APP以推进业务“数字化、智能化、工具化”为主。(2)管理类APP。针对需要跨专业的协同管理业务,如井位部署、产能建设管理、能耗管控等,APP以推进业务“纵向贯通、横向协同”一体化运行为主;多个相关的业务类APP按照业务流程进行组合,可形成管理类APP。(3)通用类APP。针对不同专业间相同和近似业务,如视频监控、设备管理、安全环保等,APP通过“业务功能合并、顶层设计统一”进行整体规划。
按照油田板块工业APP规划的思路,完善勘探开发综合研究业务模型,完成综合研究业务域APP规划,划分综合研究APP 65个(图2),指导勘探开发综合研究APP的研发。
图2 勘探开发综合研究业务域APP规划
2.3.3 完成工业APP设计
在APP规划基础上,通过功能设计、数据分析、技术实现,参考“业务服务+数据服务+技术服务”的方式,进行APP的设计与开发。
APP功能设计,从功能名称、解决问题、功能描述、功能样例4个方面开展功能设计,复用业务组件并持续丰富业务中台[6],科学指导APP后续设计、研发。
APP数据分析,分析APP所需要的输入数据、计算方法、汇总统计方式、核心算法、输出数据等,业务数据统一由 “数据湖”提供,数据服务的接口要求遵循“数据湖”技术标准规范。
APP技术实现,承载油田业务核心技术方法,充分利用石化智云提供的基础服务、安全服务、移动服务、AI服务等,采用大数据[7]、人工智能等先进技术,确保APP的功能实用、安全、全覆盖。
2019年,石化智云平台在胜利油田全面推广应用,目前管理统一账号102733个,支撑215支业务流程运行,年业务办理量47万,日均办理量1303,完成280套业务系统的统一认证集成,发布了油气勘探、油气开发、生产运行等6大类业务域共531个工业APP,完成34套存量系统的云化改造和22套新建系统的上云上平台。
通过存量系统云化改造,形成了基于石化智云平台的“六步法”上云上平台技术方案。(1)系统功能划分。针对每个系统,划分满足独立业务需求的应用功能,确定所属业务域分类。(2)组件功能研发。按照业务需求,研发新建、完善组件功能。(3)组件服务化改造。根据云平台标准和技术规范,对业务组件进行用户、权限等公共服务改造。(4)组件注册与管理。根据业务分类,将业务组件注册到工业APP实现统一管理。(5)组件使用授权。根据使用权限,在权限服务中配置组织机构,角色和岗位信息完成用户授权。(6)门户定制应用。根据需求进行组件装配,按岗定制门户界面,支持业务上云应用。
通过胜利油田企业级数据湖建设,建立了整个数据湖的管理体系、技术体系、数据体系,形成了数据湖数据关系图谱、主数据标准、元数据标准、数据服务规范等,制定了数据治理试点推广模板、实施流程、配套制度。这些成果和经验可直接应用于中国石化其他油田企业,对于炼化等板块数据湖乃至中国石化总部数据湖建设具有指导和借鉴意义。
应用石化智云平台中各类公共服务,可以为信息化建设提供统一的公共服务支撑,有效降低了开发难度,可减少重复功能开发工作量10%~15%;打造了符合油田企业标准的软件开发体系, 提高了开发质量;通过建立开放式的云平台,实现业务组件和APP复用,支持了新建信息系统的高效研发,降低开发工作量20%~30%,大幅缩短开发周期。
2020年,胜利油田将上云上平台作为所有信息化项目的基本要求,基于石化智云的建设,构建平台服务体系和数据治理体系,应用数据湖技术提供统一的数据服务,共同打造企业APP应用集群;实现了由传统的“竖井式单体模式”向“数据+平台+应用”的云服务建设模式的转变。
“数据+平台+应用”建设模式已在胜利油田试点应用并初见成效,下一步将在中国石化各企业全面推广应用,建成中国石化总部、板块、企业的3级数据湖群,基于石化智云建设一批特定业务场景的APP应用,形成中国石化“一湖一云一群APP”的信息化新生态,全面推进中国石化企业数字化转型发展[8]。