采油与地面工程运行管理系统商业智能体系的建设及应用

2019-05-29 07:43王晓冬
油气田地面工程 2019年5期
关键词:商业智能数据仓库管理系统

王晓冬

大庆油田工程有限公司

石油是现代工业的支柱,也是重要的战略资源。在石油的勘探与生产领域,采油(采气)工程和地面工程是其核心组成部分。在采油(采气)工程、地面工程信息系统的运行过程中,产生了大量的历史数据。如何利用这些历史数据来分析业务指标,为各级管理层提供决策依据,是采油与地面工程运行管理系统商业智能体系的建设目标和工作内容。

1 项目介绍

采油与地面工程运行管理系统(A5)是中国石油“十二五”信息化总体规划中勘探开发与管道项目(A)中的一个重要项目。采油与地面工程运行管理系统对采油(采气)工程、地面工程生产过程中的管理、运行、投资成本和质量进行有效控制,建立在用的井、间、站、库、设备、装置、管道、电力、道路等设施的统一、标准、完善的运行管理系统,实现了数据管理系统强大的图文数字处理与分析功能[1]。

采油与地面工程运行管理系统划分为门户网站、个人工作台、采油工程、地面工程、系统管理五个子系统。采油工程和地面工程是核心业务系统。采油工程包括规划与方案、完井管理、采油生产、采气生产、注入生产、井下作业管理、综合管理等七个模块,需要分析的业务指标包括采油生产指标、采气生产指标和注入生产指标。地面工程包括前期管理、建设管理、生产管理、生产辅助管理和综合管理五个模块,需要分析的业务指标包括生产管理指标和生产辅助管理指标。

2 建设思路

商业智能是加特纳集团(Gartner Group)1996年最早提出[2],是用来帮助企业更好地利用大量的业务数据、提高决策质量的技术集合。商业智能借助现代信息技术,从大量的业务数据中提取知识和挖掘有用的信息,以一种更清晰的角度呈现给用户。商业智能能够为勘探评价、关键方案编制、产能建设和开发炼化等业务提供决策[3],使油田的各级决策者获得知识和洞察力。

建设采油与地面工程运行管理系统商业智能体系(图1),需充分利用已建A类系统和16家油气田公司自建系统中的数据。基于ELT技术对勘探与生产技术数据管理系统(A1)、油气水井生产数据管理系统(A2)、中国石油地理信息系统(A4)、油气生产物联网系统(A11)和各油气田公司自建系统中所需要的业务数据进行抽取、装载和转换,建设数据仓库,转换后的数据按照已建A类系统数据标准结合A5数据标准来设计,这样有利于在中国石油内部统一设计标准,提高工作效率,缩短设计周期[4]。基于OLAP技术设计业务模型,通过钻取、切片和旋转等方法多维度透视数据,以表格、图形等形式实现工况分析、指标对比分析、生产变化趋势分析、效果评价、故障诊断、节能降耗效果分析,实现对项目运行的科学评价,为油田采油与地面工程系统管理、优化简化等各项工作提供数据及信息支持,为各级领导及部门决策提供依据。

3 构建数据仓库

数据仓库是商业智能体系的基石,是一个面向主题、集成、随时间变化,但信息本身相对稳定的数据集合[5],出于分析和决策支持目的而创建,采用反范式的规则来设计,设计原则有意引入冗余。而传统的数据库是面向事务的,存储在线交易数据,采用符合范式的规则来设计,设计原则尽量避免冗余。数据仓库中的数据在从分散的数据源抽取的基础上转换和汇总得到,须统一数据标准,消除源数据中的不一致性。

3.1 数据抽取与转换

构建数据仓库,除了需要采油与地面工程运行管理系统自身的业务数据,还需要从A1、A2、A4、A11和16家油气田公司自建系统中获取业务数据。数据的抽取、装载、转换基于ELT技术,ELT是构建数据仓库的基础,ELT从数据源抽取所需的数据,将数据加载到目标数据源,在目标数据源进行数据转换。ELT技术和传统的ETL技术不同,传统的ETL技术需要先将抽取的数据放置在ETL服务器上,在ETL服务器上转换、标准化即将入库的数据[6],最后装载到目标数据仓库。ELT技术不使用单独的服务器做数据转换,而是利用现有的关系型数据库做数据转换,减少网络带宽的占用,优化磁盘读写效率,降低了投入成本。数据转换过程在目标数据仓库端执行,ELT可以保持数据始终在数据库中,避免了数据的频繁加载和导出,通过数据库性能调优,ELT的效率可以达到ETL的3倍。

图1 采油与地面工程运行管理系统商业智能体系Fig.1 Business intelligence system for the oil production and surface engineering operation management system

数据抽取的过程是主动拉取而非推送。从A1系统抽取的数据包括钻井信息、完井信息、套管数据;从A2系统抽取的数据包括井基本信息、井筒数据、采油生产日数据和采油生产状态日数据;从A4系统抽取的数据包括地面基础设施的空间信息和拓扑信息;从A11系统抽取的数据包括采出井增产措施,注入井增注措施,站库、管线的基础数据,抽油机井示功图、电流和电压,站库流量、压力和温度;从16家油气田公司自建系统抽取的数据包括抽油机、螺杆泵、电泵动液面测试数据,抽油机、螺杆泵、电泵系统效率,分层测试成果和验封测试成果。数据抽取分为全量抽取和增量抽取两种方式,增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。对于不存在时间戳的数据,如油气水井基本信息、井筒、套管、工区,采用全量抽取的方式;对于存在时间戳的数据,如采油生产日数据、采油生产状态日数据,采用增量抽取的方式。抽取完成后经过字段映射,装载到数据仓库的临时表中,按照数据标准进行数据加工,对井ID、单位名称、井别中的空值进行补全,对采出方式、驱替方式进行域值转换,将井下作业的油水管记录拆分为油井杆管档案和水井管柱档案,对油水井测试数据进行列整合。

3.2 建立数据模型

数据仓库的两个元素是维表和事实表。维表是维度属性的集合,表示分析问题和观察数据的特定角度,事实表里存放要查询的数据。事实表的非主键属性称为事实,一般都是可以计算的数据,维表是文字、时间类型的数据。数据仓库中常见的多维分析模型是雪花模型和星型模型。星型模型是指类似星星一样的结构,中心是一个事实表[7],周围是一组维表,每一个维度都直接与事实表连接。星型模型是一种非正规的结构,不存在渐变维度,数据有一定的冗余。雪花模型将一部分维表扩展为事实表,这部分维表没有直接连接事实表,通过其他维表连接到事实表。雪花模型是基于范式的,雪花模型在一定程度上减少了冗余,结构更规范化,但由于关联多层维表,查询性能比星型模型低。

采油与地面工程运行管理系统的数据仓库采用星型模型构建,相比OLTP系统,数据仓库的查询性能更加重要,雪花模型会降低数据仓库的查询性能。数据在抽取、装载、转换完成后存入临时表,根据采油生产、采气生产和地面工程的业务需求进行后续的数据处理。以注入生产业务为例,首先根据业务需求和数据标准建立时间月维表、组织机构维表、井别维表、注入方式维表、驱替方式维表。将注入井月数据存入临时表,根据月维度、组织机构维度、井别维度、注入方式维度、驱替方式维度进行数据过滤和字段映射,将处理完成的数据插入注入生产月数据事实表。注入生产月数据事实表与时间月维表、组织机构维表、井别维表、注入方式维表、驱替方式维表共同构成注入生产业务星型模型(图2)。

图2 注入生产星型模型Fig.2 Star model of injection production

4 业务指标建立与展示

基于数据仓库的数据模型,使用OLAP工具建立业务指标,以注入生产为例,在物理层连接采油与地面工程运行管理系统的数据仓库。基于物理层在逻辑层构建业务模型,定义注入生产业务模型与物理模型间映射关系,定义事实表和维表的主外键关系,定义维表的层次和事实表的度量,对维表中的时间月维度与组织机构维度向下钻取,形成年-月、总部-公司-厂名-矿名-队名的多层维度,对事实表中的免修期、注入井总数、分注率等进行求和、计数、百分比等聚集运算。建立表示层的主题区域,隐藏不需要的技术术语,去掉业务不关心的字段INJECTION_ID、MONTH_ID,形成从用户视角进行描述的业务指标。注入生产业务模型映射见图3。

主题区域建立完成后,通过OLAP工具将主题区域的业务指标和维拖拽到表格和图形的坐标轴上,设置图形类别,添加用户仪表盘,将业务指标按照目录分类,保存后发布。在采油与地面工程运行管理系统的Web页面即可查看发布后的业务指标,点击油气田公司的柱状图可以向下钻取到厂级的分注率(图4)。

图3 注入生产业务模型映射Fig.3 Business model mapping of injection production

图4 油气田公司分注率钻取Fig.4 Drill down separate injection rate for oil and gas field companies

5 结束语

随着油田数字化建设的日益深化,商业智能扮演着越来越重要的角色。采油与地面工程运行管理系统商业智能体系的建设及应用完成了对中国石油上游业务采油(采气)生产、地面工程大量数据的抽取、加载、转换工作及相关业务指标的分析,可为企业的各级领导及部门决策提供依据。

中国石油自产柴油乘LR2型油轮赴欧

5月5日,装载着辽阳石化和锦州石化生产的近9×104t超低硫柴油,“百老汇”(STI Broadway)号油轮从辽宁锦州港拔锚起航,驶往位于意大利西北部的热那亚港。这是中国石油国际事业有限公司首次将集团公司自产柴油用LR2型油轮销往欧洲市场,成为公司开拓国际高端高效市场的又一重大突破。这是国际事业公司发挥协同创效作用,海外营销能力和交易能力不断提高的体现。

近年来,随着亚太地区新增炼能的投产,区内市场愈加饱和,国际事业公司积极开辟区外销售渠道以缓解销售压力,同时实现出口效益最大化,本次出口将有助于推进系统内柴油出口欧洲市场的常态化。

此次柴油出口,国际事业公司发挥一体化优势,采取“拼车”的运输方式。LR2型油轮是10×104t级油轮,较常规5×104t级船型节省运费约70万美元。亚洲到欧洲的海上运输航程约30天,是国际石油贸易最长的航线之一。亚洲至欧洲的成品油跨市交易由于交货路程远、地区油品品质差异大,计价公式不同,属于实货贸易中最为复杂、技术含量最高的贸易。国际事业公司协同运作,落实出口通关手续,提前进行市场开发和分析,抓住有利时机锁定跨市价差,成功实现大船跨市至欧洲市场。

来源:中国石油新闻中心网站

猜你喜欢
商业智能数据仓库管理系统
基于James的院内邮件管理系统的实现
基于数据仓库的数据倾斜解决方案研究
基于数据仓库的住房城乡建设信息系统整合研究
基于LED联动显示的违停管理系统
什么是商业智能?它的定义和解决方案
海盾压载水管理系统
关于实时商业智能的文献综述
探析电力系统调度中数据仓库技术的应用
广东省高速公路联网综合信息商业智能系统
基于数据仓库的数据分析探索与实践