陈柯宇 孙韵 官庆 刘新 任晓翠
摘 要 基于西南油气田公司页岩气数据集成共享需求,本文在结合各业务系统业务现状及页岩气特殊业务分析基础上,确定了页岩气主数据范围及标准,构建了数据治理框架体系,并依托公司主数据管理系统,实现了公司层面各业务系统页岩气主数据的完整性、唯一性、规范性、一致性、关联性。并且通过应用实践,有效支撑了智能分析平台数据业务。
关键词 页岩气;主数据;数据治理;方法应用
引言
主数据是指在整个企业范围内被多个应用系统共享的、相对静态的、核心的、高价值的数据,也称企业基准数据。主数据能够创建和维护相关领域各业务及系统数据的一致性、完整性、相关性和准确性。因此页岩气主数据治理是实现页岩气数据集中管理与共享核心任务,为油气田“智能页岩气田建设”夯实数据基础。
1页岩气主数据治理流程设计
主数据治理流程分为三大部分,分别为数据质控、数据入库、数据分发。
①数据质控:主数据经过问题发现、问题整改、数据库修改3个阶段来发现数据质量问题、治理问题数据,确保主数据的唯一性、准确性。②数据入库:将质控正确的主数据通过ETL工具,加载到主数据管理平台数据库。③数据分发:借助公司主数据管理平台,将正确的页岩气主数据分发至各个业务系统,实现各个业务系统页岩气数据一致性[1]。
2頁岩气主数据治理实施
2.1 页岩气主数据治理评估
(1)主数据范围确定:对各业务系统页岩气业务数据使用情况进行梳理,然后由数据治理专家组结合页岩气实际数据使用情况和页岩气特色业务进行分析,形成分公司范围内一致的、完整的、准确的页岩气核心业务数据。
(2)主数据标准规范:依托分公司主数据管理平台,建立页岩气主数据命名规范、模型标准规范、编码规范、主数据关联关系及主数据准确性、完整性业务逻辑规则,制定全生命周期的质量管理流程。
列:井名命名规范:①井号最长不能超过50个字符;②命名结构:井名+井号;③井号若出现重复时,需进行重复处理;若某一构造中一个井号重复需更改时,则这一构造上的所有井号应按相同原则全部更改。④井号中的阿拉伯数字、英文字母或特殊字符(如“-”)保持不变。⑤井号中的罗马数字需转变成相应的阿拉伯数字;如Ⅰ、Ⅱ分别转变成1、2。
(3)主数据差异分析:对不同类型的主数据,各确定一个相对权威数据源系统,然后将其他各业务系统的数据,依次与权威源系统数据进行对比分析,将权威源系统缺失的信息或疑似一致的信息(列:主数据名称命名不规范,实为同一个主数据;如‘宁209H27-1和‘宁209H27-1实为同一口井)梳理总结,形成差异分析报告以及差异分析表。
(4)主数据信息收集:将主数据差异分析结果派发至各业务单位,由各业务单位确认反馈。
(5)主数据问题整改:将各单位反馈的主数据进行整理清写,并在数据库临时环境中进行更新完善。
(6)主数据治理评估:按照数据治理的规范流程从完整性、唯一性、规范性、一致性、关联性五个方面对更新后的数据开展数据治理评估工作,对评估结果不满足的主数据再次进行信息反馈确认。
2.2 页岩气主数据入库管理
(1)主数据管理系统入库:数据治理技术组通过ETL工具,将确认后的权威主数据信息从临时环境加载到主数据管理系统。
(2)业务系统入库:借助主数据管理平台,将分公司页岩气主数据信息分发至各业务系统。至此,实现了公司所有业务系统页岩气主数据的完整性、唯一性、规范性、一致性、关联性[2]。
3结束语
数据质量是保证数据应用的基础,本文通过对页岩气主数据进行治理,确保主数据规范“五性”,即:完整性、规范性、唯一性、准确性、关联性。避免各应用系统相互共享数据形成网状结构,同时能够保证对外提供准确、一致的数据。通过数据治理提升数据质量,为生产态势感知提供精准数据支撑,通过建立数据标准、规范,构建数据治理架构,实现和完善数据共享机制从而帮助油田单位通过数据分析和复用降低成本提高效益。
参考文献
[1] 续瑾成.浅谈数据治理在数据质量管理中的作用[J].中国管理信息化,2016,31(18):192.
[2] 张琼文.试论数据治理在数据质量管理中的作用[J].通讯世界,2017,28(3):140-141.
作者简介
陈柯宇(1987-),男;毕业院校:西南石油大学,专业:电信科技,学历:学士学位,职称:工程师,现就职单位:中国石油西南油气田公司通信与信息技术中心,研究方向:信息系统研发和运维。