主数据全生命周期管理在航空行业的应用

2020-11-14 08:51杨绍雄韩戈白陈柯闫龙
网络安全技术与应用 2020年11期
关键词:数据仓库航空器数据管理

◆杨绍雄 韩戈白 陈柯 闫龙

行业与应用安全

主数据全生命周期管理在航空行业的应用

◆杨绍雄1韩戈白1陈柯2闫龙2

(1.中国电子科技集团公司第二十八研究所 江苏 210000;2.中部战区空军保障部信息保障室 北京 100000)

现阶段,航空行业中围绕航空器的数据使用与管理现状展现出数据定义及表示模糊、数据整合率低、数据质量低和数据不可追溯的问题。为了解决这些问题,本文梳理出以航空器为核心的航空行业主数据,并建设主数据全生命周期管理平台,通过元数据管理、数据标准管理、质量规则管理和作业工厂等功能完成对主数据的全生命周期管理,构建高整合、高质量、多主题、可溯源的数据仓库,为后续数据商店、数据同步和数据分析等数据应用提供了坚实的数据基础。

主数据;全生命周期管理;数据治理

随着航空行业信息化建设的不断推进,围绕航空器产生的数据变得愈发复杂,不同的业务系统在进行数据管理时可能遇到数据定义不清晰、数据整合率低、数据质量低和数据不可追溯等问题,使提高各系统中的业务连贯性和数据完整性变得困难,对核心业务实体的跨业务协同和跨系统共享成了挑战。

1 航空行业数据使用现状与主数据全生命周期管理

1.1 航空行业数据使用现状

当前各个航空部门业务信息化建设逐渐普及,围绕航空器从研制、订购到使用、维修的业务流程都将产生大量可追溯的数据。但各个部门的业务系统各自为政,烟囱林立,与航空器相关的重要数据散布在各个业务系统中,使得在处理跨部门、跨业务的综合分析时会遇到以下问题:

(1)数据定义及表示模糊

同一类数据在不同业务系统中各自表述方法、管理方法和统计方法不一致导致不同部门中的核心数据产生差异,数据定义的不准确、数据标准的缺失以及不统一的编码方式使数据变更、整合和交互过程变得困难[1]。

(2)数据整合率低

围绕航空器产生的数据涵盖从研制直至退役的全系统、全寿命、全要素的周期管理活动,业务种类繁多。航空器各个生命周期的活动由不同的业务部门负责,数据散布在各个业务之中,并且部门之间横、纵向业务关系复杂,导致数据整合率低,缺失对数据的整体视角。同时,分散的数据缺乏统一标准,导致数据对照和映射关系复杂,影响了业务数据整合的及时性和准确率。

(3)数据质量低

数据在使用过程中不可避免地产生了偏差,导致数据产生缺失、错误和冗余等现象,数据整体价值降低,无法满足各业务部门对管理对象的精细化管理需求[2]。

(4)数据不可追溯

对数据的产生、使用和变更等行为缺少信息化管理工具和手段,信息在业务部门之间的流转缺少记录,使得数据缺少可追溯的完整数据链。当出现问题时无法快速定位问题来源,确定责任人和寻找解决方法,影响问题解决的速度。

1.2 主数据全生命周期管理技术概论

(1)主数据

主数据(Master Data)是指具有高度业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,是单一准确、权威的数据来源[3-5]。

与业务型和分析型数据相比,主数据具有特征一致性、识别唯一性、长期有效性和业务稳定性几个特征[6]。特征一致性是指主数据在各业务流程的运转和数据分析的对象层次中活动的特征一致。识别唯一性主要体现在同一主数据实体在不同的场合需要有唯一的标识。长期有效性是指主数据对象贯穿了整个业务周期的活动范围,同时也表达了主数据自身应具有长期稳定不变的特性。业务稳定性体现在主数据本身的特征不会随着业务的演变而变化,能广泛应用于不同的业务需求,是随时能支撑业务活动的关键数据。

(2)主数据全生命周期管理

主数据的全生命周期是指主数据从获取、转化、校验、发布、申请、分发、应用、变更到最终核销的整个生命历程。对主数据整个生命周期的集中管理称为主数据全生命周期管理,这种集中管理体系改变了原本分散管理中的平台不统一、流程不一致、标准有差异、严重依靠人工检验等问题,实现了从分散到集中、从片面到全局、从人工非专业到自动化作业流程管理的转变,完成了高质量并且唯一准确和规范的主数据建设,为各个部门业务活动流转、数据分析报表和决策分析提供了坚实的基础[7-9]。

2 主数据全生命周期管理构建关键功能

为解决航空行业数据使用现状体现出来的几个缺陷,本文设计和建设的主数据管理平台中几个重要的功能设计如下。

2.1 主数据识别

要对主数据进行管理,首要任务就是对业务活动进行梳理,识别业务问题,定义主数据主题区域[10]。航空行业的关键主数据可以定义为通用数据、航空器、组织机构和人员、供应商和客户、保障设备器材、设施、财务、项目、知识类信息等几大类[11]。

2.2 元数据与数据标准

元数据是指描述数据的数据,其使用目的在于识别资源、评价资源、追踪资源在使用过程中的变化,实现简单高效地管理大量数据,信息资源的有效发现、查找、一体化组织和对使用资源的有效管理[8]。在物理层面,对底层各个业务库的数据表的元数据定义越精准,整个主数据管理越有效。

数据标准定义了各种主数据对象的编码体系,提供了主数据对象的编码和变更流程,包括业务对象的数据项定义、域定义、枚举值范围和数据来源等,为业务之中的数据交互提供了标准。

通过对元数据的准确定义和数据标准的实施可以有效解决数据定义和表示模糊的问题,为主数据管理打下坚实的基础。

2.3 质量规则

质量规则主要包括编码规则、引用规则和字段校验规则,是驱动数据质量检查的核心要素。编码规则与数据标准相辅相成,为数据中字段的编码方式提供准则,统一引入平台中的数据字段定义。引用规则为字段提供标准的枚举值范围。字段校验规则主要为数据字段提供多种规范化方法。数据质量管理通过对数据表的字段设置质量规则,对平台中流转的数据进行自动检查,识别出重复、缺失和错误的数据,并通过计算机自动修正与人工干预相结合的方法去除噪声数据,提高数据的整体质量,为航空行业对数据精细化管理提供保障[12]。

2.4 作业工厂

作业工厂模块主要以自动化作业的形式管理接入平台的主数据获取、转化、校验、发布过程,形成以主数据为核心的数据仓库。数据仓库是面向主题的、集成的、非易失的并且随时间变化的数据集合,用以支持经验管理中的决策制定过程。因此数据仓库侧重于从决策者的角度来组织数据,将数据整合、分类成多种主题的数据集合。

作业管理搭配数据源配置和数据分类配置,可以将多个异种数据源的数据按照不同的主题集成,通过给表项打上分类标签来进行数据多维度的整合。

同时,通过在数据转化过程中队数据表添加数据来源、作业时间等作业字段,使整个数据流转过程有源可溯。而数据仓库的非易失性和随时间变化的特性表明存在于数据仓库的数据是按时间累加的数据,可以从不同版本的数据中推算数据演变过程,实现对数据来源和变化的完整记录。

通过作业管理形成以主数据为核心的数据仓库,使平台内的数据从不同的维度高度整合,并且可以追溯数据生成和演变的全过程。

作业工厂最终完成对数据的发布,可供用户申请和使用。整个主数据的全生命周期管理如图1所示。

3 总结

本文针对航空行业围绕航空器的数据使用过程体现出来的缺陷,设计实现了主数据全生命周期管理平台。本文首先通过梳理航空行业各部门实际业务需求,整理出以航空器为核心的主数据。通过主数据管理平台中的元数据和数据标准管理来统一并准确地定义每一个数据表项,避免数据实体在不同业务中识别困难的问题。通过质量规则设置和质量检查筛选出有噪声的数据并进行修正,提高数据整体质量。通过作业工厂来管理数据的获取、转换、校验和发布过程,形成高整合、多主题、可溯源的数据仓库,供后续数据分析和商业智能等数据应用提供优质的数据基础。

图1 主数据全生命周期管理

[1]邓林. 主数据管理系统在大型企业中的应用[J]. 炼油与化工,2019,30(02):59-61.

[2]宋金玉,陈爽,郭大鹏,等. 数据质量及数据清洗方法[J]. 指挥信息系统与技术,2013,004(005):63-70.

[3]王春丽. 基于主数据管理的数据共享平台设计[J]. 电脑编程技巧与维护,2019(9).

[4]欧志洪,胡天牧,康永 . 浅谈主数据管理应用问题治理[J]. 电子世界,2018.

[5]赵飞. 基于全生命周期的主数据管理:MDM 详解与实践[M]. 北京:清华大学出版社,2015:66.

[6]张玉爽. 企业主数据管理方法研究及实践[J]. 现代信息科技,2019,3(05):117-119.

[7]和轶东,张怡,曹乃刚.SAP MDM 主数据管理[M]. 北京:清华大学出版社,2013:1-3.

[8]房俊彦. 集团型企业的主数据管理[J]. 信息与电脑(理论版),2019,420(02):162-163.

[9]罗莉.主数据管理在信息化建设中的应用[J]. 电子世界,2012(7).

[10]陈亚杰,董俊,郑芳霖,王洋.浅析企业信息化发展之主数据管理[J]. 船舶标准化工程师,2015(4).

[11]亓东霞,马琳,张永京,等. 企业业务主数据建设与应用研究[J]. 数字技术与应用,2019(6).

[12]魏健,叶安娜,杨春. 指挥信息系统数据质量评估指标体系[J]. 指挥信息系统与技术,2020(002):85-88,93.

猜你喜欢
数据仓库航空器数据管理
企业级BOM数据管理概要
定制化汽车制造的数据管理分析
基于层次聚类的航空器群识别方法
航发叶片工艺文件数据管理技术研究
基于数据仓库的数据倾斜解决方案研究
数据挖掘在学生成绩数据管理中的应用研究
数据挖掘在学生成绩数据管理中的应用研究
基于ADS-B的航空器测高系统误差评估方法
探析电力系统调度中数据仓库技术的应用
数据仓库系统设计与实现