姜进成,赵慧杰
(兖矿集团有限公司,山东 邹城 273500)
“大数据”、“云计算”、“移动互联网”、“可穿戴设备”、“区块链”,这些都是未来IT 技术发展的核心,每一项内容对企业信息化管理都带来了很大的转变,其中大数据带来的颠覆和冲击最为明显,而在企业大数据应用过程中,主数据管理又是最基础的一项工作,如果忽视了主数据的管理,对大数据分析、应用也带来很大的困难,影响数据分析结果。
主数据(MD Master Data)指系统间共享数据(例如,客户、供应商、物料和组织部门相关数据)。主数据是指具有高业务价值的、可在企业内跨业务部门被重复使用并在各业务应用系统间高度共享的基础数据,具有特征一致性、识别唯一性、长期有效性、交易稳定性四大特征。与记录业务活动、波动较大的交易数据相比,主数据变化缓慢,是基础数据,具有稳定性、非交易性的特征。主数据必须进行正确维护,才能业务系统的参照完整性。
主数据管理系统(MDM)是管理主数据的系统,包含了对企业主数据数据采集、创建、管理、分发、监控等覆盖企业主数据的整个生命周期管理的功能。MDM 可以通过规则配置、数据建模、应用建模、流程建模建立业务模型,MDM 能与 MES、SRM、ERP 等不同系统对接,方便从企业异构系统中采集、分发数据,对企业核心数据,如物料、供应商、客户、组织、人员进行集中管理,实现企业核心数据的一致、规范、共享,增加企业的跨业务协调能力,提升企业数据的价值,促进企业生产效率。
大型企业主数据较多,管理难度大,本文以物料主数据为例,按照项目实施的实践,介绍主数据治理的过程。
大型企业物料主数据数据量大,基本视图通常能够达到几十万条,业务视图多达几百万条,收集与清洗工作量巨大。通常说信息化系统三分技术,七分实施,十二分数据,进去的是垃圾,出来肯定也是垃圾。因此需要精心组织,才能有序开展企业信息化建设。
开展主数据收集工作前,制定计划,明确物料主数据收集迁移培训、确认各单位使用物料范围、物料主数据收集、物料主数据清洗、物料主数据确认、增量物料主数据收集、物料主数据导入的时间节点,确定物料主数据收集策略、物料主数据收集模板。
众所周知信息化建设是“一把手”工程,主数据收集参与单位多,治理难度大,企业高层同样需要高度重视主数据治理,召开动员会,明确工作目标,宣贯工作内容与时间节点,同时制定考核激励机制,按照规定的时间节点进行检查考核,在集团范围内进行通报各单位的数据整理结果,确保主数据治理能够按期完成。
数据工作需要一个完整的机制来支持数据治理工作的开展,而人员组织是其中的重要组成部分,还需要有一个完善的组织和机制来保障系统上线后的数据完整性,明确数据维护的流程与技术平台。
1.3.1 建立组织
主数据管理工作是一个复杂、长期性的工程,为确保主数据管理工作有条不紊地进行,企业需要建立主数据管理组织机构,分为决策层、管理层、执行层,组织机构图如图1 所示:
图1 企业组织机构
主数据管理委员会是主数据管理的决策机构,企业总经理任委员会主任,信息化分管领导及相关业务分管领导任委员会成员。
主数据管理委员会下设主数据管理办公室,是主数据管理的常设机构。
各主数据主管部门、专家组和技术支持组是主数据管理工作的具体执行组织,对各类主数据进行归口管理(主数据标准管理、主数据全生命周期管理、主数据质量管理、主数据安全管理等)。
明确组织之后,各单位提报各岗位人员,并在主数据管理系统配置。
1.3.2 建立流程
在项目实施及后续系统维护过程中,要充分考虑数据的维护和整理需求,为数据的维护以及编码的申请、审批、编制、使用、查询、废弃等工作制定相应的工作流程,保障数据增加、变更方便快捷。
1.3.3 确定技术平台
进行数据管理需要一套完整主数据管理系统,管理主数据人员组织、权限、数据维护流程、数据筛选清洗,保障数据质量。同时考虑主数据管理系统与业务系统之间的数据传输、共享方式与技术实现。
主数据管理系统应具备完整的主数据生命周期管理、数据采集治理、工作流和数据录入、良好的安全控制及角色管理、数据发布、数据监控与分析、数据模型等核心功能。
主数据收集涉及单位众多,各单位数据收集人员对主数据的认识也各有不同,因此培训就尤其重要,为了保证培训效果,要制定培训计划,分批进行培训,配合视频教学,使每一位参与人员都能够掌握主数据收集的工作方法。
做了上述前期准备工作之后,进入数据收集阶段。数据收集按以下步骤进行。
1)分配任务,按单位按照数据收集模板展开收集工作。
2)数据收集按照挑选、收集、检查、修正的步骤循环完善,如图2 所示。
图2 数据收集
3)按单位汇总、核对、确认,导入新系统。需要说明的是,数据的确认需要各单位签字、盖章进行确认,提高各单位对数据质量的重视程度,同时保障数据的质量。
4)主数据收集清理进度跟踪。为了确保主数据收集时间进度,在数据收集过程中,需要及时跟踪工作进展,按每天、每周方式进行,如图3 所示:
图3 主数据收集清理进度跟踪
为加强和规范企业主数据管理,强化主数据治理,持续提高企业主数据标准化水平和数据质量,明确主数据管理部门及职责和程序,统一数据标准,为企业数据资产管理提供保障,需要制定主数据管理办法,建立制度保障。将管理组织、职责分工、管理流程、考核制度以文件的方式固定下下来。主数据管理制度坚持“统一标准、集中管控、专业负责、分级审核”的原则,进行管理组织、管理机制、监督考核机制等内容的构建。
在主数据治理项目实践过程中通常会遇到各类问题,归纳起来主要有人员投入、部门协调、计划执行、数据模板等方面的问题,从项目实践的角度,提出以下应对方法。
1)问题描述。对数据收集要求的理解不准确,或不认真对待;负责部门推动能力不足,各单位主收集人员日常工作忙,投入有限。
2)应对方法。各上线单位要高度重视,单位负责人合理安排数据收集人员工作,适当安排其他人员承担一部分数据收集人员的现有工作;各单位数据负责人,要全面负责且参与数据整理、确保数据的真实准确。
1)问题描述。跨部门数据收集核对工作量大,且存在数据口径差异、数据缺乏结构性等问题,提交上来的数据没有互相核对。
2)应对方法:跨部门数据收集核对工作量大,要由各单位数据对接人组织各部门协同,保障进度。数据收集过程中多次核对、反复校对。
1)问题描述。对于跨部门的数据收集难协调,未能计划完成数据收集工作。提报数据时间滞后。
2)应对方法。明确各单位主数据收集迁移工作计划,对每一项工作任务每天跟踪,确保项目进度。各单位数据组组长应花精力投入到数据收集清洗工作中,按时、保质督促各部门完成数据收集、核对工作。
1)问题描述。不按模板填写数据,擅自修改格式,导致数据不规范,数据格式不一致,无法互相比对;数据项缺失,部分数据收集不全,尤其是跨部门数据;数据点位数错误,有非法字符、张冠李戴。
2)应对方法。加强人员培训,必要时由项目组关键用户对各公司数据收集人进行针对性培训;强调数据收集模板重要性,严格按照数据收集要求进行;对模板要求需要认真理解,对主数据管理系统及业务系统要求逻辑需要认真理解。
主数据管理是一项长期的系统工程,不是一次动用大量的人员一次性治理就能完成,需要按照制定的管理制度与管理流程,持续进行优化完善,否则花大力气整理的数据经过一段时间运行后又会变得混乱,总之主数据治理知易行难,企业要坚持不懈的做好这项工作。