一种基于中台技术的数据治理解决方案

付国宝, 宋兴云, 赵仁宏

中远海运科技股份有限公司, 上海 200135)

0 引 言

近年来,互联网、大数据、云计算、人工智能和区块链等技术得到了迅速发展,并逐渐融入到了经济社会发展的各个领域中,数字经济发展速度之快、辐射范围之广、影响程度之深前所未有,正在成为重组全球要素资源、重塑全球经济结构和改变全球竞争格局的关键力量[1]。加快数字化发展,建设数字中国,是顺应新发展阶段的形势变化,抢抓信息革命机遇,构筑国家竞争新优势,加快建成社会主义现代化强国的内在要求,是贯彻新发展理念,推动社会高质量发展的战略举措,是推动构建新发展格局,建设现代化经济体系的必由之路[2]。

面对数字经济的新机遇、新挑战,能否通过数据驱动业务获得更好的用户体验和更高的组织效能决定着企业的未来(不仅仅是利润问题),能否快速应对市场变化决定着企业的生死,因此企业数字化转型势在必行。

本文结合某企业的数字化转型需求,从企业数字化场景入手,以数据中台的理念为基础,设计一种基于中台技术的数据治理解决方案,通过该方案打通企业的数据壁垒,形成企业数据资产,实现企业高效化服务、精准化治理和数字化决策,提升企业的经营管理水平。

1 问题的提出

案例企业是一家以信息化项目建设、产品开发和运营服务为主要业务的高科技企业。随着信息技术的不断发展,该企业以管理的信息化和规范化为目标,以行政办公、运营、生产、质量和安全等各类信息化系统的建设和运维为主营业务,基本上实现了业务流程的线上化,提升了企业的经营管理水平和工作效率。但是,面对数字化转型的挑战,当前该企业仍面临以下问题:

1) 各系统由不同的业务部门基于各自的管理需求独立建设,企业经营管理的业务数据散落在各系统中,未进行整合,形成了信息孤岛,企业数据的价值未得到最大化体现;

2) 各系统是在不同时期开发的,采用的技术方案不同,且基于独立的技术平台和数据库运行,系统间数据共享和对接的难度较大,严重阻碍了企业数据的共享;

3) 业务的不断发展使得各系统频繁升级,造成数据加工、整合和应用等链条中经常出现异常数据,严重影响数据的准确性;

4) 各系统以PC(Personal Computer)端操作为主,移动端应用不足,严重影响了数据的及时性和决策效率。

2 数字化场景的定义

案例企业从经营决策数据的准确性和及时性、各系统的数据共享和企业的运行效率等方面入手,提出数字化运营、数字化作业、数字化交易和数字化办公等4个场景,聚焦主业赋能和员工赋能,实现企业管理上的数据驱动、高效协同和智能决策。数字化场景业务图见图1。

图1 数字化场景业务图

2.1 数字化运营

以企业关键绩效指标(Key Performance Indicator,KPI)考核为切入点,面向企业的高层领导和管理层,以运营、采购、项目、科技和生产安全等场景的管理考核为视角,全面提升运营管理的数字化水平。

1) 企业概览:面向高层领导,通过对各类核心指标进行延展分析,帮助高层领导快速直观地掌握各业务板块的发展现状和企业的总体科研情况,进行偏差分析。

2) 运营管理主题分析:面向管理层,对年度KPI考核的进度进行展示和偏差分析,并对各指标进行相关的辅助分析。

3) 采购管理主题分析:面向管理层,通过对采购KPI、采购效益、采购进度、供应商、采购品类和采购支付进行全面监控和分析,帮助管理层实时、全面、直观地掌握企业的采购现状,有效提升采购效率,挖掘优质供应商资源。

4) 项目管理主题分析:面向高层领导及相关管理人员、事业部领导和项目经理等,根据项目总体情况和单个项目的具体情况,向相关使用人员提供宏观和微观层面的辅助分析。

5) 科技管理主题分析:面向管理层,通过对科研成果进行多维分析,便于管理者更快速、更有针对性地根据科技管理运行现状调整偏差,规划未来。

6) 生产安全主题分析:面向管理层,通过对隐患监控、安全风险监控、公告及应急管理等安全管控重点环节进行全面监管和分析,帮助管理者直观、全面地掌握安全生产风险、隐患现状和安全管控效果。

2.2 数字化作业

围绕企业产品生产、项目实施、IT(Internet Technology)项目开发与运维和生产安全等日常作业场景,以员工操作和资源管控等作业场景为视角,通过标准化、信息化和数字化手段逐步提升企业的数字化作业效能。

1) 项目助手:建设项目管理移动助手,帮助项目经理随时随地、及时准确地查看项目的运行和收支情况,跟踪审批进度,实现项目进度和各类工作汇报的自动化、智能化填报,实现项目现场与企业本部管理的信息共享和高效协同。

2) 生产安全助手:建立生产安全移动助手,完成生产安全在线检查和上报,同时为生产安全主题分析提供数据源,实现生产安全主题分析。

3) 物业租赁管理系统:基于企业管理系统,围绕物业资源、客户资源、财务管理和经营管理等4个基本功能模块开展物业信息化建设,解决物业板块流程管理与业务管理相分割、数据重复录入、管控缺乏唯一性和管理功能不健全等问题。

2.3 数字化交易

围绕企业的市场经营战略,持续完善企业的管理流程,将企业交易数据与第三方数据融合,以客户、供应商、项目和商机等交易场景为视角,全面提升市场经营全生命周期的自动化、智能化管理能力和客户的数字化管理能力。

1) 客户资信管理:通过企业管理系统与第三方资信服务商的数据集成,结合企业管理中的客户信息和历史合同执行信息,实现客户资信评级。

2) 经营池项目管理:优化企业管理系统重点经营项目跟踪功能,与投标信息相关联,自动更新经营状态和结果信息。

3) 招投标管理:拓展现有的招投标信息管理模块功能,实现企业业绩、人员业绩、企业资质、人员资质和企业基础信息等公共数据的固化和复用,减少市场人员的重复低效劳动,提升事业部投标工作的效率。

4) BI(Business Intelligence)看板分析:基于自助报表平台,实现市场经营数据的自助分析。

5) 成果与商机:建设成果与商机应用,实现企业跨部门的市场机会协同和成果共享。

2.4 数字化办公

建立健全企业信息资源汇集和共享机制,进一步实现办公自动化、公文流转无纸化和各部门高效协同,以会议、访客和用车等行政办公场景为视角,实现对企业运营决策的智能化支持,形成精简高效的移动化、数字化办公环境。

1) 会议管理:建立会议管理移动应用,对企业的会议室进行分级管理,员工能通过移动设备预定会议室,并发送会议通知。会议中涉及的资料可线上保存分享,可扫描二维码进行现场签到。会后可线上检索参加的历次会议的信息。

2) 访客管理:建立访客管理移动应用,满足员工访客预约工作需求,记录访客的基本信息,并通过系统对各行程节点的任务进行安排,跟踪各节点的任务完成情况。

3) 车辆管理:建立车辆管理移动应用,实现用车申请、用车记录、费用登记和车辆调度等功能,在规范各部门用车的同时,提高协调效率,减少人工统计工作量。

3 数据中台解决方案

通过对案例企业数字化场景的需求进行分析,建立企业数据中台,打通各系统的数据壁垒,将数据变为企业资产,依托数据资产提升企业的核心竞争力。数据中台基于“一个基础、一个标准、业务独立”的原则设计,在保持各系统业务数据相对独立的前提下,制定统一的数据交换标准,实现企业各系统间的数据集成和共享;建立一个集中各系统数据的基础数据仓库,基于该数据仓库进行数据建模、分析和应用。

3.1 平台架构规划

结合案例企业数字化场景的实际需求规划数据中台平台架构。基于数据中台的平台总体架构规划框图见图2,由数据源、数据中台和数据应用等3部分组成。

图2 基于数据中台的平台总体架构规划框图

1) 数据源:包括企业管理系统、移动应用、第三方系统和线下文件等,为数字化场景实践提供数据基础。

2) 数据中台:包括平台管理、数据采集、数据建模、数据仓库和数据服务。平台管理是保证数据中台正常运行的基础,提供用户认证、任务调度、数据权限和运行监控等基础服务;数据采集通过接口、数据库、消息队列(Message Quene,MQ)和文件导入等方式获取各种类型的数据源,并将其存储在数据仓库中;数据建模根据数据主题和分析维度建立统一且规范的多维数据模型;数据仓库用于存储数据,对通过数据治理得到的业务数据和基于业务类型划分的数据主题进行归类,形成企业数据资产;数据服务提供面向应用的数据共享服务。

3) 数据应用:包括报表分析工具和移动应用等,通过数据中台的数据服务获取数据,实现企业数字化运营、数字化作业、数字化交易和数字化办公。

3.2 平台架构设计

基于数据源、数据中台和数据应用等3部分进行平台架构设计,见图3。

图3 平台架构设计图

1) 数据源:以数据库直连、应用程序接口(Application Programming Interface,API)对接、Excel和CSV(Comma-Separated Values)文件导入等方式向数据中台提供数据源。

2) 数据中台:由数据采集、数据仓库、数据建模、数据服务、数据资产管理和平台管理组成。

(1) 数据采集:通过ETL(Extract-Transform-Load)工具或Excel、CSV等文件导入的方式进行数据采集。数据采集支持增量采集和全量采集,可实现批量传输、加密传输和断点续传。在采集数据过程中,可对数据进行切分和合并等。

(2) 数据仓库:采用分层存储的方式进行数据存储,各层数据之间无跨层关联。数据贴源层用于存储通过数据采集获取的原始数据,并按源系统分类存储;事实明细层根据源系统业务事实对贴源层数据进行过滤和筛选等操作;数据汇总层将清洗过的事实数据划分为不同的主题,梳理每个主题的分析维度,按主题,通过多维业务模型和模型开发工具进行数据建模,根据各指标的维度、属性等对各主题进行关联,形成宽表;数据应用层按业务场景对建模之后得到的数据进行划分,用于后续进行业务查询和数据分析。

(3) 数据建模:提供多维业务模型、模型开发工具和规则引擎,为建立良好的数据模型提供基础;内置的算法库搭配计算引擎,提供高效的数据挖掘服务;数据标签可对数据应用场景进行分类,实现数据画像。

(4) 数据服务:以API的形式对外提供数据共享服务,包含API从创建、发布、调用到下线的全生命周期管理和API授权管理。

(5) 数据资产管理:包含元数据管理、数据血缘、数据全生命周期管理和数据标准。元数据管理对数据仓库中的各种数据资源进行有效组织、描述和管理,实现数据资产的可发现性和可理解性,并提升其可信度;数据血缘自动解析并建立各数据表的关联关系,实现数据回溯;数据全生命周期管理可设置数据表的生命周期,方便及时清除过期数据,降低数据存储压力;数据标准即数据开发规范,通过制定代码结构、任务命名、时间格式、代码格式、周期调度配置和参数配置等方面的规范,保障数据的健康。

(6) 平台管理:通过任务调度定时、自动进行数据采集;通过Kafka消息队列实现对数据的实时处理;大数据实时计算引擎能将流处理与批处理统一起来[3];运行监控用于监控任务运行情况,方便进行异常排查;通过租户管理、用户管理、权限管理和数据权限实现用户认证服务。

3) 数据应用:为实现数字化场景所需的应用服务,可通过数据应用实时或延时获取数据中台共享的数据,并进行数据查询、可视化分析和报表分析等。

4 平台应用效果

通过建设数据中台,企业的数据采集、数据处理、数据分析和数据应用的效率得到了显著提升,数字化转型取得了初步成效。该平台建成之前,企业的经营、运营和人事等数据分散在不同的系统中,企业经营决策所需数据支撑依赖于各系统的报表数据导出和人工整合;各系统的报表数据受主数据不一致和分析维度不同等因素影响,加工处理的复杂度较高;移动应用不足使得协同办公受到限制,数据分析和决策的及时性受到影响。该平台建成之后,基于统一的数据交换标准,实时、定时对各系统进行数据采集,能极大地缩短获取数据所需时间,提升企业的服务水平;通过数据治理建立了统一规范的数据模型,针对各数字化场景建立了特定的数据域,提升了数据整合和分析效率,实现了精准化治理;通过项目助手和生产安全助手等移动应用实现了企业高效协同;通过数字化运营看板分析和自助BI看板分析,以企业管理核心指标为导向,企业管理者可实时掌握企业的经营情况,并深入挖掘企业的信息,进行智能化决策。

5 结 语

本文所述数据中台整合了企业各系统中的项目、采购、运营、经营、科技和安全等方面的数据,通过数据治理形成了数据资产,能为企业的数字化转型提供有效的数据支撑,使企业的经营管理水平上一个新的台阶。数字化转型是一个不断探索的过程,未来企业可以数据中台技术为基础,持续进行应用整合,建立共享数据中心,统一门户、统一身份认证等,不断优化企业的内部资源配置;同时,不断扩充数据源,拓展更多的数字化应用场景,实现更多的数据创新。