企业数据中台建设和发展的思考

□ 文 孙 杰 高志国 张喆瑛

1 引言

产业互联网时代，企业数字化转型将成为一种趋势。数字化转型的本质是新一代信息技术驱动下的产业变革，企业的数字化转型是社会整体数字化转型中的一部分，并非一个孤立事件。数字化转型，业务是基础，核心是数据，那么如何充分发掘数据的价值，以数据指引业务决策并驱动业务增长，是企业推进数字化转型要思考的关键课题。数据中台着眼于企业数据资产汇集、数据开发建模、数据服务能力输出，全面赋能企业业务，是数字化转型中的技术核心。在我国数字化进程不断推进的背景下，企业的数字化转型正进入新的阶段，数据中台作用也越来越重要。

2 数据中台产生的背景、定义和特征

2.1 数据中台产生的背景

2010年后，随着移动互联网以及物联网的快速发展，数据爆炸式增长，各种数据服务需求不断涌现。但在传统IT建设方式下，企业的各种信息系统和数据库大多是独立采购或者独立建设的，新旧IT系统中沉淀的数据之间难以打通，导致企业内部形成一个个“数据孤岛”“数据烟囱”，分散割裂且不易形成可共享的数据服务，无法满足企业降本增效、高质量发展的诉求，因而成为企业在数字化转型过程中的一个最大痛点。在企业对数据服务和共享日益迫切的需求下，以构建数据资产体系、释放数据资产价值为核心的数据中台被推到了广阔的舞台中央，因此数据中台是数字化转型过程自然演进的结果。

2.2 数据中台的定义和特征

在企业IT架构日益复杂的今天，如何快速整合数据资产、发掘数据的价值进而形成多样化的数据服务能力，为企业生产管理、精细化运营、高效决策提供支撑，我们亟需一套数据管理和服务机制。数据中台就是一套可持续“让企业的数据用起来”的机制，是依据企业特有的业务模式和组织架构，通过有形的产品和方法论的支撑，构建一套持续不断把数据变成资产并服务于业务、运营、管理决策的机制。数据中台它以多样化的数据服务能力以及统一的数据标准、流程规范，加速了业务数据化、数据资产化、资产服务化的进程，帮助企业实现数据互联互通、资源协调和数据管理、数据集成和共享。

数据中台的特征：全、统、通，如图1所示。全域数据是汇集盘点企业所有数据资源，并将所有数据资源进行完整呈现，全域数据集成的目标是提供用户一站式的数据同步和数据处理的能力，允许用户在数据集成界面上通过简单高效的一站式操作完成数据开发和运维工作，且能有效降低运行成本，全域数据是构建数据应用的基础；统一规范就是让数据都遵循相同的标准，并且提供统一开放的数据服务接口，让更多的前台应用共享数据中台提供的标准化数据能力（比如：数据API，数据标签，数据监控等）；联接打通就是为了融合整个企业的全部数据，打通孤岛数据，消除数据标准和口径不一致的问题。通过联接打通，融合企业不同的技术架构、IT系统和数据，既保护现有投资，助力企业对历史海量数据的价值挖掘，同时把先进的数字技术与企业敏捷运营、精益管理融合起来，降低企业数据管理和运营的复杂度，实现面向未来的共同价值创造。

图1 数据中台的特征

3 数据中台的主要价值

在以客户为中心的时代，数据中台对数字化转型具有重要作用，在客户洞察、商业创新、效能提升等方面为企业带来巨大价值。具体来说，数据中台的主要价值包含以下三个层面：

1．以客户为中心，用洞察驱动企业稳健行动

在以客户为中心的时代，客户的观念和行为正在从根本上改变企业的经营方式以及企业与客户的互动方式。数据中台建设的核心目标就是以客户为中心的持续规模化创新，而数据中台的出现，将会极大提升企业数据的应用能力，将海量数据转化为高质量数据资产，为企业提供更深层的客户洞察，从而为客户提供更具个性化和智能化的产品和服务。譬如，数据中台能够汇聚全域数据，在标签管理、营销效果分析等应用上实现全域的闭环，优化对客户全生命周期的理解。此外，以数据中台为基础，通过数据化运营提升客户留存、复购和忠诚度，也得到诸多企业的认可。

2、以数据为基础，快速构建服务，加快企业商业创新。企业里存在海量的数据，只有依托算法和数据分析，才能对海量的数据产生精准洞察，应用到生产业务和运营中去，从而加快商业的创新。此外，数据中台提供标准的数据访问能力，简化集成复杂性、促进互操作性，在快速构建数据服务能力、加快商业创新、提升业务适配等方面，数据中台也发挥着重要的作用。

3、以效能为目标，全要素数据化运营，实现企业数据资产的持续增值。数据中台的目标是不断满足前端迅速变化的用户需求，通过数据化运营、持续交付、效能提升，更好支持业务发展和创新，驱动企业的数字化转型。面对纷繁复杂而又分散割裂的海量数据，数据中台不仅可以帮助企业聚合内部外数据，盘活全量数据，还可以快速构建各种各样的数据服务，打造持续增值的数据资产，实现数据可见、可用、可运营的目标，以数据来驱动决策和运营，不断深化企业数字化转型。

4 数据中台与BI、数据仓库、数据湖的区别

在企业中规划和实施数据中台项目的时候，总有人搞不明白商业智能BI、数据仓库、数据湖和数据中台的内涵与差异，这里我们也不妨做一下具体的区别分析。

1）数据中台与商业智能BI

商业智能BI更多的是做了用数据展示的工作，是一种滞后的业务数据分析，而用数据管理工作、用数据推动工作做得很少，所以BI偏重分析；数据中台则提出了数据渗透到整个业务的闭环中，用系统的方式推动工作、用数据的智能驱动业务创新，所以更实用和全面，并实时渗透到业务的全过程。

2）数据中台与数据仓库

数据仓库是提供所有类型数据支持的集合，出于数据分析性报告和决策支持目的而创建。数据中台是一个数据集成平台，它不仅仅是为数据分析挖掘而建，它更重要的功能是作为各个业务的数据源，为业务系统提供数据和计算服务。数据中台的本质就是“数据仓库+数据服务中间件”。数据中台构建这种服务时是考虑到可复用性的，每个服务就像一块积木，可以随意组合、非常灵活，有些个性化的需求在前台解决，这样就避免了重复建设，既省时、省力又省钱。

3）数据中台与数据湖

数据的聚集、加工的目的也是为了数据的服务，但是数据湖只是解决了聚集问题，在数据加工方面由于不可控制的需求变得异常繁重，由于数据的繁杂和混乱引入数据治理让数据的加工更是举步维艰。

数据仓库、数据湖、BI主要是围绕“读”数据展开的，强调利用数据的能力，而不修改数据，而数据中台则不单提供数据，同时强调围绕数据的各种形式的服务，一旦涉及数据的“写”，又提供通用的服务，就变成了主数据管理了。但是站在灵活性上来说，数据中台，主要解决的还是数据“读”的能力的聚集和向多方赋能。

5 数据中台的整体架构

数据中台的整体架构如图2所示，数据中台是位于数据底座云平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底层云平台的技术复杂性，降低对技术人才的需求，让数据的使用成本更低。通过数据中台的数据汇聚、数据开发，建立企业数据资产，形成数据体系。通过数据资产管理、数据服务管理把数据资产转变为不同的数据服务能力，服务于企业各种业务。数据安全管理、数据运营体系保障数据中台可以长期健康、持续运转。数据中台通过各种数据应用衔接内外用户，为它们提供快速决策响应、精细化运营及服务支撑等，让数据业务化，更好地驱动业务发展和创新。

图2 数据中台整体架构

1）数据底座是数据中台诞生的重要基础。数字化转型是利用数字技术，把企业各环节要素数字化，推动要素资源配置优化、业务流程生产方式重组变革，从而提高企业经济效率的过程，其中数字基础设施是生产工具，数据是生产资料。以云计算为核心，融合人工智能、大数据等技术，创新应用开发和部署工具，可加速数据的流通、汇集、处理和价值挖掘，有效提升企业应用的生产率。如今企业上云已是大趋势，但由于业务的纷繁复杂及多样化需求，企业往往有私有云、公有云、混合云等不同的云环境，多云管理应运而生。在多云管理的基础上，不仅可以汇集企业内外部的数据资源，还可以与企业内已有的业务流程、运营管理、安全管控等系统集成，通过统一标准的数据服务及资源调配，实现最优、最安全配置和高效运营，提高性能和可用性。

2）数据中台是让数据持续用起来，通过各种工具、方法和运行机制，把数据转变为一种服务能力，服务于企业业务。数据汇聚是数据中台各种数据资源接入的入口。数据中台本身并不产生任何数据，所有数据来自于业务系统、日志、文件、网络等，这些数据分散在不同的网络环境和存储平台中，难以利用，很难产生业务价值。数据汇聚是数据中台必须提供的核心工具，把各种异构数据源的数据方便地采集到数据中台中进行集中存储，为后续的加工建模做准备；数据开发则是通过一整套数据开发和建模工具，提供不同的模型和服务功能，快速把数据加工成对业务有价值的形式，提供给业务使用；数据体系是数据中台的血肉，有了数据汇聚、数据开发模块，中台已经具备传统数据仓库的基本能力，就可以做数据的汇聚以及各种数据开发，建立企业的数据体系了。大数据时代，数据量大，增长快，业务对数据的依赖也会越来越高，必须考虑数据的一致性和可复用性，垂直的、烟囱式的数据和数据服务的建设方式注定不能长久存在。不同的企业因业务不同导致数据不同，数据体系建设的内容也不同，但大体相似，一般按照贴源数据、统一数仓、标签数据、应用数据的标准来统一建设；数据资产管理通过数据体系建立起来的数据资产较为偏技术，业务人员比较难理解。资产管理最好是以企业全员更好理解的方式，把企业的数据资产展现给企业全员（当然要考虑权限和安全管控），数据资产管理以一种更直观的方式展现企业的数据资产，提升企业的数据意识；数据服务体系就是把数据变为一种服务能力，通过数据服务让数据参与到业务，激活整个数据中台，数据服务体系是数据中台存在的价值所在。大部分的数据服务都可以通过中台的能力快速定制，比如服务的管控、鉴权、计量、调度等功能；运营体系和安全管理是数据中台得以健康、持续运转的基础。通过前面的数据汇聚、数据开发、数据体系、数据资产管理、数据服务体系，已经完成了整个数据中台的建设，也已经在业务中发挥一定的价值。如果没有它们，数据中台很可能像个一般项目一样，会在搭建起平台、建设部分数据、尝试一两个应用场景之后而止步，无法正常地持续运营，不能持续发挥数据的应用价值，这也就完全达不到建设数据中台的目标。

3）数据中台的重要聚焦点在企业的数据应用场景上。数据应用场景既是数据中台的启动点，又是实现创新的基石。不同行业的不同企业在不同的发展阶段，其数据应用的需求也是不一样的，具体应用场景的优先级也是不同的，而且不同阶段支撑的场景数据也需要不断的迭代。数据中台通过数据采集、开发建模、数据资产交易、数据服务、数据运营等场景与企业内外用户发生各种交互，实现企业数据中台服务一体化，驱动业务精细化运营的能力建设，持续夯实数据基础，形成数据与业务正向自循环促进的关系，不仅全面推动企业内部蓬勃的业务创新，也可以更好地对外服务，带动整个企业的数字化转型。

6 数据中台建设的挑战与应对方法

数据中台建设面临的挑战包括：1）梳理业务场景：搞清楚数据中台如何对业务产生价值。2）建设数据中台的优先级策略：需求可能大而全，但我们不能直接建大而全的数据中台，应该根据业务重要性来排需求的优先级。3）数据治理问题：和业务独立开的数据治理少有成功的，大的数据标准要有数据资产目录，通过数据资产目录将共有的纬度、共性的业务模型提炼出来，在此基础之上数据治理需要跟业务场景紧密结合。

搭建数据中台需要围绕“规划、治理、整合、共享”的四步，将企业海量、多维的数据资产盘点、整合、分析、确保整个公司数据一致性和可复用性，为前台提供数据资产、数据定制创新、数据监测与数据分析等服务，最终实现数据资产的价值最大化。当然，建设数据中台面临很多挑战，道阻且长不是一蹴而就的，在这里需要把握以下应对方法：

（1）需要一把手的重视和支持。一把手首先需要认识到数据中台的价值，数据是业务重要的支撑，是重要的推动力，更可以引领业务的发展。另外就是数据中台的建设一定要有战略规划，更需要有相应的组织、制度、流程、资源的保障，因此只有获得企业一把手的支持，才能推动数据中台的持续建设。

（2）需要数据生态建设思维。数据生态体系的构建能够为企业的管理、人才、销售与伙伴，提供更好的竞争环境和资源配置效率，实现可持续发展的战略转折。通过开放式数据生态合作，创新连通上下游产业链，保持存量市场，扩大增量市场；

（3）需要建立数据湖的概念，推动数据和业务、技术的融合，实现跨地域、跨系统、跨层级、跨部门、跨业务的协同管理和服务。

（4）重视数据治理。数据治理是数据中台建设中的关键一环。数据治理不仅要解决数据全不全、准不准、好不好用的问题，更要让业务团队知道公司的数据能力和数据资产标准，让大家达成共建、共享、标准化的一致理念，确保数据流转和应用是基于同样的标准和基础，真正把数据用好、用准、用透，让数据持续为业务赋能，助力企业的数字化转型。

7 数据中台落地六步法

数据中台技术集成度高，建设难点多，存在一定的建设风险，如何成功落地需要从以下六个方面着力：（1）建立清晰的数据战略是数据中台建设的第一步（2）数据技术和平台能力（包括人工智能）是规模化应用数据的基础（3）找到有价值的业务场景和用例，将数据应用起来是关键（4）建立企业的数据意识和认知，打造数据文化是土壤（5）让数据团队和业务紧密结合，价值驱动（6）持续运营，快速迭代，达到持续智能。

数据中台可以帮助企业整合内外部数据资源与平台能力，打通企业数据，提供以前单个部门或者单个业务单元无法提供的数据服务能力，以实现数据的更大价值变现。企业期待数据中台能提升跨部门的普适性业务价值能力，更好地管理数据应用，将数据洞察变成直接驱动业务行动的核心动能，跨业务场景推进数据实践，使能业务驱动业务的创新。

8 结束语

在以客户为中心的时代，数据中台对数字化转型具有重要作用，以数据中台为基础的数据系统将位于企业应用的核心，在企业降本增效、精细化经营等方面为企业带来巨大收益。数据中台的未来的应用趋势是向中小型企业赋能，降低企业的建设成本，发挥数据驱动业务创新的价值，带动整个产业的数字化转型。■