融合贯通，打造企业级全协同数据团队

数据协同拉通是企业数字化和智能化进程中的基石，不仅需要过硬的技术和平台支持，更需要深入识别和解决团队问题。企业通过打造一个深度融合、统一思路、全面协同和技术高效的数据团队，才能把数据作为生产资料和新质生产力的突破力量

在数字化和智能化的今天，数据已然成为企业生产与运营中不可或缺的生产资料。然而，如何充分发挥数据作为企业争优创先核心资产的作用，关键在于企业能否打造一个高效协同的数据团队。

从数据管理到数据科学，再到数据工程和数据分析，企业级数据价值创造是一个系统性复杂问题，需要以场景为核心、以价值为导向，进行全面融合贯通，构建数据智能底座，从而实现全面协同和持续创新，打造从数据算力到业务价值的高效全链路。

企业级数据协同面临6个挑战

从企业数据生产加工过程来看，企业数据协同面临以下6个挑战，如图1所示。

挑战一：目标不一致。协同的基础是有共同的目标，只有拥有共同的目标和利益，相关人员才能够从内心认同协同。如果连目标都不一致，那么协同就成为一句空话，企业提供再好的工具平台都是无效的。而现在很多部门的数据利用与生产是割裂的，各方分别有各自的KPI，并没有形成统一的目标，导致缺少对齐目标的意识和行动。

挑战二：缺少意识。目标的不一致带来的直接后果，是很多企业未能树立起数据协同的意识。业务部门认为数据是技术部门和数据部门的事情，与自己无关；应用开发团队将数据团队隔离在外，什么事情都喜欢自己搞定。这导致不同部门或团队总会出现数据不一致等情况，究其原因是缺乏数据协同的意识。

挑战三：缺少标准。当下很多企业在数据开发和利用上没有统一的标准，包括数据协同处理的流程和规则、各个团队之间的分工等方面。

挑战四：缺少度量。很多企业尚未建立协同的标准，部门间数据协作的过程也都是线下自发的。没有标准带来采集不到协作过程中包括进度、状态等关键指标的问题，进而导致无法可视化和度量每一个数据任务的状态，比如该任务目前处于哪个环节、进度是否符合计划等。

挑战五：缺少平台。与此同时，只有标准也是不够的，必须要有工具和平台来支撑标准的执行和落实，否则标准带来的只是额外的管理工作量。但是目前大部分企业都缺少能把业务、技术和数据等三方相关内容和工作人员整合在一起、无缝衔接、无边界协作的企业级数据协同平台。

挑战六：缺少运营。让企业实现数据协同还需要运营。运营的主要任务包括运维（监控企业的各项数据协同状况，及时发现问题，比如数据处理链异常、存储空间不够等）、调度（调度相关的资源来支持和保障各项数据协同任务能够高效完成）、分析（通过分析相关的协同数据，发现数据协同过程的趋势、风险以及待优化点）、引导（举办活动、制定机制，鼓励和引导更有价值的数据协同生产）等。

当前，企业已经进入数据民主化的时代，如何能够在全员皆是数据用户的情况下做好数据协同，成为所有企业面临的问题。如果这个问题解决不好，那么数据治理也会越来越难。而要解决这个问题，需从用户的本质需求出发，搞清楚企业数据的用户都有哪些、分成什么类型、不同的诉求是什么、会进行怎样的协同。

不同企业数据团队面临不同的痛点

与数据产品生产关系最紧密的角色是数据团队，它可以分为4类：数据管理团队、业务团队、数据分析团队、数据工程团队。不同的团队面临的痛点不一样。

数据管理团队的痛点

数据管理团队肩负着统筹管理企业数据资产、挖掘和度量数据价值、保证数据产品和数据相关系统平台稳定运行的职责。数据管理团队面临如下痛点：

数据资产统筹管理难。企业的数据资产越来越多，种类越来越复杂，并且越来越重要，如何全面、安全地统筹管理数据资产，既要让所有人能够便捷地访问和利用数据资产，又要保证安全合规？这是数据管理团队的首要需求，也是最大的痛点。

业务价值度量评价难。如何评价数据产品的价值，特别是那些不能直接销售的数据产品的价值，是数据管理团队面临的第二个痛点。需要一种模式让数据和数据产品的价值显性化、具象化，让业务用户和企业管理者感受到。

数据管理工作烦琐。数据团队越来越庞大，且每天的工作任务都很多。那么，团队的工作状态如何，进度是否符合计划，是否有风险，有什么困难和挑战，是数据管理者需要关心的。数据管理者需要一个全景视图，全面了解团队的关键项目、任务执行情况，以及数据相关资产的利用情况和风险情况。

业务需求反馈协调慢。业务部门中，数据产品消费者对于数据产品的反馈如何？有什么问题？是否能及时解决？过去，这些反馈往往在事后以投诉的方式才能获知。但事实上，数据的加工生产本身都是在线的，完全具备实时监控和沟通的条件。

业务团队的痛点

数据已经成为业务团队工作的必备方法和工具，但是大部分业务人员都不是技术或者数据相关专业出身，仍然需要借助数据分析和技术团队来实现数据需求。但是企业的数据利用链路往往很难给业务团队提供高响应的支撑，主要体现在以下5方面：

找不到数据。业务人员经常面临的问题包括不知道公司有多少数据，不知道这些数据在哪里，想看数据却不知道如何获得，数据管理流程复杂冗长等。业务人员纵使有很多的业务需求和想法，还是会因为繁重而封闭的数据管理体系望而却步，最终只能放弃。

缺少业务型分析工具。业务团队虽然有很多的数据报表，也有专业的数据分析人员，但是很多时候针对个性化的需求，业务团队也希望自己能够直接快速地进行一些简单的分析洞察。但是大部分企业缺少友好的业务型数据分析工具，导致很多企业超过50%的数据分析都是在Excel里进行的。

数据分析质量差。由于数据口径、数据质量的问题，很多数据分析的结果不准确。业务团队与数据团队对同一个数据的理解不一致，又带来巨大的沟通成本，并且导致数据描述不清晰、数据分析效果差。

数据开发响应慢。业务对数据的需求总是比较紧迫的，需要被快速响应，但是数据开发团队的响应往往比应用开发团队慢很多。这个问题的产生主要有两个原因：一个是业务团队与数据开发团队对数据需求的理解很难对齐，需要多次尝试验证才能找到最终正确的数据；另一个是企业数据开发团队的能力与应用开发团队相比，尚不那么成熟，缺少标准、统一的工具和流程。

应用上线慢。数据应用的上线和业务应用不一样。在上线之前，数据的接入、迁移、验证、测试需要很长时间，接入数据越多的应用，上线过程越复杂。并且，数据应用的问题追溯比较困难，所以数据工程团队一般很难提供明确的SLA（服务等级承诺）。

数据分析团队的痛点

数据分析团队现在成为很多企业里最热门、但也是最辛苦、最有挑战的团队。在季度、年度结束的时候，数据分析团队往往会接到大量需求，需要通宵达旦地工作，这是因为数据已经成为所有业务的生产要素，而数据分析团队的产能是有限的，导致数据分析团队超负荷工作。数据分析团队的痛点如图2所示，主要有以下5点：

重复数据需求。这是很多数据分析团队最大的痛点。不同的业务团队提出的需求很多都是重复的，甚至80%的需求都是已经分析过的。但是由于需求提出方不同、数据范围不同、理解不一致，数据分析团队就要对这些需求重新分析一遍；而且很多需求的时间要求并不像业务团队在提需求时所说的那么紧迫，甚至不少数据分析的需求完成以后，其结果并没有被使用。

数据定位难。业务团队只能描述对数据的需求，但是不知道对应这些需求的数据从哪个系统中获取，数据分析人员没有参与系统的构建，也不知道数据在哪儿，往往需要通过多次交叉稽核、校验才能确认数据来源。

数据获取难。数据分散在不同的源系统中，系统对应部门不一样，数据的存储格式、结构标准也不一样，导致获取数据很困难。据统计，数据分析团队超过50%的时间花在了获取数据上，而真正花在分析数据、探索价值的时间却相对较少。

数据产品管理难。业务部门对数据的需求很多都是重复的，但是作为支持性部门，数据分析团队只能积极响应，导致最后开发的数据产品非常多，但是缺少体系化的管理。重复的、冗余的数据集和数据分析报表及视图等都堆积在各个平台中，越堆越多、越来越难以管理。

工具打通难。不同的数据分析人员所使用的数据分析工具不一样，有使用传统商业智能工具的，有使用Jupyter Notebook的，也有使用MATLAB的，多种数据工具分析的结果文件需要解析转换，打通工具很困难。

数据工程团队的痛点

数据工程团队负责最终解决所有数据问题，但是大部分数据工程团队都面临多个痛点，如图3所示：

不确定的数据源。数据工程团队的工作对象和生产要素就是数据，但是目前企业的数据分散在不同的内外部系统中，其中很多都是遗留系统，缺少文档、缺少标准、缺少对数据结构的描述记录。于是这些数据缺少统一的规划和管理，相互不联通，使数据用户像进入原始森林一样迷茫。如何清晰地管理这些分散的、高度不确定的数据源是数据工程团队的一大痛点。

重复数据需求。很多数据需求从源头开始就是重复的，企业缺少全局的数据规划，数据工程团队只能以响应业务需求为第一要务，最终产生了一系列新的数据，而已有的数据利用率较低，并且使用多套指标体系，数据立方体相互矛盾，数据工程团队难以对其进行维护和复用。

资产归属不清晰。企业的数据每天都在不断增长，而数据资产的管理体系跟不上，导致数据资产的归属不明确，数据工程团队在开发和维护数据资产的时候缺少标准。哪些数据应该从哪个部门去获取，哪个部门拥有对这些数据的审核、修改的权限，这些问题经常导致数据工程团队要花大量的时间去盘点和沟通。

监控运维困难。数据的问题一旦出现，就很难被定位和修复。一个不准确的数据，其背后可能是十几年企业业务逻辑的变化，“数据血缘”难以梳理，数据工程团队缺少文档和知识的积累，对数据的运维非常困难。

新技术鸿沟。数据技术日新月异，各种工具层出不穷。对数据工程团队来说，使用数据处理技术和工具是需要很高的学习成本的。不同的数据工程师，对数据处理技术和工具的选择往往都不一样，加工处理的过程和结果也就很难共享。建立一套经过验证的、适合企业数据架构和特点的、标准化的数据技术体系，并提供给数据工程团队使用，是数据工程团队的迫切需求。

沟通低效。数据工程团队负责最底层的数据工作，所有的数据需求最终都要由数据工程团队来实现，所以数据工程团队每天需要面对大量的需求提报、问题沟通。但是目前很多企业缺少有效的沟通工具，导致数据工程师们将大量的时间花在低效的沟通上，甚至可能出现鸡同鸭讲的情况，双方讲了半天，结果并不是在讨论同一个问题，或者并不是在同一个数据集的基础上进行沟通。

数据团队能力全景图

数据驱动的企业需要什么样的数据能力？需要构建什么样的数据团队来打造这样的能力？精益数据方法总结了典型的数据团队能力全景图，如图4所示：

数据战略能力

首先是要有数据战略能力，数据团队能够根据企业的业务愿景和目标，结合企业的发展阶段、业务技术现状，制定出适合企业发展的数据战略规划，打造业务场景蓝图、数据资产蓝图和数字化技术蓝图，并且梳理出转型路线。

企业的数据战略能力主要由五大部分构成：第一是业务战略的解码能力，数据战略必须服务于企业的业务战略，所以数据团队的首要能力是能够理解和解读业务战略，然后制定与业务战略对齐的数据战略。第二是数据资产的管理能力，包括数据资产规划、数据生态的构建、数据治理体系等。第三是业务价值场景的探索、挖掘和识别能力，能够描绘出让数据发挥价值的业务场景蓝图。第四是数据架构能力，选择适合企业的技术栈和工具体系，搭建企业的数据技术架构。第五是组织文化建设能力，打造企业的数据人才培养体系、能力模型以及数据驱动的企业文化。

数据运营能力

在数字化的企业中，所有的业务和产品都会以数据的形式存在，并且会产生新的能返回企业的数据。数据驱动的企业要拥有卓越的数据运营能力，能对业务数据进行分析挖掘，并且基于数据制定和优化运营策略，采取业务动作，提升企业的敏捷性。

数据运营和运维是两个概念，运营是让业务获得增长，运维是让系统稳定、不出故障。数据运营是指通过数据来让产品和服务持续地产生价值，并不断优化产品和服务的能力，包括用户运营、产品运营、渠道运营、活动运营、内容运营等。数据运营不仅服务于营销，还支持客户服务，有利于提升客户满意度等。

产品设计能力

从项目制到产品制的转变体现了一个企业的敏捷程度。能否深度洞察市场和用户的需求，设计出用户需要的产品，不断地优化迭代，提升用户体验，是企业数据资产对外呈现价值的核心能力。数据团队要有数据产品经理、产品设计人员，他们往往具有很强的市场和用户意识，能够打造出有竞争力、能产生业务价值的数据产品，而不是一个仅能提供数据资源的产品。

数据分析能力

数据分析能力是利用统计分析、人工智能等技术和工具对数据进行分析，提取有用信息，帮助业务洞察，形成可靠结论的能力。数据分析包括描述性分析、探索性分析、验证性分析、预测性分析等多种形式。企业需要构建强大的数据分析能力，来实现看现状、看根因、看风险、看未来的“四看”效果。

数据科学能力

数据科学能力特指利用人工智能技术对数据进行挖掘、建模，最终输出算法模型的能力。数据分析更多处理结构化数据，而数据科学面向的数据范围更加宽泛，通常与多种类型的数据，且大部分是与非结构化数据打交道。在数字化时代，企业要重点建设以人工智能技术为核心的数据科学能力。

数据工程能力

数据工程能力包括两类，一类是处理数据的能力，另一类是构建数据平台和工具的能力。前者主要处理关系型数据，构建数据处理链、数据立方体等数据生产工作，后者主要利用软件工程技术来构建大数据平台，实现DataOps；前者需要对数据模型、SQL语言等非常熟悉，而后者需要对处理数据的技术和工具非常熟悉。

软件工程能力

软件工程能力是当今数据工程师的基础能力。过去的数据从业人员以熟练使用SQL为主要工作技能。而现在，随着非关系型数据库、流计算、实时计算、消息队列等多种数据工具和技术的发展，软件工程能力成为数据工程师的基本技能。

企业数据团队全景图

数据团队的能力是由不同的岗位构成的，企业典型的数据岗位可以用图5所示的全景图来描述。

按照生产资料、产出物的不同，可以将数据岗位分成两类。一类是数据工程，侧重对数据的开发和利用，最终的产出物也以数据为主。另一类是软件工程，侧重以生产数据为目标的软件开发，主要工作是软件编程，产出物以架构和代码为主。从图5可以看出，企业数据岗位从上往下贯穿了战略层和执行层，越偏向执行层，企业的数据岗位需求越多，岗位人员也越多。

首席数据官

Gartner在2015年就预测，在2017年全球将有50%的公司设置首席数据官的岗位。到2024年的今天，国内很多企业已经开始设置首席数据官了，这充分说明了国内外企业对数据的重视。

首席数据官管理企业所有数据相关的工作，从而使企业从数据中获得最大的业务价值和竞争力。简而言之，首席数据官就是从数据中创造业务价值的高级管理人员。

不同于传统的技术管理者，首席数据官首先是一个业务负责人，需要对数据产品产生的业务价值负责。数据的管理、团队的设置、人员的培养、技术平台和应用的构建等其他工作内容都服务于这个核心目标。

数据架构师

数据架构师是确认和评估企业对于数据生产和利用的需求，给出开发规范，搭建系统的核心构架，并澄清技术细节、扫清主要难点的资深技术人员。数据架构师是企业数据能力构建的中坚力量，是根据目标和需求设计数据系统的顶层架构，并且对技术方向和选型起到决定性作用的角色。

数据科学家

数据科学家是利用业务、技术和数据来帮助业务部门解决复杂问题的专家。数据科学家是一个综合性非常强的角色，既需要具备非常强的业务理解、数据分析、技术实践能力，又需要有很深的研究背景和工作资历。数据科学家是数据团队的技术领袖。

数据科学家是一个技能交叉的综合性岗位，需要同时具备业务领域、软件和数据、数学和统计的综合技能。

数据产品经理

数据产品经理是充分利用数据来解决某一类问题，或者为某一类用户提供服务的产品负责人。从能力模型上讲，数据产品经理具有数据认知、数据分析能力。这个角色在传统数据团队中非常缺少、需要快速补充。数据产品经理要有非常强的同理心和敏锐的用户洞察力，从而能够从数据中发现用户的痛点、需求，再利用数据去设计并开发对用户有价值的产品。

数据业务分析师

在数据团队必不可少懂数据的业务分析师，也就是数据业务分析师，简单来说，就是具备数据素养和技能的业务分析师。

数据运营工程师

数据运营工程师负责在数据平台和数据产品上线后利用数据洞察业务的状况，制定对应的用户运营、产品运营、内容运营的策略，采取相应的行动让业务达成既定目标。

数据库工程师

数据库工程师特指对关系型数据库进行管理、维护和开发的工程师，类似于数据库管理员，数据库工程师的主要技能是掌握SQL语言和主流数据库软件工具。

数据分析师

数据分析师可以将原始数据通过处理和分析转化为辅助业务决策的信息或产品。

数据平台工程师

数据平台工程师是指构建数据工具和平台的软件工程师。和数据工程师不同在于，数据平台工程师的工作输出物是数据平台本身，所以技能上更偏构建，主要的工作是实现数据平台或工具，提供数据处理功能或生产数据产品。

数据可视化工程师

数据可视化工程师是近年来数据岗位细分产生的一个方向。数据可视化工程师会根据业务的需要，将数据分析的结果以可视化的方式设计并实现出来，是一个综合性的角色，最终目标是利用数据讲好业务故事。数据可视化工程师需要关注仪表盘、报表的可扩展性、美观性和功能性，需要具备一定的设计、数据工程、软件工程能力，以及精通各种行业工具。

DataOps工程师

DataOps工程师和传统的运维工程师不一样。DataOps工程师的核心工作是从企业整体的角度出发，设计、开发和维护数据管道，从而更有效地支持企业的数据开发和生产。

机器学习工程师

机器学习工程师是最近几年机器学习技术逐渐成熟后出现的新岗位，机器学习工程师首先确定要解决的问题，然后对数据进行探索，利用机器学习算法训练数据，生成算法模型，解决业务问题。

数据测试工程师

数据测试工程师又称数据质量分析工程师。该角色会执行数据测试，与数据库开发人员合作，优化数据收集和存储过程，并准备数据测试报告，提高数据的准确性和完整性，提升数据产品质量。

综上来看，数据协同拉通是企业数字化和智能化进程中的基石，它不仅仅需要过硬的技术和平台支持，更需要深入识别和解决团队问题。企业的数据、业务、技术团队要实现深度拉通，通过打造一个深度融合、统一思路、全面协同和技术高效的数据团队，企业才能把数据作为生产资料和新质生产力的突破力量最大化。

（作者系中国特色数字化转型方法论创始人。畅销书《精益数据方法论——数据驱动的数字化转型》唯一作者，中国计算机学会数字化转型与企业架构SIG主席、数字产业创新研究中心副主席、公众号“凯哥讲数字化”作者，为企业提供数字化转型咨询培训辅导教练服务。）