数字化转型下通信运营商数据治理的“困”与“道”

康 军

南京铁马信息技术有限公司

0 引言

党的十九届四中全会提出将“数据”列为生产要素参与分配，标志着以数据为关键要素的数字经济进入了新时代。当前，以人工智能、区块链等为代表的数字技术不断涌现，快速向经济社会各领域融合渗透。以数据为核心的数字化转型已是大势所趋。随着互联网业务和应用的迅猛发展以及移动互联网的爆炸式增长，通信运营商在话务时代积聚的资源优势逐步减弱，但通过长期的网络运营、海量的用户以及丰富的行业应用所沉淀下来的海量数据已经成为通信运营商独一无二的“资产”。

但目前大多数通信运营商的数据资源无法为内部精细化管理、客户精准化营销、风险控制、决策支持等当下企业向数字化转型所必需的工作带来有效助力。因此，如何通过数据治理，最大程度地释放庞大数据的潜在力量，是通信运营商在数据时代实现企业数字化转型、塑造自身核心竞争力的关键之所在。

1 通信运营商数据治理之“困”

（1）数据分散，有“数”不能用。大多数通信运营商企业采用的是“烟囱”式系统建设模式，还未形成公司级的数据资产定义及分级分类规范，缺乏统一的数据采集、存储管理等标准，导致数据分散在各个系统中，不同领域的数据壁垒仍较为明显，这严重阻碍了系统之间顺畅的数据共享，大大降低了资源的利用性与数据的可得性。

（2）数据质量不高，有“数”不好用。长期以来，通信运营商采用的是两级系统架构体系，全网业务开展需要总部先制定业务规范和系统改造方案，下发给各省公司，再由省公司各自单独实施，这就带来了各省数据标准不统一，数据模型差异较大等问题，导致在数据采集、存储、处理等环节不科学、不规范，出现错误数据、异常数据、缺失数据等问题，无法确保数据的完整性和准确性，最终影响整个企业数据治理的水平。

（3）融合应用困难，有“数”不会用。通信运营商利用数据建模分析解决实际问题的能力有待提高。信息资源利用大多停留在表面，数据应用尚不深入，应用领域相对较窄，数据与场景融合不够，导致数据之“沙”难以汇聚成“塔”，海量数据资源无法盘活，数据潜力得不到充分释放。

（4）治理体系缺失，有“数”不善用。数据治理是一项系统性全局性工程，需要与之相配套的管理制度、流程、平台工具、评价考核机制等全方位的协同。目前通信运营商普遍存在对数据治理认识不到位，重视程度不够，认为数据治理工作仅通过技术手段就可以解决所有问题，导致数据治理架构体系不完善，相应机制体制严重缺位，数据“不善用”的问题突出。

2 通信运营商数据治理之“道”

针对通信运营商数据治理中存在的基础来源数据缺、重、散、慢、差等问题，以解决当前业务所遇到的数据质量问题为切入点，从数据采集、加工、分析全流程中梳理出最需关注的各环节建设内容和目标，利用数据进行业务评估和应用，发现数据存在的业务问题，开展相对应的治理工作，从源头确保大数据分析所需的数据质量，全面提升大数据分析及应用能力。

图1 以业务应用为导向的数据治理整体解决方案

（1）理清现状、明确治理需求点。了解企业面临的最迫切的数据需求或痛点以及用“数”需求，开展针对管理层和业务部门等不同类型数据用户的调研和访谈，了解其经营和管理对数据的需求以及目前在需求满足过程中存在的问题。

（2）确定数据治理的重点范围。在理清现状、明确治理需求点后，应协调相关数据需求和问题所涉及的业务和管理部门，开展业务和系统现状分析，对相关业务流程进行详细梳理和分析，定位数据产生、加工和应用过程中的相关业务流程环节及具体业务管理要求，以及不同系统间的数据流，即数据的流转、流向及加工处理过程。

（3）搭建数据治理闭环管理体系。通过数据治理闭环管理平台准确监控造成数据质量问题的来龙去脉和前因后果，同时制定责任矩阵，形成相关部门人员通力合作、齐抓共管，根除数据质量问题的针对性方案，最终通过每项问题的落地解决，逐步积累企业开展数据治理工作的成功经验，逐步形成高水平的治理能力。如图2所示。

图2 数据治理闭环管理平台

如图3所示，数据治理管理平台系统各模块之间，根据数据操作的流程产生相互关联，各模块业务流程关系说明如下：

L1：数据标准管理模块将标准定义映射到元数据信息上，实现数据标准的规范要求落地。

L2：元数据管理模块为数据资产管理模块提供存储模型、属性信息查询服务。

L3：元数据管理模块为数据质量管理模块提供元数据相关属性信息。

L4：用户通过元数据定义大数据平台的数据结构。

L5：数据质量管理模块根据采集需求从大数据平台采集数据。

L6：数据质量管理模块将数据质量问题反馈给大数据平台。

L7：数据质量管理模块向资产模块提交数据质量评估结果。

L8：元数据管理模块为数据安全管理模块提供隐私级别定义服务。

L9：数据资产管理模块发起资产访问申请，由数据安全管理模块控制用户访问权限，控制数据资产的增加、删除、变更操作权限，对访问的数据内容、数据属性等操作进行管控。

L10：数据安全管理模块为大数据平台提供数据访问权限策略。

图3 数据治理管理平台各系统模块关系图

1）建立数据质量监控评级体系。需要选取若干个指标作为数据质量评价指标，梳理数据评价专题，构建数据评价规则与模型，制定符合业务目标的数据质量稽核规则，形成数据评价体系，对企业的数据进行评估和测量。

2）锁定管控内容，快速发现问题。基于数据质量评估模型，执行数据质量分析任务，针对采集、加工、稽核、服务等全流程，进行全方位实时监控，设置相应的告警阈值，实现异常数据质量问题的快速定位。

3）建立数据认责追责机制。按照“谁录入、谁整改、谁负责”的原则，明确数据质量责任主体；梳理业务流程、数据与人员之间的对应关系，构建责任矩阵；构建全流程管控、相互监督，构建全面的、可追溯的数据认责、追责机制。

4）建立可视化的管理视图。实现显性化的数据治理闭环管理，对数据全生命周期的治理都有相应的流程支撑，同时实现业务建模所需的数据，从需求端到数据源的数据流及数据血缘关系直观可见。

5）系统落地及配套机制体系完善。为了支撑数据治理与业务应用更好地衔接，需要对已有数据治理管理制度和流程进行必要的修订与完善，或对已有业务制度和流程、系统开发管理相关制度和流程提出必要的改进建议，从配套机制、体制上确保数据治理工作有据、可行、可控。

因此，推动通信运营商的数据治理，应以实现业务价值为导向，遵循数据治理的已有体系、制度和标准规范，定位对企业而言最为迫切的、重要的数据需求和数据痛点，明确数据项范围并开展专项治理工作，以期逐个突破，快速释放数据成效并实现业务价值，形成数据治理的良性循环。

3 某省通信运营商数据治理案例

案例一：跨域协同改进数据质量

（1）背景

随着智能手机、4G高速上网、互联网应用的普及，流量已成为大部分客户的刚性需求。客户对手机流量消耗情况的质疑也日益增多，客户往往要求查询流量具体使用用途，而服务人员面对流量质疑投诉，仅通过手机上网的计费详单很难解释清楚“流量用没用”“流量怎么用的”“流量用的太快”等热点投诉，影响客户感知。为此，公司开始建设“上网日志查询系统”，首先由网络部门采集原始日志，并通过DPI实现用户上网内容的解析，由业务支撑部门实现XDR数据的加工、展现，为客户服务人员处理投诉提供支撑。“上网日志查询系统”由于涉及O域、B域的多个部门和多个系统，出现数据质量问题时存在定位较慢，处理周期较长的情况。

（2）改进数据质量流程

性状:较正品大,呈宽卵形,长5-6mm,宽5-8mm,表面淡黄白色,略光滑,一端圆阔,有一淡棕色点状种脐,另端稍窄。背面圆凸;腹面有一条较宽而深的纵沟。[13]

1）发现质量问题。客服人员小李接到用户投诉，反映流量计费有问题，10月3日18:58:37-19:09:56手机收到提醒短信使用了1GB多的流量，用户对此不认可，表示手机没有使用，要求核实处理。小李通过上网日志查询系统查询该用户的上网内容，却发现用户在该时段只有约10MB流量，与计费详单的流量严重不符。如图4所示。

图4 业务场景-发现流量异常

图5 业务场景-核查数据资产

2）核查数据资产。为确认是否因为数据未完成生成导致差异大，客服人员小李通过“数据资产管理—资产目录”模块查询该资产的数据更新时间，结果发现数据资产的更新时间没有延迟。从而小李推断不是数据及时性的问题，而是数据准确性的问题。如图5所示。

图6 业务场景-问题申告

3）问题申告。既然发现是数据准确性的问题，那就需要尽快把问题反馈给后台维护人员，于是客服人员小李通过“数据质量管理—绩效管理”模块提交了问题申告，选择了上网日志流量的准确性问题。如图6所示。

4）定位异常环节。由于业务支撑部门维护人员小张事先已经配置了数据质量稽核规则，对每分钟O域传送的接口文件大小进行监控，一旦波动超过10%，就会产生预警，这一规则不会中断调度，但一旦最终用户反馈数据有问题，系统就会检查与问题数据有关的处理过程中是否产生过预警。对客服人员小李申告的上网日志流量数据不准确问题，数据质量管理模块自动匹配到当日的一次数据文件大小波动预警，定位到异常环节为O域接口文件，申告转给网络部门维护人员小王处理。如图7所示。

图7 业务场景-定位异常环节

5）核查和处理。网络部门维护人员小王接到数据质量告警后，展开核查，定位到由于主机性能问题，该时段的HTTP日志文件漏传了记录，小王迅速将漏传的数据做了补传。如图8所示。

图8 业务场景-异常原因核查

6）处理结果确认。系统对补传数据处理完成后，客服人员小李再次查询该投诉用户的记录，这次果然能够查询到用户产生的1G流量，她通过外呼用户并向用户解释了流量使用内容，用户表示认可。这时数据质量模块生成了本次申告的反馈工单，小李很满意地评价了5颗星。如图9所示。

图9 业务场景-处理结果确认

（1）背景

某省向地市公司下发了KPI考核指标“重要集团客户整体收入”，地市运维人员和业务人员希望能够及时获知该指标的出数情况和波动情况，以确保发现异常后能及时处理。

（2）绩效监控全流程

1）一线片区经理打开移动APP应用，选择指标“重要集团客户整体收入”，并对其出数时间、波动率和阈值进行监控配置，如图10所示。

图10 手机登陆及指标规则配置

2）此后，一线片区经理打开自己的移动APP应用，就可以随时查看“重要集团客户整体收入”目前的出数情况和数值是否正常，当指标监控不满足监控规则，手机APP告警通知一线片区经理，如图11所示。

图11 指标展示及维度分析

3）一线片区经理单击该异常指标可以看到指标详细信息，并且通过时间、地理或其他维度分析异常指标，如图12所示。

图12 按时间、物理维度分析

4）一线片区经理通过滑屏的方式，查看指标处理过程图，从图可以查看到该指标各个处理环节处理情况，如图13所示，包括：处理内容、处理完成时间、正处理环节预计完成时间等；如果当日的指标数据还没出来，可以点击催办功能，请求数据质量管理子系统发送实时出数状态；对异常指标告警信息的显示包括：什么时间发生的信息、什么错误、找谁处理等。如图13所示。

图13 指标处理过程图

5）异常指标处理方式有两种：第一种方式，通过电话直接联系该环节的负责人解决；第二种方式，可以通过申告，以问题处理流程的方式将该问题推送给该环节的负责人处，并以短信形式告之该环节的负责人，如图14所示。

图14 问题申告

6）数据质量功块允许用户自定义数据质量处理流程，若不进行自定义流程配置，可以按照默认流程进行问题处理。默认问题处理流程如图15所示。

图15 申告处理流程

7）通过界面配置监控点分段方式将数据质量全流程拆分为若干段，如图16所示，针对每个阶段设置监控规则，明确每段所属部门、所有者，不同段负责人可以通过可视化监控界面对不同分段进行监控，可视化管控界面针对不同数据质量用户提供对应段的数据链路图，并将监控结果按段汇总、分析、展示。

图16 数据质量分段管控示例图

当一线片区经理提交申告后，系统根据异常监控点所在段，将申告推送给相关负责人，相关负责人基于本段的数据链路图，对出数过程跟踪及进行告警展现分析，通过图形化运维管理帮助运维人员快速完成指标过程监控和问题处理过程，协助业务人员动态了解指标出数进度，提高工作效率，节省成本，如图17所示。

图17 指标图形化监控应用场景示意

8）问题处理完成后，将处理完成信息通过APP推送以及短信告知一线片区经理。

9）一线片区经理检查异常指标是否已处理成功，并对整个问题处理过程进行满意度评价，如图18所示。

图18 问题反馈

案例一以分析数据质量问题为着力点，倒推出其数据来源存在的问题并进行重点整治，通过全员参与、各司其责的数据质量管理模式进行改进；案例二通过绩效指标的数据质量监控，及时发现自己绩效指标的异常波动，并指出其中与以前相比的异常之处，快速发现数据异常的原因并能够及时有效地解决，使其数据治理得到充分的价值体现。

4 结束语

数据治理对任何一个企业都是一项“牵一发而动全身”的重大工程。对此，一方面，要坚持问题导入，基于对企业管理层和业务部门用“数”需求的深入洞察，找到最佳的数据治理切入点和突破口，通过短期专项治理方案和配套的应用建设，快速实现数据价值和收益，使得数据治理工作成效显性化，形成数据治理的良性循；另一方面，要统筹规划、把握全局，企业不能只顾低头解决一些具体的数据质量问题，而忽略了数据治理体系的长期建设路径。通信运营商数据治理是一项长期的、需要逐步建设和完善的综合性工作，彻底解决是需要投入大量的时间和资源的。因此，我们必须从IT战略和总体架构管控的高度，总体上架构和把握数据治理的各项决策，确保不偏离企业的战略方向和要求。