大数据背景下数据质量提升的应用

广东电网有限责任公司广州供电局 王嘉延 梁雪青 杜舒明 赵小凡

为了响应智能电网关于数据治理的建设，进一步提升电网公司的数据质量，推动。从组织架构，制定规范制定，数据建模，数据采集，数据流转监控，问题跟踪管理，认责机制，数据质量评价体系等多维度全方面，从顶层而基层单位，从线上到线下覆盖整个数据生命周期，建立一套数据质量管理体系。经过总结归纳高频数据质量问题，提出整改方案，对高频及重点数据重点在线监控，保证企业内部数据质量，为数据向外延展打好基础。通过建立一套数据质量管理体系，直接提升企业数据的应用价值，为智能电网的建设提供支撑。

0 引言

2020年电网公司虽顺利完成了年度主数据质量考核任务，在主数据协同三方一致性方面，18类主数据一致性指标均达到考核标准，总体一致性指标高达99.5%。数据质量问题仍然突出，数据报表和指标的可信度不高，数据应用难以实用化。

主要表现的数据质量问题[1]:

（1）数据准确性问题突出，典型的问题案例包括:客户信息有效性不高、停电数据不一致、变压器台账信息异常等。（2）站线变户增量数据问题持续扩大，站线变户数据不一致问题每周都在增加。（3）数据多源导致重复性数据量多，源端系统和数据平台数据匹配时效性有待提高。

数据质量问题无法杜绝，主要有几个方面:（1）部分业务人员数据资产管理意识淡薄，存在数据录入不规范、不严谨的现象，导致数据增量问题难以杜绝，数据准确性不高。（2）业务流程存在漏洞，线上和线下业务没有无缝对接。（3）协同服务接口缺陷，导致系统间的数据一致性问题。（4）业务人员对电子化移交数据处理不及时。（5）主数据治理还未实现对系统主数据规范化、自动化、可视化的实时监控。

本文研究数据中心数据质量提升的方法，为数据中心在大数据流量的压力下，摒除“噪音数据”的干扰，增加数据的可靠性，挖掘数据中心海量数据价值，为相关部门领导和业务部门主管提供可以支撑决策的有效数据，释放数据价值。

1 数据质量的评价标准和管理的基本原则

目前为止，最权威的标准是由全国信息技术标准化技术委员会提出的数据质量评价指标（GB/T36344-2018 ICS 35.24.01）[2]，它包含以下几个方面:

规范性:指的是数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度。完整性:指的是按照数据规则要求，数据元素被赋予数值的程度。准确性:指的是数据准确表示其所描述的真实实体（实际对象）真实值的程度。一致性:指的是数据与其他特定上下文中使用的数据无矛盾的程度。时效性:指的是数据是否及时传递。可访问性:指的是数据能被访问的程度。

广州局在开展大数据平台的建设工作中，总结数据运维工作中的数据问题，提炼了数据治理方面的工作经验，形成了数据质量管理的四项基本原则:

1.1 全面性原则

从企业层面规化数据管理范畴，发挥业务部门和数字化部门在数据管理方面的作用，保证大数据平台从源端系统抽取的原始数据实现多渠道，全方位覆盖，支撑到下游所有应用。

1.2 一致性原则

加强数字化部和平台厂商的工作协调性，确保源端系统到大数据平台，再到下游系统整个数据链路中，上游数据，平台数据，下游数据三个环节数据一致。

1.3 稳定性原则

对于源端系统的增量数据进行严格的把控，特别是对新增业务对象的数据进行影响范围及风险性分析，避免增量数据对存量数据的数据质量产生消极影响。

1.4 及时高效原则

首先保证源端最新数据及时更新到大数据平台和下游系统，对于出现的数据质量问题，及早发现，高效解决的原则，提升数据质量的可靠性，避免脏数据或者错误数据对下游业务的影响。

2 提升数据质量的方案

2.1 应用场景

广州局大数据平台作为信息中心的主要数据存储平台，上游对接源端系统，把系统源端的全量数据通过Sqoop抽取，增量数据通过Ogg进程同步采集并存储到大数据平台的ODM层，对全量数据与增量数据进行合并处理，实现各系统数据融合，针对不同类别的下游系统通过授权，SFTP文件，Kafka的方式下发，最终满足各个下游应用数据需求，起到了数据承载、存储、传输的数据中枢的作用。如图1所示

图1 大数据平台架构图Fig.1 Big data platform architecture diagram

上游源端系统主要包括:业务管理系统、试验院、调控中心、计量中心、移动应用、业务应用这6大类总计47个源端系统。

下游支撑包括:基建部、生技部、运检中心、审计部、市场部、客户中心、计量中心等主要部门对应的63个应用系统。

2.2 数据质量问题管理体系

数据质量问题归纳起来总结为三个因素:技术因素、业务因素、管理因素。

技术因素:因为历史原因，录入数据的规则不统一，数据库规则设计不合理，数据采集过程中的采集失败，数据丢失，数据格式转换失败。

业务因素:业务系统烟囱式林立，过去十多年中，广州局为了业务需要建设了一批信息化系统来解决业务问题，导致了如今信息化整合的痛点和困难。业务流程的变更也是常见引起数据质量问题的因素。

管理因素:业务人员数据意识淡薄，缺乏一整套有效的数据质量保障机制和问题处理机制，数据质量问题从发现、指派、处理、优化没有一个统一的流程和制度支撑，数据质量问题无法形成闭环。

针对上面三个主要因素，任何单一的处理手段很难保证数据质量得以提升，需企业由顶层到基层，从管理，业务，技术多角度，协同配合建立一套数据质量管理体系，从制度规范，数据架构，数据模型，数据标准的制定，数据流转监控，增量数据和存量数据的管理，数据问题的追踪机制，数据质量考核和整改多维度协同制定解决方案。

按照时间线可以分为事前预防，事中监控，事后完善三个阶段。

事前预防，从源头规范数据的采集，保证数据的完整性和规范性。从三个方面着手:（1）设置跨职能的组织机构负责数据质量问题，制定数据质量提升的线上和线下的规范制度。（2）业务团队和技术团队对业务系统及大数据平台建立非冗余、稳定的数据模型。（3）制定标准的业务定义，数据录入标准，数据校验标准，系统中进行控制和约束。

事中监控是指数据进入流转环节，通过数据监控实时发现处理数据问题，对数据的准确性和一致性提供保证措施。从三个方面着手:（1）建立从源端到平台再到下游系统的数据流转监控系统，预警和提示数据错误的流程节点。（2）制定并执行稳增量，减存量的数据管理方案。（3）数据问题的追踪解决机制，从线上发现到线下实施快速解决数据问题。

事后完善，是阶段性的总结数据质量工作，根据暴露的数据质量问题建立数据质量考核评价体系，分类，归纳总结数据问题，针对共性的数据问题提出整改方案，进一步提升数据的可靠性。如图2所示

图2 基础设施检测监测数据元数据管理Fig.2 Metadata management of infrastructure inspection and monitoring data

图2 数据质量问题管理体系图Fig.2 Data quality problem management system diagram

2.3 制度规范建设

设置跨职能的组织机构负责数据质量问题，制定关于数据方面的规章制度包括数据质量管理政策，数据质量实施细则，业务部门和数字化部门的职责分工，技术类的数据规范。从组织架构及分工，管理规范，技术规范多方面打造数据质量制度规范体系，数字化部门和业务部门一起构建符合业务场景的业务规则。上线专门的数据治理平台，比如企业级元数据管理系统，数据质量分析系统等，将相关的制度规范和职责要求固化在系统中进行控制，并在流转的各个环节由相应的组织和角色负责，实施认责机制。

2.4 数据建模

数据模型是源端系统的数据结构，也是数据质量提升的关键，简洁稳定的数据模型能有效降低数据加工，整合，降低出现数据问题的风险。对于源端的所有业务系统要注意进行相关性分析，降低重复，无效的数据量，降低数据的维护成本及数据在流转环节出现问题。信息部门对各业务规则的数据，以数字化部门和下游业务需求团队充当客户的角色，对每个具体的业务场景为单元进行归纳，通过漏斗法等技术手段甄选“核心数据元素”，降低核心数据量，对部门之间需要协同的数据进行相关性分析，减少相关性高，重复出现的数据，从建模层面炜核心数据“瘦身”。

2.5 数据标准

同时要建立一套完整的数据校验规则，从“数据入口”着手，在各服务渠道录入数据时进行外部校验或者借助第三方数据供应商进行数据校验，减少因多头录入导致的协同数据质量问题，管好业务系统源头数据质量，完善各专业协调系统接口的业务标准和数据标准，确保新增数据的完整性。对各业务部门新提出的业务协同需求，进行统一设计开发，纳入业务协同统一管理。

2.6 数据流转实时监控

经过事前制度规范建设，数据建模，数据标准的制定，从数据源头控制数据质量，进入了数据从源端到下游整个流转的监控就显得十分重要，同时也是监测事前的落实情况及查漏补缺的重要手段。建议数据流转在线监控平台，结合元数据管理系统，暴露元数据变更未考虑到历史数据的处理、数据转换不全等各种流程设计错误、数据处理逻辑有缺陷等问题。

数据流转监控需要包含三个方面，数据及流转环节的规划，数据变更的记载，异常地发现告警，反馈。（1）对需要监测的数据和流转环节进行规划，将事前制定的组织结构负责人，技术规范融入到监测范畴中，组织分析各领域的数据质量问题，监测报告涉及数据建模的数据结构变化情况，数据分布情况，涉及数据标准的数据空缺和数据格式不匹配等情况，及数据对业务服务的满足情况等。（2）在数据流转过程中，源端数据的变更是最易发生问题的地方，首先要坚持数据逻辑变化可监控的原则，尽量不在SQL等不可监控的位置改变数据逻辑，导致数据变更不可追溯。其次对于引起数据变更的脚本要记录在监测系统中对应的节点中，定位责任人，真正做到每个数据节点数据变化可追溯。（3）引入告警，反馈机制，以线上监控线下实施双重管道提升效率，通过企业微信、电话、短信或者是微信小程序的方式将告警内容通知到节点责任人，责任人根据告警信息来回应异常具体情况及是否已解决，异常问题记录入系统，为数据问题的跟踪，整改计划提供支撑。从而保证数据的准确性和一致性，做到数据的可见可控，实现数据从源端到平台再到下游应用的全生命周期管理。

2.7 数据问题的跟踪机制

建立数据问题相应的规范与制度，形成规范性的文档指引系统运维人员进行标准化的实施管理，再通过线上数据流转监控系统查找问题根源，支撑需要落实的线下实施内容。组建专题研究团队，制定相关规则脚本，固化到数据质量平台，对问题数据进行分析，将数据质量情况每天通报给对应的数据责任人，归纳总结同类型问题实现问题解决机制，现实大数据平台运行调度完整的闭环。

2.8 数据质量评价体系及整改计划

定期对系统开展全面的数据治理状况评估，从问题率、解决率、解决时效等方面建立评价指标，通过系统记录并跟踪需要整改的数据问题，要求按期整改优化，从问题定义、问题发现、问题整改、问题跟踪、效果评估5个方面建立相应的管理及认责机制，建立相应的质量问题评估KPI。保证数据质量问题全过程的管理。并根据常见，高频的数据质量问题，联合业务部门，数据质量相关负责人进行会议沟通，制定出短期，长期的整改计划，充分利用监控平台，逐步实现业务指标从系统自动抽取，通过运营监控手段对数据质量情况进行监控和通报，督促、推进数据问题整改。

通过对不同阶段数据的规范，分类处理，做到事前预防、事中监控、事后改善，能从根本上解决数据质量问题，为企业发挥数据价值扫除障碍。

3 结语

数据质量治理过程是个过程繁琐，专业性强，跨部门跨职能需要高度协调配合的困难工作，组织架构上建立专项工作领导小组及工作小组。制定科学数据质量提升方案，开展共享模型设计开发工作，对数据进行统一的清洗、整合，支撑各业务领域运管和报表应用，实现数据分析资源的共享复用以及数据质量的集中管控。借助数据质量平台、数据流转监控平台完成自动质量监控管理，及时发现问题，减少数据问题影响的范围。针对问题数据形成一整套处理机制，制定数据质量提升管理考核规则，完整数据质量的闭环管理。