如何提升企业数据质量

孔令虎，冉 彬，陈 剑

（湖北中烟工业有限责任公司恩施卷烟厂，湖北 恩施 445000）

1 数据质量定义

数据质量是指数据在多大程度上是无错误的，并能够服务于预期的目的。数据质量管理是指在数据创建、加工、使用和迁移等过程中，通过开展数据质量定义、过程控制、监测、问题分析和整改、评估与考核等一系列管理活动，提高数据质量以满足业务发展需要。可按照“谁创建、谁负责；谁加工、谁负责；谁提供、谁负责”的原则界定数据质量管理责任，由数据流转环节的各责任方对管辖范围内的数据质量负责。对数据质量规则优先采取系统程序的自动化控制措施，并尽可能前移管控点，从源头上控制数据质量[1]。

数据质量的高低是保证数据应用效果好坏的前提，是描述数据价值含量的指标，决定着数据价值的高低。缺少对数据质量管理，容易造成脏数据、错数据、冗余数据、信息缺失、标准不统一、信息不能融合、管理责任缺失，以及糟糕客户服务等低劣数据品质现象，错误或不充分的数据造成的损失是无法估计的。因此，对企业而言，提高数据质量的需求变得越来越强烈。

2 卷烟工厂数据质量存在的问题

良好的数据质量可以确保数据发挥出高价值。卷烟工厂由于信息系统建设的时间和要求各不相同，数据质量管理的现状普遍不够乐观，以下是卷烟工厂归纳的一些数据质量常见问题。如图1所示。

图1 数据质量常见问题

2.1 定义缺失问题

指关键业务元数据定义不清晰，导致对同一内容理解有偏差。由于各个信息系统建设的时间不一样，系统建设方对业务的理解和定位不一致，导致各个系统中对同一元数据的类型、长度、含义理解都不一致。

2.2 数据异常问题

指个别数据内容出现了异常现象，比如，人的身高超过5米，当月卷烟产量超过往年卷烟年产量、卷烟零售价低于卷烟调拨价等问题。

2.3 数据不一致问题

（1）系统间数据维护不一致。由于各系统建设时间不同，系统开发语言和规范存在差异，为提高数据访问速率和减少数据传输过程，一份同样的数据往往要在不同系统进行存放，这些数据如果不及时进行同步或更新，则容易引起这些数据内容不一致。例如，MES的产品报产产量和卷包数采的产量存在不一致的问题。

（2）系统之间数据同步时效性造成的不一致。例如，SAP预算系统提供的预算执行情况与SAP财务系统提供的预算执行情况存在差异，SAP预算系统的执行数是T+1日从SAP财务系统获取的，而SAP财务系统的预算执行数是实时计算的，由于同步时间不一致进而导致系统间数据的不一致。

2.4 数据完整性问题

（1）数据域完整性：数据值输入的有效性，关键内容是否允许为空值，是否必填内容。

（2）实体完整性：数据表中所有的行唯一。

（3）参照完整性：确保数据表主键（被引用表）和外键（引用表）之间的参照关系一致性。例如，生产计划表记录了计划号，但是在计划表中无法找到相关记录。

2.5 数据生命周期问题

数据的生命周期是指某个集合的数据从产生或获取到销毁的过程，分为采集、存储、整合、呈现与使用、分析与应用、归档和销毁几个阶段。一般而言，数据质量决定着数据生命周期的长度，数据价值会随着时间的变化而递减。

2.6 数据标准代码问题

（1）业务部门参与程度不够。数据标准工作一般由信息部门主导，业务部门在标准制定环节参与度不高，进而导致数据的业务属性没有准确地表达，部分术语无法表达业务含义，降低了数据标准的可读性、可用性。

（2）数据标准周期长、见效慢。由于数据标准在制定时需要尽可能涵盖企业相关业务活动，这样就容易导致数据标准的编制、维护工作复杂，数据标准管理推动力不够，影响数据标准管理工作的后期推广和应用。

3 提升数据质量的方法

基于卷烟工厂存在的6类数据质量问题，可从以下几个方面进行数据质量的改进。如图2所示。

3.1 明确数据质量需求

数据质量需求一般来源于组织的业务需要。数据质量管理工作首先关注企业最核心的数据，确定需要提高质量的关键数据。这些数据往往是企业最关注的数据、经济价值高的数据、客户影响面大的数据，以及支持企业部门直接业务协作的数据。例如，成品智能物流管理中发现很多发货站点（仓库）信息是不完整的，因此物流中心针对物料相关信息可以提出如下质量需求：仓库信息需要明确具体地址（省、市、县、区、街道、经纬度）等；发货仓库与到货仓库的具体里程、里程单价。

3.2 定义数据质量规则

通过制定数据质量规则帮助企业提高数据质量，明确企业数据质量管理的目标、需求、范围、分法、维度等，对关键业务数据进行质量问题评估，质量问题分析，以及质量问题影响分析，确定下一步数据质量工作的重点，形成数据质量规则度量表。数据质量预警机制是数据质量规则一项内容，预警信息的产生和发布需要明确定义的流程，数据质量规则通常从以下八个方面开展。如图2所示。

图2 数据质量规则

（1）准确性：指数据正确表示“真实”实体的程度。

（2）完备性：指是否存在必要的数据。

（3）完整性：完整性包括与完备性、准确性和一致性相关的要求。

（4）一致性：一致性指确保数据值在数据集内和数据集之间表达的相符程度。

（5）合理性：合理性是指数据模式符合预期的程度。

（6）及时性：指数据的更新频度符合预期。

（7）唯一性：是指数据集内的任何实体都不会重复出现。

（8）有效性：是指数据值与定义值域一致。

3.3 制定数据质量管理办法

（1）为保证数据质量，数据生产部门须指定专人承担导入公司数据中心数据的数据质量审核工作，通过对本部门业务数据的日常补充、修正、更新和删除等操作，确保数据的及时性、完整性、准确性。

（2）数据生产部门须建立电子数据台账，采集数据须严格依据原始资料如实反映，数据交换完成后，如源数据内容出现变更，需提前告知数据主管部门，以避免数据异常。

（3）经过数据主管部门确认后，数据质量要求公开颁布，数据使用部门遵照执行。

3.4 历史数据清洗、改造

数据清洗是指发现和纠正数据文件中明显错误的过程，包括检查数据一致性、处理无效值和缺失值等。

对于卷烟厂中的历史主数据按照最新的编码标准和数据模型进行清洗整理。在整理过程中应解决数据不标准、不完整、数据重复和数据粒度不适应等数据质量问题。通过清洗改造，为卷烟厂提供权威的主数据视图，在卷烟厂内保证数据的一致性和完整性。

3.5 数据质量验证检查

数据质量验证检查是根据数据清洗情况与定义的数据质量指标进行对比分析的过程，该过程主要有两个目的：一是确定清洗后的数据是否满足定义的数据质量要求；二是对数据质量指标合理性进行调整。

3.6 异常检查和规则完善

数据异常值是指执行质量检查的数据样本中的个别值异常，其数值明显偏离其余的参考值。异常内容检查可以先对数值做一个描述性统计，进而查看哪些数据是不合理的。常用的统计量是最大值和最小值，来判断这个变量是否超出合理范围。例如，标准烟支长度是84毫米，取值一般为70毫米、84毫米、90毫米、100毫米的卷烟，如果该卷烟长度达到150毫米，则该变量的取值存在异常。同时也可以根据异常检查结果不断优化检查规则。

3.7 沟通行动和结果，循环评估组织管理流程

保证数据利益相关者持续地参与到数据质量管理的过程中，例如，数据质量管理策略和流程的制订需要听取利益相关者的意见和建议，并得到批准，数据质量需求应当包含利益相关者的诉求。数据信息操作过程应当被记录，并作为改进数据质量管理策略和流程的依据。

3.8 改进数据质量管理流程

很多企业希望通过制定相关管理办法和考核要求来提升企业数据质量，但很少有企业取得真正满意的结果。根本原因在于数据质量的改进是一个循序渐进、逐步调整和优化的过程。好的方式是通过PDCA循环流程，持续不断地发现问题、对问题数据进行检查、核对、转换和标准化，最后达到发现问题和解决问题自动化，从而提升企业数据质量，减少数据质量带来的成本开销。从项目实践经验来看，发现问题、解决问题、数据整合和数据规范化是执行流程比较长的工作。

通过对数据质量规则进行检查，找到数据质量问题的根本原因，这些问题可能来自数据规范、组织与人员、管理制度、技术等环节，制订有针对性改进方案，尤其是要改进数据质量管理制度流程。制定了质量管理流程和规范后，数据质量管理负责人就应明确数据质量管控的目标，制定目标后就进入质量管控的执行阶段，并根据执行流程过程中发现的问题不断优化执行过程。

3.9 充分利用数据管理新技术

数据质量管理是数据治理项目中一项关键的工作，它决定了企业数据在决策应用上的准确性和确定性。数据质量管理的目标是促进数据应用价值的充分发挥，提升企业经济效益，可利用大数据处理的一些新技术为质量管理赋能，如主动元数据管理Data Fabric、湖仓一体架构等。

4 结束语

结合卷烟工厂数据质量存在的问题以及数据质量管理提升方法，企业数据质量管理工作应遵循业务引领的原则，确定重点质量管控范围，动态调整阶段性管控重点并结合质量管理办法持续优化。可按照“谁创建、谁负责；谁加工、谁负责；谁提供、谁负责”的原则界定数据质量管理责任，数据质量管理工作遵循PDCA，对数据质量规则优先采取系统程序的自动化控制措施，并尽可能前移管控点，从源头上控制数据质量，为企业高质量数据应用保驾护航。■