面向市场监管领域的数据治理体系构建

仝姗　陈大海　王骏骥

[摘 要]江苏省市场监管部门体制“三合一”改革后，监管工作在面临巨大挑战的同时，也迎来了难得的机遇。高质量、可信赖的数据资产在精准监管中的作用日渐凸显，已成为智慧市场监管的核心驱动力。本文从数据标准、元数据、基础数据、数据模型、数据质量五要素展开分析，以优化数据治理流程，构建完善的数据治理体系，提升数据质量。

[关键词]市场监管;数据治理体系;数据质量

doi：10.3969/j.issn.1673 - 0194.2021.04.088

[中图分类号]D63;TP391[文献标识码]A[文章编号]1673-0194（2021）04-0-04

0     引 言

江苏省市场监管部门体制“三合一”改革后，在整合信息化系统、促进业务融合方面进行了有益尝试，并取得初步成效。机构改革后的市场监管工作面临监管主体众多、监管事项增多、监管责任加重、监管压力增大的挑战，急需以数据驱动业务协同创新，通过大数据分析等技术手段实现科学决策和精准监管。

江苏省市场监管原业务部门已自建规模不等的数据仓库或数据中心，实现了一定程度的数据服务。但是由于缺少数据标准和相应处理流程，导致数据描述不全、数据结构各异等问题，从而限制了部门间业务协同，联合监管效能无法发挥，数据价值很难做到深层挖掘。

1     数据治理体系构建

数据治理是市场监管数据管理的重要组成部分。数据治理体系通过数据标准录入使数据治理有据可依，采集元数据构建数据模型，其基础数据则可以确保数据治理的一致性，避免出现歧义及理解偏差。各模块协同，打造完整的数据治理流程，实现了数据治理全过程可视化。

1.1   体系架构

本文通过对数据标准、元数据、基础数据、数据模型、数据质量的管理，打造全视角的数据质量治理体系，逐步解决数据底数不清、标准缺失、数值不准等共性问题，实现数据标准化，确保数据品质。数据治理体系架构如图1。

1.2   数据标准管理

数据标准管理是数据治理体系建设中的重要环节，通过数据标准可以有效规范系统建设时对业务的统一理解，增强业务部门、技术部门对数据定义与使用的一致性，减少数据转换，提升数据效能，优化数据服务。

本文通过建设统一的数据标准管理功能模块实现数据标准的集中管理，为系统建设人员和应用人员提供便捷的数据标准获取途径，促进数据标准规范的落地实施。数据标准管理模块的功能，包括数据标准文档管理、数据标准用语管理、数据标准业务代码管理、数据标准模型管理和数据标准指标体系管理。

1.3   元数据管理

元数据管理是数据治理体系的核心组成部分，贯穿于体系的创建、维护和使用的各环节之中，元数据管理可明确数据方向、统一数据口径、梳理数据关系、管理模型变更，是数据建设和数据资产高效管理的有力保障。

本文以元数据为核心驱动，尝试构建完整的数据管理和数据服务模块，统一对江苏省市场监管数据元进行管理。元数据管理实现数据生产、服务全链路信息的集中管理和展示，同时也为作业管控、质量管理提供数据标准。元数据是以标准方式表达的数据元，数据元是数据的基本单元，将若干具有相关性的数据元按一定次序排列，即组成元数据。元数据管理包括元数据服务和元数据分析。

1.4   基础数据管理

基础数据管理包括基础数据的生成服务和版本维护。

存储于业务系统中的数据，通常采用抽取、转换、装载（Extract-Transform-Load，ETL）的方式进行导入，生成基础数据。数据抽取调度管理的方式如下：元数据管理模块对元数据的自动获取提供持续稳定的调度支持，能够按预设的调度策略触发相应的元数据自动采集过程，并满足元数据采集在时效性和获取时机等方面的需要。例如，在数据处理程序更新后8小时内触发相应的元数据自动获取过程;也可以在每星期一00：30触发数据库元数据的自动采集过程，由守护进程Cron来处理周期任务，定时任务语句如下：30 0 * * MON /home/dataman/work/job.sh。

基础数据版本管理对基础数据的变化进行记录和管理，如企业类型新建视为第一版，之后每次修改新增一个版本，版本号按照规则自动增加。可以通过对比查看每次的变更记录，并且支持随时恢复到某次变更的版本。

1.5   数据模型管理

数据模型管理包含构建模型设计、模型优化、模型监控的可视化管理体系，提供对模型实体、属性、关系的设计，模型的标准化管理及模型一致性监控。该管理体系完整记录数据治理模型建设的全过程，为数据的开发、部署、融合等各个阶段提供基础支撑。数据模型管理功能模块包括基础模型管理、逻辑建模和物理建模。

1.6   数据质量管理

数据质量管理是数据治理工作的基础。建立基于全局视角的闭环数据质量管理模块，可以确保共享开放、研究分析和应用服务数据的品质，实现数据资产价值最大化。数据质量管理可实现稽核规则管理、稽核任务管理以及数据质量分析功能。

1.6.1   稽核规则管理

为了高效开展对数据治理各关键环节的检查工作，应规划建设稽核规则管理模块，统一配置质量检查规则。系统在对数据进行检查前，通过访问稽核规则管理模块来读取质量检查规则。稽核规则支持编辑、修改和删除。

1.6.2   稽核任务管理

数据质量管理模块根据需求或规则生成所有稽核任務，提供侦测和前置条件触发两种方式启动稽核任务流程。

稽核任务管理将稽核流程与数据加工流程相结合，支持稽核任务定时、嵌入、手工调度，实现流程调度多样化。当稽核出影响后续加工的关键问题时，数据加工流程自动停止，待问题处理完毕后流程会继续执行。

数据质量管理模块对稽核调度任务具有启动、停止、定时和并发数设置的功能，支持稽核任务的执行状态查询，支持查看图形化的工作流监控界面。

1.6.3   数据质量分析

对数据质量问题的有效管理，是数据治理工作成功的关键。数据质量分析提供对数据采集、处理、应用等环节质量稽核结果的综合分析，是一个集中展示数据质量状况的窗口。

数据质量分析支持对问题数据的检索，重点关注稽核对象问题数据，提供对问题数据数量变化的趋势分析、对问题数据不同稽核类别的数据分布分析以及对问题数据的整体分析功能。

2     数据治理流程分析

数据治理从完整性、准确性、一致性、及时性、稳定性、规范性六方面完成对数据质量的评价，并完成闭环治理，实现数据的统一规范和统一管理。

数据治理需要数据标准、元数据、基础数据、数据模型、数据质量管理各要素协同完成治理过程，数据治理协同流程如图2所示。

数据标准发布是数据治理的第一步，数据标准包括文档、用语、业务代码、模型、指标体系等。数据模型提供逻辑建模、物理建模及模型管理功能，数据建模过程中引入数据标准，实现标准落地。元数据服务和管理是数据治理的核心部分，原始数据通过加工转换形成目标数据，目标数据校验结果自动生成数据质量元数据。基础数据实现版本管理功能，并提供数据访问接口，供数据集成系统调用。数据质量管理提供数据质量问题的全流程跟踪、记录功能，以保证数据质量问题能够得到有效分析、准确分发、及时解决，最终提升数据质量。

3     实践和成果

笔者通过分析数据治理要素，完成了数据治理体系的构建，并应用于江苏省市场监管数据管理服务。截至2020年7月下旬，共处理数据280余亿条，数据总量高达2 181 GB。

江苏省市场监管数据治理体系，坚持标准先行，录入正式发布国标、省标及相关行业标准，并将数据标准系统化。部分数据标准见表1。

江苏省市场监管数据治理采用专项治理和日常巡查结合的方式实现。

专项治理指集中一段时间就某类数据质量问题进行集中整治，按需抽取检测规则，展示问题数据的占比情况和各地区的问题数据量，并生成分析报告和各地市问题数据的详细清单。本文对某信息化系统归集的数据进行专项治理，制定5项稽核规则，共检测出问题数据36万余条，详情见图3。

日常巡查指完成资产盘点之后，对于业务上不符合稽核判断规则的数据项进行检测，并发布检测报告。体系支持自动设定任务，完成对数据的巡查，支持稽核规则配置、周期性任务规划等。图4为江苏省市场监管某次日常数据巡查结果。

4     结 语

2019年11月，国家市场监督管理总局办公厅发布《市场主体登记数据质量建设实施方案》，明确指出要以数据质量建设为契机，进一步加强全系统市场主体数据监测，全面规范业务流程和数据标准，完善數据质量管理制度，形成提升数据质量的长效机制，为市场监管改革提供坚实的数据基础和支撑服务。

《市场主体登记数据质量建设实施方案》说明数据质量建设的主要任务是建立数据质量评价标准、开展数据质量监测、建立完善数据质量纠错机制及加强数据质量管理制度建设。各地市场监管部门在数据质量建设工作中，要将数据质量建设工作落到实处。只有抓好数据质量，才能真正提高市场监管信息化建设和应用水平。

主要参考文献

[1]卢乐天，阳梦华，邓樱文.政府数据治理体系研究[J].电信工程技术与标准化，2019（1）：29-33.

[2]司莉，曾粤亮，机构科研数据知识库联盟数据治理框架研究[J].图书馆论坛，2018（8）：61-67.

[3]张国宝，卞艺杰.一种面向闭环的数据治理平台与方法设计[J].计算机技术与发展，2019（8）：156-160.

[4]司晓.数据要素市场呼唤数据治理新规则[J].图书与情报，2020（3）：7-8.

[5]李倩，刘冰洁，赵彦云.大数据环境下的统计元数据建设[J].统计与信息论坛，2020（3）：14-20.

[6]顾嘉琪，袁莉.基于公众需求的政府数据开放服务质量提升研究[J].情报杂志，2020（6）：196-202

[7]ALRUITHE M， BENKHELIFA E. Cloud Data Governance Maturity Model[C]//2017 8th IEEE International Conference on Software Engineering and Service Science. Beijing：IEEE， 2017：517-520.

[8]陈艳，高原.电网企业数据治理成效评估及应用前景研究[J].现代经济信息，2019（13）：66.

[9]农发行总行信息科技部课题组.提升数据质量的方法和路径[J].农业发展与金融，2019（5）：81-84.