探讨改善无线电监测数据质量的方法

李效利，于 淦

（1.国家无线电监测中心云南监测站，云南 昆明 650000；2.国家无线电监测中心，北京 100037）

0 引言

《科学数据管理办法》（以下简称办法）于2018年3月由国务院办公厅印发施行。《办法》明确了我国科学数据管理的总体原则、主要职责、数据采集汇交与保存、共享利用、保密与安全等方面内容，着重从五个方面提出了具体管理措施，其中对数据质量也做了明确要求，比如建立监测数据质量标准制度、建立监测数据质量控制体系、建立监测数据质量保存制度、建立监测数据评价和考核制度，这些提高数据质量的办法同样适合无线电监测数据质量管理。

无线电监测数据是无线电监测行业的核心资产，在数据浪潮中，若通过采用一些方法措施，提升了监测数据质量，巩固了监测设施建设成果，解决了建设成果更好的满足业务需求问题，发挥了监测数据决策支撑能力，对提升无线电管理能力会起到很好的作用。

1 无线电监测数据质量的定义

数据质量的标准在不同的组织有不同的定义。美国国家统计科学研究所（ NISS）关于数据质量研究的主要观点在于：数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。

根据数据质量的定义，无线电监测数据质量可以定义为：无线电监测数据质量是指在无线电管理应用中，能有效支撑无线电管理者管理应用频谱资源，能满足对频率划分、分配、指配，台（站）管理等业务需求的程度。

2 无线电监测数据质量存在的问题

目前，无线电监测部门已积累了大量的监测数据，从数据生产使用周期分析监测数据质量，发现存在如下类别问题。

一类是：一些数据质量问题是比较简单而明显的，可以使用自动化工具检测到的。比如监测数据的完整性、一致性、惟一性和有效性。不需要有很多的背景知识，或者数据分析经验。只要按照数据属性验证它的存在，结合数据要素特性，就可以判定它错误的。

另一类是：一些数据质量问题是非常隐秘的，大家都知道它是存在的，但它看不见摸不着，更处理不了，因为它需要放在特殊情境下才能被检测到。比如数据集成共享存在的困难，源于数据采集端厂家标准不一，不能集体共享，形成了信息孤岛问题；缺少数据全面评价管理制度对数据进行持续维护、提升；对数据的开发应用能力不足等问题。解决这些数据质量问题的关键就是需要一个复杂的、策略化的方法，而非孤立的、片面的来看问题。一旦数据质量不好，我们就需要寻求自动化与人工的双重方式才能解决这类问题了。

这些问题彼此之间是相互关联的，一环扣一环，对这两类问题出现的原因需做进一步分析。

3 无线电监测数据质量问题出现的原因

监测数据的采集和管理是一个专业且复杂的工程，涵盖了监测业务梳理、标准制定、元数据管理、数据模型管理、数据汇聚、清洗加工、中心存储、资源目录编制、共享交换、数据维护、数据失效等过程。在任何一个环节中出错，都将导致数据的错误。甚至，源头数据本身就是错误的。所以，数据质量问题不仅仅是一个技术问题，它也可能出现在监测业务和管理的过程中。图1对数据质量出现的问题，从技术、业务、管理三方面做列举。

图1 数据质量在技术、业务、管理的问题

4 无线电监测数据质量改善方法

通过对监测数据质量问题及出现问题的原因分析，从事前预防、事中监控、事后改善三个阶段探讨改善监测数据质量的方法。如图2所示。

图2 数据质量改善方法

4.1 事前预防

（1）制定质量管理机制：基于数据管理的复杂性和诱因的多重性特点，解决数据质量问题仅仅依靠一个技术工具是不够的，需要建立长效工作机制。即根据无线电监测机构特点，制定符合各监测部门自身环境的工作制度，制定每个监测环节的工作流程，规定各个参与方的责任，建立“谁出数谁负责、谁签字谁负责”的责任追溯制度。无线电监测机构及其负责人对其监测数据的真实性和准确性负责。确定各项数据的权威部门，制定数据质量指标，制定数据质量修复流程等。

（2）制定数据质量标准：监测数据标准成功定义与否，直接决定了数据建设的成果和数据质量的高低，需要在融合国家标准、监测行业标准和地方标准的基础上，结合组织自身的业务特色制定数据质量标准。无线电监测工作相关标准和规范，包括数据库服务接口、数据库结构技术规范、监测系统操作规范、监测检测方法、监测任务流程、频谱评估技术标准、监测设备运行维护规范等都需要制定标准规范等。

（3）制定质量监测模型：监测数据质量模型代表监测业务需求，它是从业务需求的角度而描述出来的质量需求。根据无线电监测业务对频率划分、分配、指配，台（站）管理，制定监测定位、干扰排查等业务监测模型。

（4）制定质量监测规则：数据监测规则代表的具体的质量检测手段，它是从技术角度来描述数据质量要求是如何被满足的，包括规范性、完整性、准确性、致性、时效性、可访问性等，通过制定质量监测规则，确保监测数据的时间连续性、频谱完整性、精准可靠性等。

4.2 事中监控

（1）监控原始数据质量：监测数据采集工作从数据源头获取最原始的数据，在数据采集过程中将数据分为“好数据”和“坏数据”，“好数据”入库，“坏数据”则反馈给源头修复，因为数据来源部门最了解这些数据，也最能在源头上把数据问题彻底修复。

（2）监控数据中心质量：经过各种采集、清洗、加工过程，监测数据被存入数据仓库中，这些数据也将被业务部门使用，所以，对于这些成果数据的质量监控和修复则犹为重要。对于这类数据问题，可以使用简单的空值检查、规范性检查、值域检查、逻辑检查、一致性检查等规则进行检查，也可以通过诸如多源比较、数据佐证、数据探索、波动检查、离群检查等方法进行检查。

（3）反馈数据质量问题：数据质量监控过程中，会发现两类问题，一类是源头的数据质量问题，另一类是数据中心的数据质量问题，数据质量团队需要将这些问题及时反馈给源头部门和数据仓库建设团队。

（4）考核数据质量：数据质量的考核是为了能够引起各个参与部门和参与团队对数据质量的重视，需要及时统计分析各种数据质量问题，并制订出相应的应对措施。

4.3 事后改善

（1）修复数据质量问题：发现质量问题不是最终的目标，仍要建立相关的流程和工具，通过手工、自动化等手段将质量问题修复，从而为业务创新提供可靠的数据支撑。

（2）收集数据质量需求：通过建立通畅的数据质量反馈通道，让各个部门参与到数据质量的再次完善中来，从而形成建设、应用和反馈的良性循环。

（3）完善质量管理制度：制度和流程的建设不是一蹴而就的，要在数据建设和质量完善的过程中，结合监测组织结构和业务特色，不断完善质量管理制度。

（4）完善数据质量标准：针对无线电行业不断涌现新的业务形态，原有的业务也在不断的变化，要紧跟业务的变化，不断完善符合业务需求的数据质量标准。

（5）完善质量监测模型：如前所述，监测模型代表业务需求，业务形态的变化、数据标准的变化和质量新需求的出现，同样要求监测模型能够作出相应的变化。

（6）完善质量监测规则：信息化技术发展日新月异，不断引入各种新技术来更加智能地发现和修复数据质量问题。随着无线电新业务的出现，根据业务特点，利用新技术新设备完善更新监测规则，以确保监测覆盖全，数据质量有保障。

5 结束语

本文引入了满足无线电管理需求程度的无线电监测数据质量定义，并对监测数据存在的问题及原因进行分析，为提高无线电监测数据质量，重点提出了从监测数据的事前预防、事中监控、事后改善的质量改善方法。