基于ISO8000标准的电力数据质量管理研究

杨栋枢，董媛媛，乔雄

基于ISO8000标准的电力数据质量管理研究

杨栋枢，董媛媛，乔雄

基于国际标准化组织推出的一套国际通用的数据质量管理标准——ISO8000系列标准，针对电力企业普遍存在的数据质量问题，开展 ISO8000数据质量标准在电力行业的应用研究，借鉴国外先进经验，深入探索公司级数据质量标准及应用策略与方法，保障数据质量提升。基于 ISO8000标准的电力数据质量管理研究建立了一套标准的电力数据质量管理标准体系，提出了数据质量标准实施方法，建立了评价考核模型，辅以信息化支撑工具，达到提升电力数据质量管理水平的目标。

ISO8000；数据质量；数据标准；电力数据

0　引言

在当今全球通信便捷的时代，信息就是金钱，可以创造价值，廉价的、最新的、可靠的信息是进行有效竞争的基本条件。在市场调查，专利申请、生产改造步骤、取得销售订单或接受付款中，信息对每一个业务的职能实现都必不可少，可使企业具有更高的竞争优势。信息质量通过将正确的信息在正确的时间、正确的地点提供给正确的人来实现这一优势。而根据有缺陷的、不完整的、不及时的或误导性数据，难以做出有效的企业决策，企业需要以正确和及时的信息来推进其目标的实现。信息是赋以语义的数据，数据是前提[1]。而数据质量作为数据的生命线，是数据发挥价值的基础，已经被更多的企业意识到，并开展数据治理工作以提升数据质量。

随着国家电网公司“一强三优”智能电网[2]的建设及信息化进程的不断深入，大量智能控制与监测设备、调度生产运行设备、通信设备的投运及信息化建设带来的数据问题也开始凸显出来，为了更好地发挥和利用好数据的价值，迫切需要提高数据质量[3]。近年来国家电网公司各业务部门通过各种手段开展了数据质量管控提升工作，且取得了一定的成果，但从公司整体层面缺乏统一的体系和标准，以应对日益增长的各专业领域数据质量管控和提升工作的迫切要求。

数据质量标准是目前国际标准化的一个新领域，ISO8000系列标准[4]是一个新出现的有关数据质量的国际标准，已经迭代出多个版本，分别对主数据语法和语义、主数据源、主数据准确性和主数据完整性标准进行了定义。本文在深入研究ISO8000系列标准基础上，结合电力行业数据质量现状，开展 ISO8000数据质量标准在电力行业的应用研究，借鉴国外先进经验[5,6]，标准先行，深入探索公司级数据质量标准及应用策略与方法，保障数据质量提升。

1　数据质量标准ISO8000　介绍

ISO8000系列标准是在国际标准化组织（International Organization for Standardization——ISO）标准下开发，由ISO技术委员会TC184负责，面向数据质量的标准，属于ISO标准的一个部分。ISO8000系列标准立足于数据质量，旨在为政府、公共机构和各类公司及应用提供更可靠可信数据的国际标准，是一套国际通用的数据质量管理标准，研究ISO8000数据质量标准在电力行业的应用，可以借鉴国内外先进经验，减少研究成本，建立服务于公司的数据质量标准，全面管理数据从采集录入到信息化处理过程，为进一步的数据质量提升、减少决策失误和避免经济损失打好基础。

ISO8000系列标准目前已发布了若干个独立的标准，包括主数据语法和语义、主数据源、主数据准确性和主数据完整性标准。

ISO8000-110是主数据的语法和语义标准，即组织和系统之间主数据的通用规则、语法、语义编码和数据规范要求。该标准已经作为一个技术标准被发布，并正在发展成为一个全面的ISO标准。

ISO8000-120是主数据源标准，该标准描述的是主数据和主数据集的源的信息的表述和交换的方面要求。同样，该标准也已被发布成为一个技术规范。

ISO8000-130是主数据准确性标准，该标准提出的是数据捕获和数据交换精度方面的需求，并提出了以声明和担保的形式确保数据准确性的概念模型。该标准也是已发布的技术规范。

ISO8000-140是主数据完整性标准，该标准提出的是主数据完整性表述和信息交换要求。

2　电力数据质量管理现状

在对数据进行治理的时候，必须首先要有可对比、可量化的数据质量标准[7]，依据标准做出客观科学的数据质量评价。近些年来，国网信息化建设取得丰硕成果，尤其是数据中心建设和运监系统建设以来，数据价值越来越被重视。数据资源管理工具的研发，公共信息模型的设计，数据服务管理平台的建设都在逐步完善中。但现有数据质量管理大多是针对数据库的某一个或几个方面的质量需求进行管控的，并且存在较多自查填报方式，提出的质量描述形成的是单一的质量模型，不能构成完整的质量体系。

为构建数据纵向贯通、横向集成的一体化企业级信息集成平台，完善统一的共享交换数据模型、提供通用的数据接口，国家电网公司在国际标准IEC61970、IEC61968公共信息模型（CIM）的基础上，开展了SG-CIM公共数据模型项目，形成了公共数据模型典型实施方案，为数据交换标准化奠定了基础，但未能基于SG-CIM建立相对应的管理体系、没有评测规则，导致数据质量管理效果不明显，仍然存在诸多数据质量问题。

1）数据质量管理缺乏科学的参照标准：当前数据质量管理较为分散，且各项管理较多是依据经验对数据及时性完整性等质量特性进行粗放式管理，导致数据质量管理不全面，不深入。

2）数据质量管理缺乏完善的管控流程体系：当前缺乏完整的数据质量管理流程，对统推项目、自建项目等多类型项目无完整的管理流程规范，导致数据管理工作难以持续有效执行。

3）数据质量管理缺乏评价模型及完善的评价考核体系：现有数据质量评价与考核手段较为单一，且由于质量标准的缺失，模型覆盖不够全面，影响数据质量管理效果。

4）数据质量管理缺乏信息化支撑：当前数据质量管理工作多为线下操作，存在较多手工数据填报、人工核算工作，缺乏自动化的流程支撑及评价结果计算，影响数据质量管理工作开展效率及规范性。

3　基于ISO8000　标准的电力数据质量管理研究

随着信息技术及网络应用的不断深人，信息资源的不断积累，信息和数据质量问题日益凸显，正在引起越来越广泛的关注。为保证数据质量，加强对数据质量的管理，许多国家政府机构及企业开展了大量的研究和应用实践，并制定了相关数据质量的法规和标准[8]。

本文深入研究ISO8000系列标准，结合国家电网公司现行数据标准和现有数据质量管理现状，制定公司数据质量标准，建立一套标准的数据质量管理标准体系，并研究数据质量标准实施方法，建立评价考核模型，辅以信息化支撑工具，达到提升电力数据质量管理水平的目标。

3.1电力数据质量标准体系

结合国网公司现有数据质量建设成果，参考 ISO8000各类标准，构建电力数据质量标准体系，形成主数据语法和语义标准、主数据源标准、主数据准确性标准、主数据完整性标准，构建技术规范体系[9]。

主数据语法和语义标准，基于国家电网公司现有主数据管理规定，针对电力主数据，包括财务、物资、项目、设备等业务范围主数据，标准化电力主数据编码规范、语义规范等通用规则。

主数据源标准，依据主数据来源类型划分，描述主数据源的定义规则、表述规律，以及数据交换的相关要求。

主数据准确性标准，针对特定类型数据在精度方面的要求，提出数据准确性的定义及决定因素组成，构成评判数据准确性的概念模型。

主数据完整性标准，针对数据类型划分，提出数据完整性应当具备的属性组成，构成评判数据完整性的概念模型，同时，对数据交换的数据完整性要求做设定。

3.2电力数据质量标准应用实施管控

依据电力数据质量管理的现状，制定电力数据质量体系应用实施方法[10,11]，制定数据质量标准应用流程和标准实施管控流程，探索电力数据质量体系应用和实施工作的落实，支撑数据质量标准应用工作的规范开展。

数据质量标准应用实施的管控，包括各类角色的数据质量管理职责分工、数据质量管控组织体系、数据质量指标评价体系，以及检查考核体系等。其中，数据质量管控组织体系应包含数据质量管控领导小组和工作小组，做到分工明确、职责清晰、责任到位；深入分析在需求开发过程、数据生产过程、数据提供过程中，影响数据准确性、及时性的因素，构建数据质量指标评价体系；检查考核体系与数据质量指标评价体系相对应，明确考核对象、考核条目，具体到各级单位、部门。

3.3电力数据质量的评价考核

结合电力业务特点，根据数据质量的基本因素，即完整性、唯一性、一致性、精确度、合法性、及时性，为各基本要素分配重要性系数，设计基于层次分析法（AHP）的考核指标层次结构，建立评价考核模型，为数据质量管理工作的开展提供依据[]。

完整性主要包括实体不缺失、属性不缺失、记录不缺失和字段值不缺失四个方面；

唯一性指主键唯一和候选键唯一；

精确度指计量误差、度量单位等方面的精确程度；合法性主要包括格式、类型、阈值和业务规则的有效性；及时性指数据刷新、修改和提取等操作的及时性和快速性。

3.4数据质量管理信息化支撑工具

基于数据质量管理理论，研发数据质量管理信息化支撑工具[12]，固化电力数据质量管理体系，实现质量体系的定义、数据质量校核、数据质量分析、数据质量问题管理、数据质量审计等闭环的数据质量管理流程，为数据质量工作的开展提供信息化、自动化支撑。

在具体实现上，数据质量校核模块依据数据质量标准生成的规则对校核数据集的数据质量进行检测；数据质量分析模块对数据质量属性进行定量分析以及根据数据质量校核处理后的数据分析出对应监测数据集的整体数据质量情况，并根据分析结果给予相关整改建议；数据质量问题管理根据数据质量分析的结果给予相关整改建议；数据质量审计对整改建议的效果进行跟踪、反馈。

4　研究成果

基于ISO8000标准的电力数据质量管理研究，结合公司数据标准、数据质量管理等现状，深入研究ISO8000数据质量标准，提出公司数据质量标准建议，并探索数据质量标准实施方法，解决数据的完整性、唯一性、精确性、合法性、及时性等问题，从质量标准、管理流程、评价考核体系、信息化支撑四个方面着手，研究电力数据质量管理，进而提升电力数据质量水平，形成以下研究成果：

1）建立了数据质量标准：深入研究ISO8000数据质量标准体系，结合公司数据现状，建立适用于公司的数据质量标准，为公司数据质量管理提供全面的遵从依据。

2）建立了数据质量管理流程：基于ISO8000数据质量标准体系，结合公司信息化建设现状，建立适用于公司的数据质量管理体系流程，规范数据质量管理过程，提升数据质量管理的科学性，保障数据质量标准在公司信息化建设的落地。

3）构建数据质量评价模型及考核方式：基于数据质量标准，构建数据质量评价模型并固化，结合现有数据质量通报等考核方式，为全面管控各级单位数据质量情况提供支撑。

4）建立数据质量管理信息化支撑工具：继承并扩展现有数据管理信息化系统，为数据质量标准落地、管理流程落地、评价模型落地及考核落地提供信息化支撑。

5　总结

在当前不断发展的信息化时代，数据在各行各业中都起着至关重要的作用，为了满足数据的准确性、可用性等方面的数据质量要求，可以采取在数据采集过程中，遵循规范化的数据质量标准的方式，保障数据分析的数据质量基础支撑。本文引入ISO8000系列标准，深入研究电力数据质量管理，提出电力数据质量标准体系、电力数据质量标准应用实施的管控方法、电力数据质量管理工作的评价考核办法，以及数据质量管理信息化支撑工具，为数据分析利用打好数据质量基础。

[1] 刘飞.中国企业数据集成与数据质量市场白皮书[R].北京: IDC中国,2008

[2] 曹军威，万宇鑫，张树卿等.智能电网信息系统体系结构研究[J].计算机学报,2013(1):143-167

[3] 杨玺.数据质量管理在电力安全生产信息系统中的应用[J].电子世界(信息科学版),2013(22):234-235

[4] 王军玲，李华，王强.ISO 8000数据质量系列标准探析[J].标准科学,2010(12):44-46

[5] Madnick S E,Wang R W,Lee Y W,et al. Overview and Framework for Data and Information Quality Research [J]. ACM Journal of Data and Information Quality,2009,1(1): 1-22.

[6] Todoran I,Lecornu L,Khenchaf A,et al. A Methodology to Evaluate Important Dimensions of Information Quality in Systems [J]. ACM Journal of Data and Information Quality,2015,6(2-3): 1-22.

[7] McGilvray D著，刁兴春，曹建军,张健美，等译. 数据质量工程实践[M].北京:电子工业出版社,2010.

[8] 杨宇.电信BI系统中的数据质量管控[J]. 科技创新导报,2012(32):186-186

[9] Pipino L,Lee Y,Wang R. Data quality assessment [J]. Communications of the ACM,2002,45(4):211-2182.

[10] 朱庆,陈松林,黄铎.关于空间数据质量标准的若干问题[J]. 武汉大学学报(信息科学版),2004,29:863-867.

[11] 侯延湘.数据质量管理及在数据仓库实现探讨[D].吉林:吉林大学,2007

[12] 党芳芳.电网企业业务数据质量管控技术的研究讨[D].北京:华北电力大学,2014

Study on Quality Management for Electric Data Based on ISO8000

Yang Dongshu,Dong Yuanyuan,Qiao Xiong
(State Grid Information and Telecommunication Industry Company Limited,Anhui Jiyuan Software Company Limited,Hefei 230088,China)

In view of widespread problem of data quality in the electric enterprises,based on a set of international general data quality management standards--ISO8000,which is published by the international organization for standardization,it carries out ISO8000 data quality standards applied research in the electric industry. Borrowing the foreign advanced experiences,it explores the firm-level data quality criteria and application strategy and method,to ensure the data quality improvement. Based on standard ISO8000,electric data quality management research has established a set of standard power data quality management standard system,and puts forward the data quality standards implementation method. It establishes the evaluation model and uses the complementary information support tools to achieve the goal of improving the quality of electric power data management level.

ISO8000; Data Quality; Data Standard; Electric Data

TP399

A

1007-757X(2016)03-0054-03

杨栋枢（1976-），男，安徽，安徽继远软件有限公司综合应用事业部总监，工程师，学士，研究方向：电力信息管理，合肥，23088

董媛媛（1986-），女，安徽，安徽继远软件有限公司综合应用事业部总监，工程师，学士，研究方向：数据管理，合肥，23088

乔 雄（1985-），男，安徽，安徽继远软件有限公司综合应用事业部总监，工程师，学士，研究方向：数据管理，项目管理，合肥，23088

（2015.12.03）