万婵
摘 要 2017-2018年广东电网针对内部数据质量问题,按照“发现问题、发布问题、提供治理指引及工具、及时治理”的数据治理思路,建立了规范化的管理制度,主动管控数据全生命周期的质量问题;建立了全方位发现问题数据的方法,依托认责矩阵和标准固化数据质量规则,建立端到端的分析及定位问题数据的平台,自动化分层校验数据,发现问题数据,并定位问题责任人,建立各个业务系统的数据治理工具,由问题责任人负责整改,实现问题数据端到端整改,为公司数据治理提供了高效的整改方法和工具。
关键词 数据主人;电力行业;数据治理
背景
随着“云大物移智”前沿科技的迅猛发展,超出人类预计的数据量爆发式增长,数据生产者与数据使用者交叠重复,当代人类生活的方方面面离不开数据,而这些海量的数据构成了这个信息社会的基础。作为海量数据的拥有者——资源型大型企业的数字化转型之路势在必行。作为典型的国有大型企业的电力公司,其电力数据量大,类型多,价值高,变化速度快,并且其数据质量关乎国民经济,因此数字化转型成为电力公司在电力体制改革中的一个新的着力点。
广东电网在进行数字化转型工作—数据资产管理系列行动中,发现数据质量问题严重影响数据资产价值,数据治理工作理应先行,而由于业务系统数据体量大、基数大,业务系统间数据协同复杂,缺乏相应的数据治理管理规范制度,问题数据追溯定位难,数据治理自动化程度低、治理效率低,加大了数据治理工作的难度,影响业务应用及数据价值体现。
参考国内外大型企业数据治理经验,企业要进行数据治理首先要弄清楚的是谁的责任。DAMA数据资产管理体系中指出当前企业关于数据的问题,被广泛认为是IT部门的职责,但数据定义和业务规则、数据录入、数据使用、数据考核等又全都与业务部门有关。对此,DAMA强调,数据治理应该是业务部门与IT部门共同的职责。与此同时企业应该提供面向数据生命周期的数据治理方法。
广东电网信息中心基于实际条件,分析历史问题数据的成因及解决方案,设计了数据治理体系总体思路,如下图所示,首先根据对业务系统数据进行认责,捆绑数据责任人—数据主人,形成数据认责矩阵,然后固化认责关系到数据质量管理平台,建立起评价体系,再通过数据治理工具使得数据主人能自主治理数据,最后提供全面的数据主人全视图和问题数据视图。按照“发现问题、发布问题、提供治理指引及工具、及时治理”的数据治理思路,首先由质量平台进行规则校验发现问题数据,再生成基于数据主人的数据质量报告,体现到数据主人问题视图,再由问题视图中的问题记录有针对性地使用治理工具进行整改,最后更新系统数据,完成数据全生命周期的数据治理过程。
1 梳理数据认责矩阵,形成数据主人认责机制
数据主人机制包括为数据匹配主人,找到问题数据的责任人,对责任人进行考核。其中最基础的核心工作便是为数据匹配主人:
(1)梳理数据流图,主要是根据元数据清单结合现业务系统界面,按照“数据流图-流图节点-节点对应数据项”的对应关系进行梳理,形成数据流图文件,并下发至试点局,然后试点局根据实际情况对其进行了核对、确认、修改并最终形成统一文件。
(2)确定认责矩阵,试点局将统一后的数据流图进行细化,关联业务系统的数据模型和库表,建立认责文档,结合公司的4A组织机构及岗位设置,确认每一个数据流的节点的负责岗位路径,核对节點中所有字段对应的责任人岗位,形成认责矩阵。
(3)形成认责成果,统计业务系统和数据中心的数据项并对其重要程度划分,并设置、调整和确定数据认责矩阵中每一个岗位对数据项的权重,两者结合,根据认责矩阵,对所涉及的数据项进行重要性分级,规范各级数据在不同流程节点、不同岗位的不同权重,形成认责成果。
(4)形成考核方案,数据认责矩阵让基于问题数据的责任追溯得以实现,确认的数据责任人,即数据主人,根据问题数据的级别及数据主人岗位的权重,进行绩效考核,考核结果按各地市局实际考核方案制定比例。
2 结合质量校验规则,形成数据主人数据质量报告
对数据主人认责成果分析、设计、完善,集成到数据质量管理平台,使基于规则的数据校验结果进行认责得以实现。在数据质量管理平台上设计并开发出数据主人的数据质量报告模板,包括基于数据质量规则校验出的问题数据清单,对数据主人整改进度跟踪,并进行成效评估。在数据质量管理平台上实现按照岗位展示所有问题数据和重要程度,按照问题数据定位到所在岗位,从“数据项”及“数据主人”两个不同维度实现对数据项重要性的展示。
通过质量平台追溯问题数据责任人不仅实现了对问题数据的定位、定责和分析,而且形成的基于数据主人的数据质量报告具有针对性,易于理解与快速进行整改操作,节省人力物力,大大提高数据治理效率。
3 提供数据治理工具,督促数据主人主动整改
在统一数据认责规范,发现问题数据,定位问题数据主人之后,便是问题数据的整改,而大部分问题数据的处理更改“牵一发而动全身”,细微的变动有可能对整个数据链产生巨大的影响,为此项目开发了营销、生产等五个业务域的数据治理工具和一个账卡一致性工具,为应用单位开展数据治理提供便捷入口,辅助数据治理平台完成数据主人问题数据的治理工作,为数据质量的治理提供整改工具,解决问题数据整改流程长,跟踪监督困难等问题,减轻数据维护人员后台处理数据的压力和安全风险。数据主人运用这些数据治理工具辅助分析、自动化修正,将可提升每月人工处理的数据量,并保证数据治理过程的安全及全程监控。通过问题数据发起整改和整改完成统计等监控,实现整改过程动态监控,构建良好的绿色数据生态。
4 提供数据主人视图,开通数据质量管理自助通道
基于数据主人的数据治理体系,要想从业务端着手,达到全面信息化数据治理的目的,还需要一个面向业务系统操作人员的终端用户系统,借以提升整改效率及基层用户体验,减轻基层人员工作压力,提升工作效率,通过调研数据主人认责工作全流程,提供数据主人视图系统:一个主要界面是以数据认责成果为基础,展示给数据责任人的全部负责数据的全视图(数据主人全视图),另一主要界面,是结合数据质量管理平台提供的数据主人数据质量报告形成数据主人问题视图,并且提供整改及申诉通道,同时系统与4A组织配套形成基于数据主人账号权限的用户管理,让数据主人自助整改问题记录,将数据治理工作化整为零。
5 结束语
该体系成果在地市局开展应用,通过确定数据主人,提高全员数据主人责任意识,提升了公司数据质量。
(1)通过制定一系列工作标准文件、管理数据质量管理系统、建立数据认责工作成果评价体系三个方面进行控制,形成对数据主人的闭环管理;
(2)通过梳理数据流图,确定数据责任矩阵,根据业务流程节点、数据项和岗位对应的关系,形成统一的岗位认责文件,明确了业务人员的数据质量责任范围与权重,为数据精准地找到主人,提高了问题数据的有效处理效率;
(3)通过信息化手段支撑数据认责、追责过程,提供了高效的数据治理工具,并取得了良好的数据质量提升效果。
该举措大大提升数据质量水平,提高数据准确度,为社会提供更加精准、良好的电力服务,能够降低数据风险,降低客户服务抱怨的发生率和处理时间,提高广东电网公司电力服务的可靠性,提高社会满意度,大幅提升电力数据质量水平,提升电力数据价值,将公司的数据分析成果与政府、社会相关部门共享,辅助了解把握电力运行状态及经济动态,及时优化调整社会政策,起到电网企业主动承担社会责任的作用。