谈韵
摘 要 数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合治理。它是一种关注于信息系统执行层面的体系,本文是国家电网合肥供电公司通过在营销系统、用电信息采集数据的相关大数据应用业务探索和尝试,在大数据基础数据治理上的研究不断加深,形成了自己的工作体系。
【关键词】电网 电力大数据 治理 大数据管理
1 引言
2013年至2014年,国网公司信通部就逐步开展大数据研究与应用推进工作,完成编制《大数据应用研究报告》、《公司大数据典型应用需求分析报告》,组织中国电科院、南瑞集团等完成省公司大数据平台总体设计,编制形成《公司大数据应用指导意见》。2015年正式启动大数据平台建设、应用试点工作。
目前,国网公司范围内各单位陆续开展了一系列大数据的研究试点工作,但大多是集中于大数据平台的技术研究实现,在应用方面多数是基于营销系统、用电信息采集数据的相关应用业务探索和尝试,而在大数据应用机制以及基础数据治理上开展的研究工作较少。在进行数据综合应用和智能分析的过程中,发现数据质量问题从表象看是数据不完整、数据质量差,但从深层次看是欠数据标准、缺数据管理职责、无数据考核机制等等。
2 数据治理的发展
上世纪九十年代以前,国外企业在数据治理方面也存在很多问题,IBM和摩托罗拉就是典型代表。
1992年之前,IBM在数据治理方面存在很多问题,没有明确的可依赖的数据源,没有明确的数据所有人,数据质量差。1995年,IBM梳理并制定了业务数据标准,定义了15大类业务标准、79个分类子业务标准,这样全公司看到的是一个统一的业务定义;2004年,IBM制定了数据责任人体系,并联合业界多家公司和学术研究机构,成立了数据治理论坛,制定包括四大领域11个要素的数据治理框架和方法,来指导数据治理工作的开展。2005年成立了数据治理委员会,之后又成立数据审核委员会。通过数据治理,IBM简化了基础架构,并降低了管理的复杂度。
同样在上世纪末,摩托罗拉提出了六西格玛管理策略,包含定义、测量、分析、改进、控制的DMAIC流程,初期用于解决产品/服务质量问题,后来也在解决数据质量方面得到很好的应用。
近几年,IBM开展大数据治理研究,提出了18步大数据治理统一流程模型,并应用于电信、零售、金融和公共交通等行业。
2014年,中国出现了专门的数据治理研究组织ITSS WG1,并向ISO正式提交和发布了数据治理研究白皮书。
目前,国内电力行业开展的数据治理工作主要包含两大类,一类是处理现有业务环节的数据质量问题,如营销稽查;另一类是针对业务主题应用的数据治理,如营配贯通、运检中心的数据质量评价。目前的数据治理工作没有形成体系,缺少统一的标准、组织架构、管理考核机制,难以持续有效开展。
随着对数据资产认识的不断清晰,电力行业数据治理的目标也在发生转变,国家电科院也已经开始着手数据治理体系的研究,但暂未涉及包含数据、应用、技术和管理的数据治理体系建设和应用。
3 电力大数据治理方法论
国网合肥供电公司在此背景下,制定深化大数据应用工作方案,以市县公司实体业务为切入点,推进大数据应用方法在供电企业应用实践,打造大数据应用环境,同時从以下几个方面定义合肥供电公司数据治理的方法论:
(1)理解数据治理的职能;
(2)把握数据治理的核心;
(3)明确数据治理的目标。
通过执行数据治理,对电力企业数据的管理和利用进行评估、指导和监督,提供不断创新的数据服务,为企业创造价值。
4 电力大数据治理体系探索
国网合肥供电公司经过不断的在营销系统、用电信息采集数据的相关应用业务探索和尝试,在大数据基础数据治理上的研究也在不断加深,电力大数据治理体系建立需要明确的工作至少包含以下几点:
(1)需要在哪些业务领域或应用场景作出电力业务数据治理的决策;
(2)需要哪些角色的人,以及如何参与到决策过程中;
(3)明确、完善电力大数据治理的最终目标。
4.1 数据治理原理研究
4.1.1 六西格玛(Six Sigma,6σ)管理及其数据管理延伸
六西格玛(Six Sigma,6σ)是一种能够严格、集中和高效地改善企业流程管理质量的实施原则和技术,以”零缺陷”的完美商业追求,带动质量成本的大幅度降低,最终实现财务成效的提升与企业竞争力的突破。实施步骤包括:定义、测量、分析、改进、控制。
六西格玛管理延伸到数据质量管理方面,一般采用十步数据质量管理方法。
(1)定义和商定问题、时机和目标,以指导整个数据质量管理的工作;
(2)收集、汇总、分析有关形式和信息环境。设计捕获和评估的方案;
(3)按照数据质量维度对数据质量进行评估;
(4)使用各种技术评估劣质数据对业务产生的影响;
(5)确定影响数据质量的真实原因,并区分这些原因的影响的数据质量的级别;
(6)最终确定行动的建议,为数据质量改善制定方案,包括数据级和组织级的;
(7)建立数据错误预防方案,并改正当前数据问题;
(8)通过改进组织管理流程,最大限度控制由管理上的缺陷造成的数据质量问题;
(9)对数据和管理实施监控,维护已改善的效果;
(10)沟通贯穿管理始终,循环的评估组织管理流程,以确保数据质量改善的成果得到有效保持。
依据六西格玛(Six Sigma,6σ)管理的原则和技术,借鉴十步数据质量管理方法,以业务驱动,用数据说话,进行数据治理体系的研究和典型实践,开展长效数据治理工作,为业务应用和决策分析提供优质数据。
4.2 数据治理关键点研究
4.2.1 识别数据质量关键要素
依据特定的业务需求或完整的业务场景,明确需要进行数据治理的关键要素。数据要素的涉及范围广,业务逻辑复杂,同时也就牵涉到的数据内容较多。
以供电公司统推PMS系统、营销MIS系统为例,其中数据质量关键要素包括电网设备台帐和参数:营销系统中的用户档案、计量台帐和台户关系,电能量采集系统中开关台帐和电量数据,调度技术支持系统中负荷数据、电网电压、停电等运行数据,用电信息采集系统中负荷、电量和停电等运行数据。例如PMS系统中线路设备的编号、名称、电压等级、所属变电站、运维单位、运行状态等信息,调度技术支持系统中线路的电流、电压、有功功率、无功功率、功率因素、运行状态、状态切换等数据。
4.2.2 数据标准的制订
制订数据标准是一个非常系统和复杂的工作,但它是开展数据治理工作的基础。根据数据质量定义,制定数据度量规则,包括完整性、唯一性、一致性、精确性、合法性、及时性等,这是一个反复迭代的过程,度量规则需要进行实践验证并不断补充和完善,这是开展数据质量度量的关键。
4.3 数据治理管理责任研究
国网合肥供电公司在大数据应用项目中,经过不断的摸索,梳理出关键性基础数据的责任分解,大致如图1。
4.4 数据治理考核研究
(1)设立数据治理組织机构,明确工作权责,建立部门间管理协同和业务统筹协调机制,推动数据治理工作长效开展。
(2)制订数据治理考核制度,明确考核指标、考核周期、考核范围、考核标准等,落实数据认责,以绩效考核的方式促进数据质量的提升。
5 总结
供电公司已经进入大数据时代,数据治理面临着多重问题,因此,合肥供电公司不断在大数据应用过程中加强数据文化意识,推行数据治企的理念。摸索建立数据治理组织机构、培养大数据人才、学习大数据质量治理技术、制订数据标准,同时加强数据安全,保护供电公司个人隐私,建立数据责任人认责体系。最后,持续不断进行质量改进,为合肥公司电力大数据应用提供坚实的高价值数据基础。
参考文献
[1]涂子沛.大数据:正在到来的数据革命[M].桂林:广西师范大学出版社,2012.
[2]维克托·迈尔—舍恩伯格,肯尼斯·库克耶·大数据时代[M].杭州:浙江人民出版社,2013.
[3]陈潭.大数据时代的国家治理[M].北京:中国社会科学出版社,2015.