冉冉 乔林 刘为 周大鹏
摘要 数据已经成为现代企业最大的价值来源是支持企业发展战略的总要工具,通过合理地利用数据来寻求企业竞争优势,挖掘利用海量数据的潜力已经成为企业发展的关键动力。大数据时代的到来,使数据的潜在价值被进一步挖掘。同时,由于各种基于大数据整合、分析、利用的研究,使得大数据治理问题,特别是数据质量提升机数据安全保护方面成为大数据研究的重点。数据治理不仅是技术上的治理工作,更是一种自上而下的管理体系,是包括数据、应用、技术和组织互为一体的信息化架构的关键一环,是推动电力企业业务融合发展的保障。
【关键词】电网大数据 数据治理
随着国家电网公司信息化建设和应用不断深入,信息系统所产生的数据己成为公司重要资产,公司经营管理和业务模式创新对数据资源深度应用也提出了新的要求,因此如何解决“跨专业业务协同与信息共享不足,数据多头输入,数据准确性、实时性不强,数据反复抽取、冗余存储、质量不高”等问题,进一步统筹管理好数据,挖掘数据资源价值已成为电力企业提高精益化管理和科学决策水平的重要工作之一。随着电力企业全业务统一数据中心建设工作的不断推进,现已实现源端数据融合汇聚。但由于各业务系统标准不一致,同一业务对象在不同系统间定义不一致,编码不统一,在维度、粒度、频度和口径上存在差异,各专业数据未实现全面关联与集成;业务流程、业务系统数据校验不到位,未建立可靠可信的治理机制,数据多源输入仍然存在,数据的及时性和真实性得不到保证;数据核查及治理手段欠缺,数据质量仍由较大提升空间。
1 数据治理面临的问题
1.1 企业需求方面
缺乏企业级通用的数据治理规则。各业务部门制定自己的业务标准,部门之间的标准矛盾或相互混淆;各部门只专注与本部门业务相关的数据,数据共享能力差,形成信息孤岛;缺乏数据治理组织架构;缺乏正确的数据治理管理及配套的考核办法。
1.2 數据质量方面
以满足功能应用为主,未遵循企业架构设计中对数据架构设计方面的相关要求,未形成企业级整体数据架构设计,是各业务部门在数据交换、数据共享上比较苦难,数据冗余,数据完整性、合规性、一致性问题突出;主数据、元数据管理建设应用推动迟缓,未建立企业全局的数据质量考评机制。
1.3 系统建设方面
业务系统建设较多,分业务条线建设,系统集成性需要提升,在当前业务需求、企业政策变化频繁的情况下,信息部门难以及时响应和实现;分析、设计、构建、维护过程中,将流程、业务规则进行硬编码,难以适应业务变革的灵活需求缺少有效手段进行数据管理,数据问题持续存在而得不到解决。
1.4 组织管控方面
针对数据质量管控提升,业务部门与信息部门之间未达成共识,职责划分不清,标准规范不统一,未形成公司级统一的管理体系、管理规范和执行流程,业务部门各自为政,信息部门难以推动,未建立有效、常态的管理和执行组织,定期开展数据质量评估工作。
2 数据治理思路
2.1 现状梳理
结合全业务统一数据中心建设现状,梳理从数据产生、数据流转、数据应用、数据质量提升各环节管理现状结合各电力企业单位数据治理建设现状,分析工作成效及所处环境,定位当前数据治理所处阶段,依托数据治理成熟度模型进行定制化建设,制定阶段性工作目标与计划,通过对阶段性实际成果进行评估,推进电力企业系统数据治理建设,有效提升整体数据质量。
2.2 能力评估
对企业数据治理与管理的组织、制度、技术全面评估,识别薄弱环节和总体水平。建立数据治理委员会、数据治理工作组和数据治理实施组,从业务系统、数据共享、业务主题三个数据管理层次建立数据标准、数据标准管理、数据质量管理,明确数据定义,规范数据质量,通过数据技术对数据进行有效控制与支撑,以元数据采集、管理和应用为核心,驱动数据、标准、数据质量实现。
2.3 总体规划
基于成熟度评估成果规划数据治理蓝图;明确价值目标,设计组织体系、制度体系、能力体系、技术体系;识别切入点、实施策略、演进路线。在项目整体组织架构基础上,成立数据专项工作小组,明确信息部门与业务部门在数据切换工作中的具体工作职责。就相关数据问题沟通协调达成一致。
2.4 提升策略
根据分析结果提出数据质量问题发现、处理和数据质量提升方案,制定专项数据分析策略,提高数据质量、数据管理分析和决策效率。制定数据治理工作流程,明确问题处理机制。
2.5 运营机制
建立常态数据治理工作流程;常态数据问题和数据需求机枞常态数据治理沟通机制;阶段性数据治理目标动态调整机制。
3 结语
电力企业通过开展数据治理体系建设,基于全业务统一数据中心建设现状,汇集所有系统业务数据,结合自身实际,以业务为需求、数据为导向,建立自助管理、自动查找识别的大数据治理框架,形成标准化的大数据治理架构规范,帮助业务人员落实数据管理责任,快速定位数据问题,加快电网大数据治理进程。基于深度学习技术的数据质量自主提升技术,研发电网大数据治理管理工具,克服和弥补了人工质检存在的缺陷和不足,针对发现的数据质量问题,提供个性化的数据质量解决方案。进而实现从数据源到全业务统一数据中心落地过程全生命周期的数据治理。对各项业务系统中运行中的产生问题进行发现、处理、总结。实现公司“全业务协同、全流程贯通、全数据共享”。通过,在数据质量、数据安全、数据生命周期和数据架构的管理方面起到了推动作用。提升电力企业整体数据管理及应用水平。
参考文献
[1]贾福清,再接再厉全面推进“三集五大”体系建设[J].国家电网,2013 (02):50—51.
[2]张一鸣.数据治理过程浅析[J].中国信息界,2012 (09):15-17.
[3]陈敏,刘锦森,宋欣.构建数据整合下的精细化管理应用[J],中国金融电脑,2012 (10):45-48.
[4]巨克真,魏珍珍.电力企业级数据治理体系的研究[J].电力信息与通信技术,2014 (12):7 -11.
[5]粱芷铭.大数据治理:国家治理能力现代化的应有之义[J].吉首大学学报,2015 (02):32-41.
[6]王如则,浅析主数据管理信息系统的应用建设[J].无线互联科技,2013 (02):200.
[7]李明.管理信息系统中体改数据质量方法技术[J].电脑知识与技术,2013,9 (02): 776-778.
[8]杜义华.大数据背景下中科院可研管理数据中心建设探讨[J].计算机系统应用,2015 (01):79-87.
[9]张春艳.大数据时代的公共安全治理[J].国家行政学院学报,2014 (05):100-106.