数据治理开启大数据“淘金”之旅

/程梦瑶

大数据将打开各行各业的数据“潘多拉魔盒”。无论你是否认同，海量数据正扑面而来，蔚为壮观的数字来自电信运营商、金融、医疗、教育等，乃至政府部门，这些主体或主动探寻，或被动接受。

信息资产公司LLC的创始人和执行合伙人桑尼尔·索雷斯，在他的畅销书《大数据治理》中谈及自己的切身体会：“作为一家大公司的资深IT专家，我本人在面对数据窘境时，感觉不知所措。对数据领域的从业人员来说，面临的问题多过答案。我所在的组织是南非的主导电信运营商，我们拥有海量的电话详单、位置数据和社交媒体生成的数据。要明智地使用数据，就必须管理所有数据。”

元数据管理是重点

“在企业数字化转型过程中，数据治理应该是企业数字化转型的一个先决条件。要让数据有意义，首先必须有高质量的数据。”普元信息技术股份有限公司（以下简称普元信息）大数据产品线总经理王轩，分享了他对于大数据治理的认知。很多企业在做数据治理时，往往只集中在数据应用环节，范围过窄，而普元信息在大数据治理中，侧重于对大数据实施全过程、全方位的管理，这种宏观导向具有一定的先发优势。

实际上，大数据环境下的数据治理不再只是元数据、大数据标准与大数据质量，企业应该以元数据为基础，配合大数据标准、大数据交换集成、主数据管理、大数据质量、大数据资产化、大数据共享等，共同完成整个企业层面的大数据治理。层层保障之下，使得堪比黄金般贵重的高质量数据，能够发挥其独特价值。

书同文 车同轨 数据标准须先行

以SOA（服务导向架构）系列产品见长的普元信息，在2010年开始涉足大数据领域，作为SOA国际标准SCA/SDO的主要参与制定者，对于数据质量的关切，伴随着企业业务的不断延展而上升到企业战略层面。

“在数字化转型过程中，很多传统行业希望把出售数据作为其利润的增长点。但是，如果想把数据当作商品出售，至少需要其数据是有质量保障的。但目前情况下，这些数据存在非常多的问题。虽然很多企业经过多年的IT建设，但数据模型并不统一，没有统一的数据标准，也没有数据质量的检测体系。没有统一的标准，就没有质量控制能力，高质量数据就无从谈起。”在王轩看来，获取高质量数据的当务之急是要建立完善的数据标准体系，只有数据标准逐步完善，才有可能进行准确的大数据治理，对大数据实施全过程、全方位的管理。

2013年，普元信息加入OASIS国际标准组织KVDB TC（键值数据库应用接口技术委员会）积极参与大数据国际标准制订工作。2014年12月，全国信息技术标准化技术委员会（简称全国新标委）大数据标准工作组宣告成立，由于大数据领域涉及的领域非常广泛，工作组设立相关的专题组，包括整体组、国际组、基层组、产品和平台、安全工业大数据、电子商务等方面。

作为全国信标委SOA分技术委员会SOA与Web服务工作组副组长单位，普元信息也正在不断推动数据标准化的完善。在王轩看来，数据标准应该通过各种手段、方法、渠道建立，并且根据企业状况不断完善。在此过程中，企业应以元数据管理为基础，推动数据标准在各应用系统中的执行，逐步形成常态化的、闭环的标准体系应用机制，从整体上提升企业的数据质量和数据管理水平，为实现企业数据流的畅通和全系统信息资源的共享奠定基础。

解决数据质量问题是大数据应用的关键

纵观当今的大数据技术、平台和解决方案，海外厂商仍占据绝对主流地位，但这并不妨碍中国将在大数据的时代异军突起。从大数据的体量看，中国在大数据领域的发展潜力有目共睹。

宽带资本董事长田溯宁在桑尼尔的《大数据治理》一书的序言中说：“若要到达风光无限的大数据彼岸，大数据治理一定是必修课之一。”

毋庸置疑，大数据治理是传统信息治理的延续和扩展，它体现了信息治理准则的一脉相承。 大数据治理的本质是什么？王轩认为，是提高数据质量。

更好的数据意味着更好的决策，而解决数据质量问题是大数据应用的关键。王轩用实战经验不断验证这种观点，“在我们接触的众多银行案例中，经常会遇到一种情况，做完一个数据仓库，客户重名信息往往达到上万个，一个人1000多个账户，这都是数据质量问题。为什么会出现这种数据问题呢？数据治理是一个复杂过程，其中有很多环节，从前期的数据标准、数据集成到数据治理等等，任何一个环节出错都可能导致数据质量问题，其中数据治理是清洗数据和规避数据风险的重要环节。”王轩认为，如何在交易错误时即时阻断数据错误，是保障数据质量的重要手段，而此项技术手段，普元信息现如今已完全掌握。

普元的大数据治理实践

十多年来，普元信息在金融、电信、电力、能源等行业积累了丰富的数据管理经验。在王轩看来，普元数据治理呈现出三大特色：

首先，普元信息的数据治理解决方案可以覆盖全行业。普元能帮助各行各业的客户，将其数据质量提升。同时，能完成其数据现阶段最复杂、最重要的任务。

其次，普元解决方案是全体系的。通过平台、服务、规划等各个方面的完整规划，能够帮助企业把数据治理落地。普元并非做单独一个产品，而是在数据的整个生命周期，每一阶段都能帮助企业控制它的数据质量，达到企业的数据治理需求，实现数据价值。

再次，普元信息的全部平台都是自主研发。通过基于业务目标的量化研发管理体系，产品家族扩展到4大系列10余个品类，其专注于软件基础平台领域，具有分布式计算、服务构件技术、可视化技术、业务流程管理、内存计算、企业移动计算、数据治理等核心技术。

普元信息元数据管理在2014年底被定位为联通大数据平台的数据管理解决方案，帮助客户的维护人员快速理解大数据系统内的数据组织，以及数据间的影响和依赖，减少修改、维护、升级时间，以减少大数据带来的管理维护成本。

由于华为负责上海联通大数据平台的建设，借此机会华为与普元信息达成了战略性目标。依托普元元数据产品的优势，抓取大数据平台内部的元数据，为大数据平台的运营维护提供全局的、完整的元数据管理。

该方案为大数据平台异构的元数据提供智能整合和储存能力，为大数据平台设计的不同源的元数据在同一元模型的规范体系下实现整合存储，整合主要包括元数据对象整合组件和元数据关系整合组件，以及元模型设计器、元数据抓取配置组件等。此后，普元信息的元数据管理能力，在业内得到了广泛认可。

在金融行业，普元先后帮助国家开发银行、华夏银行、中国银联、兴业银行、北京银行等完成了大数据治理项目建设，其中，国家开发银行在2009年8月开始建设数据管理项目，通过普元元数据管理产品支持源系统、ODS、数据仓库及下游部分应用对元数据的应用需求。

增加采集适配器，定时自动的采集元数据保证元数据的及时更新；同时保证真实数据关系的建立，推进全行数据地图的建设，深化元数据管理系统的核心功能，强化元数据管理系统对外的接口服务，辅助数据标准的落地实施。

在电力行业，普元帮助江西省电力公司建立了全公司的企业级数据标准，数据标准促进了业务部门之间的数据共享，界定业务数据范围，起到了重要作用，并将企业级的全面元数据管理纳入了全公司的元数据信息，全面共享元数据，梳理了系统之间的元数据接口，使得系统之间的来龙去脉一目了然。

在电信行业，普元帮助上海移动做了包括服务治理、能力开放、大数据治理、大数据共享在内的一系列项目，陪伴上海移动完成了数字化转型的整个历程。

在能源行业，普元先后帮助国家电网、新奥能源等完成了数据治理的相关建设，为其提升管理效率和拓展业务边界，提供了前所未有的可能性，通过大数据治理流程，明晰大数据血脉，提升大数据质量，实现了能源行业对大数据的全面管控，为上层应用提供安全可用的数据基础，确保了大数据平台分析与预测的准确性。

作为一种具有战略意义的新资源，将大数据比作石油或黄金，如今，世人并不觉得有夸大其词之嫌。大数据的自生性和可持续性，却又是石油或黄金所望尘莫及的。

大数据治理必将成为一项系统工程，以孜孜以求的进取心去挖掘高质量数据背后的价值，普元信息正在做，未来也将会有更多企业参与其中，而大数据变现之畅想也将不再遥不可及。