大数据演进 11个趋势值得关注

洪蕾

1980年，大数据就曾被未来学家阿尔文·托夫勒在《第三次浪潮》中盛赞为“第三次浪潮的华彩乐章”。2009年，由于互联网上数据量翻番增长，大数据开始成为互联网信息技术行业的流行词汇。到了2012年，大数据已经进入政府决策层——美国开始实施大数据计划、我国部分城市及园区也宣布发展大数据产业。

据统计，2012年全球被创建和复制的数据总量达2.72ZB，其中，文本、照片、音频、视频、医疗影像等非结构化内容超过85%。面对如此庞大的数据量，使用传统的数据库管理工具显然难以处理，处理大数据问题需要新的工具、框架、硬件、软件乃至服务。

随着企业用户对连续不断访问数据的需求越来越多，大数据也带来了前所未有的商业价值，EMC、IBM、Oracle、微软等跨国IT巨头纷纷发布大数据战略和产品，面向企业提供大数据工具集，使得以较低成本和接近实时的速度提供可伸缩的、高性能的分析成为可能，并基于这种分析能力使得企业获得更大竞争优势。

IDC预测，2015年大数据市场规模将从2010年的32亿美元增长至170亿美元，复合年增长率为40%。对CIO而言，数据是竞争砝码，也是未来的天然资源。在谈及大数据未来的市场潜力时，Hadoop和大数据厂商MapR首席执行官约翰·施罗德给出了他的看法。

SQL拥有大数据最大潜力

约翰·施罗德认为，用于 Hadoop（分布式计算）的SQL的发展能够让商业分析师利用自己的技能和选择的SQL工具执行大数据项目。开发人员可以选择Hive、Drill和 Impala等Apache项目，以及选择Hadapt、HAWQ和Splice Machine等公司的专有技术。

SQL仍将面临挑战

尽管SQL前景可期，但SQL需要数据结构。“而集中的结构化数据可引起延迟并且需要人工管理。SQL还限制分析类型。过分强调SQL将延迟机构全面利用其数据价值的努力和延迟反应。” 约翰·施罗德表示。

身份识别是主要数据安全问题

随着Hadoop（分布式计算）中提供的接入控制能力的猛烈攻击，机构迅速认识到线路级身份识别是必要的基础。没有充分的身份识别，任何更高级的控制都很容易被绕过，妨碍预定的安全计划。

数据错误变成学习机会

2014年企业将出现许多数据错误。数据错误将表明基础的来源系统的问题吗？数据错误是在下游分析中出现偏差导致的数据提取问题吗？数据错误将表明定义差异或者缺少跨部门和业务部门的一致性吗？2014年我们将看到更多数据异常问题被发现，并且被解决。

出现可运行的Hadoop

2014年我们将看到Hadoop在各个行业中的生产部署显著增加。这将显示出Hadoop在运营中的实力。在那里，生产应用与分析结合在一起能够提供可以衡量的商业优势，如在客户化零售建议、诈骗检测和试验传感器数据进行规范的维护等应用中提供这些优势。

数据仓库部署企业数据中心

数据中心把数据提取处理和数据从企业数据仓库卸载到Hadoop。作为一个核心的中心企业中心，数据中心要便宜10倍，能够对额外的处理或者新的应用进行更多的分析。

数据为中心的应用成为强制性

利用大数据的能力将在2014年成为竞争的武器。更多的公司将使用大数据和Hadoop准确地针对个人消费者的偏爱追逐赚钱的追加销售和交叉销售的机会，更好地缓解风险以及减少生产和开销成本。

数据成为数据中心的核心

大数据时代，除了算得快，还要存得好，只有给数据安好家，才能让数据“慧”说话。机构将从开发者过渡到大数据计划中。IT部门将越来越多地担负定义支持多种应用的数据基础设施的任务，把重点集中在部署、处理和保护一个机构的核心资产所需要的基础设施方面。

搜索将成为非结构化查询语言

2013年有大量的用于Hadoop的SQL计划。2014年将是这种非结构化查询语言成为重点的一年。把搜索集成到Hadoop将为查找重要信息的企业用户提供一种简单和直观的方法。搜索引擎还是包括推荐引擎在内的许多发现和分析应用的核心。

Hadoop将获得地位

Hadoop将继续取代其它IT开支，颠覆企业数据仓库和企业存储。例如，Oracle的主要营收目标在过去的10个季度里有5个季度没有实现。Teradata在过去的5个季度有4个季度没有实现营收和利润目标。

Hadoop成为主流应用仍需协助

更多的机构认识到Apache Hadoop本身还没有准备好在企业应用。Apache Hadoop不是为系统管理或者灾难恢复等统一企业IT流程设计的。企业将继续推进混合的解决方案，把架构技术创新与Apache Hadoop的开源软件结合在一起。