浅谈大数据的发展现状及应用

许承亮



浅谈大数据的发展现状及应用

许承亮

69010部队,新疆 乌鲁木齐 830000

在大数据时代，重视自动化和智能化运用前景，应突出数据挖掘的在线分析处理（OLAP）和可视化编程的特点，创造性应用统计理论开展统计工作，才能提高信息化社会知识经济时代的统计工作质量，才能推动大统计的发展，才能提高信息分析重要组成部分的统计分析质量。

大数据；云计算；虚拟化

大数据被称为是下一个社会发展阶段的“金矿”和“石油”，具有催生社会变革的力量。那么，大数据究竟如何促进行业的变革，创造巨大的发展机遇？大数据在现实世界应用的现状又是怎样？本文将就大数据的概念、大数据的技术基础及在现实世界的应用等作简要探析。

1 大数据概念

大数据不仅仅意味着大量的数据，还包含着更深层次的内涵。

1.1 对数据和信息的进一步分析利用

传统的统计和分析方法已经不能满足需求，需要利用复杂的模型和处理技术对大量的数据和信息进行深层次的挖掘和分析，从而提取出更具有价值的信息。

1.2 对信息资源的广泛积累和规范管理

包括对现有内部资源的整合和利用，以及对外部资源的积累和挖掘。随着互联网的快速发展，全球数据量也飞速增长，给数据存储技术带来巨大的挑战。存储成本、存储性能和非结构化数据的管理成为急需解决的问题。

对大数据集的分析处理技术。以往的分析多是使用计算机对单一数据的计算和统计，而大数据的分析不仅要实现对多元异构数据分析的自动化，还需要能够根据数据的特点和用户的需求建立精准有效的分析模型，实现分析过程可视化，并产生时效性强、准确性高的结果。

由此可见“大数据”时代不仅仅是数据的爆炸性增长，还会带来一系列的技术革新和工作方式的转变，甚至对某些行业带来巨大的影响和变化。

2 大数据技术发展现状

2.1 存储管理技术

2000年前后，互联网网页爆发式增长，每天新增约700万个网页，到2000年底全球网页数达到40亿。谷歌公司为提供精准的搜索服务，率先提出了一套以分布式为特征的全新技术体系，大大提高了并发访问能力。[1]然而随着应用范围不断扩展，该系统还存在例如随机访问性能较低、海量小文件频繁写入能力较弱等不足。整体看来，未来大数据的存储管理技术将进一步把关系型数据库的操作便捷性特点和非关系型数据库灵活性的特点结合起来，研发新的融合型存储管理技术。

2.2 大数据并行计算技术

大数据的计算是数据密集型计算，对计算单元和存储单元间的数据吞吐率要求极高。传统的大型机计算系统不仅成本高，数据吞吐量也难以满足大数据要求。谷歌在2004年公开的MapReduce分布式并行计算技术，是新型分布式计算技术的代表。MapReduce 系统在成本和可扩展性上都有很大优势。Yahoo在此基础上进行改进提出的S4系统、Twitter的Storm系统在实时广告、微博等系统中已经得到应用。

2.3 大数据分析技术

美国McKinsey Global Institute在2011年5月发布了研究报告《大数据：创新、竞争和生产力的下一个前沿领域》。在大数据分析技术的阐述中，列举了26项适用于众多行业的分析技术，包括A/B测试、关联规则学习、分类、聚类分析、众包（Crowdsourcing）、数据融合和数据集成、数据挖掘、集成学习、遗传算法、机器学习、自然语言处理、神经网络、网络分析、优化、模式识别、预测建模、回归、情感分析、信号处理、空间分析、统计、监督学习、模拟、时间薛烈分析、无监督学习和可视化。

3 大数据的应用发展

大数据应用仍然处于初级发展阶段。对大多数企业，特别是传统领域的行业而言，还未找到有效的应用模式，大多数企业考虑的是投资和回报率的问题。随着大数据技术不断演进和引用持续深化，以数据为核心的大数据产业生态正在加速构建。

从实践情况看，大数据产业生态中主要包括数据解决方案提供商、大数据处理服务提供商和数据资源提供商三个角色，分别向大数据的应用者提供大数据服务，解决方案和数据资源。数据成为重要的资源，大数据资源提供商业也应运而生。商业化的数据交易活动催生了多方参加的数据交易市场。如微软的Azure Data Marketplace、BlueKai、DataMarket等，主要提供地理空间、营销数据和社交数据的交易服务。

4 大数据政策环境

美国在推动大数据研发和应用上最为迅速和积极，强化顶层设计，力图引领全球大数据发展。2012年美国政府推出“大数据行动计划”，重点在基础技术研究和公共部门应用上加大投入。英国将大数据列为战略性技术，给予高度关注。2013年1月，英国政府为航天、医药等高新技术注资6亿英镑，其中1.89亿用于大数据技术的研发。日本政府把大数据作为提升日本竞争力的关键，在新一轮IT振兴计划中把发展大数据作为国家战略的重要内容。澳大利亚、新加坡等过也非常重视大数据的发展，出台政策并提供资金知识大数据的研发和应用。我国于2014年在《政府工作报告》明确提出，“以创新支撑和引领经济结构优化升级；设立新兴产业创业创新平台”，在新一代移动通信，集成电路、大数据等方面赶超先进，引领未来产业发展。

5 结束语

本文就大数据的概念、大数据的技术发展现状、大数据应用发展以及大数据的政策环境进行了简要阐述。总的来说，大数据目前在国内外的发展仍然处于探索阶段，多数行业仍是在原有技术的基础上增强了对海量数据的处理能力，大数据技术的创新应用还不明显，距离基于大数据的大规模应用还有很长的路要走。然而大数据的发展毫无疑问仍然是一个趋势，对大数据挖掘利用能够发挥巨大的价值，能够引领一系列的技术创新和产业革新，大数据的大规模应用能给政府、企业带来更大的竞争优势，并且将给人们的生活带来巨大的便利，各个国家和各个行业对大数据研究和探索将持续进行下去。

[1]钱志森.浅析大数据的应用及发展前景[J].信息通信，2014（5）：168.

F49

A

1009-6434(2016)04-0052-01