带你了解“大数据”

2016-04-12 03:49
上海工运 2016年1期
关键词:海量数据挖掘大数据

带你了解“大数据”

相关链接

1980年,著名未来学家阿尔文·托夫勒在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。大约从2009年开始,“大数据”成为互联网信息技术行业的流行词汇。

大数据的定义

大数据,或称巨量数据、海量数据,是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享、交叉复用形成的智力资源和知识服务能力。

有研究机构如此定义“大数据”:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从某种程度上说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。

大数据的来源

美国互联网数据中心指出,互联网上的数据每年将增长50%,每两年便将翻一番,目前世界上90%以上的数据是最近几年才产生的。此外,全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,也产生了海量的数据信息。

物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及各种各样的传感器,无一不是数据来源或者承载的方式。

大数据的“4个V”

大数据的4个“V”,指的是大数据的4个特点:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多,数据来源于各种各样的渠道。第三,价值密度低,商业价值高。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。一般要在秒级时间范围内给出分析结果,时间太长就失去价值了。这个速度要求是大数据处理技术和传统的数据挖掘技术最大的区别。

由此,业界将大数据的特点归纳为4个“V”——Volume(大量)、Velocity(高速)、Variety(多样)、Veracity(精确)。

大数据的意义价值

大数据对社会经济生活产生的影响绝不限于技术层面,它为我们看待世界提供了一种全新的方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。

“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”哈佛大学社会学教授加里·金指出。

业内人士指出,大数据是一种全新的致富手段,它的价值堪比石油和黄金。

虽然大数据在国内还处于初级阶段,但是商业价值已经显现出来。首先,手中握有数据的公司站在金矿上,基于数据交易即可产生很好的效益;其次,基于数据挖掘会有很多商业模式诞生,定位角度不同,或侧重数据分析。比如帮企业做内部数据挖掘,或侧重优化,帮企业更精准找到用户,降低营销成本,提高企业销售率,增加利润。

与此同时,大数据在社会管理等方面,也具有不可替代的重大价值。

猜你喜欢
海量数据挖掘大数据
一种傅里叶域海量数据高速谱聚类方法
探讨人工智能与数据挖掘发展趋势
海量快递垃圾正在“围城”——“绿色快递”势在必行
基于并行计算的大数据挖掘在电网中的应用
一个图形所蕴含的“海量”巧题
基于大数据背景下的智慧城市建设研究
一种基于Hadoop的大数据挖掘云服务及应用
基于GPGPU的离散数据挖掘研究
基于文件系统的分布式海量空间数据高效存储与组织研究