浅析大数据的发展与应用

胡雨欣

摘要：21世纪是数据信息大发展的时代，“大数据”时代已经降临，这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。大数据帮助人们开启了循“数”管理的模式，也是我们当下“大社会”的集中体现。

关键词：大数据 云计算 数据隐私 智慧城市

一、前言

半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。互联网、移动互联网、物联网、车联网、GPS、医学影像、安全监控、金融、电信都在疯狂产生着数据。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。

二、大数据的简介

（一）大数据的定义

大数据（Big Data）是指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增長率和多样化的信息资产。它对数据规模和传输速度要求很高，或者其结构不适合原本的数据库系统，因此超过了传统数据库系统处理的能力。

（二）大数据的4V特征

1.大量化（Volume）：数据体量巨大，从TB级别跃升到PB级别。

2.多样化（Variety）：数据类型繁多，数据多样性的增加主要是由新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。

3.高速化（Velocity）：处理速度快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这一点也和传统的数据挖掘技术有着本质的不同。

4.价值（Value）：只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。

三、全球各国大数据的发展现状

美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。拥有世界第二多人口的印度，近两年也持续运用大数据，期许打造出一个更便利、更亲民的智慧城市。日本在新一轮IT振兴计划中，将发展大数据作为国家战略层面提出，重点关注大数据应用技术。目前，全球至少拥有大大小小的数据开放网站50余个。

（一）欧盟大数据的发展

目前，欧盟及其成员国已经明确制定大数据发展战略，其在大数据方面的活动主要涉及以下四方面内容：数据价值链战略计划；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。

（二）亚洲大数据的发展

整体来说，相比欧洲，亚洲大数据发展相对落后，在大数据发展过程中，更多的还是探索学习阶段。目前，亚洲的很多大数据公司都在海外进行了相关市场开拓。未来，亚洲市场将有望成为大数据业务的主战场。

四、全球大数据的市场与应用

（一）全球大数据交易现状

对于海量并且瞬息万变的大数据来说，存储已然不是最终目标，如何从数据中获得包括商业价值在内的红利，才是其真正的意义所在。

目前全球大数据企业主要分为两大阵营。一部分属于单纯以大数据技术为核心的创新型公司，希望为市场带来创新方案并推动技术发展。另有一些则是以数据库/数据仓储业务为主的知名公司，利用自身资源与技术优势地位冲击大数据领域。

全球主要大数据企业有IBM、惠普公司、戴尔公司、Opower公司、Teradata公司、Oracle公司、微软公司、亚马逊公司、Google公司、SAP公司和EMC公司等。

（二）全球大数据市场规模

目前全球大数据总体加速发展趋势不变且呈现出应用成为新增长动力、竞争态势愈加激烈、融资并购成为市场热点、产业生态不断优化和基础设施建设更加合理等特点，预计2020年全球大数据市场规模将达到1263.21亿美元，大数据已成为全球IT支出新的增长点。

（三）全球大数据市场结构及应用领域

全球大数据市场结构从垄断竞争向完全竞争格局演化，企业数量迅速增多，产品和服务的差异度增大，技术门槛逐步降低，市场竞争越发激烈。全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场。

（四）大数据的影响

大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现：大数据促进了政府职能变革；大数据能够帮助我们打造“智慧城市”；大数据将促进商业模式创新。

五、大数据的发展趋势

大数据将成为重要战略资源，与云计算深度融合，与此同时数据分析方法将发生变革，以数据为中心的解决方案与应用将兴起。网络安全问题也将凸显，数据隐私标准也会随之出台。

六、大数据发展的机遇和挑战

大数据时代的来临，除了推动现有的信息技术产业的改革创新，其对我们生产生活的方式也将产生重大影响。从个人视角来看，不管是日常工作中遇到的海量邮件或是从网上获取的社交、购物、娱乐、学习、理财等信息，还是生活中最常见的手机存储，大数据已经渗透到我们日常生活的方方面面，极大地方便了我们的生活。对企业而言，互联网公司已开始采用大数据来冲击传统行业，精准营销与大数据驱动的产品快速迭代，促进企业商业模式创新。在社会公共服务方面，教育、医疗、交通等行业在大数据的影响下，出现了各种新的应用：数据化、社交化的新媒体平台、智能交通与城市数字监管系统，以及病历存储调用的医疗云等。此外，政府还可以通过大数据来高效完成信息采集，这样可优化升级管理运营。

然而大数据在给我们展示前所未有的发展机遇的同时，也给国家信息安全、信息技术、人才等方面带来了很大的挑战。大数据让大规模生产、分享和应用数据成为可能，将信息存储和管理集中化，这也使得我们一方面享受了“大数据”带来的诸多便利，但另一方面无处不在的“第三只眼”却在时刻监控着我们的行动。面对大数据在信息安全方面存在的隐忧，我们在技术上要应对其“大容量、多类别、高时效”的三大挑战。在人才方面，无限增长的数据需要相应增加IT人员，且专业化技术人才和管理人才的需求开始加大，而目前传统的教育模式很难培养出这种既精通业务又能进行大数据分析的人才，同时IT人员本身配备不足的现状与迫切的人才需求矛盾会更加突出。

参考文献：

[1]吴伟.海量存储系统元数据管理的研究[D].华中科技大学，2010.

[2]任崇广.面向海量数据处理领域的云计算及其关键技术研究[D].南京理工大学，2013.

[3]王乾.论大数据分析的方法论意义[D].武汉科技大学，2015.

[4]张兰廷.大数据的社会价值与战略选择[D].中共中央党校，2014.

[5]王钧超.大数据时代产业经济信息分析在宏观决策中的应用[D].中国地质大学（北京），2016.