大数据的应用与挑战

乔明中

摘 要：大数据是物联网、云计算、移动互联网之后的又一大技术变革，大数据蕴含着丰富的信息，往往具有巨大的经济和社会价值，有助于为人们更深入地认识事物和做出判断，已成为信息社会的宝贵财富。文章通过对大数据的研究和特点，分析了大数据的应用和挑战。

关键词：大数据；价值；应用；挑战

前言

近年来，随着博客、微博、云计算、网络等通信手段的应用与发展，以及视频监控、智能终端迅速普及，加上遍布各处的传感器，引发数据的爆炸性增长模，用GB、TB或PB（1PB=1024TB），EB（1EB=1024PB）作数据量单位已不适合，需要用ZB（1ZB=1024EB）、YB（1YB=1024ZB）等为计量单位。大数据和传统的数据管理方法给人们的生活带来了巨大的挑战，但也有很多方便。

1 大数据的概念

1.1 概念

大数据是一个比较抽象的概念，从字面上看，它代表了一个巨大的数据量。大数据是使用常用的软件工具来捕获、管理和处理数据，所耗时间超过一个可容忍时间的数据集合。大数据把大量的数据，通过快速收集、筛选、整合、处理与分析，获得一个非常有价值的结论，以支持预期和服务决策。

1.2 特征

与传统的数据相比，大数据具有独特的特征，也被称为“4V”特征。

1.2.1 大量化（Volume）：在大数据时代，数据量以PB，EB，ZB等为存储单位，数据存储量大，计算量也很大。

1.2.2 多样化（Variable）：数据类型的种类繁多，不仅包含数据表一类的结构化数据，也有半结构化的数据如文本、网页、图像、视频等信息，各种数据之间交互十分频繁和普遍。

1.2.3 快速化（Velocity）：数据生成，存储和变化速度极快。

1.2.4 价值化（Value）：数据正在成为一种新型的资产，是形成和提高竞争力的基础，通过分析和大计算，它可以产生更多的价值。

1.3 区分数据库和大数据

数据库同大数据本质上是不同的。两者在数据来源、数据处理与数据思维等方面有根本性区别：数据库比较小，处理对象的基本单位以MB为多，而大数据的基本单位是GB、TB、PB等；数据库通常只有少数简单数据，大数据往往包含各种结构化、半结构化或非结构化数据；大数据的模式会不断演变且在数据出现后才能确定，传统数据库只有确定模式之后才会有数据。

2 大数据应用

美国把大数据作为事关国家战略和国家核心竞争力的问题，在2012年3月，奥巴马政府推出了《大数据研究与发展倡议》，政府出资约2亿美元启动该方案。据美国咨询公司ganner预测，2015年在全球创建了440万个大数据工作岗位。

2.1 大数据来源

有三种：丰富的WEB数据库资源配置；物理信息系统，如智能电网，智能城市；科学实验和观测数据，如生物数据，高能物理实验数据和空间观测数据等。

2.2 大数据处理的处理流程和处理模式

处理大数据是基于适当工具，根据一定的标准将对异构数据源提取和集成，再使用适当的数据分析技术，分析存储数据和提取有用的知识，并把最终结果传递给最终端用户。主要处理模式包括批处理和流处理两种类型，流处理是直接处理，而批处理为先存储再处理。

2.3 大数据在各行业中的应用

大数据的研究数据已被广泛应用于推荐系统、商业智能、决策支持等许多领域。

2.3.1 对大数据深度分析，挖掘消费偏好和用户行为，进而实现网络优化和精准营销。

2.3.2 进行大数据的分类、存储、挖掘及决策支持，维持单位和部门日常的管理，抽调竞争优势和促进可持续发展。

2.3.3 利用大数据分析与挖掘，发现隐藏的威胁，促进信息安全部门找到应对新的安全威胁的方法。

2.3.4 使用大数据来做出决策。在大数据时代，发挥计算机系统的数据分析和数据挖掘功能，可在很多领域做出科学的决策。

3 大数据面临的挑战

大数据为人们的生活和工作带来便利，同时也面临着严峻的挑战。

3.1 数据预处理挑战

数据数量的增加未必意味着数据价值同样增加，因为往往会包含大量无用的数据。所以，数据的预处理是数据分析前要完成的工作。数据清洗过程既要过滤掉无效的信息，又不能滤掉有用的信息。

3.2 大数据时代的算法要做调整

大数据往往是实时的，需要调整算法来适应云计算的框架要求。

3.3 数据安全问题

数据安全威胁在大数据时代随时可发生。大数据提供了一种新的网络支持资源，通过网络，恐怖分子可以入侵到生活的各个方面作，对社会安全构成潜在威胁。目前，我国对大数据的保护很有限，恶意使用数据的情况时有发生。

3.4 异质性问题

大数据时代，数据异构性要求数据集成中进行数据转换，这是一个难以管理而又复杂的程。

3.5 大数据的存储和处理能力的挑战

大数据的数据量增长迅猛，存储技术面临新的挑战。

3.6 大数据人才挑战

大数据的质量将严重影响系统，并影响最终决策的准确性。麦肯锡的一项研究显示，每年美国大约有14到19万名数据科学家缺口。目前，我国能进行数据分析和数据挖掘的大数据人才更为奇缺。

4 结束语

大数据时代的到来，改变了我们对数据的理解和看法。如何在海量数据中提取和利用信息，提高其个人及部门决策能力，是摆在人们面前的重大课题。借鉴发达国家的先进经验，培养大数据人才，构建大数据平台，充分挖掘大数据的全面价值。这是我们面对的一项重要任务。

参考文献

[1]林衛民.大数据促进教学的有效性[J].中国教师，2014.

[2]刘建伟，周枫.基于大数据的数字档案馆信息服务模式研究[J].云南档案，2014.

[3]曹 遐，董亮.大数据商业世界新蓝海[J].上海信息化，2013.

[4]许晔.大数据时代来袭 中国宜加紧布局[J].创新科技，2014.

[5]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013（1）.