大数据时代的问题挑战与应对策略

霍梦兰

【摘 要】大数据是继云计算、物联网之后信息领域的最新热点，随着全球数据量爆炸式增长，大数据时代已经来临。本文首先对大数据的概念、特征及其相关技术进行了介绍，然后分析了目前大数据在发展研究过程中所面临的问题和挑战，最后提出了大数据时代的应对策略和发展建议。

【关键词】大数据;关键问题;应对策略

21世纪，随着网络和计算机全面融入社会生活，人们每天都面临海量信息，信息爆炸积累到了一个可以引发变革的程度，大数据正是这个时候出现的一个新概念。2011年6月，麦肯锡全球研究院（MGI）发布了题为《大数据：下一个创新、竞争和生产力的前沿》的研究报告，率先提出“大数据时代已经到来”，从经济角度引发全球范围对大数据的关注。随后，2012年3月，美国的奥巴马政府发布《大数据研发倡议》，宣布投资2亿美元启动大数据研究和发展计划，这一举措标志着美国把发展大数据提升到国家战略层面，从而对未来的科技与经济发展带来深远影响。目前，大数据像能源和材料一样，成为一种战略资源，受到日益广泛的关注。如何利用数据资源发掘知识、提升效益、促进创新，使其为国防安全、政府管理、企业决策乃至个人生活服务，是大数据技术的追求目标。

在此背景下，本文简要分析了大数据的概念和基本特征，并对其关键技术进行了介绍，然后重点分析了大数据时代所面临的机遇、问题和挑战，并针对这些问题，提出了应对策略和建议。

1 大数据的概念及基本特征

大数据，顾名思义是一个数据的集合，而且这个数据的集合特别大。和信息学领域大多数新兴概念一样，大数据至今尚无确切、统一的定义。在维基百科中，关于大数据的定义为“难以用常规的软件工具在容许的时间内对其内容进行抓取、管理和处理的数据集合”;IDC对大数据的定义为“为了更经济地从高频率获取的、大容量的、不同结构和类型的数据中获取价值，而设计的新一代架构和技术”。规模大是大数据的标志之一，但大数据之所以难处理不仅在于规模大，更大的挑战是其随时间的变化快和类型的多样性。

通常，大数据的基本特征可以用4个V来总结，即Volume（数据规模大）、Variety（数据类型多）、Value（价值密度低）、Velocity（处理速度快），具体如下：

（1）数据规模大（Volume）。即所需收集、存储、分发的数据规模远超传统管理技术的管理能力。据统计，到目前人类生产的所有印刷材料的数据量约为200PB，历史上全人类说过的所有的话的数据量大约是5EB（1EB=1000PB）。而当前，普通个人计算机硬盘的容量就为TB量级，一些大企业的数据量已经接近EB量级，可称海量、巨量乃至超量，傳统的数据管理技术已经无法处理。

（2）数据类型多（Variety）。这种数据分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括微博、日志、音频、视频、图片、地理位置信息等多种类型的数据，这对数据的处理能力提出了更高的要求。

（3）价值密度低（Value）。价值密度的高低与数据总量的大小成反比。大数据的价值密度很低，例如一段几小时的连续监控视频，可能有重大价值的数据仅仅只有一两秒。因此，如何更迅速地完成数据的价值挖掘是目前大数据背景下亟待解决的难题。

（4）处理速度快（Velocity）。数据流往往为高速实时数据流，而且往往需要快速、持续的实时处理;相应的处理工具亦在快速发展和演进。

大数据技术是指设计用于高速收集、发现和分析从多种类型的大规模数据中提取经济价值的新一代技术和体系。其本质是一种数据分析的前沿技术，与传统的海量数据处理技术不同的是，它除了数据规模呈现几何级数增长的特征之外，还包括所有数据类型的采集、分类、处理、分析和展现等多个方面，从而最终实现从大数据中挖掘潜在巨大价值的目的。

解决大数据问题涉及数据存储、合并压缩、清洗过滤、格式转换、统计分析、知识发现、可视呈现、关联规则、分类聚类、序列路径和决策支持等多个方面的技术。其中，关键的技术主要还是对海量数据的存储和计算处理等，特别是对数据的分类，根据用途需求的不同，筛选出对于某一个领域某一个用途有意义、有价值的一系列数据，抛弃相对而言无用的数据。

2 大数据时代的问题与挑战

作为一个新生领域，大数据概念提出以来，引起了业界和各国政府的高度关注，大数据理念和技术得到较为广泛的研究和应用。但是，我们应该看到大数据有其两面性：一方面它催生新型科技公司、吸纳科技人才就业;许多大型科技企业抓住这一新机遇，纷纷投入巨资发展大数据处理技术，积极推出面向大数据的产品和服务，抢占大数据市场先机。另一方面它对人类的数据驾驭能力提出了新的挑战。个人、企业甚至国家面临个人隐私危机、重构信息安全、竞争力差距拉大、数据产权争端等诸多矛盾，只有解决这些基础性的挑战问题，才能充分利用这个大机遇，让大数据充分发挥的最大价值与贡献。

2.1 技术问题

目前，大数据的运用还面临多种技术难题，主要包括：大数据的去冗降噪技术;大数据的新型表示方法;高效率低成本的大数据存储;大数据的有效融合;非结构化和半结构化数据的高效处理;适合不同行业的大数据挖掘分析工具和开发环境;大幅度降低数据处理、存储和通信能耗的新技术等等。这些技术问题的复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，而当前技术的技术还难以用传统的方法描述与度量，处理的复杂度很大。

大数据对于现有系统的存储、传输和计算提出了很多挑战，现有数据中心技术难以满足大数据需求，存储能力的增长远远赶不上数据的增长，设计最合理的分层存储架构已成为信息系统的关键，整个IT架构的革命性重构势在必行。

2.2 观念问题

数据增值的关键在于整合，但自由整合的前提是数据的开放。目前，数据的全社会开放与共享还很难，这让数据质量大打折扣。在大数据的时代，开放数据的意义，不仅仅是满足公民的知情权，更在于让大数据时代最重要的生产资料、生活数据自由地流动起来，准确全面地应用起来，以推动知识经济和网络经济的发展。然而战略观念上的缺失、政府机构协调困难、企业对数据共享的认识不足及投入不够、科学家对大数据的渴望无法满足等都是大数据在当前我国发展应用中不得不面对的困难。

另一方面，越大的数据并非就是越好的数据。对数据的盲目依赖会导致思维和决策的僵化。当越来越多的事物被量化，人们也容易陷入只看重数据的误区里。如何避免成为数据的奴隶，也已经成为一个迫在眉睫的问题。

2.3 隐私问题

大数据时代，互联网络的发展使得获取数据十分便利，给信息安全带来了巨大的挑战。当前，数据安全形势不容乐观。首先，随着社交网络和电子商务的兴起，个人隐私更容易通过网络泄露，将个人的相关数据足迹聚集起来分析，可以很容易获取个人的相关信息，隐私数据就可能暴露。在国家层面，大数据可能给国家安全带来隐患，如果在大数据处理方面落后，就可能导致数据的单向透明。因此，在大数据时代有效地管理隐私既是一个技术问题，又是一个社会问题，如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。

2.4 社会生态

数据开放是社会管理创新的一种有效手段和助推器。一方面，通过数据开放，促进社会层面的制度创新，权力分散化，实现多中心社会;另一方面，与软件开源相结合，数据开放可以实现大众创新，让普通公众都拥有创新机会和条件，大数据时代的基本特征及安全挑战，对政府制订规则与监管部门发挥作用提出了新的挑战。因此，大数据将对国家治理模式、企业的决策、组织和业务流程、个人生活方式都会产生巨大的影响，涉及与政治、经济、社会、法律、科学等等的交叉影响问题，相关问题值得深入研究。

3 大数据时代的应对策略

针对上述大数据时代所面临的问题，提出以下几点应对策略和建议：

3.1 加强技术创新

针对大数据时代的基本特征，包括IBM、EMC、HP、Microsoft等在内的IT巨头，纷纷加速收购相关大数据公司进行技术整合，寻找数据洪流大潮中新的立足点，涉及人工智能、机器学习等新技术的创新应用，已初显效益。建议加大对大数据关键技术研发的资金投入，将大数据时代全方位创新工作与移动互联网、云计算等技术进行融合，推动基于大数据的各种技术创新，抢占发展大数据技术的先机。

3.2 加强领域合作

加强各个领域之间的合作关系，加强企业商业智能、社会服务、市场营销等各大领域的合作。同时，建立数据共享联盟和多领域数据共享平台，将数据共享将扩展到企业层面，使得企业服务于民众和政府，政府推动企业的发展，激励市场的需求。

3.3 加大人才培养

大数据的发展离不开人才的需求，大数据时代产生一批新的就业岗位，如数据分析师、数据科学家、数据工程师，具有丰富经验的数据分析人才成为稀缺资源，加强大数据人才的培养也是大数据发展的重点之一。高校可以根据社会的需求培养具有大数据思维和创新能力的复合型人才，企业可以根据企业自身的需要对企业内部人员进行教育培训，另外可以通过招聘引进一些具有大数据经验的人士，引导员工职业发展，采用员工激励制等，鼓励员工不断地学习提升自我。

3.4 增强数据安全

大数据使用的关键在于数据分析和利用，但数据分析技术的发展，对用户隐私产生极大的威胁。因此，如何来保护大数据的安全是重要组成部分，可以通过以下几个方面加强数据安全：一是制定相关法律法规。大数据的挖掘与利用应当有法可依，需要制定相应的规则和法律来保护公民和国家的信息安全，防止数据被非法交易、倒卖、窃取、泄漏或者纂改;二是改进数据安全相关技术。需要科研人员通过技术改进，不断加强数据权限管理技术和数据加密技术，提高大数据下的数据安全。

4 结束语

随着社交网络、物联网、云计算的飞速发展，非结构化数据呈指数级快速增长，大规模生产、分享、应用数据的大数据时代已经来临。本文从大数据的概念出发，分析大数据的典型特征，讨论大数据时代可能的面临的核心问题和挑战，最后讨论了给出了初步应对策略和建议。

大数据已经成为目前广泛关注且亟待解决的热点问题，并逐渐开始影响社会的发展与人们的日常生活，只有正确认识大数据时代的价值，迎接大数据面临的挑战并及时应对，才能在大数据时代领域处于不败之地。

【参考文献】

[1]维克托·迈尔-舍恩伯格.大數据时代[M].杭州：浙江人民出版社，2012.

[2]马建光，姜巍.大数据的概念、特征及其应用[J].国防科技，2013，34（2）：10-17.

[3]胡雄伟，张宝林，李抵飞.大数据研究与应用综述（下）[J].标准科学，2013，11：29-33.

[4]袁露，肖志勇，王映龙.论大数据的现状及其发展研究[J].教育教学论坛，2014（44）：86-87.

[5]邬贺铨.大数据时代的机遇与挑战[J].求是，2013，4：47-49.

[责任编辑：汤静]