大数据：机遇和挑战并存

Craig Brown Charles

IT领导们应该清楚地知道大数据带来的机遇，只有这样他们才能克服各种挑战，在不断发展的以数据为中心的经济环境中走在竞争的最前沿。

数字数据指数式的爆炸增长迫使研究人员去寻找观察和分析世界的新方法。这涉及到在海量的数据中采集、搜索、共享、存储、分析和呈现数据。“大数据”就是这样诞生的。大数据这一概念是在数字基础上存储大量的信息。

尽管对大数据还没有具体或者通用的定义。作为一个复杂的术语，其定义因感兴趣的社区、用户或者服务提供者而有所不同。采用跨学科方法可以理解不同参与者的行为：工具的设计者和提供者（计算机科学家）、用户（管理人员、企业家、政治决策者和研究人员），以及专业人员。

大数据是一种具有双面性的技术系统。的确，它既有好处也有挑战。很多文章把大数据的到来描述为一场新的工业革命，类似于蒸汽（19世纪早期）、电力（19世纪晚期）和计算机科学（20世纪晚期）的发明。还有些文章把这一现象描述为第三次工业革命的最后阶段，也就是“信息时代”。总而言之，大数据被认为是对社会造成彻底颠覆的来源之一。

大数据在各行各业越来越受欢迎，但开展大数据项目并非易事。据NewVantage Partners的一项研究，在接受调查的《财富》1000强企业中，95%的企业在过去五年里都开展了一个大数据项目，但只有48.4%的企业从这些项目中获益。

以下是企业面临的一些大数据挑战：

管理数据的增长

显然，要克服的最大的大数据挑战就是存储并分析所有信息。据“数字宇宙”的报告，IDC估计，全球计算机系统中存储的信息量每两年就会翻一番。大多数此类数据都是非结构化的，这意味着它们并没有存储在数据库中。很难对照片、文档、视频和音频文件进行分析。

为了克服这一挑战，企业可以使用不同的技术来管理数据的不断增长。在存储方面，融合和超融合的基础设施以及软件定义的存储都证明能够简化硬件的扩展。压缩、重复数据删除和分层等技术也减少了存储大数据所需的空间和成本。在管理和分析方面，企業可以使用NoSQL、Hadoop、Spark等大数据分析软件，以及商业智能软件、人工智能和机器学习等工具来获得所需的深度分析结果。

快速获得深度分析结果

企业不只是想存储他们所生成的大数据，他们更感兴趣的是利用大数据来实现他们的目标。据NewVantage Partners的研究，大数据项目的主要目标是减少开支、实现数据驱动的文化、创新、加快部署新功能和服务，以及推出新产品和服务。尽管这些不同的目标使企业更具竞争力，但他们还需要获得深度分析能力，并迅速加以利用。

为了帮助加快速度，企业使用了新一代的分析工具，能够显著减少生成报告所需的时间。他们在分析工具上投入大量资金，帮助他们实时获得结果。这样，他们就能对市场的发展尽快做出反应。

招聘大数据人才

为了能够开发并管理产生深度分析结果的应用程序，企业需要具备大数据技能的专业人员。事实上，对大数据专家的需求急剧上升，企业提供的工资也水涨船高。

为了解决缺乏大数据人才的问题，企业有多种选择。他们可以在招聘和留用方面增加预算，加大投入。其他可以考虑的选择是培训现有员工，让他们学习和掌握大数据——从企业内部培养大数据人才。最后，很多企业开始转向技术。他们购买专为没有数据科学学位的专业人士而设计的自助分析解决方案或者机器学习软件。这些工具可以帮助企业克服其大数据挑战，甚至不用聘请合格的专家就能实现目标。

整合多元化大数据源

数据的多样性使得整合成为大数据面临的最大挑战。事实上，数据来自不同的来源：业务应用程序、社交网络、电子邮件、员工文档，协调地组合所有这些数据，并使用它们来创建报告，对于那些高级用户来说，还要实现数据驱动的深度分析和业务决策支持解决方案——这一切可能非常困难。为了解决这一问题，不同的供应商提供了旨在简化流程的整合工具。然而，很多企业承认他们还没有克服这一挑战。

数据验证

数据验证也是大数据面临的一个主要挑战。很多企业从不同的系统接收类似的数据，而这些数据有时是相互矛盾的。例如，电子商务系统的日常销售是某种水平，而企业资源规划（ERP）系统的销售水平可能稍有不同。

为了协调这些数据，企业必须使用数据治理（可以在这里为SEO做内部链接）。数据治理也带来了各种挑战，事实上，据AtScale 2016年的“大数据成熟度调查”，数据治理是受访者所关注的增长最快的领域。

解决数据治理挑战绝非易事。这既需要技术，也需要政策改革。而有一些尝试则包括了分配一组人员来监视数据、定义规则和过程。另一种选择是投资于数据管理解决方案，目的是针对大数据准确性和存储等问题而简化数据治理。

保护大数据

安全也是大数据领域的一个重要问题。黑客们对业务数据很感兴趣。然而，据IDG的一项研究，只有39%的企业对他们的数据存储库加强了安全措施。一些最流行的加强措施包括访问和身份控制、数据加密和数据隔离等。

组织结构上的阻力

大数据除了面临技术挑战，员工方面也有挑战。想要启动大数据项目的企业所面临的主要挑战中，三个主要问题包括组织协调性不足、管理者不能理解、理解不够，还有业务上的阻力等。

因此，为了解决这些挑战，有必要说服业务领导们相信大数据是有用的，并任命一名首席数据官。

同样重要的是，高管、董事和经理们应该清楚地知道大数据带来的机遇，只有这样他们才能克服各种挑战，在不断增长的以数据为中心的经济环境中保持竞争力。

Craig Brown博士一名作家、创新和技术领域的领导者、执行导师和资深高管，在数据驱动和以数据为中心的能力方面有丰富的专业知识。