快速了解大数据及其必备技能

米沃奇

当前，整个与联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。下面我们将对大数据从多个方面进行简单介绍。

1.大数据定义

一般而言，大数据是指数量庞大而复杂，传统的数据处理产品兀法在合理的时问内捕获、管理和处理的数据集合。

这些大数据集可以包括结构化、非结构化和半结构化数据，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

究竟有多少数据才能实构成“大”数据呢？这也是有争议的，大数据的大小经常改变，截至2012年，单一数据集的大小从数太字节（TB）至数十兆亿字節（PB）不等。

大数据通常以三个V来表征：

（1）数据量的大小（Volume）；

（2）数据类型的多样性（Variety）；

（3）数据处理和分析的速度（Velocity）。

构成大数据存储的数据可以来自包括网站、社交媒体、桌面和移动应用、科学实验以及物联网（IoT）中越来越多的传感器和其他设备。

大数据概念包含了一组相关的组件，使食业能够将数据实际使用并解决一些业务问题。其中包括支持大数据所需的IT基础架构、分析应用于数据、大数据项日所需的技术、相关技能组合以及对大数据有意义的实际使用案例。

2.大数据和分析

应用于数据的分析才是真正能够从大数据集合中获得价值的所在。没有分析，大数据集合也只是一堆有限的商业数据。

通过对大数据进行分析，食业可以从分析结果中得出诸如增加销售额、改善客户服务、提高效率等结论，全面提升企业竞争力。数据分析包括检查数据集，以获得对其所包含内容得出的结沦，例如关于未来活动的趋势和预测。通过分析数据，企业可以做出更明智的业务决策，例如该在何时何地进行营销活动等。

分析可以参考基本的商业智能应用程序或更高级的预测性分析，例如科学组织使用的分析。在最先进的数据分析类型中，数据挖掘是分析师评估大型数据集以识别关系的一种方式。

数据分析可以包括探索性数据分析（识别数据中的模式和关系）和验证性数据分析（应用统计技术来确定关于特定数据集的假设是否属实）。另一种区分是定量数据分析（或数字数据分析，其中有可量化的变量，可以进行统计比较）与定性数据分析（侧重于非数字数据、如视频、图像和文本）。

3.IT基础架构来支持大数据

为了能让大数据概念发挥作用，企业需要有适当的基础设施来收集和存储数据，提供对数据的访问.并在存储和传输过程中保护信息。在高层次上，这其中包括为大数据、数据管理和集成软件、商业智能和数据分析软件以及大数据应用设计的存储系统和服务器。

由于公司希望继续利用数据中心投资，因此大部分基础架构可能都是内部部署的。但越来越多的企业依靠云计算服务来处理大部分大数据需求。

数据收集这一过程需要数据源。网络应用程序、社交媒体渠道、移动应用程序和电子邮件档案已经到位，但随着物联网逐渐成熟，企业可能需要在各种设备、车辆和产品上部署传感器来收集数据，以及生成用户数据的新应用程序。

为了存储所有传人的数据，企业需要有适当的数据存储。存储选项包括传统的数据仓库、数据湖和基于云的存储。

安全基础设施工具可能包括数据加密、用户身份验证和其他访问控制、监控系统、防火墙、企业移动管理以及其他保护系统和数据的产品。

4.大数据的特定技术

一般来说，除了上述用于数据的IT基础设施之外。您的IT基础架构应该支持特定于大数据的几种技术。

（I）Hadoop生态系统

Hadoop是与大数据密切相关的技术之一。Apache Hadoop项目为可扩展的分布式计算开发开源软件。Hadoop软件库是一个框架，可以使用简单的编程模型在整个计算机集群上分布式处理大型数据集。它旨在从单个服务器扩展到数千个服务器，每一个都提供本地计算和存储。该项目包括几个模块：

HadoopCommon，支持其他Hadoop模块的常用工具；

Hadoop分布式文件系统，提供对应用程序数据的高吞吐量访问；

Hadoop YARN.作业调度和集群资源管理的框架；

Hadoop MapReduce，一个基于YARN的并行处理大型数据集的系统。

（2）Apache Spark

作为Hadoop生态系统的一部分，Apache Spark是一个开源的集群计算框架，可用作在Hadoop中处理大数据的引擎。Spark已经成为关键的大数据分布式处理框架之一，并且可以以各种方式进行部署。它为Java、Scala、Python等编程语言提供本地绑定，并支持SQL、流数据、机器学习和图形处理。

（3）数据湖

数据湖泊是存储库，它以本机格式存储极大量的原始数据。数字化转型举措和物联网的发展促进了数据湖的发展。数据湖的设计是为了方便用户在需要时访问大量的数据。

（4）NoSQL数据库

传统的SQL数据库是为可靠的事务和查询而设计的，但是它们有严格的架构限制，这使得它们不太适合某些类型的应用程序。NoSQL数据库解决了这些限制，并以高速运行和高度灵活性的方式存储和管理数据。与SQL数据库不同，许多NoSQL数据库可以在数百或数千台服务器上横向扩展。

（5）内存数据库

内存数据库（IMDB）是一种数据库管理系统，主要依靠主内存来存储数据。内存数据库比磁盘优数据库要快。

5.大数据技能

大数据和大数据分析作都需工要特定的技能。这些技能中的很多都与关键的大数据技术组件（如Hadoop、Spark、NoSQL数据库、内存数据库和分析软件）相关。

其他则专门针对数据科学、数据挖掘、统计和定量分析、数据可视化、通用编程以及数据结构和算法等学科，还需要有整体管理技能。鉴于大数据分析项目已经非常普及，却缺乏拥有这些技能的人才，寻找有经验的专业人员可能是企业面临的最大挑战之一。

6.大数据用例

大数据和分析可以应用于许多业务问题和用例。这里有一些例子：

（1）客户分析。公司可以检查客户数据以改善客户体验，提高转换率并增加留存率；

（2）運营分析。提高运营绩效，更好地利用企业资产是许多公司的目标。大数据分析可以帮助氽业找到更高效运营和提高绩效的方法；

（3）预防诈骗。数据分析可帮助组织识别可能指示欺诈行为并有助于降低风险的可疑活动和模式；

（4）价格优化。公司可以使用大数据分析来优化产品和服务收取的价格，从而帮助提高收入。

7.大数据趋势

趋势一：数据的资源化

资源化，是指大数据成为企业和社会关注的熏要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。

趋势二：与云计算的深度结合大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。白2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将助力大数据革命，让大数据营销发挥出更大的影响力。

趋势三：科学I单沦的突破

随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

趋势四：数据科学和数据联盟的成立

未来，数据科学将成为一门学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。

趋势五：数据泄露泛滥

未来几年数据泄露事件的增长率也许会达到IOO%，除非数据在其源头就能够得到安全保障。可以说，在未来，企业都会面临数据攻击，无论他们是否已经做好安全防范。而所有企业，无论规模大小，都需要重新市视今天的安全定义。在世界500强企业中，超过50%将会设置首席信息安全官这一职位。氽业需要从新的角度来确保自身以及客户数据，所有数据在创建之初便需要获得安仝保障，而并非在数据保存的最后一个环节，仅仅加强后者的安全措施已被证明于事无补。

趋势六：数据管理成为核心竞争力

数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。数据资产管理效率与主营业务收人增长率、销售收人增长率著正相关。此外，对于具有互联网思维的企业而言，数据资产竞争力所占比重为36.8%，数据资产的管理效果将直接影响企业的财务表现。

趋势七：数据质量是BI（商业智能）成功的关键

采用白助式商业智能工具进行大数据处理的氽业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据。想要成功，企业需要理解原始数据与数据分析之间的差距，从而消除低质量数据并通过BI获得更佳决策。

趋势八：数据生态系统复合化程度加强

大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接人服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等一系列的参与者共同构建的生态系统。如今，这样一套数据生态系统的基本雏形已然形成，接下来的发展将趋向于系统内部角色的部分；系统机制的调整，也就是商业模式的创新；系统结构的调整，也就是竞争环境的调整等，从而使得数据生态系统复合化程度逐渐增强。