大数据及云计算技术浅析

雷开春

（宜宾学院 四川 宜宾 644000）

1 引言

随着科技的快速发展，大数据已然从一个概念逐步深入到了各行各业。现在，大数据已经形成了一定的产业规模，传统行业已经慢慢转型，开始利用大数据技术升级换代。同时，大数据的模式和行业形态也层出不穷，这些变化目的都是为企业谋取更大的经济利益。

云计算作为当前另一热点技术，它实现了互联网上各种资源（如服务器、存储空间等）的无限扩展。从云计算技术的视角，一切都是一种服务，它可以把多种服务进行连接和组合，以满足无限数量的应用程序需求。云计算采用了不同于传统付费的崭新模式，这个模式最大的特点就是采用了一种按使用量付费的方式，也就是使用多少资源就按多少资源付费。我们把互联网上的各种资源想象成一个大的资源池，这个资源池包括网络、服务器、存储空间和设备、应用软件和服务等。通过云计算技术，企业不需要花费大量精力和人力，也不需要和供应商有过多及繁琐的交互，就可以对这个资源共享池进行便捷、按需的访问。

目前，大数据技术与云计算的联系更加紧密。大数据的目的就是充分挖掘海量数据中的信息，以获取数据中的价值。但海量数据的分析对大数据处理是一个挑战，如果没有强有力的云计算作为支撑，对信息量如此巨大的数据进行分析几乎是不可能的。

2 大数据概述

“大数据”这一概念最早由全球知名咨询公司麦肯锡提出，麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合[1]。大数据具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

（1）数据量巨大。在我们的传统观念里，M、G、T就是常用的比较大的计量单位了。而在大数据的世界里，只有数据体量达到了PB级别以上，才能被称为大数据。目前大数据的计量单位至少是P（1 000个T）、E(100万个T)、Z(10亿个T)。

（2）高效性。大数据时代的海量数据，如果没能及时、高效地利用和处理，大数据也变为了一大堆庞大的冗余数据，并无价值。大数据时代，我们有非常硬核的云计算等技术，大数据的交换和传播在网络之间通过云计算等技术得以实现。这种高速、高效的特点正是大数据区别于传统数据的显著特点之一。大量数据迅猛增长，企业必须快速获取数据并及时做出响应，上亿的数据分析需要在秒级别内完成，数据的创建、移动、处理和筛除都在瞬间完成，几乎没有延迟。

（3）数据的多样性。大数据资源的收集是通过互联网、物流网等渠道获得，数据来源的广泛性决定了数据形式的多样性。主要包括结构化数据、半结构化数据和非结构化数据这三大类。结构化数据主要是指财务系统数据、医疗数据、教育系统数据等数据；非机构化数据主要指音频、视频、图片等数据；半结构数据主要指网页、邮件、文档等数据。目前，互联网数据中结构化数据占比最大，而收获价值最大的是这些非结构化数据。数据的多样性使我们获取的信息更加丰富，同时也对我们的处理能力提出了更高的要求。

（4）低密度性。所谓低密度是指有价值的数据在获取整个数据中所占的比例非常小，低密度性也是大数据最核心的特征。在现实生活中，我们通过各种渠道获取大量的数据，希望从这些采集来的信息数据中提取有价值的部分，但这种获取通常是一个很大的范围而没有明确的针对性，所以绝大部分数据是无用的信息数据。如何高效快速的从这些海量数据中提纯出价值数据，正是大数据时代需要不断解决和完善的课题。

3 云计算

云计算概念是在1988年由微软公司的合作创始人约翰·盖奇提出来的，他也提出了“网络就是计算机”这一概念。也就是说我们把互联网世界里的无数电脑和服务器连成一片电脑云[2]，互联网就是一个巨大的计算机，它可以提供运行与存储的功能，并且还能够进行数据分析。如今，云计算概念已经被广泛应用。云计算提供计算服务，用户只需通过电脑、手机、平板等方式接入这些云资源，根据自己的需要获取云服务。客户甚至不需要主机和服务器，这些云计算都能为你提供。同时，云计算强大的计算能力（如10亿万次/s）让客户迅速获得自己要的信息和服务。云计算明显优于传统模式，它使企业减少了大量的IT维护人员，从而减少了人力成本。云计算还有一显著的优点就是其弹性扩展能力，它能在客户需要的时候从优提供适合且适量的IT资源，免去了偏多或偏少的存储空间、带宽等。

由上述可见，云计算带来的好处很多，但依然不能用一种云计算来解决所有客户的需求。为了更好地发挥云计算的作用，我们必须从每个客户的实际需求出发，提供最合适的解决方案。目前市面上最主流的三种云计算类型：公共云、私有云和混合云。

3.1 公共云

公共云为第三方云服务供应商所拥有和提供。供应商负责提供所有的硬件、软件和其他相关的基础结构。公众可以通过网络获取这些资源，这种模式安装简便而且费用便宜，客户只需为其使用的服务付费，没有资源浪费。显然这种模式存在欠缺客户化的服务能力。另外，法律合规性、安全措施、可用性等也存在一些问题，这些势必会导致一些风险。

3.2 私有云

私有云是由其服务的企业来管理，它是专供一个企业或组织使用的云计算资源。在一个私有云环境中，一个防火墙就可以限制用户访问并消除众多企业对于数据安全性和合规性方面的忧虑。企业必须对私有云实施的项目进行精心规划，这种规划包括了理解私有计算的真正定义、安全性、性能以及其他等因素。私有云这些优于公共云的优势是以更高昂的费用作为代价的。

3.3 混合云

混合云就是将上述两种类型的云组合在一起。混合云允许数据和应用程序在私有云和公共云之间移动，但这两种云的基础设施彼此独立运行，二者是独特和独立的元素。混合云可直接访问的内部部署私有基础设施，不会受到公共互联网的限制，与公共云服务相比，混合云大大减少了访问时间和等待时间。

云计算是以按需分配的模式向客户提供服务。云计算服务目前大致分为有三大类：基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）[3]。

（1）基础设施即服务：这是三中类型中最基本的一种。客户可以采用即用即付的方式,从供应商处租用服务器、存储空间和操作系统等基础设施，供应商提供相关的维护工作。

（2）平台即服务：这种云计算服务主要为使用者提供开发、测试和管理等所需要的环境。开发者无需考虑开发设计中基础结构的设定和管理，便能轻松地创建Web或移动应用。

（3）软件即服务：这是三种类型中最便捷的一种。供应商不仅为客户提供所必须的基础结构和环境设置，也为客户提供管理软件应用程序，并负责软件的升级、维护、安全等工作。

4 大数据和云计算的区别及关联

4.1 区别

大数据和云计算最根本的区别是两者侧重点不同，大数据只涉及对海量数据进行高效处理；而云计算则涉及基础架构和资源的分配。

4.2 关联

虽然大数据和云计算侧重点不同，但它们之间的关系并非独立无关的。相反，大数据和云计算在资源的需求和处理上，二者相辅相成，互相成就。

大数据和云计算都是当下最具价值的技术之一，很多企业都致力于将两种技术有效地结合起来，在降低投资成本的同时，为公司获得更多的商业价值和利益。

大数据为云计算在对实时更新的海量数据进行查询和分析过程中，提供有价值的信息，而云计算提供的计算资源服务，又支撑起大数据的不断挖掘。大数据的挖掘是以云计算作为平台，而从大数据中提取出价值信息和规律，为云计算带来了无数的好处。云技术的进步，完善了大数据的分析，更有效地整合各种渠道的数据。云计算提供了相对于传统的基础架构更加灵活、简便的基础架构，对各类海量数据的分析变得可行和容易。

大数据和云计算两者的结合，还优化了企业数据安全性和隐私性问题。在安全性和隐私性方面，系统集成商引入了具有弹性和可扩展性的私有云解决方案。除此之外，云数据一般是在云存储服务器的中央位置进行存储和处理，服务提供商和客户将与之一起签署服务水平协议，以获得他们之间的信任。如果需要，提供商还可以利用所需的高级安全控制级别，保护大数据免受威胁，让云服务商更好地存储和维护数据。

5 结语

大数据时代的到来，使数据与我们的日常生活从未如此紧密过。从当前互联网蓬勃发展的局面来看，大数据和云计算必定有非常广阔的发展前景，它们将在各自的领域里不断创新并将带动一系列新兴技术的出现。然而目前，这两种技术都还处于发展阶段，都还有很大优化改进空间。所以，我们还不能说大数据和云计算已经完美结合。另外，大数据一方面给我们的生活带来了很多便利，但同时也带来了一些安全隐患，用户敏感信息和数据的泄露防不胜防，这些个人隐私数据很容易被犯罪分子利用，做一些非法获益的活动。所以，大数据时代我们在享受时代红利的同时，也要注意保护个人信息。目前，两大技术进行大数据挖掘和分析的过程也在日益完善和改进，这也是大数据和云计算两大主流技术未来的使命。