云计算在大数据中心建设的研究与应用

张占昭，王玉红

(1.承德石油高等专科学校 计算机与信息工程系，河北 承德 067000；2.解放军第266医院，河北 承德 067000)



云计算在大数据中心建设的研究与应用

张占昭1，王玉红2

(1.承德石油高等专科学校 计算机与信息工程系，河北 承德 067000；2.解放军第266医院，河北 承德 067000)

分析了云计算技术的原理和优越性以及当前面临的主要技术问题，从“云数据中心”的角度，给出云计算技术下大数据中心建设的建构方案，并在应用方面如虚拟计算、虚拟存储、虚拟网络、虚拟服务、虚拟安全等方面进行了详细的阐述，重点描述了虚拟存储技术里的改进LRU算法。

云计算；数据中心；私有云

随着国内外在云计算技术方面的不断研究和应用，云计算技术日趋成熟，与此同时，2016年，承德成功承接了“国家绿色大数据中心”建设的任务，任务的核心内容之一是建立一流的大数据中心，并且把云计算技术作为大数据中心建设的关键技术，因此需要对云计算技术进行不断的创新。

1 云计算和大数据中心

1.1 二者之间的关系

大数据中心如何根据需求对计算机及存储系统进行访问以及按需要自由转换到实际应用上是新一代大数据中心建设的关键所在，而云计算的核心旨在将大量离散的计算机和服务器资源有效整合以实现高效的计算，这样我们就可以将云计算运用到大数据中心建设中去，使得大数据中心的运行像互联网一样，从根本上解决新一代大数据中心的关键问题。基于云计算的大数据中心可以让数据更安全可靠、数据共享更轻松、客户端需求更低、网络资源使用提供更多可能。

1.2 云计算相关技术

依据提供云服务的对象范围大小不同，我们可以将云计算大致分成公有云、私有云、混合云。公有云即互联网上的；私有云即私有环境中的，如政府机关、高校、企业等。云计算从面相服务的方面最大化的实现了资源的共享以及资源的重复利用，从而达到IT资源的按需分配，具体技术包括资源高度整合技术、资源虚拟化技术、智能决策技术等，其中虚拟化技术是核心技术，特别是在基于私有云的大数据中心建设中起着至关重要的作用。虚拟化技术的核心是将计算机硬件以及底层设备进行直接或者间接虚拟(系统管理程序)，从另一个角度也可以理解为对硬件平台和操作系统的虚拟抽象。而间接虚拟中的系统管理程序某种程度上就是操作系统(如Linux)，它的客户端即虚拟机。虚拟化技术可以大大提高资源的利用率、数据整合效率，带来节能减排的效果。

2 基于云计算的大数据中心解决方案

基于云计算的大数据中心设计思路采用“虚拟化”的概念设计整个软件和硬件系统，将云计算的大数据中心分为虚拟计算、虚拟存储、虚拟网络、虚拟服务、虚拟安全五部分，每个部分所涉及的资源可以根据实际需求动态的调整，采用支持云计算的操作系统来架构整个信息系统，可以提高系统实施的效率，为以后系统的扩展提供足够的伸缩性，以云计算为基础的开发平台还可以降低运维成本(大数据中心的成本主要是能源消耗)、将资源虚拟化后随意共享(云计算的核心是利用虚拟化技术将数据中心的资源转换成随意取用的共享资源)、提高数据中心的利用效率，从而达到大数据中心的灵活性和安全性。

2.1 虚拟计算

虚拟计算利用物理资源如服务器、网络、存储系统虚拟为超级计算机，将每个单一的性能模块转变为虚拟的整体性能，提高物理设备的实用性和整合性。服务器虚拟化利用VMware软件(vSphere 和 view)，在服务器硬件设备上运行UCS能将计算、存储等操作整合到一个综合平台上。这样一来，利用虚拟化软件的功能就能保证不停机，为应用系统的实时性提供保障；利用UCS就是能够消除人工计算；利用无状态计算技术实现物理设备的随意迁移，使大数据中心的管理更加灵活以及虚拟服务器的使用更加安全。

2.2 虚拟存储

数据存储的关键是如何架构网络化存储，从而实现数据的统一存储，虚拟存储技术可以真正解决数据存储这一关键问题，它的本质是通过网络协议建设一个可以供服务器使用的支持数据、文件、数据块等的网络存储结构。虚拟存储不仅具有提升数据中心存储容量、提高数据的利用效率、存储方式灵活以及可以为服务器虚拟化提供保障等特点，而且还具备解决大数据中心的性能瓶颈问题、统一存储服务(真正实现整体存储)、存储速度和性能等方面的优势。

在虚拟存储中的实际应用当中，算法起着至关重要的作用，其中常见的有OPT、LFU、FIFO、LRU等，每种算法都有其自身的优点，但是每种又有其不足之处，下面介绍一种改进的LRU算法，力求在原有算法基础上进一步提升存储的时间和空间。

传统的LRU算法(最近最少使用算法)思想是离节点最近并且没有使用的时间最长的页面首先删除，实际操作是将每个页面号初始化放在栈里，当有新的访问时，新访问指向的页面号不断进入栈顶，没有被访问的页面号进入栈底，随着新访问不断地增加，最终导致由于容量不够，栈最底的页面号被删除。

举例：e,h,a,h,b,a,b,c,b,c,g

结果： e

e h

e h a

e a h

e a h b

e h b a

e h a b

e h a b c

e h a c b

e h a b c

h a b c g

通过实例我们可以看出传统LRU算法会带来两个比较严重的问题：其一由于每个访问都会带来栈或者链表的变动，因此实现并发访问将十分困难，甚至会遇到瓶颈；其二LRU算法不能准确地衡量到底是哪个页面最近是被访问的，遇到特殊操作情况时如重复性页面访问和突发性页面访问时会带来命中率不高，甚至下降严重的问题。

针对传统LRU算法所带来的两个问题，改进的LRU算法思想是将经常访问的页面标记为热点页面，将不经常访问的页面标记成冰点页面，划分热点和冰点的访问次数一般定为大于等于2。这样一来既可以有效保留访问次数较多的页面，还可以提高删除访问较少页面的速度，进而提升命中率。如表1所示：

表1 热点、冰点表

热点 冰点

abcdefghij

在表1中，其中a,b,c,d,e为热点元素，f,g,h,i,j为冰点元素，实际操作过程中：添加时如果空间不满则直接插入热点端即可，如果空间满则删除后添加在冰点端即可；删除时从冰点端开始判断，如果大于等于2则移动到热点端(清零后移动)，如果判断结果为1或者0则直接删除；由于是计数访问，保证了其并发性，提高了效率。测试结果如表2所示：

表2 测试结果

从测试结果中可以看出，改进LRU算法较传统LRU算法各个方面都有了较大的提升。

2.3 虚拟网络

网络虚拟技术核心的工作是将分散的各种形态的网络进行统一架构，从技术上能够实现让网络的速度更快、延时更低、带宽更高、管理更方便等优势，并且能最大限度的降低网络建设成本以及优化网络结构。虚拟网络技术包括虚拟设备系统技术、虚拟端口通道技术、覆盖传输虚拟化技术等。

2.4 虚拟安全及服务

在云计算时代进行网络架构，硬件都进行了不同程度虚拟化，如果仍然按照原有的方案进行安全架构，将会出现大量的安全漏洞，进而影响大数据中心的性能和效率。从服务器及应用程序层面上要求其自身有自动防御能力的安全策略；从技术层面上为了能让数据安全可靠，应采用可靠的数据删除技术以及容灾技术。

3 结语

总之，采用云计算机技术进行大数据中心建设，可以充分利用硬件资源，更好的提高硬件资源的效率，减少硬件投资成本，同时云计算技术的大量应用使得大数据中心无论从数据的备份、删除、更新，还是整个应用系统的架构及恢复都十分的高效快捷，从而提升了大数据中心应用系统的性能。

[1] 杨静.面向云计算的虚拟机动态迁移关键技术及优化[D].长沙：中南大学 ，2012.

[2] 程国江.云计算简介及应用前景[J].中国新技术新产品，2013(8): 23-24.

[3] 林秀.虚拟化技术在企业数据中心中的应用[J].电信快报，2011(5):9-11.

[4] 王学军. 数据挖掘聚类算法在斜井抽油扶正器设计中的应用[J].承德石油高等专科学校学报，2013，15(2):20-23.

Research and Application of Cloud Computing in Construction of Large Data Center

ZHANG Zhan-zhao1, WANG Yu-hong2

(1.Department of Computer and Information Engineering, Chengde Petroleum College, Chengde 067000, Hebei, China； 2.No.266 Hospital of PLA, Chengde 067000, Hebei, China)

This paper analyzes the principle and advantages of cloud computing technology and main technical problems from the “cloud data center” perspective, provides the construction scheme of large computing data center construction technology under the cloud, explains applications such as virtual computing, virtual memory, virtual network, virtual services, security and other aspects in detail, and describes the improvement of LRU algorithm in virtual storage technology.

cloud computing; data center; private cloud

2016年度承德市社会科学发展研究课题(基于云计算的承德大数据中心建设研究)：Z20162020

2016-05-01

张占昭(1978-)，男，河北保定人，承德石油高等专科学校计算机与信息工程系讲师，硕士，主要研究方向为物联网技术、嵌入式系统。

TP308

B

1008-9446(2016)05-0052-04