教育资源云虚拟化平台模型构建研究

2017-12-12 06:19杨华芬
实验室研究与探索 2017年10期
关键词:校园网虚拟化教育资源

李 勇,杨华芬

(曲靖师范学院 信息工程学院,云南 曲靖 655011)

教育资源云虚拟化平台模型构建研究

李 勇,杨华芬

(曲靖师范学院 信息工程学院,云南 曲靖 655011)

国内各高校教育信息化建设仍以传统的数字校园网平台建设为主,这种传统的校园网平台建设随着教学资源和学生人数的增加,需要不断的增加硬件基础设施以保障教学需求,这些硬件基础设备中的相当一部分是重复投入的、设备利用率并不高,且资源分散、覆盖范围不广、不利于共享和重复使用。为有效改善这些不良现状,本文提出利用Hadoop开源云框架和虚拟化技术,构建教育资源云虚拟化平台模型,在尽可能减少基础设施投入的情况下,保障教学需求、方便用户对软硬件资源进行统一集中管理,提高资源的使用效率。加强这方面的研究对进一步促进教育信息化建设和民族教育事业发展具有重要参考意义。

教育资源云; 教育信息化; 云计算; 虚拟化

0 引 言

《国家中长期科学和技术发展规划纲要(2006—2020年)》[1]和教育部《教育信息化十年发展规划(2011—2020年)》[2]都已明确提出以计算机技术、网络通信技术、现代远程教育技术等内容为核心的教育信息化建设将作为我国教育发展的战略选择,然而,目前国内各高校教育信息化建设仍以传统的数字校园网平台建设为主,这种传统的数字校园网平台建设随着教学资源和学生人数的增加,需要不断的增加硬件基础设施以保障教学需求,不断增加的设备投入有很大一部分是重复投入的、设备利用率并不高。如何充分利用高校校园网内现有的服务器、网络通信设备、数据存储设备等软硬件基础设施,借助开源云计算框架Hadoop和虚拟化技术内容的支持来构建和部署教育资源云虚拟化平台,在尽量减少硬件基础设施投入的前提下,既保障教学需求,同时又可以方便用户对软硬件设备资源进行统一集中管理,提高资源的使用效率,对进一步促进教育资源信息化建设和民族教育事业发展具有重要意义,并且,教育资源云虚拟化平台构建充分利用虚拟化技术、云计算技术支撑,是未来教育信息化建设发展的方向,加强这方面的研究对促进虚拟化技术、云计算在教育信息化建设方面的应用也具有重要参考价值和发展空间。

1 平台构建支撑技术

1.1Hadoop框架

Hadoop是由Apache基金会于2005提出并研发的一个开源分布式云计算系统框架,主要应用于并行计算、海量数据存储、分类检索与并行编程等领域,具有高可靠性、高可拓展性、高容错性、高效性和低成本等优点,正因为此,它一出现就受到了Yahoo、Facebook、百度、中国移动研究院等众多国内外大公司的青睐,纷纷基于Hadoop建立了自己的云服务平台,以巩固其在互联网中地位。

Hadoop是一个项目的总称,里面包含许多个相关项目子集,主要包含的技术内容如图1所示[3]。

图1 Hadoop技术栈

由图可见,Hadoop开源框架主要包括Hadoop Common,处于Hadoop技术栈的最底层模块,是Hadoop框架中所有其他子项目的公共支撑部分、为其他子项目提供必要的工具支持;Avro,Hadoop框架中的一个子项目,也可以作为一个独立的子系统存在,是一个基于二进制的高性能数据传输中间件,支持跨平台、跨语言的高效序列化数据存储系统,作为一个工具常用于Hadoop其他子项目之间存储和交换数据;MapReduce,Hadoop框架中的核心组件之一,被设计用来进行海量数据的并行编程,里面包含Map和Reduce两个函数,由一个JobTracker和多个TaskTracker控制,其中JobTracker负责任务调度和TaskTracker管理,TaskTracker则负责任务的执行;Hadoop分布式文件系统(Hadoop Distributed File System,HDFS),Hadoop框架中的另一核心组件,Google GFS 的开源版本,具有高度容错性的分布式文件系统,提供海量数据的存储、访问,里面包含一个NameNode和多个DataNode,其中NameNode是负责文件系统管理的元数据,DataNode则是负责实际数据存储的单元;ZooKeeper,用来配置和支持分布式调度的一组工具,主要用于保持所有节点之间的配置同步;Pig,类SQL语言,MapReduce上构建的高级查询语言,用于简化MapReduce的开发任务;Chukwa,数据收集和分析分布式系统,一种分布式锁设施,类似于Google Chubby的功能,由Facebook提供;Hive,数据仓库工具,主要完成SQL语句的查询功能;Hbase,分布式数据库,类似Google BigTable的分布式NoSQL列数据库。

1.2虚拟化技术

虚拟化技术(virtualization technology)最早出现在1965年IBM7044计算机中,其后在20世纪70年代的System 370系列中逐渐流行,通过虚拟化的方式将一台物理计算机虚拟化成几台独立运行的客户机,各客户机共享IBM7044大型服务器的硬件资源。虚拟化技术是一种支持硬件虚拟化、平台虚拟化、软件虚拟化,可以很方便地对现有计算机软硬件实体资源进行配置、管理、共享、复用、并且在其中引入了资源池概念的资源管理技术,主要依靠在计算机软、硬件层之间引入的中间虚拟层来对整个计算机系统中的所有软、硬件资源进行统一化管理,为用户提供彼此独立隔离的计算机系统环境,可以为用户很好的屏蔽各种不同硬件平台之间的动态性、分布性和异构性[4]。

目前,比较常见的虚拟化技术有VmWare ESX、RedHat KVM、Citrix XenServer,考虑实际应用的情况和篇幅的限制,主要介绍VmWare ESX技术,基于VmWare ESX虚拟化技术的架构如图2所示。

图2中所示将基于VmWare ESX的虚拟化架构模型分为硬件基础层、虚拟化层、虚拟化应用层3层,各层的主要内容如下:

(1) 硬件基础层。可以包含一台或多台计算机服务器,以及服务器上的CPU、Memory、disk、Adapter等计算机硬件资源,主要为上层虚拟化提供物理硬件基础。

(2) 虚拟化层。基于VmWare ESX虚拟化架构模型中的核心层,主要完成物理硬件设备的虚拟化操作,方便用户高效使用计算机系统中的硬件设备资源,进行资源的合理调配、管理与维护。通过该层的硬件设备虚拟化操作之后,形成一些结构上独立的逻辑虚拟主机,用户可以根据需要个性化定制所需要的系统环境、开发平台、应用软件。虚拟化层包括的内容主要有VMware Esxi、VMware vCenter、vSphere Client,其中VMware Esxi为VMware 公司研发的一款服务器版linux操作系统、用于部署Esxi宿主服务器;VMware vCenter为整个虚拟化架构模型的控制管理中心,用于对所有Esxi宿主服务器、以及宿主服务器上的资源进行统一配置、集中管理;vSphere Client虚拟化管理组件,为用户登陆vCenter控制管理中心、或者直接登陆宿主服务器提供友好的可视化视图。除此之外,虚拟化层包含的内容还有存储、数据容灾备份与恢复、虚拟网络、资源负载平衡、容错与安全技术等,由于篇幅所限,在此就不做介绍。

图2 基于VmWare ESX的虚拟化架构模型

(3) 虚拟化应用层。直接面向用户提供应用支持,可以是虚拟化产生的虚拟主机,虚拟化产生的各虚拟主机与底层硬件平台无关,支持各种主流操作系统、开发服务环境、软件应用服务,构成独立自主的计算机系统;也可以是采用vApp应用服务封装的方式向用户提供个性化应用打包服务,用户可以快捷方便的获取、迁移、部署服务,所有这些虚拟化应用服务可以通过虚拟桌面、服务控制台、虚拟终端等形式展示给用户,用户使用起来操作简单、快捷,不需要额外掌握复杂的专业基础。

2 教育资源云虚拟化平台模型

云计算是在分布式并行计算、网格计算、虚拟化等技术发展的基础上综合演变发展出来的一项具有划时代意义的IT创新技术,能够为用户提供大规模计算、海量数据处理、软件应用、平台应用等服务。云计算时代的教育信息化是指学校、教育从业者使用云计算提供的服务来辅助教学,学习用户、学生则使用云计算提供的服务来获取学习资源、帮助自身完成知识的积累和学习过程。传统的教学信息化主要是通过校园网、精品课程、重点课程网络、远程教育平台等形式来完成的,这种方式系统之间、平台之间、网络之间、用户终端之间都存在较大差异、兼容性不够好,不利于教育教学资源集中管理、共享与使用。基于Hadoop开源云框架构和虚拟化技术建立教育资源云虚拟化平台可以很好的为用户屏蔽下层硬件、系统平台、校园网络等之间的差异,使用所有能够接入互联网的用户都可以通过互联网轻松获取自己所需要的软硬件资源,真正做到教育信息化、面向全民用户、服务全民用户,为用户提供按需推送的教育资源云服务。

2.1教育资源云虚拟化平台分层模型

结合校园网建设环境、教育资源的特点,再根据Hadoop框架和虚拟化技术内容对云计算服务的支持,教育资源云虚拟化平台构建采用分布式、分层结构模型,自下而上依次分为基础设施层、虚拟服务层、应用环境层、应用服务层、用户接口层共5层,其分层模型如表1所示。

表1 教育资源云虚拟化平台分层模型

表1所示上下层之间相互依赖、下层基础为上层构建提供支撑服务,水平上各层彼此独立、与平台无关、相互之间彼此兼容,共同构建成完整的教育资源云虚拟化平台,各层所包含的主要内容和功能服务如下:

(1) 基础设施层。由多台高性能HP服务器、Cisco网络通信设备为构建云计算中心提供所需的计算器、存储器、网络通信设备等硬件资源;

(2) 虚拟服务层。在物理基础设施的基础上,利用Esxi、VMware vCenter、vSphere Client等工具构建虚拟化平台,按需为用户提供虚拟计算机、服务器、网络、存储空间、桌面应用环境、底层物理硬件设备管理等服务;

(3) 应用环境层。在基础设施层、虚拟服务层的基础上,借助Hadoop开源框架构的技术内容,为技术开发人员提供云应用开发环境和公用API接口,以减轻开发人员的系统管理操作任务。

(4) 应用服务层。提供教育教学相关的应用软件、教学平台、基于云的虚拟计算环境和基于云的虚拟实验室,完成教学资源的上传下载、存储共享、检索管理,以及平台监测、数据安全、系统管理、计费管理等应用服务;

(5) 用户接口层。为用户访问云平台提供访问接口,用户访问云平台的接口可以是远程桌面、云门户网站、单点登录(SSO)系统等。

2.2教育资源云虚拟化平台部署

教育资源云虚拟化平台的主要硬件环境为4台DELL PowerEdge 2900服务器,以下内容涉及的服务器硬件环境均为DELL PowerEdge 2900服务器,其详细部署结构如图3所示。

图3 民族教育资源云平台部署结构

由图可知,教育资源云虚拟化平台包括校园网、物理硬件资源池、虚拟客户机、虚拟应用服务器集群、虚拟hadoop服务器集群、校园网用户、Internet互联网、云门户及互联网用户几部分组成。主要内容如下:

(1) 校园网。由3台Cisco 2960S-24TS-S二层交换机完成校园网接入层功能、1台Cisco 3560V-24TS-S三层交换完成核心层功能、1台Cisco PIX-515E-U防火墙完成对互联网用户不安全访问行为的过滤功能,校园网环境主要保障网内所有设备之间的高速通信、Internet互联网接入,并监控来自互联网用户的访问请求、拒绝不良访问行为。

(2) 物理硬件资源池。基于4台DELL PowerEdge 2900进行虚拟化架构,将4台物理服务器上的CPU、内存、硬盘存储空间、网络适配器进行统一集中管理、生成虚拟硬件“资源池”,根据需要对“资源池”中的硬件资源进行重新分配,提供构建虚拟客户机、虚拟应用服务器集群、虚拟hadoop服务器集群部署与实施所需的硬件支撑。

(3) 虚拟客户机。为校园网用户提供虚拟桌面应用、个人计算机应用。

(4) 虚拟应用服务器集群。包括云门户Web服务器、用户文件管理FTP服务器、平台数据库服务器、平台安全保障堡垒主机服务器。

(5) 虚拟hadoop服务器集群。包含1个NameNode服务器,用于文件数据的分割、存储以及DataNode的监控;1个SecondayNameNode服务器,与NameNode通信、作为NameNode的备用服务器;1个JobTracker服务器,负责计算任务的分解与汇总,以及TaskTracker服务器的运行监控;2个可同时作为TaskTracker节点和DataNode节点的从服务器,分别用来运行map与reduce函数、完成数据计算任务,实际教育资源数据块的存储。

(6) Internet互联网。为外部互联网用户访问云平台中的资源提供网络通信环境,同时保证云平台可以及时获取到来自互联网上的最新教育资源。

(7) 云门户。提供服务接口,方便互联网用户登出云平台,获取平台中的资源、共享用户已有的资源。

(8) 校园网用户、互联网用户。可以分别通过虚拟客户终端、云门户来使用平台中的硬件基础服务、软件应用环境服务、信息化资源服务等。

3 应用与性能分析

3.1应用对比分析

目前,国内各高校教育资源信息化建设的形式主要是依靠校园网通信环境建设数据存储与共享中心、精品课程、重点课程教学资源库、远程现代化教育平台等数字校园网平台,依靠数字校园网平台来推进教育资源信息化建设的方式,随着教育资源和学生人数规模的不断增加,要求的硬件基础设施投入也要不断增加,然而,数字校园网平台中的许多应用对硬件设备的要求和利用率并不高,如单个精品课程或重点课程教学资源网站对Web服务器、数据库服务器等的硬件要求并不高,但是因为精品课程或重点课程建设数量的增多,却仍需要不断的增加或更新硬件设备服务器,这势必造成设备重复投入、使用率低等问题。构建教育资源云虚拟化平台,运用虚拟化技术对硬件设备资源池中的资源进行统一集中管理、重新分配利用,可以在尽量减少硬件设备投入的基础上,充分利用现有硬件设备资源来保障教学资源信息化建设的需求,与传统数字校园网平台建设相比较具有较多优势,两者详细比较结果如表2所示。

由表中分析可知,相对传统的数字校园网平台来讲,基于云计算和虚拟化技术构建教育资源云虚拟化平台对教育资源信息化建设的促进作用优势明显,然而近5年来的研究成果表明,基于云计算和虚拟化技术在其他各行业中的应用研究成果丰硕,而在教育资源信息化建设、构建教育资源云方面的应用研究成果则十分少,因此,进一步加强这方面的研究具有广阔的应用前景和发展空间,对促进教育资源信息化建设、均衡协调全民教育发展也具有重要的参考价值。以“虚拟化”“云计算”“教育资源信息化”“教育资源云”为主题,在中国全文期刊数据库中检索2010~2014年期间发表在SCI来源期刊、EI来源期刊、核心期刊、CSSCI上的文献统计结果如表3所示。

表2 教育资源云虚拟化平台与传统数字校园网平台比较

表3 近5年来相关研究成果统计

3.2性能对比分析

选取其中的一台硬件服务器,安装Windows Server 2003系统环境,直接在其上部署Web、数据库、FTP应用服务;然后,使用开源分布式服务器监测软件Zabbix[5],分析其一周内CPU、内存的运行性能,结果如图4所示。选取另一台硬件服务器,采用VMware Esxi6.0进行虚拟化架构,利用其虚拟出3台主机,然后在虚拟主机上做同样的3种应用服务部署,性能监测结果如图5所示。

从图4中可以看出,直接部署3种应用服务时CPU、内存性能使用率分别约为5%、48.5%,浪费了大量保贵的CPU、内存资源;而从图5中可以看出,虚拟化部署3种应用服务时CPU、内存性能使用率分别约为15%、75.5%,相比来讲,CPU使用率提升了3倍、内存使用率提升了56%。究其原因,因为进行虚拟化架构后,同一台物理硬件服务器除了可以部署同样的3种应用服务外,还可以更加灵活、个性化的为不同用户提供诸如远程桌面应用、虚拟开发环境等其他服务,从而其资源得到了充分利用。并且进一步的监测结果表明,虚拟化架构后服务器在硬盘存储空间的利用率、存储速率、网络适配器的读写速率等性能方面都有所提升,由于篇幅所限,这里就不再依次截图作结果分析说明。

(a)CPU

(b)内存图4 直接部署3种应用服务时CPU、内存使用率

(a)CPU

(b)内存图5 虚拟化部署3种应用服务时CPU、内存使用率

4 结 语

云计算、虚拟化技术近年来在国内的应用十分广泛、研究成果日益丰硕,然而,其在教育信息化建设、教育资源云构建方面的研究则十分少,本文提出利用高校现有高性能服务器的硬件支持,基于虚拟化架构来构建教育资源云平台,可以在尽量减少硬件设备投入的前提下,充分利用现有资源保障教学需求、方便用户对资源的使用和管理、提高设备资源的利用率。文中对开源云计算框架hadoop、虚拟化技术进行了简要介绍,在此基础上,详细的介绍了教育资源云虚拟化平台的分层模型、部署结构,对比分析了其与传统数字校园网平台建设的应用、虚拟化架构后硬件服务器主要设备性能使用率。然而,文中并没有对云平台资源搜索与发现机制、存储与共享管理策略、云门户开发等内容进行介绍,这将是今后很长一段时间的努力方向,进一步加强这方面的研究对促进云计算、虚拟化技术在教育信息化建设、教育资源共享方面具有重要的参考意义。

[1] 中华人民共和国国务院.《国家中长期科学和技术发展规划纲要》(2006-2020年)[DB/OL].http://www.gov.cn/jrzg/2006-02/09/content_183787.htm, 2012-12-20.

[2] 中华人民共和国教育部.《教育信息化十年发展规划》(2011-2020年)[DB/OL].http://www.moe.gov.cn/publicfiles/business/htmlfiles/moe/s3342/201203/133322.html, 2012-12-20.

[3] 黎宏剑,刘 恒,黄广文,等.基于Hadoop的海量电信数据云计算平台研究[J].电信科学,2012(8):80-85.

[4] 兰雨晴,宋潇豫,马立克,等.系统虚拟化技术性能评测[J].电信科学,2010(8A):19-24.

[5] 郭晓慧,李润知,张 茜,等.基于Zabbix的布式服务器监控应用研究[J].通信学报,2013,34(Z2):94-98.

[6] 范 涛.基于云计算技术建设教育信息化服务平台的研究[J].信息通信,2013(9):38-39.

[7] 冯 永,钟 将,叶春晓,等.海量数字教育资源管理和共享的云服务模型研究[J].中国电化教育,2013(5):117-123.

[8] 谢 阳,史有群,陶 然,等.基于虚拟化技术的教学云平台构建与管理[J].计算机与现代化,2013(8):218-221.

[9] 钟发强.教育资源云平台的研究与应用[D].上海:华东师范大学,2014.

[10] 张雅彬,李伯虎,柴旭东,等.基于虚拟化技术的云仿真资源迁移技术研究[J].系统仿真学报,2011,23(6):1268-1272.

[11] 章泽昂,邬家炜.基于云计算的教育信息化平台的研究[J].中国远程教育,2010(6):66-70.

[12] 罗 丹.云计算资源调度算法仿真[J].计算机仿真,2013,30(7):280-283.

[13] 卓 涛,詹 颖.改进人工蜂群算法的云计算资源调度模型[J].微电子学与计算机,2014,31(7):147-150.

[14] 张拥华.基于Hadoop的云教学资源平台设计与实现[J].企业技术开发,2015,34(16):24-27.

[15] 蒋 宁,李 文,李鸿彬.基于Hadoop的云计算辅助教学平台研究[J],中国远程教育,2012(9):79-82.

ResearchontheConstructionofPlatformModelforEducationalResourceCloudVirtualization

LIYong,YANGHuafen

(School of Information Engineering, Qujing Normal University, Qujing 655011, Yunnan, China)

The education informatization construction in domestic various universities is still based on the traditional digital campus network.With the increase of teaching resources and students, the construction with the traditional digital campus network platform needs to constantly increase the hardware infrastructure to meet the teaching demand.But, a large part of these hardware infrastructure is repeated, and the utilization rate is not high, resources disperse, coverage is narrow, cannot be sharing and reusing.In order to change these phenomena, this paper proposes to use Hadoop open source cloud framework and virtualization technology, and to build an educational resource cloud virtualization platform model.Under the reduction of infrastructure investment, the target of platform model is to guarantee the teaching needs, facilitate users to integrally manage hardware and software resources, so as to improve the use efficiency of resources.Therefore, it is meaningful to strengthen the research in this field.It will further promote the construction of education information systems and the development of national education.

education resource cloud; educational informationization; cloud computing; virtualization

G 484

A

1006-7167(2017)10-0135-05

2016-12-26

云南省自然科学基金(粒子群优化方法研究,2013FZ114)

李 勇(1984-),男,江西新余人,硕士,讲师,主要研究方向为计算机网络、算法设计与分析。Tel.:15911455832;E-mail:qjsfxyly@163.com

猜你喜欢
校园网虚拟化教育资源
数字化校园网建设及运行的几点思考
整合校外教育资源 做好青少年道德教育
试论最大匹配算法在校园网信息提取中的应用
基于OpenStack虚拟化网络管理平台的设计与实现
对基于Docker的虚拟化技术的几点探讨
NAT技术在校园网中的应用
H3C CAS 云计算管理平台上虚拟化安全防护的实现
存储虚拟化还有优势吗?
面向数字化教育资源的Flash到HTML5转换研究
自主学习视角下的开放教育资源文献综述(上)