基于大数据应用的虚拟化云平台建设方法研究

◆刘磊

基于大数据应用的虚拟化云平台建设方法研究

◆刘磊

（江西工业职业技术学院 江西 330096）

在建设虚拟化云平台时，将大数据技术应用其中，能够对于虚拟化技术的应用进行优化，在融入了大数据技术后，能够有效地对数据中心底层资源进行利用，进而能够将存储资源、网络资源、计算资源应用的价值发挥出来，确保云平台的稳定性。在该理念下建立的虚拟化平台可以将系统资源有效利用，原理是将平台节点以及应用功能集成在同个服务器中，大大降低了资源冲突。基于此，本文主要研究了基于大数据技术的虚拟化云平台建设的方法。

大数据；虚拟化；云平台

大数据技术发展在一定程度上为虚拟化技术应用提供了技术支撑，通过虚拟化技术，对以大数据技术为基础的数据中心资源进行管理能够提升资源的利用效率，进而使得平台的存储资源、网络资源以及计算资源应有的价值发挥，进而将数据中心应发挥出的性能发挥出来，使得大数据框架下的数据底层环境得到优化，提升数据应用价值。

1 云平台介绍

硬件服务器为云平台软件提供了运行的环境，借助于虚拟化技术，能够对分布的服务器进行虚拟模拟，构建出模拟的存储资源池以及计算资源池。资源池能够提供更多的虚拟计算机，借助于云平台软件能够对这些虚拟计算进行统一管理，进而将数据资源利用率提升。

2 云平台架构

2.1 虚拟机

2.1.1发放

在发放虚拟机时，可以发放裸虚拟机，然后对其进行完整复制，最后将虚拟机链接克隆出来即可。平台具备单个虚拟机发放以及多个虚拟机发放的功能。能够通过批量创建而获得的虚拟机主要包括了用户盘以及系统盘两种。

2.1.2管理

在管理模块中，能够全面虚拟机进行管理，主要包括了启动/唤醒、关闭、重启、删除、休眠、分配等基础功能，以及强制重启与关闭、用户追加与删除、安全删除、调整虚拟机、虚拟机链接克隆等高级操作。在进行虚拟机构建过程中，能够采用指定IP虚拟机建设的方案，也可以在获取虚拟机的同时兼容DHCP。其次，在虚拟机的功能中，包含了业务类型的选择与描述。在链接克隆虚拟过程中可以借助于一键式还原对其进行还原，使得虚拟机系统被强制恢复到起始的状态。此外，通过安全删除功能能够实现删除虚拟机的目的，不过此时磁盘空间并不可以马上得到应用，需要通过后台清理功能对磁盘空间格式化处理，在进行完磁盘空间格式化后磁盘存储空间得到释放。

2.1.3机组管理

对于各虚拟机的管理主要以虚拟机组划分的形式实行科学管理。这部分功能主要为虚拟机组提供多项服务，主要有创建、删除、编辑、添加、更新等各项服务内容。

2.1.4模板与镜像

云平台的一项功能是提供虚拟机模板服务，主要包括创建、删除、修改、查看等几项主要的功能。此外，虚拟机模板参数的组成结构主要有内存、CPU、系统磁盘、虚拟机、QoS镜像、服务等各项内容。

2.2 资源管理

在云平台中采用统一资源管理的形式实现管理，这种管理方式主要对管辖范围机架、存储设备、服务器以及交换机等物理设备进行组网。支持通过池化管理进行管理物理设备，为应用管理提供管理功能。其次，在基础设施虚拟化中主要以手工导入的形式对与之关联的物理设备进行导入，进一步管理服务器、交换机、存储设备等。在池化管理过程中，能够确保上层业务系统稳定地运行，进而将物理设备进行差异化特征屏蔽。第三，通过虚拟化资源管理的形式能够对不同虚拟资源进行统一的管理，主要管理目标是虚拟网络资源、虚拟机资源以及虚拟存储资源等。借助资源池开展管理工作，能够将基础设施资源的作用更好地发挥出来，为其提供更为高效的虚拟化管理能力，进而为上层应用提供稳定的屏蔽能力。进行虚拟资源集中管理能够极大地将管理效率提升，将平台的运维成本降低。此外，借助于插件机制能够使得虚拟化系统与硬件设备得到有效对接，从而优化云平台性能。

2.2.1物理资源管理

在资源管理功能中，系统可以将服务器配置信息收集，然后通过分析信息对服务器进行动态地监控。主要的监控内容有CPU占用率、网络流出与流入、内存占用率、磁盘IO写人与读出等，根据使用者的需求可以自定义设计监控时段。其次，在服务器设备管理中主要包含了上下电、安全重启与下电、维护模式的进出等。通过相应的网络设备管理可以将交换机配置信息收集，在屏幕上可以将交换机端口状态信息显示出来，状态信息主要有连接装填、接收速率、发送状态、发送、信息错误率等。此外，平台能够管理本系统网络模式，并对本系统网络配置进行集中调度。存储设备管理的主要功能是发现存储设备，然后对存储设备信息进行检查，主要有存储设备位置、管理IP地址、产品型号、磁盘数量状态等。同时能够对存储设备容量进行查询，为使用者提供存储服务。

2.2.2虚拟资源管理

在平台的功能中包含了虚拟化资源管理，这项功能能够对网络虚拟化、计算虚拟化、存储虚拟化开展实时监控管理。其次，平台功能还包含了虚拟机生命周期管理，操作者可以通过管理软件创建、销毁虚拟机，而在虚拟机管理中，启动、重启、修复、关闭、快照、迁移、调整、监控等是主要的内容。第三，在虚拟化网络管理中，主要目的是对虚拟交换机子网系统进行管理。通常情况下，虚拟网络对于PortGroup与DVS形成对应的关系。此外，在分布式虚拟交换机中，操作人员能够通过应用系统管理多台主机链路与端口。在VLAN、子网、VxLAN管理中应用效果明显。而且能够设置端口组、上限带宽、DHCP隔离以及优先级等内容。在虚拟化存储管理中，能够实现FC SAN.NAS、IP SAN等资源的高效管理，结合将相关数据存储有序地发送至资源集群供相关系统使用。系统能够不断为存储资源提供相应的数据，而且也可以删除数据，对于已有数据能够开展存储扩容处理，可以为多级存储提供稳定环境。

2.3 监控管理

在云平台中，监控管理功能主要是监控计算集群、虚拟机、存储、计算服务器、交换机等。监控信息主要涵盖了CPU平均占用率、虚拟机CPU分配、存储平均占用率、存储资源分配、内存平均占用率、故障服务器数量、虚拟内存分配等。其次，虚拟机监控主要涵盖了虚拟机CPU占用率、磁盘读写次数、内存占用率、网络流入流出等。第三，在网络交换机监控中，主要是对信息流入流出、端口数据流量以及信息状态等进行集中的监控。最后，在存储监控内容中，主要涉及了已分配容量、总容量、实际可用容量这些内容的监控。

2.4 报警管理

在云平台的功能组成中，报警管理十分重要，该项功能主要是通过报警管理系统为凭条提供故障监控警报，如果平台的服务器、交换机、存储等硬件系统以及虚拟机和虚拟化平台等软件系统出现故障，那么报警系统则在监控到异常信息后给出警告，并将异常信息发送给控制中心。

2.4.1故障预防

在进行系统设计时，需要将设备部件故障处理功能考虑在内，进而使得这些故障无法对系统正常运行产生不良的影响，确保相关业务能够正常开展下去，这可以将故障危害大大降低。在这部分功能设计中，主要涵盖了系统数据自动备份功能以及用户数据备份功能。此外，虚拟机快照、HA、迁移、存储等功能也是其中的部分功能。在进行故障处理过程中，系统能够自动隔离故障服务器，这样能够有效地防止业务消息进入到易发生故障的服务器中，对业务办理造成影响。

2.4.2故障处理

在平台系统接收到相关故障后，系统能够自动识别并分析这些故障信息，然后将故障信息发送给控制中心，并做出报警处理。报警管理的主要对象是虚拟机以及硬件设备。而对于告警级别则可以根据使用者需求进行设计，不过多以四级报警为主，而且不同程度的报警所采取的形式也不同，主要以不同报警声光对各类问题进行通知，用户可以在云系统中对报警进行设置，然后平台能够在接收到声音、颜色后做出具体的反应，这样维护人员就能够知道相关问题。

2.5 拓扑管理

借助于拓扑管理能够给用户创造可视化界面，用户能够在界面中将全系统信息资源获取，此时管理员无需进行手动处理。拓扑图主要由三个层次组成：集群视图、物理资源视图、应用视图。用户借助于拓扑视图能够对物理硬件资源进行查看，之后则能够将虚拟机资源视图应用，与此同时也能够了解虚拟逻辑视图。用户能够轻松地将硬件资源、虚拟机属性以及应用部署情况等信息获取。拓扑节点通常都是连接在告警中心中，能够将对象状态实时地呈现出来，进而为管理人员提供管理依据，及时调整系统，使得系统性能维持在较高水平。

2.6 日志管理

在系统日志管理功能中，主要涵盖了日志记录、审计以及查看等功能。系统可为用户提供日志访问、操作、运行、黑匣子等各项附加功能。实际上，用户在进行日志访问是实质上是对虚拟桌面日志进行访问。这项操作涵盖了虚拟机登录、重启、关闭等各项基础功能。操作日志的作用是为管理员访问平台提供基本的依据，这项工程也称作是管理员日志，系统可以将管理员的操作，如登录、修改等记录下来，并将操作时间与内容储存。操作日志内容则主要涵盖了用户操作、用户IP、操作类型、操作时间、详细信息、操作结果等多项操作内容。运行日志的主要作用是将各业务节点情况详细地记录下来。系统还具有运行日志加密作用，可以全面为日志安全运行提供保障。此外，黑匣子日志的主要作用是定位系统故障，帮助维护人员查明故障成因。

2.7 平台监控

在系统功能中，平台监控能够对系统运行状态以及集群负载扥管内容进行动态地监控，这对于系统对硬件故障进行自动检测并自动恢复相应功能起到了关键作用。关键状态监控主要涵盖了CPU占用率以及内存占用率等两项基本的功能。在监控过程中，能够对发任务数、待执行任务数以及完成任务数进行记录，然后将数据副本数整理出来。系统还能够对工作节点数进行监控，对系统数据磁盘占用量进行记录，如果在监视过程中出现异常状态，则可以将检测的数据发送，此时系统在启动时则能够自动将硬件状态调整到正常运行水平。

总而言之，本文主要研究了在应用大数据基础上构建虚拟化云平台的主要方式，详细地分析了云平台从系统架构以及各项管理、检测功能的构建，可以使得大数据应用底层环境变得更加稳定，进而实现云平台优化的目标。

[1]董连.高职软件技术专业教学资源库云平台的校际共享的研究与实践[J].软件，2019，34（7）：7-8.

[2]李洁.云平台SDN关键技术的研究与展望[J].软件，2019，36（7）：71-74.

[3]肖扬，于艳华.基于IaaS云平台的应用性能管理研究与应用印[J].软件，2019，34（12）：41-245.

[4]罗伟雄，刘岚，时东晓，曾纪霞.基于数据虚拟化技术的大数据资源中心建设[J].软件，2019，38（7）：19-23.

虚拟仿真大数据云平台项目（类型：一般项目，编号：GJJ181336）