安全性云资源数据库技术的分析研究

2021-12-28 23:33成都职业技术学院
内江科技 2021年4期
关键词:云化上云调度

◇成都职业技术学院 姚 蕾

随着一体化“网云”全面推广上线应用,云应用的范围越来越广泛,越来越多的业务系统开展应用的迁移上云工作,但在云化环境中的数据库应用进展缓慢,主要是因为很多业务应用仍依赖于传统的关系型数据库架构。传统数据库架构应用与当前虚拟化的云平台的不兼容,导致数据库资源无法充分发挥云平台灵活、高可靠、高度自愈服务的能力,传统的数据库在当前虚拟化构建的云平台上无法发挥其良好的性能,影响业务应用。同时,云化环境的数据种类复杂,数据形式各异,云化环境数据库资源的数据有效备份将变得越来越复杂,如何有效保证在云化环境实现数据的有效备份也是亟需解决的问题。严重影响核心业务系统数据库上云服务。

我们提出的“基于物理资源的高可用自服务数据库云关键技术”研究,旨在针对国网云环境下的数据库资源云化服务的功能现状进行分析研究,在保障业务应用系统在云环境下平稳、安全、高效运行的前提下,紧跟“大云物移”的发展方针,围绕云化环境的数据库服务资源的统一灵活调度、管理、分配、编排使用、数据保护等功能方向开展深入研究,设计适用于云环境数据库资源管理软件架构,开发完成高可用自服务的数据库云组件,设计开发完成云化环境数据库的备份服务组件,形成业务系统的数据库上云服务架构方案,为企业信息系统的数据库上云服务提供建议,为企业信息系统应用整体迁移上云服务提供指导。

随着云平台的推广使用,此云平台应用已初见成效,部分业务系统应用开始逐步向云平台迁移,云平台存在针对基于物理资源部署数据库服务的支撑能力不足、云平台支撑的数据库服务类型局限性、云平台无法兼容多样化的数据库资源等问题,影响业务系统数据库的上云服务工作开展。基于当前数据库上云服务应用的迫切需求,我们主要研究基于物理资源的高可用自服务数据库云[1],提出网云化环境下各类型数据库资源的统一分配、自动部署、敏捷交付、集中监控、高可用、故障自愈、可扩展、智能化负载均衡、动态资源调度、智能运维、高性能数据保护策略及算法等应用的关键技术,为云平台实现纳管各种资源的数据库、实现云化环境不同种类数据库的安装部署、应用、监控、运维、故障处理、数据保护等提供标准化、自动化的应用经验和技术积累,为数据库上云服务提供技术支撑。

1 数据库云资源负载均衡和动态资源调度模型研究

主要基于服务器负载均衡算法、动态资源调度模型进行相关研究,通过服务器负载均衡算法确定数据库服务器的初始安装和运行节点[2],通过动态资源调度模型根据服务器的当前负载情况决定是否需要进行数据库资源动态调度和如何进行资源调度,从而既实现服务器资源的节约化使用,又避免业务高峰时数据库成为系统的性能瓶颈。

1.1 服务器负载均衡算法

服务器的负载均衡算法种类有很多种,常见的负载均衡算法包括轮询法、随机法、源地址哈希法、加权轮询法、加权随机法、最小连接法等,应根据具体的使用场景选取对应的算法。

(1)最小连接数法。实际上请求次数的均衡并不代表负载的均衡,最小连接数法则比较灵活和智能,由于后台服务器的配置不尽相同,对请求的处理有快有慢,它正是根据后端服务器当前的连接情况,动态的选取其中当前积压连接数最少的一台服务器来处理当前请求[3],尽可能的提高后台服务器利用率,将负载合理的分流到每一台服务器[4]。

(2)随机法。通过系统随机函数,根据后台服务器列表的大小值来随机选取其中一台进行访问[3]。由概率统计理论可以得知,随着调用量的增大,其实际效果越来越接近于平均分配流量到后台的每一台服务器,也就是轮询法的效果。

(3)轮询(Round Robin)法。轮询很容易实现,将请求按顺序轮流分配到后台服务器上,均衡的对待每一台服务器,而不关心服务器实际的连接数和当前的系统负载[5]。

(4)加权轮询(Weight Round Robin)法。不同的后台服务器可能机器的配置和当前系统的负载并不相同,因此它们的抗压能力也不一样。跟配置高、负载低的机器分配更高的权重,使其能处理更多的请求,而配置低、负载高的机器,则给其分配较低的权重,降低其系统负载,加权轮询很好的处理了这一问题,并将请求按照顺序且根据权重分配给后端[6]。

(5)源地址哈希法。源地址哈希法的思想是根据服务消费者请求客户端的IP地址,通过哈希函数计算得到一个哈希值,将此哈希值和服务器列表的大小进行取模运算,得到的结果便是要访问的服务器地址的序号[7]。采用源地址哈希法进行负载均衡,相同的IP客户端,如果服务器列表不变,将映射到同一个后台服务器进行访问[8]。

(6)加权随机(Weight Random)法。加权随机法跟加权轮询法类似,根据后台服务器不同的配置和负载情况,配置不同的权重。不同的是,它是按照权重来随机选取服务器的,而非顺序。

1.2 动态资源调度模型

云计算环境中由于有大量运算和数据节点,以及大量运行任务,所以经常需要进行动态资源调度,以此实现最优化任务分配。

云计算环境中动态资源调度模型有很多研究成果,应用较为广泛的资源动态调度算法主要有用户负指数分布法、云计算资源综合利用率乘积法。国内这方面的研究也很多,例如刘赛等人提出的资源池调度管理算法、米海波等人提出的基于布尔二次指数平滑法预测用户请求来动态调整节点运行数量、林伟伟等人提出的基于动态重配置虚拟资源的云计算资源调度方法等。

2 云环境数据高可用关键技术的研究

分布式系统基础架构的大数据环境,虽然自身引入了高可用机制解决了单点故障问题,但网络、应用或者机房级的灾难和风险仍然存在。

进行异地灾备中心建设,完成建设后,将生产中心生产系统数据实时复制到灾备中心灾备系统,当生产中心发生灾难时,可由灾备中心快速的接管生产业务并对外持续提供服务[9];当生产中心故障解除后,灾备中心继续对外提供服务,同时开启反向复制,将灾备系统的数据反向复制到生产系统,当初始数据复制完成,进入实时复制阶段后,可将业务切换回生产中心;由生产中心继续对外提供服务,再开启正向实时复制,生产中心的新增数据实时复制到灾备中心[10]。

复制原理。安装复制代理和卷复制驱动,复制代理解析文件系统有效数据,将有效数据通过传输模块传输到配对的异地节点上;同时通过卷复制驱动实时监控对卷的写入操作,将截获的I/O数据通过传输模块传输到配对的异地节点上,异地节点接收到数据后,将数据写入数据卷。

接管原理。通过灾备控制中心或者监控节点监控生产集群的状态,其中监控节点可以部署到实际的应用环境中,根据配置的切换策略,监控生产集群的状态,当检测到生产中心状态异常,打印日志并发送邮件通知管理员,当配置为自动接管、且备集群组状态满足接管条件时,自动停止主集群组的复制策略,并按配置的节点优先级通知各个备集群组中的节点执行预处理脚本、启动数据盘监控、执行后处理脚本,完成接管。接管后,各个节点中卷复制驱动处于位图模式,卷复制驱动将截获到的所有变化扇区块标记到位图中。

反向复制原理。反向复制原理与正向复制原理类似。通过复制代理进行初始数据复制,将数据通过传输模块传输到配对的异地节点上;同时通过卷复制驱动实时监控对数据卷的写入操作,将截获的I/O数据通过传输模块传输到配对的异地节点上,异地节点接收到数据后,将数据写入数据卷。

综述,无论采取哪种服务器负载均衡算法和资源动态调度模型,或是使用哪种关键技术,我们都将建立在及时准确地获取服务器负载的基础上,我们在长期监控服务器资源使用状况的基础上建立了一套切实有效的服务器综合负载计算方法,该计算方法综合考虑了服务器一段时间内的内存使用率、CPU使用率、网络负载状况等[11],依据该综合负载评分对数据库资源进行人工调度,取得了良好的效果。此服务器综合负载计算方法为服务器负载均衡算法和资源动态调度模型的使用奠定了坚实的基础,至于具体采用哪种现有的算法和模型,或者进一步优化形成新的算法、模型,我们只需要通过仿真实验进行比较从中选择最优的算法和模型即可,这也是我们研究云资源数据库技术的关键点。

猜你喜欢
云化上云调度
高速公路视频上云架构及视频智能分析
高速公路视频上云工程建设浅析
浙江企业上云势头喜人累计上云企业达37.78万家
《调度集中系统(CTC)/列车调度指挥系统(TDCS)维护手册》正式出版
电力调度自动化中UPS电源的应用探讨
基于强化学习的时间触发通信调度方法
基于动态窗口的虚拟信道通用调度算法
按需合理选择云服务 稳妥有序实施上云
5G/云化下的VR产业未来
IBM中国企业云化实践中心成立