面向客户视角的云计算资源管理框架及研究进展

姚梦迪,陈冬林

(1.武汉科技大学 法学与经济学院,湖北 武汉 430065;2.武汉理工大学 经济学院,湖北 武汉 430070)

随着企业组织的IT架构加速向云端转移,云计算作为数字经济的基础设施,是新一代工业革命的核心驱动力,为企业生产经营和市场营销提供了新动能[1]。对于众多企业而言,弹性、无需前期投资以及按需提供云资源(计算、内存、存储)是使用各种云平台的关键优势。IDC预测,到2025年全球在云服务、支撑云供应链的硬件和软件组件以及云服务机会方面的总支出将超过1.3万亿美元,复合年增长率为16.9%。用云量成为衡量经济发展的新指标。

资源管理是云计算的核心问题之一,其目的是利用虚拟化技术屏蔽底层资源的异构性和复杂性,使得海量分布式资源形成一个统一的巨型资源池,并在此基础上,合理运用相关资源管理的方法和技术,使得供需双方最大可能地利用资源,确保其合理、高效地分配和使用。云供应商关注以低成本提供规模可伸缩的云资源并获取最大化利润,相应的云弹性调度技术和弹性供应机制的理论与应用研究已较为成熟,如Amazon、阿里云。企业作为云用户已开始采用云弹性技术,如春运期间12306采用阿里云改善订票系统、“双十一”唯品会采用云弹性技术应对高峰。

随着企业应用部署在云端,云资源管理的核心技术交由供应商完成,而由于企业需求复杂、负荷多变导致云资源管理问题逐渐成为企业及学术界关注的重点。现有研究主要集中于云资源需求预测、云资源弹性供应、云资源弹性价格和云资源弹性调度等;而企业运营中的管理重点—云资源选择、弹性采购与调度问题却被忽略,即自主选择并采购云资源以降低成本,通过对应的弹性调度实现云资源使用效率最大化。

笔者在对云计算发展阶段深入分析的基础上,探讨管理学或经济学视角的云资源管理问题,以客户(企业运营)视角下云资源管理为目标,对资源预测、资源调度、资源定价、资源采购、资源选择等方面进行综述,针对性地探讨云资源管理现有研究的不足,提出云资源管理未来的研究方向及发展趋势,为企业云计算实践、提高其IT运营管理能力提供指导。

1 云计算资源管理问题

作为云资源管理的起点和基石,资源及其管理问题的分类,是资源合理组织、有效发现及优化分配、采购得以顺利进行的前提。

1.1 云计算资源类型

依托于虚拟化技术,云计算为用户提供可共享的计算资源池,包括计算资源、存储资源、网络资源等,可分为云资源、硬件资源和软件资源3个抽象层次。其中硬件资源主要包括CPU(中央处理单元)、内存、存储、工作站、网络资源和传感器等,通过虚拟化技术来实现动态管理,以满足用户个性化需求;软件资源是可以支持应用程序的开发和高效的通信协议,实现对物理资源的临时控制,包括应用程序、组件、平台等;云资源主要指数据中心及云服务,面向云计算大规模分布式环境中的资源类型和数量,以有限资源满足更多需求,提高云资源利用率,通常采用资源管理方式实现。

1.2 云计算资源管理问题分类

随着云计算发展,理论与实践经历了从技术到技术与管理融合的演变。云技术资源管理问题发展阶段可分为:①发展初期(2005—2014年)的虚拟化和弹性资源管理技术,其目标是云供应商能耗最小、利润最大化。同时开始云计算采纳,特别是影响采纳的因素分析,重点是分析客户将应用部署到公共云上的影响因素(如可靠性、稳定性),以及应用移植到云的优先顺序,此阶段过多偏重于技术而忽视云计算大规模商业应用的管理问题。②成长期(2015年至今),云计算管理问题如云经济、云战略、混合云等开始出现,主要集中在云产业价值链、定价与市场交易、战略选择、绩效评估等。杨善林院士[2]首次提出基于云计算的多源信息服务模式。理论正经历从技术到管理、从战略管理的IT运营层面到云资源管理的转变。笔者搜集了近5年内多个数据库以云资源管理、云资源调度、云资源定价、云服务选择、采购等为关键词的150余篇文献进行分类整理,探讨成长期云资源管理主要问题,包括云资源预测、云资源调度、云资源选择、云资源定价和云资源采购等多个方面,如图1所示。

图1 面向客户视角的云资源管理问题分类

2 面向客户视角的云计算资源研究现状

2.1 云计算资源负荷预测

资源需求/负荷预测是云资源管理优化配置过程中不可或缺的一个组成部分。它能提前获取未来一段时间的资源使用状态信息,为云计算资源实施合理、系统的配置提供决策支持。

客户视角的负荷预测,其目标是通过对负荷进行预测,以此作为云资源采购或优化的决策依据。如RUBEN等[3]以ARIMA、Holt-Winters和指数平滑技术的组合预测方法对企业负荷进行预测,为企业自动化采购决策提供支持以降低保留资源采购成本。FABRA等[4]在长期负荷为常数的基础上将上一年资源使用率作为下一年需求预测值,以此采购按需和保留资源来最小化Web分配成本。而对于短期负荷预测可基于时间间隔为90天的短期负荷为主,在最小化成本目标下为企业提供短期(90天)保留资源采购策略依据。

预测方法主要包括:①基于时间序列的预测方法,包括自回归(AR)模型、移动平均(MA)模型、自回归移动平均(ARIMA)和隐马尔可夫模型等[5],主要适用于对云资源负荷的长期预测或季节变动的预测,在预测精度上存在准确度不高的问题。②基于神经网络预测方法,包括前馈神经网络、递归神经网络预测等,主要适用于有一定样本数量,且负荷数据存在一定规律的情境。③组合预测方法,针对云负荷存在的复杂波动、长期短期预测需求相结合的情境,针对单一预测方法不能适应不同类型预测的问题,将各个预测模型相结合形成组合预测方法,包括神经网络和机器学习组合预测、神经网络和回归方法组合预测、支持向量机、神经网络和回归的组合、基于广义模糊软集合理论组合预测等[6]。

2.2 云计算资源弹性调度

云资源弹性调度是指分配相应云服务资源去处理相应的云任务,整个调度过程包括应用-任务-虚拟机-物理机多层资源分配,云供应商负责虚拟机-物理机的资源分配和任务-虚拟机的细粒度调度,其目标是能耗最小;客户关注应用/任务-云资源(虚拟机)的粗粒度级调度。任务-虚拟机的弹性调度问题,其目标是任务执行时间和成本最小,主要包括:①计算密集型任务调度,主流的Map/Reduce技术是将任务分成若干子任务调度到虚拟机上,算法包括遗传算法、蚁群算法、粒子群优化算法,以及多准则资源分配方法。②数据密集型任务调度,科学计算、商务智能等都是数据密集型云计算应用,如何减少云存储成本(数据存储、数据传输和数据检索)以及在提高效用的同时兼顾全局的负荷均衡等非常重要。罗贺等[7]从时间、费用、能耗3个维度建立云资源执行云任务的成本函数,研究了面向批处理任务的成本最小虚拟机调度策略。WANG等[8]考虑了数据任务集多重叠截止时间,提出基于MEPA算法的任务调度方法可满足所有重叠截止时间限制并降低了虚拟机成本。③工作流调度,谢毅等[9]提出了基于负载的面向能耗的云工作流调度优化算法,在保持云工作流执行时间效率的同时有效降低主机处理任务所消耗的能耗。LI等[10]针对完成时间和QoS约束条件,探究基于安全和成本感知调度算法的异构任务工作流调度问题,以实现最小化总工作流执行成本。也有对于任务包调度问题的研究,主要考虑在截止时间和资源约束下,将其分配给具有不同虚拟机类型,可实现总成本最小化的任务调度。

2.3 云计算资源定价

资源定价问题作为云计算商业化关键的问题之一,得到了各界广泛关注及研究。为满足云用户对云资源多样化需求,云供应商提出了多种云资源实例价格—按需实例、保留实例、竞价实例。

学界认为对云用户而言,用户类型的差异等因素影响中云供应商的定价策略。如在时间偏好下将用户划分为“中性”和“无耐心”两种类型,KESKIN等[11]据此建立了双寡头Hotelling两期定价模型,认为在双寡头市场中,云供应商对于无耐心用户收取更高价格以追求利润最大化。MA等[12]基于此模型拓展,构建了云服务企业与传统定制软件企业的竞争性定价模型,发现云用户对云服务的适应成本是影响企业竞争力的关键。马滔等[13]引入用户群体异质性和按需收费成本因素,构建了基于“用户适应度”和“交易成本”的混合定价模型,分析了用户适应度对云服务企业利润、用户剩余和社会福利水平的影响。

除时间偏好外,用户感知偏好与QoS偏好也是云服务定价影响的重要因素。CHEN等[14]考虑到服务保障对用户感知服务价值的影响,探究带宽限制下资源分配和最优定价策略,可实现最大化用户效用。ZHU等[15]则主要考虑资源价格对于用户访问意愿的影响,以此构建Stackelberg博弈下的动态定价策略,以实现收入最大化和资源利用率。此外,BASU等[16]认为区域宽带质量分布和交易成本对用户效用存在影响,在云服务用户转换购买方式的宽带质量条件下,不同市场中保留定价和按需定价策略的使用情况不同。

2.4 云计算资源选择方法

云计算资源选择即将云供应商提供的多种类型的云计算资源与用户功能性或QoS需求进行匹配,以确定最合适的云计算资源。学者从客户视角分析影响用户服务选择的主要因素(性能、价格、用户偏好等),提出了多种云服务选择方案。

为满足云用户不同服务标准及需求,部分学者采用了多准则决策(MCDM)、多属性决策、基于优化、基于逻辑等多种方法以帮助云用户选择合适的云计算资源。FALAK等[17]基于马尔可夫链发掘用户偏好变化的优先级,采用多准则决策(MCDM)—BWM方法对云计算资源进行排名,并根据真实云服务数据评估模型。然而,随着用户对云服务异构QoS属性的偏好动态变化,成煜鑫等[18]提出了在直觉模糊环境下采用熵权法确定用户初始偏好,再进一步使用马尔科夫链确定用户动态偏好的方法。GIREESHA等[19]提出了一个基于混合信任预测模型的模糊多属性决策(FMADM)方法,在解决了不确定性问题的同时并对云服务的QoS值和其相应的信任值之间的非线性关系进行建模,重新计算QoS参数的权重,以提供准确的基于信任的云服务选择。而为解决云服务选择中实时数据缺乏及数据安全难以保证的问题,孟柯等[20]结合主客观权重分析技术设计分布式云制造服务选择模型,实现算力源的转移和去中心化,解决计算能力不足的问题,并基于结果证明机制的双链区块链数据存储模型,在提高云服务选择速度和精准度的基础上,实现数据实时且安全存储。

以上云服务选择方法主要是面向单一的云服务。随着云计算资源种类及用户需求多样化,面向用户视角的云服务组合选择的研究逐渐展开。KARIM等[21]探索了云服务的多层次QoS参数的聚合和评估技术,定义了云服务权重模型的层次结构,将SaaS和IaaS的QoS参数作为排名标准,并根据其影响关系进行分层和分类。根据用户的需求选择最优的IaaS和SaaS服务组合,并在此基础上通过搜索满足用户需求功能的SaaS服务,将SaaS服务与IaaS和DaaS进行组合,选择基于用户QoS需求的服务组合,为最终用户提供完整的云计算业务解决方案。此外,效用值也是常用的评价指标之一,可帮助用户从一组云服务中寻找最优或接近最优的可信服务组合来选择满足性能需求。

2.5 云计算资源采购

针对供应商的弹性价格,为了满足服务时间约束下云资源采购成本最小化,学术界开始探索云用户自主采购问题,提出以长期合约为主、短期现货为辅的策略。

(1)长期合约采购决策。满足年度云资源需求计划,通过负荷预测值对云资源需求分类,提出4种长期合约采购策略,通过设计自动化采购长期保留实例的算法,有效降低了采购成本,也逐渐考虑了长期合约组合采购策略,如长期合约与竞价现货采购组合且考虑了竞价现货中断风险敏感,发现当云用户中断风险敏感度高或任务值高度差异化时采购组合策略明显优于单一采购策略。此外,可采取容量限制策略,进一步提高采购组合策略的利润。长期合约及短期按需实例采购组合考虑了云经纪人的市场模式[22],从云代理商预留云资源池中动态采购具有折扣价格的长期合约及短期按需实例,最小化云服务采购成本。

(2)短期现货采购决策。满足小时、天或周的云资源需求,以降低采购成本和中断风险为目标,如通过基于现货实例弹性价格的监控技术EC3,提出了竞价现货的弹性价格和风险预测方法,通过提前采购云资源来降低中断风险和成本[23]。FICO分析现货价格的主要驱动因素,提出了一种自适应投标策略获得最优的竞价现货随机报价,将计算成本和计算终止导致的延迟降到最低[24]。

3 云计算资源管理研究存在的不足及解决方案

通过对上述研究梳理后发现,学者更倾向于将云计算理解为一种技术工具,而从经济或管理学视角深入探讨云资源管理问题的研究才逐渐展开,还存在若干问题需要进一步解决:

(1)从优化目标上看,现有的云资源管理主要以云供应商视角的能耗最小、利润最大化为目标,随着越来越多企业上云,应面向云用户以云资源成本最小、服务质量最优为目标进行云资源管理方面的研究,以满足云用户复杂多变的需求。

(2)现有研究主要是以计算机技术为基础的细粒度级的弹性调度技术为主,关注秒或毫秒任务-虚拟机-物理机的资源调度,以提高物理机使用效率、降低能耗为目标,缺乏从技术到管理融合创新的研究;为此,应从面向IT运营层面的粗粒度级的应用/任务到云资源调度问题建模,以实现服务质量最优(应用的总执行时间最小、风险最小、可用性最高)的目标。

(3)现有研究以提高云用户负荷预测精度为主,随着企业云端需求的不断增加,针对云负荷波动的特征导致预测困难,如负荷差异较大的预测方法选择、长期总负荷精度问题等,应根据客户云资源负荷曲线,考虑不同业务类型对云资源(虚拟机类型)的影响,将年度负荷转化为云资源需求曲线(虚拟机量/h),考虑其非线性、非平稳时变序列特征,采用经验模态分解(EMD)将年度云资源需求曲线分解为稳定性、周期性、突变性的需求波段。

(4)现有客户视角的云计算定价问题逐渐开始考虑用户类型对于定价策略的影响;但随着云市场逐渐成熟,市场结构复杂,用户类型多样化,应结合云市场提供的3种实例类型,结合不同市场结构及用户类型需求,设计动态或多阶段定价决策模型。

(5)现有研究以单一云资源选择的方法优化为主[25],随着云联盟、云生态的形成,应建立云资源选择组合优化方法,提出多云环境下不同客户对多层组合QoS需求的云服务组合选择策略。

(6)现有研究是“套餐式”被动采购策略,以长期保留和竞价现货两种实例组合为主,没有从客户需求特征出发,基于云供应商弹性价格建立灵活自主采购策略,无法实现云资源管理的全局最优。为此,针对保留和按需实例两种组合采购方式,根据客户业务特征及偏好,建立采购成本最小、服务质量最优的多目标优化采购模型;同时,在长期采购决策基础上,基于业务弹性特征分析,结合云市场竞价实例价格预测,选取合适采购周期(日/时),研究采购成本最小的多周期短期动态采购优化问题。

4 结论

云计算以提供具有高扩展性、灵活性和可用性的计算、存储及其他分布式资源受到业界广泛关注。有效的管理理论与方法通过对云资源的合理分配,实现负载均衡,在保障服务质量QoS前提下降低成本,促进云服务供应商的良性发展。笔者对客户层面的云资源负荷预测、云资源弹性调度、云资源定价、云资源选择和云资源采购5个方面的研究现状进行深入述评,探讨云资源管理问题面临的主要挑战,并得出如下结论:

(1)结合现有云服务市场中用户类型多变、市场结构多样化、云服务类型多样化的特征,多云环境中实现多层云服务组合优化,应以客户视角的云资源成本最小、服务质量最优为目标。

(2)云资源采购与调度的集成优化方法,可按照“弹性分析为基础-长期采购作保障-短期动态降成本”的思想,进行面向IT运营层面的粗粒度级的应用/任务到云资源调度。

(3)通过基于云资源需求的客户业务弹性建模、供需不确定下的云资源长期采购组合方法、基于业务弹性特征的云资源短期动态组合采购决策,可实现采购成本最小、服务质量最优的云资源采购策略。

以上结论可从理论角度对未来云资源管理领域的研究提供支持,为企业IT运营中最大可能利用资源提供指导价值。