面向云计算业务的总体拥有成本建模方法

黄家明，李冠广，侯青军，赵坤

(1.高效能服务器和存储技术国家重点实验室,山东 济南 250101；2.中国联通济南软件研究院,山东 济南 250101)

云计算是互联网时代信息基础设施的重要形态，它融合互联网上的各种计算、存储、网络、安全、平台、应用等资源[1]，基于网络支持异构设施和资源流转的供给模型以提供高性能、低成本、宽领域的计算与数据服务，支撑各类信息化应用，是网络化信息技术发展的重要模式[2]。云计算数据中心业务持续增长，对计算能力、存储性能和密度要求越来越高[3]，面临高密度设计、高效能设计、高资源利用率和能耗控制等诸多问题和挑战[4]。与此同时，云计算数据中心突破了计算、存储、网络资源池化技术，通过计算资源池构建技术，实现通用处理器、图像处理器(graphics processing unit，GPU)、可重构加速器等计算资源池化；通过存储资源池构建技术，实现非易失性存储器(non-volatile memory express，NVMe)、固态驱动器(solid state disk，SSD)、磁盘等存储资源的资源池化[5]。形成支持通用处理、加速处理、异构计算、混合存储和网络融合的新一代数据中心体系结构[6]。因此，深入研究云计算数据中心的总体拥有成本(total cost of ownership，TCO)模型具有非常重要的意义。本文针对云计算数据中心具有大规模、多样性的特点，提出了一种试图从数据中心建设成本、数据中心运营成本、IT设备采购成本和能耗成本进行TCO模型构造的方法。

1 总体拥有成本模型框架

云计算数据中心体系结构具有大规模、多样性的特点，一方面，服务器的各项配置不断纵向提升，使其单节点的计算性能得以提高[7]；另一方面，数据中心服务器的装机容量呈现横向扩张态势，大规模服务器集群不断涌现需要指数级增长的计算处理能力[8]。与此同时，云计算数据中心采用X86-64、Power、Sparc、ARM(advanced risc machine，ARM)等多种通用计算架构[9]和加速处理器(accelerated processing unit，APU)、张量处理器(tensor processing unit，TPU)等专用计算架构[10]，硬件规模和硬件种类急剧膨胀，计算云计算数据中心整体拥有成本模型非常复杂[11]，如图1所示。

图1 云数据中心体系结构Fig.1 Cloud data center architecture

云计算数据中心的整体拥有成本包括初期资本投入(capital expenditure,CapEx)和后期运营费用(operating expenditure,OpEx)[12]，初期资本投入成本主要包括：云计算数据中心建设成本、云计算数据中心供电和制冷设备购置和安装成本、云计算数据中心核心网络设备购置成本以及云计算数据中心IT设备购成本；后期运营费用成本主要包括：云计算数据中心维护成本(供电设备和制冷设备维护成本、核心网络设备维护成本以及互联网技术(internet technology,IT)设备维护成本)和云计算数据中心能耗成本。综上所述，影响云计算数据中心的TCO成本的4个主要因素[13]：

1)云计算数据中心均摊成本。主要包括云计算数据中心建设成本、配套的供电和制冷设备购置和安装成本，以及云计算数据中心后期维护成本；

2)云计算数据中心IT设备购成本。主要包括计算、存储和网络服务器购置成本、服务器机柜购置成本和服务器机柜网络设备购置成本以及上述设备的后期维护成本；

3)云计算数据中心核心网络设备成本。主要包括云计算数据中心核心网络设备和线缆采购和部署成本以及后期维护成本；

4)云计算数据中心能耗成本。主要包括云计算数据中心计算资源、存储资源、网络设备和数据中心供电和制冷设备的能耗成本。

如图2所示，本文提出的面向云计算业务数据中心整体拥有成本模型成本由3部分成本组成：针对云计算业务的数据中心均摊成本(Cinfrastructure)、满足该计算业务的云计算数据中心IT设备购置成本(Cserver)、云计算数据中心能耗成本(Cpower)。具体过程为：

图2 TCO模型框架Fig.2 TCO model framework

1)通过云计算数据中心业务，确定所需IT设备的数量，结合IT设备备份策略，确定最终采购IT设备的数量Ntotalserver；根据IT设备的数量，云计算数据中心单台服务器机柜最大供电量能力，IT设备运行云计算业务的最大功耗，确定满足该业务所需采购的服务器机柜数量；根据采购IT设备的数量Nserver与单台IT设备采购价格，确定IT设备采购成本。根据采购的服务器机柜数量与单台服务器机柜采购价格确定服务器机柜采购成本，进而确定采购云计算数据中心IT设备购置成本；

2)提出云计算数据中心成本因子概念Cfactor，将云计算数据中心基础设施建设成本Cbuilding，云计算数据中心配套的供电和制冷设备购置成本Ccoolingpower，云计算数据中心核心网络和线缆购置和安装成本，云计算数据中心运维人员工资成本，云计算数据中心日常维护成本，云计算数据中心最大服务整机柜的设计数量，计算出计算数据中心成本因子既单台服务器机柜均摊成本。结合所需采购的服务器机柜数量计算该业务所需云计算数据中心的基础架构均摊成本；

3)根据单台IT设备功耗、IT设备数量，所需网络设备数量和网络设备功耗，计算IT设备与网络设备总功耗，结合云计算数据中心电源使用效率(power usage effectiveness，PUE)、的电费成本计算该业务所需能耗成本。

针对云计算数据中心业务需要多种不同类型的IT设备的特点，多种不同类型的IT设备配置的云计算数据中心总TCO 成本CTCO为：

(1)

式中：Cinfrastructure，k表示第k种IT设备云计算数据中心的基础架构均摊成本；Cserver，k表示第k种IT设备购置成本；Cpower，k表示第k种IT设备所需能耗成本。

2 总体拥有成本模型的估算

在不丢失普遍性的条件下，TCO模型的计算过程中将TCO成本换算成为每年的TCO成本，将多种IT设备换算成为一种IT设备进行计算。

如果业务需要运行N年，该业务运行的总TCO成本CTCOperyear，k为:

(2)

式中CTCOperyear，k为第k年业务运行的TCO。

2.1 估算云计算数据中心IT设备采购数量

针对特定业务的云计算数据中心进行TCO模型的估算，假定特定业务的业务量为Btotal，该业务需要k种不同类型的IT设备，每种IT设备完成的业务量为Bk。第k种类型IT设备的业务量为Bserver，k，为完成该业务量所需IT设备采购数量Nserver为：

(3)

式中Nserver为上取整。

第k种类型IT设备，机柜所支持的最大节点数量Nsperrack，k为：

(4)

式中：V为云计算数据中心的为机柜提供的输出电压；Imax为计算数据中心的为机柜的额定输出电流；Pservermax，k为第k种类型IT设备运行该业务时的最大功耗；Pnetworkmax，k为网络设备运行该业务时的最大功耗。计算结果采取下取整。

为完成该云计算业务量所需服务器机柜数量和服务器机柜网络设备数量为：

(5)

2.2 估算云计算数据中心成本因子

云计算数据中心成本因子(Cfactor)既每台机柜每年在云计算数据中心的成本均摊。云计算数据中心成本主要由云计算数据中心建设成本、云计算数据中心供电、制冷设备采购成本、云计算数据中心核心网络与线缆的采购成本和云计算数据中心维护成本构成。云计算数据中心成本因子为：

Cfactor=Cinperrack+Ccoolingperrack+CIDCmantenanceperrack+

Cpowerperrack+Cnetperrack

(6)

每台机柜每年的云计算数据中心建设的均摊成本Cinperrack为:

(7)

每台机柜每年的云计算数据中心供电均摊成本Cpowerperrack为:

(8)

每台机柜每年的云计算数据中心制冷设备均摊成本Ccoolingperrack为:

(9)

每台机柜每年的云计算数据中心维护均摊成本CIDCmantenanceperrack为:

(10)

每台机柜每年的云计算数据核心网络和线缆购置均摊成本Cnetperrack为:

(11)

式中：Nmaxracks是云计算数据中心最大支持的服务器机柜数量；Cbuilding是云计算数据中心建设成本；Ccooling是云计算数据中心配套的制冷设备购置成本；Cpower是云计算数据中心配套的供电设备购置成本；Dbuilding是云计算数据中心折旧年限，a；Dcooling是云计算数据中心配套的供电和制冷设备折旧年限，a；Dpower是云计算数据中心配套的供电设备折旧年限，a；N是云计算数据中心维护人员数量；Csalaryperyear是云计算数据中心维护人员每年的平均工资；Coperate是云计算数据中心日常运维成本；Cnetcore为云计算数据中心核心网络设备采购成本；Ccable为云计算数据中心核心网络设备线缆采购成本；Dnetcore为云计算数据中心核心网络设备折旧年限；Dcable为云计算数据中心核心网络设备线缆折旧年限，上述参数为云计算数据中心基本参数信息，可以从数据中心获取相关数据信息。

云计算数据中心建设成本Cbuilding、云计算数据中心配套的制冷设备购置成本Ccooling和云计算数据中心配套的供电设备购置成本Cpower可以根据云计算数据中心实际成本进行精确计算，也可以根据下述公式进行估算：

其中云计算数据中心建设成本Cbuilding的估算公式为：

Cbuilding=AperrackNmaxracksKbuildingCbuildingpersqm

(12)

式中：Aperrack是一个机架的占地面积；Nmaxracks是云计算数据中心最大支持的机柜数量；Kbuilding是因云数据中心制冷和配电设备、办公场所等占用更多空间的一个因子；Cbuildingpersqm是每平方米云计算数据中心的建筑成本。

云计算数据中心配套的制冷设备购置成本Ccooling为：

Ccooling=CcoolingperW(Ptotalserverpower+Ptotalnetworkpower)

(13)

式中：CcoolingperW是每瓦制冷设备基础设施的采购和建设成本；Ptotalserverpower为云计算数据中心服务器设备规划总功耗；Ptotalnetworkpower为云计算数据中心网络互连设备规划总功耗。

云计算数据中心配套的供电设备购置成本Cpower为：

Cpower=CpowerperW(Ptotalserverpower+Ptotalnetworkpower)

(14)

式中：CcoolingperW是每瓦制冷设备基础设施的采购和建设成本；CpowerperW是每瓦供电设备基础设施的采购和建设成本；Ptotalserverpower为云计算数据中心服务器设备规划总功耗；Ptotalnetworkpower为云计算数据中心网络互连设备规划总功耗。

因此，由云计算数据中心成本因子Cfactor可知，该业务每年的云计算数据中心均摊成本为：

Cinfrastructure=CfactorNrack

(15)

式中：Nrack为满足该云计算业务所需要的机柜数量；Cfactor为云计算数据中心成本因子既每台机柜每年在云计算数据中心的成本均摊。

2.3 云计算数据中心IT设备购置成本

该业务需要n种不同类型的IT设备，IT设备采购成本主要包括：服务器设备购置成本、机柜购置成本、网络设备和线缆购置成本和维护成本。每年的云计算数据中心IT设备采购折旧成本CIT为:

Cnetworkyear+CITmantenanceyear

(16)

式中：Cperserver，k为k种类型服务器的采购成本；Nserver，k为k种类型服务器的采购数量；Dserver，k为k种类型服务器的折旧年限，a。

Crackperyear为每年该业务服务器机柜的均摊成本：

(17)

式中：Cperrack为每一台服务器机架采购成本；Nrack为服务器机架采购数量；Drack为服务器机架折旧年限，a。

Cnetworkyear为该业务每年的云计算数据中心服务器机架网络设备和线缆的均摊成本：

(18)

式中：Cnetrack为该业务云计算数据中心服务器机架网络设备采购成本；Ccablerack为该业务云计算数据中心服务器机架线缆的采购成本；Dnetrack云计算数据中心服务器机架网络设备的折旧年限；Dcablerack云计算数据中心服务器机架线缆的折旧年限。

CITmantenanceyear为每年的云计算数据中心IT设备维护成本：

NrackCnetworkmainperyear

(19)

式中：Csmperyear，k是云计算数据中心第k种类型服务器每年的维护成本；Cnetworkmainperyear每台服务器机架网络设备和线缆的维护成本。

上述参数数据为IT设备基本数据信息，可以通过IT设备采购获取相关参数信息。

2.4 云计算数据中心能耗成本

该业务每年云计算数据中心能耗成本为：

(20)

式中：VPUE是评价数据中心能耗效率的指标，是数据中心消耗的所有能耗与IT设备使用的能耗之比，该数据可以通过云计算数据中心获取；CelecperKWH为云计算数据中心是每千瓦时的电费成本；Ptotal_server为所有服务器的总功耗；Ptotal_network为所有网络设备的总功耗。

(21)

式中：Pserver表示在云计算数据中心典型业务应用的条件下IT设备的功耗，假设该种云计算业务典型应用，IT设备跑在空载模式、最大负载模式、负载均衡模式3种模式的时间分别为Tidle、Tperformance、Tbalance，在上述3种模式下IT设备的功耗分别是Pidle、Pperformance、Pbalance，则在Ptotal_server的计算公式为：

Pserver=(PidleTidle+PperformanceTperformance+PbalanceTbalance)/

(Tidle+Tperformance+Tbalance)

3 模型验证与案例分析

3.1 实验平台

实验使用2种不同的类型服务器配置进行TCO成本的估算和对比，以低功耗ARM 处理器为基础代表低功耗高密度服务器配置和以英特尔至强处理器E5 2620代表的高性能服务器配置。2种服务器配置以节点的形式安装在浪潮Smart rack整机柜服务器上。云计算业务量以标准性能评估组织(standard performance evaluation corporation,SPEC)CINT2006 Benchmarks进行模拟，假定云计算业务量为SPEC CINT2006测试值得100 000。英特尔至强处理器E5 2620每颗处理器为6核心12线程2 GHz主频，ARM平台每颗处理器为48核心48线程2.5 GHz主频.

使用浪潮小型数据中心作为云计算数据中心平台。使用48U标准机柜，机柜额定供电电流为40 A，使用浪潮小型数据中心，云计算数据中心成本因子为4 800元。

3.2 实验方法及结果

在本文中云计算业务量以SPEC CINT2006 Benchmarks进行模拟，基于SPEC CINT2006 Benchmarks和基于电能质量分析仪PW3198对ARM服务器和英特尔至强处理器E5 2620服务器进行了性能测试和功耗测试。在SPEC最大服务器负载条件下，E5 2620服务器性能数据为261，ARM服务器性能数据为414，按照云计算业务量为SPEC CINT2006测试值得100 000进行计算，分别需要服务器节点数量为3 832和2 416台，服务器折旧年限统一按照5 a进行计算，数据信息如表1所示。

表1 节点性能功耗信息Table 1 Node performance power information

3.3 实验结果

按照上述试验方法进行试验部署ARM 处理器和英特尔至强处理器E5 2620，分别通过式(4)、(5)计算每台柜服务器机架ARM服务器和英特尔至强处理器E5 2620服务器节点数量和ARM服务器和英特尔至强处理器E5 2620服务器需要采购机柜数量，计算结果如表2所示：

表2 IT采购数量Table 2 IT purchase quantity

因此，针对该业务量ARM服务器和英特尔至强处理器E5 2620服务器数据中心相关成本对比如表3所示。

表3 TCO数据对比Table 3 TCO data contrast information 万元

对E5 2620服务器和ARM服务器分别使用SPEC进行业务模拟，运行该业务服务器跑到最大性能，能耗成本用峰值电费成本进行归一化。IT设备采购成本云计算数据中心TCO中最重要的部分，每种服务器的采购成本分别为65%和64%，其次是能耗成本(18% E5 2620和18% ARM)。最后是数据中心均摊成本(17% E5 2620和18% ARM)。

通过2种服务器的TCO成本对比，针对等量的云计算业务的状况下，ARM服务器具有较好的性能功耗比，完成等量的云计算业务量IT设备的总功耗较低，所以具有较低的能耗成本；ARM服务器具有较好的性能价格比，完成等量的云计算业务量IT设备的采购成本较低，所以具有较低的能耗成本；ARM服务器具有较高的性能密度比，完成等量的云计算业务量占用较少的云计算数据中心机架位置，所以具有较低的数据中心均摊成本。在同等条件下ARM服务器与英特尔至强处理器E5 2620服务器相比TCO成本节省了589万元，TCO成本降低了25%。

4 结论

1)IT设备采购成本是TCO成本的最重要组成部分，占云计算数据中心TCO成本60%以上，寻找高性价比的IT设备是优化云计算数据中心的最重要方法。

2)云计算数据中心能耗成本占数据中心TCO成本的15%以上，降低IT设备的性能功耗比，可以很好的优化能耗成本。

3)云计算数据中心成本占数据中心TCO成本的15%以上，如何根据云计算数据中心的相关特性寻找最优的IT设备是优化TCO成本的一个重要手段。

在未来的工作中，将针对不同业务场景业务量的模拟方法，针对大数据、分布式存储和数据库等不同业务模型，提出不同的性能测评方法；研究服务器故障率对服务器采购、数据中心运维带来的影响，将服务器故障率加入到模型中；研究不同类型的生态对TCO模型的影响，设计更加精准的TCO模型。