基于密集测量的数据中心能效研究

郭巧洪， 武 彤， 胡宇昭， 沈庆飞， 李安香

(1. 住房和城乡建设部信息中心，北京 100835；2. 中国计量科学研究院，北京 100029；3. 德赛英创(天津)科技有限公司，天津 300300)

0 引言

能源是数据中心可靠稳定运行的基础，随着近年来行业的快速发展，能耗已经成为企业的主要成本，政府和公众对数据中心的高效运行也更加关注。数据中心是一个综合性的耗能单位，消耗的能源品类有电能、柴油、水和天然气等。在数据中心的运营成本中约有一半是来自公共电网电能消耗，可见电能为最主要的耗能品类。

数据中心电能使用效率的测量和评价方法受到关注。近年来，各种技术组织制定了多种数据中心能效评价方法和标准，为数据中心寻找节能潜力提供了技术支撑。然而，随着数据中心节能改造工程的实施，行业能源效率普遍提高，造成原有评价方法不能为未来的节能方向提供更深入的数据支持。

数据中心能源效率提升的手段也在向系统化方向发展。数据中心早期的能效提升主要依靠能源消耗设备和能源转换设备的能效水平提升。然而，有时设备能效的提升会造成投入成本过高，使节能不具备经济性，行业推广受限。另外，随着高能效设备的普及，设备能效提升的空间越来越有限。因此，数据中心更应当被视为一个整体系统进行节能分析，从能源购入、存储、转化和使用等多个环节统筹考虑，从IT设备发热量与制冷系统匹配的角度寻找节能潜力。在目前的节能实践中，考虑到数据中心设计参数与实际运行状态的差异，应当通过密集的能耗和运行状态参数测量来获取准确、可靠的数据，并采用相关性的分析方法获得可行的节能策略，为数据中心能效提升分析方法开辟新路径。

1 数据中心能效评价方法

在我国数据中心能效评价体系中主要存在四种方式：一是电能效率评价，例如PUE或者EEUE；二是综合打分法，例如绿色数据中心评价；三是新增能耗限制等减量替代法；四是完成单位工作量的能耗评价。这四种方法均涉及到能源的计量数据，其中第二、三种方法以第一种方法为基础。这样的评价方式主要用于比较同一个数据中心在不同时期的能效水平，或者用于比较不同的数据中心的能效水平。在能效评价的基础上，这些方法还致力于寻找节能潜力，为进一步的节能改造提供信息支撑。目前，大型数据中心在不同地理位置的能效水平差异较大，采用上述方式尚不能有效识别由于地理位置不同引入的能效差异，故此更加需要大量的计量数据作为分析的基础。

2 数据中心与能效相关的主要计量参数

电能是数据中心消耗的主要能源品类。其中公共电网接入的电能是占总能源消耗的90%以上，另外柴油消耗也以发电量汇入总能源消耗。由此可见，电能是与数据中心能效强相关的计量参数。

数据中心电能的消耗可以分为三部分：IT设备耗电量、供配电系统耗电量、制冷系统耗电量。IT系统耗电量是主要电能消耗，一般占比超过总耗电量的50%，其主要节能方式是采用高效IT设备。供配电系统耗电量一般占比为10%～20%，其主要的节能方式也是采用高效供配电设备、市电直供和高压供配电技术。实际中，以上两个部分节能主要在设计阶段，而在投产之后改造空间受限。制冷系统耗电量一般占比为30%～40%，在数据中心投产后具备多种节能潜力和改造空间，因此实际中的数据中心节能常常以制冷系统为对象。

在数据中心的物理基础设施中，制冷系统起到冷却IT设备发热的作用，将热量由建筑结构内部传导至外部。在制冷系统的节能研究中，一方面从冷却技术考虑，例如自然冷却、气流组织优化等；另一方面控制制冷区域，例如封闭冷通道。这些技术的目标均为保障机房内的温度稳定，确保IT设备可靠运行。

基于上述分析，在数据中心投产运行后，决定其能源效率的主要计量参数是电能和温度。目前的数据中心能效分析主要参考能耗数据，然而高效节能的数据中心运维也离不开温度的控制。故此，数据中心能效改进需要基于电能消耗和温度的测量数据。

3 数据中心的能效提升工具

3.1 能源流程图和能源计量网络图

目前数据中心的能源效率主要关注IT设备能耗与总能耗的比例关系，而总能耗的使用可能涉及到多种能源的转换和不同设备模块间的传输。为了能够将复杂的数据中心用能场景直观、明确地反映出来，提升管理者和运维团队对能耗结构的理解，需要使用能源流程图进行工作。

数据中心整体能效由各个组成部分的能效决定，因此整体能效分析可依据能源流向图分阶段开展，如图1所示。能源消耗在数据中心的流向可分为4个部分：(1)购入存储，例如从公共电网购入的电能、通过购买存储柴油等能源使用发电机供电。在数据中心能源使用中，柴油发电机仅用于紧急供电，使用频次较低，因此基本以购入的电能作为主用能源；(2)加工转换，例如供配电、UPS等；(3)输送分配；(4)终端使用，例如服务器、空调、水泵、照明等。每一部分的能效对数据中心整体的能效影响是不同的，需要关注重点部分的能效。

图1 数据中心能源流程图示例

图2 能源计量网络图

能源计量网络图应当与能源流程图协调一致，需明确清晰地反映出数据中心整体的能源计量结构，如图2所示。在大型数据中心的配电结构中，每一个细分部分均有可能由数台设备构成，例如数据中心会使用数十台UPS设备，需要针对每一个部分进行能效分析。使用能源计量网络图，结合按照能源计量网络图获得的能耗数据，可以清晰地呈现各功率较大的设备对于整体能效的影响。实践中，能源计量网络图将用能设备进行分类，主要分为用能单位、主要用能设备等，并确认用能仪表安装位置、测量量程、最大允许误差等技术参数。在最终的能源计量网络图中将绘制出数据中心的能源计量结构，同时计量仪表位置、测量内容、准确度也有相应体现。

通过能源流程图和能源计量网络图，能够实现数据中心能源流动的全过程数据分析，可以作为综合能效评价的基础性数据，同时动态地反映各环节的能源利用效率,为寻找节能机会、利用人工智能算法制定节能策略提供数据基础。

3.2 温度密集计量装置

虽然评价数据中心用能状态的参数为能源效率，但影响能源效率的主要因素是机房温度分布，故此温度分布的计量测试对数据中心能效分析非常重要。目前新投产的数据中心绝大多数采用了温度传感器进行状态监控，主要目标是测量环境温度是否处于服务器的可靠运行区间，其采用的设备精度较低，同时布点位置也相对单一。然而，与能效相关的温度密集计量要求以更高准确度和密集度测量机房内的温度分布，数据中心现有测量系统很难满足要求。

实际中，数据中心采用的标准机柜高度和服务器的安装高度相对固定，为了研究每层服务器的进风口位置温度参数，需要设计研制专门的温度密集计量装置，如图3所示。该装置采用推车设计方式，按照垂直方向设计了8个测量层，每个测量层采用60cm×60cm支架并安装有9个温度传感器和1个湿度传感器，两层间隔为25cm，8层满足标准机柜的测量高度要求。

图3 数据中心温度密集计量装置

4 能源计量数据的分析

4.1 能源仪表的准确性分析

对于数据中心能效分析而言，电能和温度测量数据是节能分析的基础数据，其准确性直接影响了分析结果是否有效。为了保障数据的准确性，需对测量仪表进行量值溯源。数据中心的自有仪表一般采用固定安装方式，不易拆卸送计量机构进行实验室校准，因此需要采用在线比对方式验证准确性。

在线验证的具体方法是使用经过校准的标准仪表与数据中心仪表测量相同对象，例如对智能电表进行在线比对需要使用标准电能质量分析仪测量相同用电设备电量。如果标准仪表与被比对仪表的测量数据偏差在一定范围内，则认为数据中心仪表测量结果准确可靠。

测量数据的评价方式可采用En值方法。En值方法表述了数据中心仪表与标准仪表的相对偏差，是一种在比对实践中常用分析方法，其计算如式(1)所示。

(1)

式中，x为数据中心仪表测量结果；X为标准仪表测量结果；UDC2为数据中心仪表的扩展不确定度；ULab2为标准仪表的扩展不确定度。

当En≤1时，可认为数据中心测量仪表测量结果准确。在使用En值方法时需要注意公式中的4个参数需采用相同单位。

4.2 温度分布参数分析

能源数据分析的一个重要方向是研究温度场与能耗之间的相互关系。由于实际情况常受到随机因素的影响，需要采用统计相关性的分析方法，同时采用能源流程图和能源计量网络评估各个环节的用能水平，提高节能措施的针对性和科学性。

从相关性分析角度，温度场与列头柜能耗数据具有相关性。通过两者数据的收集和整理，可以较好地分析不同功率密度机架的过热风险和冷量分配。如图4所示，采用温度密集计量装置对数据中心的区域A和区域B进行了测量，得到了两个区域的温度分布。图4中灰色矩形表示机架，蓝色、黄色表示机房空间温度，蓝色表示低温，黄色表示高温。

图4 数据中心分区域温度分布

通过对数据中心不同区域电能与温度场的分析研究，不仅能够及时调整数据中心空调系统运行参数，以使机房环境的各项指标合规；通过电能与温度场更精准的可分析性，可对不同功率密度区域进行制冷量分配调节，从而合理实现节能。基于能源计量数据可知，区域A和区域B的机架功率密度存在较大差异，区域A中的单机架平均功率为1.95kW，区域B中的单机架平均功率为2.88kW，两个区域的入口温度对比如表1所示。根据图4和表1可见，区域A明显处于过度制冷状态，结合电能数据区域A负载功率密度较区域B低约32%。因此，适当提升空调末端的送风温度，减小区域A的制冷量供应，不仅可消除机架入口冷点，同时也减轻了制冷负荷，优化了制冷所需能耗。

数据中心密集测量数据 表1

5 结束语

数据中心能耗的快速增加已经成为阻碍行业持续发展的重要因素，提升能源使用效率已经成为行业关注的焦点。在节能分析中，应当重视能源测量数据，采用能源流程图、计量网络图等方法工具反映复杂数据中心的能源计量结构，采用在线比对的方式验证传感器的准确性，应用温度密集测量装置等获得数据中心的关键运行参数，从相关性分析的角度进一步优化数据中心的能效水平。