郭方圆
(上海普平数据服务有限公司,上海 200032)
据不完全统计,预计2030年数据中心的用电量达到社会总用电量的1.5%~2%,而数据中心的制冷空调系统用电量占整个数据中心的30%~50%,制冷空调系统用电产生的碳排放量巨大[1],故优化制冷空调系统对减少能源消耗起着关键性的作用。
目前,数据中心的主要制冷模式为风冷,冷源采用集中式冷冻水系统,空调末端采用房间级精密空调,主要配置为冷却塔+板换+冷机+末端空调,如果负载率达到80%以上,PUE值能保持在1.3左右;经过技术人员多年的研究、探讨及小规模实践,证实浸没式液冷和冷板式液冷适用于数据中心,并能大大降低PUE值使其保持在1.1内,对于能耗指标的降低做出了巨大的贡献。
以上海某数据中心风冷改液冷的实际案例,结合成熟的价值工程的理论方法,对比风冷空调系统与浸没式液冷的制冷模式的设计PU E和对应之成本,从浸没式液冷的建设成本(CAPEX)和运营成本(OPEX)角度提出费用优化的方法。
本工程为上海某数据中心DC01,钢筋混凝土结构,共计2层,楼高16.1 m,建筑面积23 000 m2,总IT负载14 MW。原设计,一层集中设计10 kV配电间、冷冻机房、配电室、消控室、运营商接入间;二层为8个包间及其辅助用房,制冷模式采用风冷,冷源采用集中式冷冻水系统。因客户需求变动,需将其中1个包间C05共1750 kW体量的IT负载改变制冷模式,由原来的风冷改成浸没式液冷模式。
浸没式液冷包含HVDC的配电、列头的配电、CDU设备、管线及支架、tank设备、CDU一次侧的管道、CDU二次侧的管道、楼板的承载、弱电工程、自控系统等的设计工作,相对应常规的风冷制冷模式,根据以上内容,结合图纸及技术资料,进行全方位的价格分析,比对两者成本差异。
(1)资料的不完备:相比国内所有数据中心,历史数据中心用液冷技术所承载的tank数量基本保持在6~8个,还处于试施工和运行阶段,而本次承载的规模较大,tank数量为84台,故未有非常完善的技术资料来支撑出图和计算成本。
(2)多元化沟通:从技术熟悉—技术深入探讨—方案图纸—施工图纸—工作界面—工程量清单—成本谈判—定标—施工—竣工验收等环节,与客户、合作伙伴、同事从技术层面、施工层面、成本层面进行全方面的沟通及探讨研究,沟通任务量巨大,沟通质量以及信息的畅通性如何保证也成为难点。
(3)专业性强:一是楼板承重,浸没式液冷是将服务器整体直接浸没在液体中,依靠流动的工程液体吸收服务器的发热量,故tank装的氟化液的单体质量远远高于机柜,需对楼板进行荷载测算并进行楼板加固处理;二是综合管线的布置,列头柜到tank的布线、配电箱到CDU的布线、CDU一次侧的管道、CDU二次侧的管道及弱电、自控等管线的整体布局;三是CDU集成化产品,包含1台不锈钢板式换热器、一台冷却液循环泵、一套冷却液循环过滤装置、阀门、管道、排气装置、压力传感器、温度传感器、电导率传感器等自控仪表、强电接线盒、弱电接线盒、接地用接线柱及与之配套的外框和支脚等;四是CDU与tank的精度要求,大大提升了成本,均为预制化产品,法兰、阀门、管道、软连接必须满足法兰日标要求、不锈钢管无缝链接、阀杆和阀体不锈钢材质、进口软连接等苛刻的要求。
通过对数据中心C05包间液冷和风冷制冷技术的比对,发现两种模式的差异点较多,为能更好地进行PUE及建设成本的对比,假定在液冷施工工艺完全成熟的情况下,风冷和液冷的施工进度、施工质量能保持同步,并以客户服务器的一次侧为成本测算的分界点为前提,再结合成熟的价值工程的理论方法比较风冷和浸没式液冷两种模式。
本次通过研究分析本案例中的所有资料,包括但不限于液冷图纸、技术文件等,对本项目所使用的浸没式液冷制冷模式从技术角度、施工角度、成本角度等方面进行技术沟通、施工界面安排、成本对比,得出最优成本方案,并与之功能做对比,得出价值系数,并从价值系数中的功能值和成本值入手,提出如何实现价值最优的解决方案。
价值工程(Value Engineering),也称价值分析(Value Analysis),是对产品或劳务的功能进行充分的成本分析,从而找出提高产品或劳务功能降低成本的有效且可行的方法。价值工程的主要原则就是用最低的总成本满足所需要的功能。价值工程(V)主要是指产品或劳务的功能(F)(功能指的是产品的用途或作用)与产品或劳务的成本(C)(成本指的是满足产品的所需要的功能所付出的周期成本)的对比值,即V=F/C。
价值分析是个相对比较复杂的过程,研究者会利用经验分析法、ABC分析法及百分比分析法选定研究对象,而本文主要通过经验分析法选定数据中心的重要指标PUE作为研究对象,用04评分法进行PUE值得功能评分,并通过成本精准测算,进而得出价值指数。
首先,确定研究对象的功能值(F):组织技术部的技术总监、暖通技术负责人、弱电技术负责人、施工项目经理、运维总监、运维经理、运维值班员等7人,完全独立地对设计PUE实际所达到的功能(Fa、Fb)进行打分,计算总分和平均分,从而得出功能值,计算结果如表1所示。
表1 功能测算表
其次,确定研究对象的成本值(C):根据施工工作界面,对液冷涉及的4个标段机电总包工程(CDU一次侧工程、弱电工程、CDU二次侧工程及甲供设备)分别进行成本测算及核对,为了方便成本计量,将4个标段的总成本换算成成本指标(元/kW),用于评价研究对象的成本值,如表2所示。
表2 成本测算表
最后,确定价值:价值(V)=功能(F)/成本(C),计算结果如表3所示。
表3 价值测算表
从功能测算表可以得出液冷的制冷模式功能值(即PUE值越低,功能值得分越高)非常高,高出风冷模式100%,功能性能完美,但其成本值过高,比风冷模式高出267%,导致价值数远远低于1。为了实现价值数趋向于1,则在保持功能值(即PUE)绝对优势的情况下,如何降低成本值将作为液冷技术的改进方向。
数据中心作为互联网行业的基础设施,对于像第三方数据中心供应商而言,全生命周期成本包括建设成本(CAPEX)和运营成本(OPEX),而运营成本(OPEX)又分租电分离模式和包租包电模式。假设项目类型属于包租包电模式,并在固定的IT负载量下(假设1750 kW),电费0.6元/度,在不同的PUE下,测算每年的电费价格,如表4所示。通过上述分析,采用液冷在包租包电模式下电费有较大幅度的节约,并与国家号召的打造绿色节能数据中心相匹配。从成本角度分析,液冷技术虽然在建设成本(CA PEX)的投资中费用有所上升,但结合2~3年的运营成本(OPE X)价值数趋于1,达到功能与成本的平衡,所以基于建设成本(CAPEX)和运营成本(OPEX)的两者综合考虑,利用液冷技术的制冷措施,在提高功能值的同时,也能有效控制成本。
表4 电费测算表
3.2.1 规模化投产运营
近几十年在很长的一段时间内,早期数字信息需求量小,之前主要运用在电信的IDC服务器托管企业或政府单位的数据业务,单机柜容量主要以4 kW以下机柜为主,限制了液冷技术的有效发展;其次,与风冷技术相比,液冷技术在系统部署、制冷原理以及技术方向等方面存在较大的研发及应用困难[3]。近两年,随着业务量需求的日益剧增,单机柜趋于10 kW以上,甚至20 kW以上,高功率的机柜的散热量极具加大,制冷面积不断加大,导致相同面积高密度机柜的产出率大大降低,而且提高制冷要求,利用传统的风冷制冷模式,不管从产出率还是成本方面,都不是最好的选择。由此,液冷技术开始慢慢运用在数据中心,但由于技术的壁垒,局限于个别互联网企业的研发和实践阶段,但随着时间的推移,液冷技术逐步会趋于成熟化和规模化,经济价值会日益显现。
3.2.2 技术优化
(1)CDU到tank间的管道连接,产品材料及施工工艺要求极高,如使用的管道(要求:无缝、预制成段)及其配套的阀门(要求:日标)、法兰(要求:日标)、软连接、三通、弯头等均要求为316不锈钢材质,CDU内用的液体循环泵需采用协磁(ASSOMA)原装进口品牌,并进行高精度的预制组装,而随着液冷技术的不断革新,产品材料及施工工艺是否能优化,比如管道是否能从无缝不锈钢管变成有缝镀锌钢管,或者预制成品能变成现场直接焊接产品,又或者进口产品能慢慢用国产品牌替换等,从而在满足tank运行需求的同时能有效降低成本,提高价值(V)。
(2)承重要求高,tank是承载液体、服务器及配套设施的大容器,它所要求的湿荷载为4T,远远大于机柜的荷载。对于改造建筑,一般情况建筑荷载只有1T左右,那采取何种加固措施的性价比最高,就需要通过加固多方案讨论及成本测算,得出最优加固方案,从而降低成本投入;而对于新建建筑,则可以采用性价比高的抗压材料做为结构材料,并合理安排tank的放置位置,较少配筋率及混凝土的使用量,从而降低成本,提高价值(V)。
(3)服务器浸没的液体,据目前了解,该液体的价格等同于黄金价格,极其昂贵。如果优化和选择冷却液,也需进一步的研究,该液体直接与服务器接触,就必须保证该液体与服务器是绝缘的,还必须从环保性能、稳定性能、电化学反映、pH值、液体浓度、微生物总数指标、导热系数、散热能力等方面全面研究测试,结合经济指标,选出性价比高的冷却液,从而可大幅度的降低后期运维成本。
本文运用价值方法仅对浸没式液冷与风冷的技术PUE功能和成本差异进行简单的分析比较,液冷属于高功能产品,为了得到更合理的价值数,本文最后提出三方面的改进措施,一是从建设成本(CAPEX)和运营成本(OPEX)两方面成本整体考虑,加入运营成本(OPEX)的液冷摊销成本情况;二是荷载方面,针对不同的建筑提出不同的荷载方案来优化成本;三是从建设成本(CAPEX)把控方向考虑,从技术优化角度,通过现实的技术要求及实际运用的液体材料分析,提出优化方案,最终给出液冷制冷技术的可行性。■