多数据中心能源监测系统的应用与研究

2022-03-18 07:07王文达
上海节能 2022年3期
关键词:数据中心数据库能源

1 数据中心节能及数据中心能源监测系统的重要性

随着数据中心的规模、数量日益庞大,能源消耗量巨大。地球上的不可再生能源是有限的,现在的可再生能源技术也远远没有达到供需平衡,我国作为目前世界第一的能源消费大国,节能降耗势在必行。随着各类绿色数据中心的标准出台,节能已经成为衡量一个数据中心成功与否的关键。

报告指出,我国地热能产业体系已显现雏形,浅层地热能利用快速发展,水热型地热能利用持续增长,干热岩型地热能资源勘查开发开始起步。

我国最新发布的《国务院关于印发2030 年前碳达峰行动方案的通知》明确指出,将年综合能耗超过1万tce的数据中心全部纳入重点用能单位能耗在线监测系统。而2020 年由上海市发布的《数据中心能源消耗限额》中也规定了数据中心电能利用效率限额的技术要求,明确了统计范围、计量要求算法以及节能管理措施。由此,需要有一个能源监测系统进行数据支撑。

通过使用数据中心能源监测系统,可以将数据中心的日常能源消耗以更直观的数据展现在管理者面前。辅助管理者进行节能项目决策以及对节能项目投入使用后的节能效果进行跟踪评估。

综上所述,建设一个覆盖面全的能源监测系统将在其中起到至关重要的作用。

3.虾苗投放。投放前将筐浸在水中,让虾适应池塘(稻田)水温,可先投放一筐,看虾苗入水后是否正常,然后将虾投放在池塘(稻田)四周,注意不要将虾苗全部投放在一个位置,虾苗活动范围有限。

2 数据中心能源监测系统概述

数据中心能源监测系统是通过中心能源监测平台(EMS)、末端采集设备、计量表具以及数据传输网络所构成的综合性的业务平台。末端采集设备将末端的计量表具的数据通过专用网络传输到中心能源监测平台,通过平台中部署的数据分析应用对能耗数据进行分析,最终将分析后的数据通过图形、图表的方式在综合信息平台上直观展示,助力节能专员快速决策。当前绝大多数的能源监测系统均为B/S 架构,即浏览器和服务器架构模式。

如何构建一个安全、稳定、可靠、高复用、高可扩展的新型应用架构给我们带来了一定的挑战。为此我们需要对数据采集、数据传输安全、数据处理、数据应用以及数据标准化进行深入的研究。

3 多数据中心能源监测带来的新挑战

为了解决这些问题,我们研究了新型的采集架构,如图2 所示,通过引入消息中间件,使用公共消息队列,取消采集程序直接与数据库的交互,将采集数据通过消息队列中的交换机将数据投递到已订阅的数据库,从而减少数据库连接的支出。降低数据库连接数可以有效减少数据库锁,大幅提升入库效率。

相比大型公共建筑的能源监测系统,虽然数据中心的用途较为单一,但在数据的维度、数据的颗粒度以及数据的体量上则比大型公共建筑的能源监测复杂。

4 浅谈新型能源监测系统

本文着重从采集传输组网、数据分析处理和数据应用方面进行研究。

4.1 采集传输组网

传统的CCR和BCC模型一般用来对同一时间点的效率情况进行横向比较,对面板数据进行分析的适用性不强,难以发现效率的动态变化和发展趋势。Malmquist指数可以较好地分析面板数据,对相对效率的动态变化能起到较好的刻画效果,在分析不同地区或行业历史数据方面具有较为广泛的应用[16,17]。 Malmquist指数通过距离函数进行运算,采用定向输出和定向输入定义距离函数。输出变量的距离函数表示为:

他没有什么爱好,就是喜欢喝酒,喝了之后就发酒疯、骂人、砸东西,左邻右舍都已经习以为常了。有一次他喝醉了,吹嘘自己血液里流的是酒精。叶晓晓觉得这是他说的最清醒的话了。叶晓晓的妈妈在她几岁时就去世了,听说是得了急病,但是个什么急病,叶晓晓一直没弄明白,家家舅舅也早已不和他家来往,每回问叶之容,他就借着酒劲又哭又闹。后来叶晓晓大了,也就懒得去问。生活嘛,总要向前看,死了的人总归是死了,还是活着的老爸要紧。

数据采集分为直接采集和间接采集:直接采集即使用标准TCP/UDP 协议、HTTP 协议等网络传输协议由服务器或前置机、工控机直接与采集末端设备进行数据通信。一台采集设备可以通过轮询的方式采集若干能耗监测设备的若干点位信息。直接采集可以针对能源监测特定的数据进行采集,对于能耗所不关心的环境数据进行忽略,数据冗余度较低。

间接采集通过与其他相关的系统进行数据交换、数据共享使用更多,如FTP、SOAP、HTTP 等方式实现,由其他第三方负责能耗监测设备的厂商进行数据封装打包,采用各系统的结构方式将数据共享给到能源监测平台,能源监测平台将所需数据从庞大的数据池中提取出来,进行数据过滤、数据聚合以及数据应用。与直接采集相比,间接采集的建设成本较低,但数据的维护成本较高。

如图1 所示,传统数据采集采用端到端多链接的方式进行数据入库,每使用一种新的对接协议,就需要增加一个至多个数据连接,多个数据源接入就可以将数据连接池占满,从而影响数据写入的性能。

相对于传统单一数据中心的能源监测,多数据中心的能源监测从数据的体量、维度有很大的提升。随着大数据成为国家的基础战略资源,数据的安全性也变得更为重要。由于这些原因,使用传统的单一数据中心的应用架构就有些捉襟见肘了。

湖南省水利厅直属5座水电站,总装机30万kW,职工1 800人,水电站水库设计灌溉农田230万亩(15万hm2),其中有著名的韶山灌区和以英雄欧阳海命名的欧阳海灌区。多年来,水电站电价普遍较低,灌溉用水基本没收费,水电站为国家创造了很大的社会效益和经济效益。大多数水电站是20世纪五六十年代建成发电的,基本上都已经运行50年左右,最年轻的南津渡水电站也已运行近20年。这些老水电站资本金较少,底子薄,人员包袱较重,大部分水电站装机容量没有变化,发展力度不大,现有设备也亟须更新改造,企业面临着资产优化、人力资源优化、效益优化等问题迫切需要改革发展。

当今是万网互联时代,发展和安全成为了双轮驱动。在现阶段国内互联网发展的快速进程中,数据安全的问题也是日益严峻。

系统如何进行反渗透、安全基线、安全加固,以及数据传输加密也被提上日程。在新时代,应对网络安全带来了新的挑战。

如图3 所示,传统数据传输一般都是基于明文透传技术,所有的数据在传输过程中都没有任何安全保护,极容易遭到不法分子对传输网络发起的监听、嗅探攻击。一旦数据被截获,不法分子就会直接拿到有用的消息,为进一步的攻击打下基础。

大部分的单数据中心能源监测平台,都是基于垂直应用架构,所需数据应用均需要实时与数据库进行交互,而随着数据中心的数量不断增加,数据量也呈几何倍数增加。当数据在进行汇总计算时,再进行数据查询,会造成IO 读写瓶颈,各类数据库锁的问题层出不穷,带来数据延迟。而随着计算量、计算维度的提升,这个延迟的时间也将持续增大,影响了使用。

4.2 数据计算分析

如图6所示,我们对已经完成入库的数据,通过消息分发机制使用Redis、MemoryCache等缓存技术解决方案将其保存在内存中,众所周知,内存的读写速度远远大于传统硬盘。对于这些数据先按照不同能源处理方式进行归类。随后再通过命令管道模式放入相关的数据处理单元。在与数据库的交互上减少了一次读写的操作,提升了数据使用的效率。

我试了试自己的腿脚,还行。我拔开腿就跑了起来。我朝着那个黑的洞口子跑去。我的心里在这一刻什么都没有,只有小六子。

此时,需要使用分布式处理的模式进行处理。在新的架构中,我们可以将计算单元进行分解,将数据个体进行拆分,使用多台相对性能普通的服务器进行平行的数据处理,从而使数据的处理达到高复用、高可扩展。

以不退位减法和退位加法口算广度为因变量,以年级和性别为自变量,进行多元方差分析.结果表明,小学生减法口算广度存在显著的年级差异,但性别差异并不显著.其中,不退位减法年级间差异显著(F=40.92,P<0.001),性别间差异不显著(F=1.86,P=0.18).退位减法,年级间差异显著(F=83.83,P<0.001),性别间差异不显著(F=1.14,P=0.29).此外,六年级学生的标准差较大,说明六年级学生在减法的口算广度中存在较大差异.

传统的数据,使用垂直方式,在数据量巨大的情况下,如果无法快速消化就会造成数据堵塞。而垂直架构又无法通过增加服务器的个数进行程序的横向扩展,仅通过不断叠加单台服务器的性能来满足要求,其硬件成本极其昂贵。

基于传统单数据中心的数据处理,由于其仅针对单个数据中心,数据的类型种类增量都是可控的,而不同的数据中心,除了一些基础的计量外,如水、汽、油等除电以外的数据监测,都有着其个性化的差异。在进行多数据中心集中管理时,这些差异性会使数据处理更为烦琐。传统模式都是直接由采集进入数据库,当需要进行数据汇总时再从数据库内将数据提取出来进行运算,这样极大地增加了硬盘读写的IO,容易造成超时等故障,见图5。因此,在进行大规模数据处理之前,对这些数据进行预处理就变得至关重要了。

一杭在护士的带领下来到母亲的病床前,母亲的头上缠着绷带,并用网状的头套固定着,这让一杭想起小时,母亲用网兜装西瓜。母亲眼睛紧闭,靠呼吸机呼吸。一杭走过去,蹲下身,轻轻地握着母亲冰凉的手,母亲动了一下,吃力地睁开眼,想做出一个笑脸,但嘴上套着吸氧面罩,没成功。“妈!”一杭压抑着哭声低低地叫了一声。母亲用力握了一下他的手。张着嘴想说话,面罩像一个漏气的气球,一鼓一瘪的。“医生,医生,我妈好像要说话。”医生取下面罩,一杭把耳朵凑近母亲的嘴。母亲微弱的声音伴着粗重的喘息传来:“我……”喘息越来越急促。一杭说:“妈,您有什么吩咐?”

如图4 所示,通过对使用诸如AES、RSA、ECDH、DSS、ECC 等对称或非对称的方式在数据传输的过程中将数据加密。数据到达目的地后再进行数据的解密。通过此技术手段保护,攻击者监听、嗅探到的数据将不再可直接使用,大幅提高了数据传输的安全性。除了通过加密手段对数据加密之外,物理的传输链路也要做好相关的安全防护。

对此我们需要对应用系统进行以下多项改造:

1)通过读写分离,将前端所需要使用到的静态数据,通过文件存储、数据库等方式,部署到资源服务器,通过此改动,与性能数据彻底分离。

2)通过引入Web 缓存与内存缓存相结合的方式,将被读取的数据进行缓存处理,降低对性能数据库的读取,从而极大地改善了数据汇总所造成的数据响应慢的问题。

3)通过引入Sync异步机制,将业务请求与数据业务输出分离,提升用户体验。

由于各类设备厂商有各自不同的定义编码,各类设备又有各自不同的参数定义,相同类型的设备在不同厂商所制造的设备中所对应的参数名称也是各有千秋。不同厂家相同设备的精度也有所区别。数据采集测量点的位置也对数据的准确性有着巨大的影响。综上所述,这些因素所造成的计量误差也会影响到系统监测的准确性,因此,建立一个数据中心的标准化协议迫在眉睫。

当采用组成数据,通过专用软件计算天然气的烃露点时,GB/T 30492-2014《天然气 烃露点计算的气相色谱分析要求》要求对于C+6组分的定量分析,当按碳数归类有交叉的情况时,应将苯、甲苯、环己烷、甲基环己烷等组分进行单独定量分析[15]。

2020年由上海市经济和信息化委员会、上海市发展和改革委员会共同提出,由上海市经济和信息化委员会组织实施的上海市地方标准《数据中心能耗在线监测技术规范》便由此应运而生。该标准不仅对电、水等计量设备的精度提出了要求,同时对计量点的位置进行了规定。对采集系统内不同分类代码进行了规范。通过对能耗分类的进一步细化,分为水、电、燃气、燃油、外购冷、对外供热、可再生能源等7 大类以及14 小类。这些分类基本涵盖了目前数据中心能源相关的所有信息。

5 结论

通过能源监测系统的多项关键技术研究,从数据采集、数据安全传输、数据处理以及数据协议的标准化等多方面进行优化设计提升。为构建多数据中心的能源监控应用架构提供有力的技术支撑,为促进数据中心节能工作的开展,提供切实可用的能耗数据。

猜你喜欢
数据中心数据库能源
关于间接蒸发冷机组在数据中心中应用的节能分析
第六章意外的收获
2018年数据中心支出创新高
2017第十届中国数据中心大会榜单
数据库
丰富的能源
数据库
数据库
数据库
好大的方块糖