能源大数据管理系统的实现

陈克胜（广东盈嘉科技工程发展股份有限公司，广东广州510075）

能源大数据管理系统的实现

陈克胜
（广东盈嘉科技工程发展股份有限公司，广东广州510075）

针对电信运营商自身节能减排需要和所服务不同社会用户及政府能源管理机构对能耗信息服务的不同需求，提出建立电信运营商物联网结合云计算的能源大数据管理系统。首先，概述了课题开发背景和能源大数据管理系统相关技术；其次，对系统设计进行了介绍；接着，对系统实现进行了探讨。最后，对研究做了总结。

分项计量；节能减排；物联网；移动互联网；云计算；大数据

0　前言

集中式的管理和维护模式秉承树立绿色、低碳发展理念，是响应国家节能减排号召的重要实践。建设基于电信运营商物联网结合云计算技术的能源管理系统非常必要，以从机房/基站数据中获得能够真正反映设备运行状况的有效信息，利用在线能耗数据挖掘分析结果，辅助实现依据用能设备的负荷变化来动态优化用能设备的配电，大幅度减少电能消耗并为优化能源管理的决策提供科学支持，在满足通信业务发展的前提下尽量节省资源，以提升通信运营商的社会形象和竞争优势[1]。

1　数据感知采集和物联网智能网关技术

（1）数据感知采集[2]

本论文采集数据包括通信机房和通信基站两大类用能场所，具体为列头柜、机柜、空调、照明、办公插座等设备的能耗，还可以通过IPMI接口采集服务器设备的功率、温度、CPU使用率、内存使用率、风扇工作参数等服务器状态数据。具体技术设计思路如下。

①通过利用智能电表、传感器、变送器、以及物联网智能网关等采集设备及网络平台，将机房/基站内空调、照明、电源、主设备和办公插座等子系统联网集成到统一的管理平台进行智能监控、数据分析和调度管理。

②构建更加全面的传感网络，包括温湿度传感网，气流传感网，做到对用能场所的更全面感知。可以通过传感器的安装，相当于给机房装了一个很精准的CT，对机房实现多角度旋转、缩放观察的虚拟三维清晰图像，温湿度怎样，空调是否处于合理状态，都能够看得一清二楚。

③对用能场所内的设备全面采用RFID技术进行识别和管理，以准确全面获取设备的属性及与相关能耗数据的对应关系

④主设备的能耗则是必须要采集到的重要数据，以支持能耗的精细化分析和控制。比如服务器的能耗数据，就需要通过各种合适的途径获得。通过ipmi接口可以获得部分数据，还可以考虑通过硬件芯片的方式获得。

图1　传感器节点体系结构示意图

利用IPMI接口可采集到服务器的静态信息，包括CPU、内存、硬盘、光驱、网卡、显卡、操作系统、RAID卡、PCI附加卡等信息；采集的动态信息包括机箱内温度、主板、CPU、SCSI模组、风扇板等的温度、输入电压、功率、风扇转速、内部直流电压以及CPU利用率、内存利用率、硬盘I/O访问流量等系统资源信息、硬盘驱盘器（已用空间、剩余空间）、网络情况（连接状态、网络带宽、入/出流量、入/出实际带宽）、平均负载（指的是在一定观察时间内系统内总进程数、正在运行的进程数平均值）。通过采集到的服务器的静态信息，有利于机房将来做资源管理的基础数据；而采集服务器的动态数据，一方面通过服务器温度信息来实现机房的温度云场，另一方面通过计算服务器的能耗为设备级的能耗趋势分析提供数据。

（2）网络层和数据处理层

数据处理服务系统完成数据的预处理工作。从感知层出来的能耗数据，按规章和策略过滤，能耗数据在处理中要进行聚合、融合、清洗、压缩、汇聚，校验等重要工作，对上层应用系统的有效分析和使用提供了重要条件。

通过能耗专用及多功能智能融合网关能提供统一数据格式转换与传输，实现物联网能耗数据的收集/下发与传输。实现能耗数据的多路分发。能耗数据除了能为中心云平台分析使用外，还能为其他系统所用（比如动环监控），实现实时的能耗数据呈现，监视管理和控制等作用。

海量能耗数据的通信，实现用能设备间信息的交换，需实现互联互通，即非ip的传感网和ip传感网之间，传感网和ip接入网，ipv4和ipv6协议之间的互联互通，包括应用协议，消息格式的互操作。传感器网有专门的路由协议（能量效率路由协议，在多数时间处于休眠状态的节点的路由协议，数据知识路由协议等[3-4]。

图2　物联网数据采集技术适用范围示意图

在建立用能场所的能耗模型时，需充分考虑并表达空调、照明、电源、主设备和办公插座等各用能分量单元个体之间的关系特别是直接的关系，同时把间接的关系通过模型的办法推导出来。各个用能分量单元除实时收集的时空数据之外，还表达了它们之间的连结关系。模型本身有充分的能力来表达直接关系，以方便推理间接关系。按业务需求建立模型，模型优化方案，提炼模型并验证模型。数据挖掘必须与具体的业务相结合进行应用，并进行跟踪评估效果，持续不断地完善模型，总结和反馈。本论文中通过耗能点分析、耗能量聚类与预测，发现耗能异常的原因及影响能耗的相关因子，从而找到改善能耗的节能要素。同时对故障设备进行故障原因分析，查找设备异常的原因，及时进行调整以达到节约成本，提高设备运行效率的目的[5]。

（3）物联网智能网关

目前获取能耗数据的主要手段是通过智能计量采集装置（智能电水汽表）的计量及物联网网关自动采集分量计量能耗数据。作为中国移动及其他电信运营商庞大规模的能耗采集工程，从工程适用性和投资成本方面考虑，依据中国移动集团设计院能耗采集规范制定的专用能耗采集设备（“智能采集终端”设备，以下简称能耗采集单元ESU），本论文采用广东盈嘉科技工程发展股份有限公司的物联网智能网关——MP3000智能协议转换器。如图3所示，该智能网关设备能够实现同时向多区域能管中心、省能管中心、国家能管中心同时分发报送数据，支持多种工业协议的接入、智能仪表的接入、采集数据的转换及控制管理，具有存储1个月以上的数据存储容量，提供12路数据通讯接口，满足通过公网或专网、有线或无线发送数据的技术要求。

主要功能如下：

①逻辑控制功能：逻辑控制是可订制的业务功能，如根据采集器采集的温度数据进行智能控制空调启停。一个DO口的输出可以根据多个AI/ DI输入数据进行判断后符合输出条件再输出。

②支持通过以太网口，将设备采集的数据多路分发的功能。

③设备支持采集的数据本地存储，WEB方式配置，具备网管功能；

④支持SNMP协议；支持远程在线升级功能；支持时钟同步功能。

图3　物联网智能网关采集设备连接拓扑示意图

2　系统设计

（1）平台总体架构

大数据能源管理系统采用云计算模式的设计方式[6]。可将平台按IaaS、PaaS、SaaS分成三层规划，分别解决资源共享、平台共享、服务共享的问题。该设计模式有利于降低建设成本、提高系统灵活性，便于数据和服务的管理和共享，如图4所示。

能耗采集层通过物联网智能感知及虚拟化能源管理平台来实现，提供按需可配的计算和存储资源，具备平滑的扩展能力。

能源管理云平台服务层提供应用部署、管理及云平台监控功能，考虑到技术及业务未来发展变化所带来的平台的弹性要求，采用SOA理念设计，减少各子系统在技术上的相互依赖性。

能源管理系统软件服务层由能管中心和第三方软件开发企业开发相应的能源管理分析软件模块，接入中心能源管理大数据云平台，实现快速软件开发和部署。该中心软件主要实现数据可视化呈现、检索查询、能耗数据图表生成、数据挖掘、聚类分析、能耗模型预警、能耗数据在线监测，节能规划业务的办理和流程管理，对外服务的数据接口，以及包括监控管理中心、大屏幕呈现、桌面客户端、移动客户端、短信、邮件等各类前端软件的技术实现。

云平台整体提供数据安全管理及用户管理，由于能耗数据一般都有一定的涉密属性，需要对能耗数据传输、存储、分析、以及使用的过程进行全流程安全规划和管理，以保证关键数据及数据接口的安全。平台还具备用户权限管理及审计诊断功能。整个系统以数据仓库为基础[7]，以云计算平台为支撑，结合ETL和并行数据挖掘开发套件，打造出高性能，高实时性，高灵活性的新一代基于“云”计算的能源大数据综合管理系统云平台。按照技术发展趋势，采用如图5所示系统技术实现数据流程。

图4　大数据能源管理系统架构示意图

图5　系统数据流程示意图

（2）系统功能模块设计

大数据能源管理中心云平台的主要功能可以划分为五个模块，包括数据采集模块、能耗综合管理模块，大屏幕管理模块、系统管理模块和软件平台模块，功能划分如图6所示。

图6　系统功能模块设计示意图

（3）系统实现

本论文提出的大数据能源管理系统是以个基于工业物联网与大数据分析的综合能耗管理系统。

大范围、多地域、全网同步的数据采集汇聚集中上传需要性能水平极高的云网络及云存储资源，整体系统建设和运维最适合由3大电信运营商承担，何况要对不同用能单位建立一一对应的多维度关联能耗排放模型，对自控可靠的用能单位要通过模型的仿真模拟计算结果，对相关用能设备实施反向开关待机操作，实现用能设备动态能效优化，这又需要极强大的云计算资源，这样的操控实施更应掌握在国有主流央企手中，3大运营商的云计算资源基本有保证。电信运营商已建设的网管系统和动环监控系统负责运营商自身能耗数据的采集及融合接入，政府发文强制重点能耗企业采用标准化物联网采集网关及国标智能电表无线接入此系统、或企业已有系统按统一能耗排放数据采集及接口标准规范专线转发接入此运营商能源管理云平台，运营商收流量费及功能费。如用能户使用能源审计诊断功能索取能源使用咨询报告可另收咨询费等，政府向运营商付财政补贴、维护费、流量费及服务费购买服务，运营商还可收能耗排放源数据交易费并向政府交管理费等。运营商向系统技术供应商支付开发费及技术支撑费等。

通信运营商能源大数据管理系统实时掌握能耗情况、健全各用能设备实时能耗模型以进行能源使用趋势预测，实现对各种用能设备的动态优化能耗管理及时采取调度措施，提高运维部门管理水平，及时发现提前预报运行设备故障，实现预防性维护，使各用能设备尽可能运行在最佳状态，并将对能耗的影响降到最低，符合国务院办公厅十二五节能减排提出政策导向，履行企业节能减排的责任，为加快建设资源节约型、环境友好型社会做出贡献。

能源管理大数据云平台通过对大规模机房/基站的海量用能数据进行聚类分析、相关性分析、建立用能场所能耗模型，确立标杆机房/基站。系统通过构建能耗分析相关的理论知识、试验数据、专家经验以及相关的定义、定理等组成知识库，在计算机中存储、组织、实现和使用互相联系的知识库集合，有效地实现知识表现和推理，与数据挖掘和OLAP紧密结合，帮助用户进行分析，给出合理的结论和建议，提高社会经济效益[8]。

大数据分析采用了多种“ETL、分类、聚类、相关性分析”等多种数据挖掘算法[9]。采用的ETL工具有：OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCent⁃er、AICloudETL、DataStage和DataSpider等。实现了数据抽取、清洗、选择、转换、知识发现等功能。ETL数据挖掘技术方案如图7所示。基于数据挖掘技术，项目建立了统一数据整合平台。

数据可视化包括能耗数据分析的结果展示，提供通用和个性订制化的数据分析服务，及自定义可视化报表等；以及用能场所3D场景及CFD温度及能效云场呈现等。

图7　ETL数据挖掘技术实现

3　结束语

本论文设计的能源大数据管理系统以物联网感知采集能耗数据为基础，以云计算网络平台为支撑，结合ETL和并行数据挖掘开发套件，打造出高性能，高实时性，高灵活性的新一代基于物联网结合云计算技术的大数据能源管理系统。并逐步实现做为云计算网络平台的具体应用内容实施运行，利用云计算网络平台的多租户功能，为通信运营商及全社会其他用能单位，为节能减排政府管理机构提供能耗分项计量统计分析、节能咨询等服务。

［1］钟智.构建在线式电能质量监测网络［J］.通信电源技术，2009，26（增刊）：110-112.

［2］宋福峰，刘宝昌.数通信电源系统设计及运行维护中节能方案探讨［J］.电信工程技术与标准化，2010（3）：69-71.

［3］Behrouz a.Forouzan.Data communications and network⁃ing（third edition）［M］.Mcgraw-hill，2004：186-209.

［4］周双阳.全生态移动通信网络建设［J］.通信世界，2009（42）：28.

［5］毛国君，段立娟，王实，等.数据挖掘原理与算法：第二版［M］.北京：清华大学出版社，2007.

［6］殷正坤.浅析云计算在网络技术中的应用［J］.电子制作，2013（16）：153.

［7］郭川，军朱贵.数据仓库技术研究［J］.信息技术，2004（04）：61-63.

［8］张进京.信息化与节能减排关系分析：上［J］.中国信息界，2009（11）：43-47.

［9］赵法信，刘俊岭.数据流聚类算法研究［J］.通化师范学院学报，2006（02）：29-32.

(编辑：阮毅)

Implementation of Energy Data Management System

CHEN Ke-sheng
（GuangdongWincom Technology Developing Co.，Ltd.，Guangzhou510075，China）

For the telecom operators in their need for energy conservation and the social service of different users and different needs of government energymanagementmechanism of energy consumption information service，this paper presents the energy datamanagement system for telecom operators Internet based cloud computing.First，summarizes the related technology research and development background of energy data management system，secondly，introduces the system design，and then discusses the system implementation，finally，makesa summary of thisarticle.

submetering；conserveenergy and reduceemissions；Internetof things；mobile Internet；cloud computing；big data

TP3

A

1009－9492(2015)06－0024－05

10.3969/j.issn.1009-9492.2015.06.006

2015－03－25

陈克胜，男，1972年生，重庆人，大学本科，工程师。研究领域：半导体传感与微电子、动力设备及环境监控、电信运营商综合能源管理。已发表论文2篇。