能耗在线监测平台大数据挖掘助力节能减排应用研究

慕慧娟，冯雪峰

（新疆计量测试研究院，新疆乌鲁木齐，830013）

0 引言

“节能减排”是贯彻落实科学发展观，统筹经济、社会与环境协调发展的必然要求，加快高污染、高耗能、资源型行业的“节能减排”工作，是促进国民经济与社会可持续发展的一项长期战略部署。为发挥计量在推动节能减排工作中的重要作用，国家成立国家城市能源计量中心（新疆），并搭建新疆能耗数据在线监测平台，经过十多年的运行，已实现疆内200多家重点耗能企业能耗数据实时在线采集，积累了丰富的能耗管理实践经验，在服务政府能效管控方面提供了决策依据。但对企业直报数据和在线采集数据挖掘程度不够，企业对于科学有效降低能耗实现节能减排方法措施也较为有限，随着大数据领域研究的不断深入，启发式算法能为能源大数据分析提供了强有力的工具。本文将聚焦探讨新疆能耗在线监测平台大数据挖掘关键技术，以期助力政府节能减排科学决策，服务企业能耗管理有效绿色发展做出更大的贡献。

1 能耗数据处理

主要是开展能源消耗数据特性研究，进行能源消耗数据清洗，研究大数据技术应用，构建能效数据挖掘理论模型，深度学习技术建模实现等[1]。

■1.1 能源消耗数据特性

以水、电、煤、天然气、人工煤气、液化石油气、汽油、柴油等能源类型为主，结合用能单位的地理位置、企业性质、企业规模、企业产出、计量设备等数据，对国家城市能源计量中心（新疆）能耗数据在线监测平台已采集数据的有效性、准确性、完整性、表示的一致性、计量单位的正确性、标准煤系数的可靠性、不同数据之间的相关性、高纬低密度等特性开展研究，为清洗能源消耗数据奠定初步基础。

■1.2 能源消耗数据清洗

由于高维、低密度的特性，能耗数据必须经过清洗才能保证数据格式的一致性、正确性、无重复、无NULL值等可能导致挖掘失效的数据。采用ETL工具和分布式并行处理框架来实现能耗数据的清洗。主要针对不同质量的能耗数据采用统计学方法、聚类、分类、基于距离的方法、关联规则等方法进行分类清洗，从而清洗普遍存在的空缺值、噪音值和不一致数据。数据清洗过程采用可视化技术，从而实现有效的展示和交互，用于提高数据错误识别和清理的效率，这种透明化的清洗过程，有助于故障、错误发生时的自我诊断与排查。清洗后的能耗数据在汇聚多个维度、多个来源、多种结构的数据之后，就可以对数据进行抽取、转换、集成加载。从而为大数据挖掘奠定基础。

■1.3 大数据技术

深度学习是机器学习研究中的一个新领域，在处理大数据方面很有优势，可以通过大量数据训练学习，进而提取数据底层特征形成更加抽象的高层特征，形成一定类型的模型，来对其他数据进行预测。目前深度学习在计算机视觉、语音识别和自然语言处理等领域都有很好的应用。采用深度学习算法的理论，并基于模式识别、图像识别、复杂动力系统模拟等应用领域，学习并选择出能够与能耗数据挖掘目的相匹配的深度学习算法。

■1.4 能效数据挖掘理论模型

常规的能源数据分析方法一般通过拟合用能单位往期能源消耗的规律，来达到分析未来能源消耗数据的目的，在分析模型的选择上为了提高分析的准确性往往是利用两种或者多种分析模型的组合，而很少采用单一分析模型。传统的分析模型是基于残差的分析模型，首先使用一个线性分析模型对原始数据序列进行分析得到一个线性分析分量，再使用原始数据减去线性分析分量得到一个残差序列，最后使用非线性分析模型分析残差序列得到残差分析序列，最后将线性分析分量与残差分析分量相加得到最终的分析分量。但是由于这种传统分析模型在构建模型的时候，没有分析数据特性而直接用真实数据减去线性模型的分析数据而分解出非线性分量，在实际使用场景中具有一定的局限性[2]。

针对传统混合模型的缺点，基于几种常用的时序分析算法模型，使用一种新模型来完成对能源消耗数据的分析。其主要思是使用经验模态分解（Empirical Mode Decomposition，简称 EMD）分解原始数据，得到多个数据分量，通过分析各数据分量特性，然后针对不同的分量使用与其相对应的模型进行分析。

■1.5 深度学习技术建模实现

基于清洗后的能耗数据和能效数据挖掘理论模型，采用Java或Python等软件技术，选择合适的深度学习算法进行模型训练，并验证模型的有效性。

2 数据挖掘关键技术

■2.1 能源消费量在线监测指标体系及计算方法

能源消费量在线监测由用能单位能源计量，仪表测量实时能源消费量数据，通过安装在用能单位的数据集中采集终端进行汇总后，不同地区、不同行业、不同企业按照制定好的传输协议，通过网络向能源数据中心上传其能源消费量数据。能源消费量在线监测架构如图1所示[3]。

图1 能源消费量在线监测架构图

■2.2 大数据云计算节点的合理分布

针对分布式异构系统资源性能的变化引起的系统负载不平衡现象，设计一种基于虚拟网络映射有效的任务处理方法，如贝叶斯算法，强化学习等，减少额外的计算和能量消耗，以实现高资源利用率、低带宽成本和低能耗的大规模任务高效并行执行。针对大规模事务数据高效处理的两阶段任务部署如图2所示。

图2 大数据环境拓扑结构

■2.3 不规则特征数据的预处理

（1）数据离散化

面对海量的待处理数据和非结构化数据，针对部分数据存在连续属性值的问题，研究数据离散化来减少给定连续属性值，简化数据结构。

（2）缺失填补

针对数据存在缺失值的问题，在数据处理过程中，无法避免的会丢失一定的数据点，而一旦一些关键部分缺失，整个数据就会失去作用，也就没有了存在价值，同时也会影响数据挖掘结果，因此，需要进行缺失值填补。

（3）数据标准化

针对为便于不同单位或量级指标的比较评价问题，需要进行数据标准化。考虑到使用的数据集中的特征值均为正值，所以使用简化后的转换函数来对每个分量进行归一化处理。从而，消除了特征空间因值域差异造成的特征值选择误差。

（4）数据约简

综合能源消耗数据规模较大，若都用于数据挖掘分析当中，工作量将是巨大的，因此，需要对其进行约简，在减少数据量的同时，并不破坏原有数据完整性，只是减少了与研究目的不相关的冗余数据。数据预处理的算法如图3所示。

图3 数据预处理算法

■2.4 不同的人工智能方法对能耗数据的分析能力

（1）针对析分寻找给定数据集中数据项之间隐藏的关联关系问题，利用如Apriori 算法和K-means 算法等因子分析法和关联性分析法描述数据之间的密切程度、发现大量数据中项集之间的关联规则或者相关关系，更迅速准确的找出有价值的规则，提高关联规则的理解性[4]。

（2）针对传统数据挖掘方法在处理大数据方面能力有限的问题，使用如CNN，RNN等鲁棒性高、学习能力强且拥有强大的表征能力和非线性建模能力的机器学习框架，深入挖掘能源消耗大数据与目标问题的关联性，建立更精确的智能学习模型。

（3）针对不同的自学习算法对于处理不同特征数据的分析效率和准确性问题，探究不同的网络架构对于能耗数据的适用性。对于不同机器学习模型和模型的组合使用如图4所示。

图4 能耗大数据应用研究框架图

■2.5 数据挖掘和机器学习模型分析后的节能减排决策

针对如何利用模型分析和数据挖掘后对于节能减排的结果为节能减排提供数据支撑问题，研究预警分析、分析评价、模拟规划、系统实现等功能的实现，通过多样化的结果展示，从而在实际中起到决策支持的作用，为政府的决策提供依据[5]。能耗大数据挖掘与节能减排应用研究框架如图5所示。

3 对策建议

■3.1 建立新疆能耗在线监测平台运行长效机制

在广泛借鉴国际、国内能耗监测平台建设经验的基础上，结合新疆自身的工业资源禀赋特色实际，提出机制建设总体思路和各项机制建设备选方案。重点抓好新疆能耗在线监测平台标准化管理与产业提质增效发展促进机制；探讨构建新疆能耗在线监测产业联盟长效运行机制；深入研究细分行业大数据应用示范规范与标准机制；

■3.2 深入开展“一带一路”中心节点城市建设与工业互联网协同研究

深入分析“一带一路”战略给新疆工业行业产业带来的机遇，挖掘新疆作为核心区建设“一带一路”中心节点城市面临的资源、科技、人才、政策、机制、基础设施等各方面的优势和短板。

■3.3 建立新疆能耗在线监测平台绿色信贷或基金

集成促进新疆能耗在线监测平台的多项长效机制，整合多种资金资源，建立新疆工业产业转型升级，提质增效的发展基金。

4 总结

基于国家城市能源计量中心（新疆）能耗数据在线监测平台已收集的高维、低密度特征的大数据，采用以深度学习为主的大数据分析技术，对新疆不同行业、地区的能源利用效率、节能潜力、供给侧和需求侧的能源供需情况开展大数据建模研究，建立多领域融合，多任务处理的大数据分析机制，挖掘能耗数据价值，制定能源消费量在线检测指标体系及计算方法，实现对新疆能耗数据的综合分析、评价和预测，找出新疆节能减排的关键点，为新疆节能减排工作部署、产业链的形成等政策制定提供有效的决策数据依据。