基于多注意力机制集成的非侵入式负荷分解算法

王赟　葛泉波　姚刚　王梦梦　姜淏予

摘要 针对输入负荷特征对分解结果的重要程度不同，以及长短时记忆网络（LSTM）在捕捉长时间用电信息的时间依赖性方面受限导致分解误差高等问题，提出一种基于多注意力机制集成的非侵入式负荷分解算法．首先，利用概率自注意力机制对一维空洞卷积提取到的负荷特征进行优化处理，实现重要负荷特征的遴选;其次，采用时间模式注意力机制对LSTM的隐状态赋予权重，从而增强网络对长时间用电信息之间的时间依赖性的学习能力;最后，利用公开数据集UKDALE和REDD对所提分解模型的有效性和创新性进行验证．实验结果表明，与其他多种现有分解算法相比，基于多注意力机制集成的分解算法不仅具备更好的负荷特征遴选能力，而且能更加精确地建立特征之间的时间依赖关系，有效降低了分解误差．关键词 负荷分解;注意力机制;卷积神经网络;长短时记忆网络

中图分类号TP18

文献标志码A

0 引言

非侵入式负荷分解又称为非侵入式负荷监测（Non-Intrusive appliance Load Monitoring，NILM），它具有经济性、实用性与安全性，更符合当下智能电网的发展，具有前瞻性［1-2］．NILM可向电力用户反馈电器精细化用电信息，使用户更清晰、更准确地了解用电设备的使用情况，从而引导用户改善自身的用电行为，实现用能的高效化和经济化［3］;同时，电力公司可对分解结果加以分析与利用，加强电力需求侧的能源管理和负荷优化;从用户侧入手，还可以挖掘更大的节能潜力，实现电网和电力用户之间的双向互动［4-5］．非侵入式负荷分解技术已然成为需求侧能源管理的有效技术手段［6-8］，因此研究非侵入式负荷分解具有重要的实际意义．

目前，非侵入式负荷分解算法可以分为三大类：基于数学优化的、基于模式识别的和基于深度学习的［9-10］．Hart等［11-12］首先提出非侵入式负荷监测的基本概念和处理框架，将非侵入式负荷分解问题转化为数学优化问题．其主要思想是找到目标用电设备及其相应运行状态的一个最佳组合，使该组合的用电信息与总用电信息之间的差距最小［12-14］．但是这种分解算法只适用于有限运行状态的用电设备，对于具有连续运行状态或负荷特征相似的用电设备，却无法正确分解出单个电器的用电信息．为解决这一问题，研究人员开始探索将机器学习应用到分解问题中，并提出一类新的分解算法，即基于模式识别的分解算法．其主要思想是利用机器学习算法学习总用电信息的负荷特征与单个用电信息之间的关联模式，实现负荷分解．这类算法解决了数学优化方法所存在的问题，但是基于数学优化和基于模式识别的分解算法均需要手动提取负荷特征，存在较大的主观性［9］．

深度学习在处理大数据问题［15-16］时具有强大的学习能力、非线性映射能力以及适应能力，因此研究人员开始将深度学习引入到非侵入式负荷分解领域，实现了负荷特征的自动提取，增加了分解算法的实用性．2015年，Kelly等［17］提出使用深度神经网络进行负荷特征的自动提取并实现负荷分解，建立3个基于深度神经网络架构的负荷分解算法，并在公開数据集上选用7个评估指标对模型进行评估，结果表明深度神经网络的分解结果在大多数情况下要优于组合优化和FHMM算法．文献［18］提出一种带有滑动窗口的网络架构，实现了总用电信息的实时分解．文献［19］提出一种基于全卷积去噪自编码器结构的负荷分解模型，与文献［17］中所提出的自动编码器相比，该方法具有更好的分解性能和更稳定的分解能力．虽然深度学习能自动提取负荷特征，但是实际情况下负荷特征的重要程度存在一定的差异性．为解决这一问题，文献［20］通过采用自注意力机制增强了模型对重要负荷特征的自动提取能力;文献［21］将传统注意力机制与GRNN相结合，实现了关键负荷特征的提取;文献［22］将Bahdabau注意力与自注意力同时引入分解模型中，有效降低了分解误差．然而自注意力机制在实际场景下的计算复杂度与数据长度的二次方成正比［23］，传统注意力机制也只能评估时间步的重要性，表明这两种注意力机制并不适用于评估负荷特征重要性．同时，用电信息时间关联性强、时间跨度大的特点，导致负荷分解算法在学习用电信息之间的时间依赖性时具有一定的局限性．

本文使用概率自注意力机制（ProbSparse Self-Attention Mechanism）在降低计算复杂度的同时保证算法具备选择重要负荷特征的能力，采用时间模式注意力机制（Temporal Pattern Attention，TPA）增强算法对时间依赖性的学习能力，并将两种注意力机制进行集成融合，提出了一种基于多注意力机制集成的非侵入式负荷分解算法．该算法的主要改进性工作包括：

1）利用空洞卷积来改善特征提取效果.

针对模型无法提取远距离负荷特征的问题，采用空洞卷积代替普通卷积来改善模型的初步特征提取部分，在不过多增加模型超参数的前提下提取到时间跨度更长、更丰富的负荷特征［24］．

2）应用概率自注意力机制遴选重要特征.

现有的大多数负荷分解算法并未进一步对初步提取到的负荷特征的重要性进行评估，导致冗余特征过多．因此，在空洞卷积后引入概率自注意力机制［23］来衡量负荷特征对分解结果的重要性，实现对重要特征的筛选［25］．

3）引入时间模式注意力机制增强算法对时间特征的处理能力．

针对部分负荷分解算法对负荷特征之间的时间依赖性建模能力较弱的问题，采用时间模式注意力机制［26］提升整个负荷分解算法处理时间特征的能力，增强对时间依赖性的建模水平．

4）采用残差结构改善局部信息丢失问题.

考虑到空洞卷积在提取负荷特征时，因卷积核的不连续性常造成局部信息丢失问题，通过引入残差结构并将浅层特征与深层特征相结合，以此来保证了负荷特征的完整性［27］，同时采用批归一化加速模型训练过程［28］．

1 基于多注意力机制集成的非侵入式负荷分解算法

1.1 概率自注意力机制

基于深度学习的负荷模型虽然能实现负荷特征的自动提取，但负荷特征对分解结果的重要程度存在一定的差异性［28］，文献［20］使用标准自注意力机制来解决这一问题．然而标准自注意力机制的计算复杂度使其在处理非常长的时间序列问题时（如电器用电信息）受到限制［29］．

为解决该问题，本文采用概率自注意力机制代替标准自注意力机制降低计算复杂度．通过概率自注意力机制实现负荷特征的自主选择优化输入特征，提高模型处理负荷特征的能力．概率自注意力机制的工作原理[29-30]如图1所示．

1.2 时间模式注意力机制

1.3 两种机制集成的可行性分析

负荷特征作为负荷分解的输入，是决定算法性能好坏的重要因素．不同时间点的负荷特征对分解结果的重要程度也具有差异性．基于深度学习的非侵入式负荷分解算法虽然可以实现负荷特征的自动提取，但是特征冗余度较高，训练出的分解模型性能也会受到影响［29］．因此，本文引入概率自注意力机制对负荷特征重要性进行评估．依据每个负荷特征对分解结果的重要程度，对重要负荷特征赋予较高的权值，实现负荷特征的筛选，加强一维空洞卷积特征提取能力的同时优化了LSTM的输入．

用电信息属于一种时间跨度长的序列数据，因此对负荷特征之间的时间依赖关系进行有效建模能够提升算法的分解性能，而深度学习中的LSTM网络虽然能有效学习负荷特征之间的依赖关系，但随着输入数据的长度增加，其对历史信息的记忆能力和对时间依赖性建模的能力会受到限制［30-32］．因此引入时间模式注意力机制来学习相关时间点特征之间的关联性，从而加强分解模型捕捉用电信息时间依赖性的能力，改善LSTM对长时序数据中历史信息的记忆时长．

两种注意力机制在分解模型的构建中具有先后关系，具体集成架构［29］如图3所示．首先，将一维空洞卷积层提取到的初步负荷特征输入到概率注意力机制中，对负荷特征赋予相应权值，实现负荷特征的二次提取，降低冗余负荷特征对分解模型的影响．其次，将筛选过的负荷特征直接输入LSTM中进行时序性的学习，同时引入时间模式注意力机制加强模型对时间依赖性的建模能力．将两种注意力机制分别与卷积神经网络（CNN）和LSTM集成后便可得到一种新的分解算法．

1.4 基于多注意机制集成的非侵入式负荷分解算法

为有效解决负荷特征对分解结果的重要程度存在差异性，以及模型对长时间序列的时间依赖性学习能力不足导致分解误差高的问题，本文提出一种基于多注意力机制集成的非侵入式负荷分解算法，具体算法架构如图4所示．

1.5 简要小结

2 实验与分析

2.1 数据集与目标设备的选取

2.2 数据预处理

2.3 评价指标

2.4 实验结果分析

3 结论

本文提出一种基于多注意力机制集成的非侵入式负荷分解模型，并采用公开数据集UKDALE和REDD验证算法的有效性．首先采用空洞卷积层对低频有功功率数据进行初步特征提取，扩大网络对负荷特征的提取范围，丰富负荷特征;其次，使用概率注意力机制实现重要负荷特征的权重赋值;最后，在LSTM层后引入时间模式注意力机制，进一步增强模型对负荷特征中时间依赖性的学习能力;同时在模型中引入残差连接，将浅层特征和深层特征相结合，丰富负荷特征，并引入批归一化加速模型训练．相较于其他模型，本文所提模型在所选电器的评价指标上都表现良好，这表明多注意力机制的引入使得分解模型具有更好的分解性能．本文所提模型的分解性能虽然具备一定优势，但目前工作只选取了2种数据集中常见的4种电器进行分解实现，后续将探究本文模型在其他数据集、其他用电设备上的分解性能．同时在未来的工作中，将以减少训练时间、提高模型泛化能力为目标，对模型进一步改进与优化．

参考文献 References

［1］余贻鑫，刘博，栾文鹏.非侵入式居民电力负荷监测与分解技术［J］.南方电网技术，2013，7（4）：1-5YU Yixin，LIU Bo，LUAN Wenpeng.Nonintrusive residential load monitoring and decomposition technology［J］.Southern Power System Technology，2013，7（4）：1-5

［2］ Nalmpantis C，Vrakas D.Machine learning approaches for non-intrusive load monitoring：from qualitative to quantitative comparation［J］.Artificial Intelligence Review，2019，52（1）：217-243

［3］ 鄧晓平，张桂青，魏庆来，等.非侵入式负荷监测综述［J］.自动化学报，2022，48（3）：644-663

DENG Xiaoping，ZHANG Guiqing，WEI Qinglai，et al.A survey on the non-intrusive load monitoring［J］.Acta Automatica Sinica，2022，48（3）：644-663

［4］ Gopinath R，Kumar M，Joshua C，et al.Energy management using non-intrusive load monitoring techniques state-of-the-art and future research directions［J］.Sustainable Cities and Society，2018，52（2）：1-7

［5］ 張晓东.基于深度学习算法的非侵入式负荷分解研究［D］.南京：南京信息工程大学，2021ZHANG Xiaodong.Research on non-intrusive load decomposition based on deep learning algorithm［D］.Nanjing：Nanjing University of Information Science ＆ Technology，2021

［6］ 代业明，高红伟，高岩，等.具有电力需求预测更新的智能电网实时定价机制［J］.电力系统自动化，2018，42（12）：58-63DAI Yeming，GAO Hongwei，GAO Yan，et al.Advances and perspectives on applications of deep learning in visual object detection［J］.Acta Automatica Sinica，2018，42（12）：58-63

［7］ Donato P G，Hernndez ，Funes M A，et al.Review of NILM applications in smart grids：power quality assessment and assisted independent living［C］／／2020 Argentine Conference on Automatic Control （AADECA）.October 28-30，2020，Buenos Aires，Argentina.IEEE，2020：1-6

［8］ Armel K C，Gupta A，Shrimali G，et al.Is disaggregation the holy grail of energy efficiency？ The case of electricity［J］.Energy Policy，2013，52：213-234

［9］ 程祥，李林芝，吴浩，等.非侵入式负荷监测与分解研究综述［J］.电网技术，2016，40（10）：3108-3117CHENG Xiang，LI Linzhi，WU Hao，et al.A survey of the research on non-intrusive load monitoring and disaggregation［J］.Power System Technology，2016，40（10）：3108-3117

［10］ Liang J，Ng S K K，Kendall G，et al.Load signature study.part I：basic concept，structure，and methodology［J］.IEEE Transactions on Power Delivery，2010，25（2）：551-560

［11］ Hart G W.Nonintrusive appliance load monitoring［J］.Proceedings of the IEEE，1992，80（12）：1870-1891

［12］ Hart G W，Kern E C，Schweppe F C.Non-intrusive appliance monitor apparatus：US4858141［P］.1989-08-15

［13］ 孙毅，崔灿，陆俊，等.基于遗传优化的非侵入式家居负荷分解方法［J］.电网技术，2016，40（12）：3912-3917SUN Yi，CUI Can，LU Jun，et al.A non-intrusive household load monitoring method based on genetic optimization［J］.Power System Technology，2016，40（12）：3912-3917

［14］ Ding G F，Wu C H，Wang Y，et al.A novel non-intrusive load monitoring method based on quantum particle swarm optimization algorithm［C］／／2019 11th International Conference on Measuring Technology and Mechatronics Automation （ICMTMA）.April 28-29，2019，Qiqihar，China.IEEE，2019：230-234

［15］ 吴香华，华亚婕，官元红，等.基于CNN-Attention-BP的降水发生预测研究［J］.南京信息工程大学学报（自然科学版），2022，14（2）：148-155WU Xianghua，HUA Yajie，GUAN Yuanhong，et al.Application of CNN-Attention-BP to precipitation forecast［J］.Journal of Nanjing University of Information Science ＆ Technology （Natural Science Edition），2022，14（2）：148-155

［16］ 郭佳丽，邢双云，栾昊，等.基于改进的LSTM算法的时间序列流量预测［J］.南京信息工程大学学报（自然科学版），2021，13（5）：571-575GUO Jiali，XING Shuangyun，LUAN Hao，et al.Prediction of time series traffic based on improved LSTM algorithm［J］.Journal of Nanjing University of Information Science ＆ Technology （Natural Science Edition），2021，13（5）：571-575

［17］ Kelly J，Knottenbelt W.Neural NILM：deep neural networks applied to energy disaggregation［C］／／Proceedings of the 2nd ACM International Conference on Embedded Systems for Energy-Efficient Built Environments.November 4-5，Seoul，South Korea.New York，NY，USA：ACM，2015.DOI：10.1145／2821650.2821672

［18］ Krystalakos O，Nalmpantis C，Vrakas D.Sliding window approach for online energy disaggregation using artificial neural networks［C］／／Proceedings of the 10th Hellenic Conference on Artificial Intelligence，2018：1-6

［19］ García-Pérez D，Pérez-López D，Díaz-Blanco I，et al.Fully-convolutional denoising auto-encoders for NILM in large non-residential buildings［J］.IEEE Transactions on Smart Grid，2021，12（3）：2722-2731

［20］ 蒙亮，于超，张希翔，等.基于一维卷积神经网络和自注意力机制的非侵入式负荷分解［J］.电力大数据，2020，23（10）：1-8MENG Liang，YU Chao，ZHANG Xixiang，et al.Non-intrusive load disaggregation based on 1D convolutional neural network and self-attention mechanism［J］.Power Systems and Big Data，2020，23（10）：1-8

［21］ 余登武，刘敏，汪元芹.基于GRNN与注意力机制模型的非侵入式家用负荷分解［J］.智慧电力，2021，49（3）：74-79YU Dengwu，LIU Min，WANG Yuanqin.Non-invasive household load decomposition based on GRNN and attention mechanism model［J］.Smart Power，2021，49（3）：74-79

［22］ Yang M Z，Li X C，Liu Y.Sequence to point learning based on an attention neural network for nonintrusive load decomposition［J］.Electronics，2021，10（14）：1657

［23］ Zhou H Y，Zhang S H，Peng J Q，et al.Informer：beyond efficient transformer for long sequence time-series forecasting［J］.arXiv e-print，2020，arXiv：2012.07436

［24］ Zhu R J，Liao W L，Wang Y S.Short-term prediction for wind power based on temporal convolutional network［J］.Energy Reports，2020，6：424-429

［25］ 李梅，宁德军，郭佳程.基于注意力机制的CNN-LSTM模型及其应用［J］.计算机工程与应用，2019，55（13）：20-27LI Mei，NING Dejun，GUO Jiacheng.Attention mechanism-based CNN-LSTM model and its application［J］.Computer Engineering and Applications，2019，55（13）：20-27

［26］ Shih S Y，Sun F K，Lee H Y.Temporal pattern attention for multivariate time series forecasting［J］.Machine Learning，2019，108（8／9）：1421-1441

［27］ 赵敬娇，赵志宏，杨绍普.基于残差连接和1D-CNN的滾动轴承故障诊断研究［J］.振动与冲击，2021，40（10）：1-6ZHAO Jingjiao，ZHAO Zhihong，YANG Shaopu.Rolling bearing fault diagnosis based on residual connection and 1D-CNN［J］.Journal of Vibration and Shock，2021，40（10）：1-6

［28］ 刘建伟，赵会丹，罗雄麟，等.深度学习批归一化及其相关算法研究进展［J］.自动化学报，2020，46（6）：1090-1120LIU Jianwei，ZHAO Huidan，LUO Xionglin，et al.Research progress on batch normalization of deep learning and its related algorithms［J］.Acta Automatica Sinica，2020，46（6）：1090-1120

［29］ 李晓，卢先领.基于双重注意力机制和GRU网络的短期负荷预测模型［J］.计算机工程，2022，48（2）：291-296，305LI Xiao，LU Xianling.Method for forecasting short-term power load based on dual-stage attention mechanism and gated recurrent unit network［J］.Computer Engineering，2022，48（2）：291-296，305

［30］ 刘建伟，刘俊文，罗雄麟.深度学习中注意力机制研究进展［J］.工程科学学报，2021，43（11）：1499-1511LIU Jianwei，LIU Junwen，LUO Xionglin.Research progress in attention mechanism in deep learning［J］.Chinese Journal of Engineering，2021，43（11）：1499-1511

［31］ Niu Z Y，Zhong G Q，Yu H.A review on the attention mechanism of deep learning［J］.Neurocomputing，2021，452：48-62

［32］ Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need［J］.arXiv e-print，2017，arXiv：1706.03762

［33］ Yu F，Koltun V，Funkhouser T.Dilated residual networks［C］／／2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：636-644

［34］ He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition［C］／／2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778

［35］ Ioffe S，Szegedy C.Batch normalization：accelerating deep network training by reducing internal covariate shift［C］//Proceedings of the 32nd International Conference on Machine Learning，2015，37：448-456

［36］ Zhang C Y，Zhong M J，Wang Z Z，et al.Sequence-to-point learning with neural networks for non-intrusive load monitoring［C］／／Proceedings of the 32nd AAAI Conference on Artificial Intelligence，2018：2604-2611

［37］ Tongta A，Chooruang K.Long short-term memory （LSTM） neural networks applied to energy disaggregation［C］／／2020 8th International Electrical Engineering Congress （iEECON）.March 4-6，2020，Chiang Mai，Thailand.IEEE，2020：1-4

［38］ Wang K，Zhong H W，Yu N O.Nonintrusive load monitoring based on sequence-to-sequence model with attention mechanism［J］.Proceeding of the CSEE，2019，39（1）：75-83

［39］ Babaei T，Abdi H，Lim C P，et al.A study and a directory of energy consumption data sets of buildings［J］.Energy and Buildings，2015，94：91-99

［40］ Kelly J，Knottenbelt W.The UK-DALE dataset，domestic appliance-level electricity demand and whole-house demand from five UK homes［J］.Scientific Data，2015，2：150007

［41］ Kolter J Z，Johnson M J.REDD：a public data set for energy disaggregation research［C］／／Workshop on Data Mining Applications in Sustainability （SIGKDD），2011，25：59-62

［42］ 劉仲民，侯坤福，高敬更，等.基于时间卷积神经网络的非侵入式居民用电负荷分解方法［J］.电力建设，2021，42（3）：97-106LIU Zhongmin，HOU Kunfu，GAO Jinggeng，et al.Non-intrusive residential electricity load disaggregation based on temporal convolutional neural network［J］.Electric Power Construction，2021，42（3）：97-106

［43］ Kaselimi M，Doulamis N，Voulodimos A，et al.Context aware energy disaggregation using adaptive bidirectional LSTM models［J］.IEEE Transactions on Smart Grid，2020，11（4）：3054-3067

Non-intrusive load decomposition model based onmulti-attention mechanism integration

WANG Yun GE Quanbo YAO Gang WANG Mengmeng JIANG Haoyu

1Logistics Engineering College，Shanghai Maritime University，Shanghai 201306

2School of Automation，Nanjing University of Information Science ＆ Technology，Nanjing 210044

3College of Electronic and Information Engineering，Tongji University，Shanghai 201804

4College of Electronic and Information Engineering，Guangdong Ocean University，Zhanjiang 524088

AbstractIn view of the different importance of input load characteristics to the decomposition results and the high decomposition error caused by the limited time dependence of LSTM in capturing long-term power consumption information，a non-intrusive load decomposition model based on multi-attention mechanism integration is proposed.First，the probsparse self-attention mechanism is used to optimize the load characteristics extracted by one-dimensional dilated convolution.Then，the temporal pattern attention mechanism is used to give weight to the hidden state of LSTM，so as to enhance the learning ability of the network on the time dependence of long-term power consumption information.Finally，the validity of the proposed decomposition model is verified using the publicly available dataset UKDALE and REDD.Experimental results show that，compared with other decomposition algorithms，the proposed decomposition model based on multi-attention mechanism integration not only has the ability to select important load features，but also can correctly establish the time-dependent relationship between features and effectively reduce the decomposition error.

Key words load decomposition;attention mechanism;convolutional neural network （CNN）;long short-term memory （LSTM） network