基于设备运行状态检测与能量回归同步评估的居民非介入式负荷辨识算法研究

宋玮琼，王立永，宋威，朱肖晶，穆毅凡，冯燕钧

(1.国网北京市电力公司电力科学研究院，北京 100080;2.国网北京市电力公司门头沟供电公司，北京 100080; 3.东南大学，南京 211189)

0 引言

非侵入负荷辨识( NILM) 技术是一种在用户总进线处通过智能电能表或其他信号采集分析设备使用各种信号处理或模式识别方法将总测量电量的分解为各个设备分项电量的过程。非侵入负荷辨识技术能够高效低成本的获得用户分项电能情况，而分项负荷电量的提取能够同时支撑多种具体业务。文献［1］显示向消费者提供设备级能耗反馈可以为每个住宅节省多达12%的能源。文献［2］通过画像技术辨识具有特殊用电行为的弱势群体，例如孤寡老人，针对特殊群体开展其他服务。由于分项负荷感知带来的作用愈加重要，越来越多的学者开始进一步研究并改善非侵入负荷辨识算法的精度。

非侵入负荷辨识的传统实现基于事件检测、匹配的辨识方案，最早由George W. Hart 于1992 年提出［3］，其依赖于正确检测设备的“开关”事件，因其快速高效的特点受到大量学者的研究优化［4-5］，但在小功率启停、特征相似设备启停、开关事件重叠等场景中存在事件匹配失效的局限性［6］。为解决上述问题，隐马尔科夫模型( HMM) 被应用到负荷辨识领域。通过对用户设备使用规律的统计分析，HMM 模型能够学习到用电负荷的时序特征，并在一定程度上解决上述问题，文献［7］采用最大期望算法寻找最佳的隐状态序列，但在用电设备较多场景下算法容易陷入局部最优，文献［8］提出了一种超状态HMM 和稀疏维特比算法，可以分解具有大量状态的用户场景，但未详细分析负荷连续变化型设备对算法的影响。

近年来，随着神经网络在语音图像识别领域的大量成功应用，非侵入负荷辨识的算法研究领域因其问题本身与语音识别的相似性，也逐渐将神经网络引入到问题的分析中。文献［9-10］提出基于多层长短记忆神经网络( LSTM) 深度神经网络，实现负荷功率时间关联性的跟踪。文献［11］尝试了卷积神经网络( CNN)串联LSTM，通过引入CNN 提升模型特征提取能力，并改善了训练与预测效率。文献［12］改进了原本输入序列输出序列的网络结构，提出了序列到功率点的分解方法，成功提升了分解精度，但大大增加了计算时间。在研究者不断提升优化负荷功率分解模型准确性的同时，也有学者提出对于负荷辨识某些应用不需要准确的功率信息，只需要准确的设备运行时间，因此聚焦在设备启停状态的辨识上，文献［13］使用CNN 网络对设备进行分类，并输出设备运行的0/1 状态，文献［14］通过循环神经网络( RNN) 在实现设备是否运行的同时，额外分辨了同一设备的不同种工作状态。

尽管在通过神经网络进行能量回归后根据功率阈值可以进行使用时间的判断，但由于辨识结果的高噪声，尤其在设备小功率运行的判断中容易错误估计，因此有必要独立的进行运行状态估计。机器学习算法通常通过评估单个损失函数来针对一个任务进行优化，但如果存在多个相互关联的任务，可以通过优化多个损失函数来训练模型，而这样的多任务学习模式可以提高每个任务的性能指标［15］。负荷辨识中能量分解和设备状态检测是两个紧密相关的任务，在它们之间共享训练参数可以进一步提高NILM 的性能。

文中针对基于能量阈值估计设备运行状态的局限性以及能量分解过程中在设备未运行处的噪声污染，提出了基于能量分解与设备运行状态评估的多任务学习模型，以改善负荷辨识效果。论文首先对独立使用能量分解网络进行负荷辨识的方法存在的局限性进行分析，提出了状态与能量同步估计的算法框架;随后根据负荷能量分解与设备运行状态的强关联特性选择了硬参数共享的多任务学习框架，并针对不同任务中对输入序列全局信息与局部信息的敏感度差异，提出基于多感受野融合的残差网络;最后，实验结果表明文中提出的算法方案取得了预期的效果，尤其在洗衣机与洗碗机设备上的能量误差相较传统网络取得了50%的性能提升。

1 问题建模

对于非侵入负荷辨识问题，最常见的描述方式即为，总进线处有功功率序列等于各个分设备在不同时刻有功功率叠加的总和如式(1) 所示。

式中y(t) 为用户电能表总进线处t时刻的有功功率值;xi(t) 为第i个设备在t时刻的有功功率值; ε(t)为t时刻的线路损耗及其他误差功率值。相对应的，在进行基于深度网络的负荷辨识算法流程如图1 所示，通过总功率序列及分设备功率序列进行模型学习，在训练得到最终参数后，可进行负荷的分离预测。

图1 深度网络算法学习分析过程Fig.1 Deep network algorithm learning and analysis process

在得到分项设备的功率数据后，即可通过设置阈值判断设备的运行状态，如式(2) 所示。

式中si(t) 为用户t时刻的第i个设备启停状态，1为启动，0 为关闭;THRi为判断第i个设备启停状态的功率阈值。

而对于洗衣机、洗碗机这些小型电机类设备，其非电加热档位时，运行功率一般小于100 W，且运行时阻力负载不稳定，运行时功率波动，另外电机水泵程间隔运行特征，因此图2( a) 中信号按照式(2) 分析后得到如图2( b) 所示运行状态情况，这与图2( c) 所示实际设备运行状态存在差异。对于这种状态输出的差异实际可以通过额外的算法进行改进，但由于神经网络在进行信号分离时倾向在电器不工作的时段进行噪声估计，一方面影响整体的能量分解效果，另一方面估计的噪声可能会影响此类小功率设备在使用阈值法判断启停的准确性，因此同时评估设备的使用功率和运行状态能够进一步提升负荷辨识的准确度。

图2 洗衣机运行功率与运行状态示意图Fig.2 Schematic diagram of running power and running state of washing machine

因此当可以同时评估出一个设备的运行状态和行状态和运行功率时，负荷辨识问题即可描述为式(3) :

式中xi(t) 为第i个设备在t时刻的有功功率值;si(t) 为用户t时刻的第i个设备启停状态，每个设备的最终功率被表示为网络输出的功率信号与运行状态信号的乘积。此处可以通过两个独立的模型同时生成功率序列和时间序列，但由于功率序列和时间序列两者本来存在着一定的相似性，因此可以通过一个网络同时生成有功功率与运行状态的多任务学习模式进行设计，下一节将详细展开说明。

2 多任务学习模型

2.1 深度网络多任务学习

多任务学习的先验出发点来自于为了学习一个新的任务时，通常会使用学习相关任务中所获得的知识。从机器学习的角度来看，多任务学习是一种归约迁移( inductive transfer) 。归约迁移通过引入归约偏置( inductive bias) 来改进模型，使得模型更倾向于某些假设。在多任务学习场景中，归约偏置是由辅助任务来提供的，这会导致模型更倾向于那些可以同时解释多个任务的解［15］。

基于深度神经网络的多任务学习中常用两种方法:隐层参数的硬共享与软共享。以文中负荷辨识中能量回归与运行状态评估的多任务学习为例进行说明，如图3 所示，其中参数硬共享机制中两个子任务完全共享隐藏层参数，只在子任务相关的输出层使用独立的网络参数，这种做法类似迁移学习中只在全连接输出层进行微调的方案，能够降低过拟合的风险;参数软共享机制中，每个任务都有独立的模型，独立的参数，同时通过子任务模型参数的距离进行正则化实现模型间参数的相似性以满足规约偏置假设，常见的距离正则化有L2距离正则化，迹正则化等。

图3 深度网络多任务学习机制Fig.3 Deep network multi-task learning mechanism

文中选择硬参数共享的模式进行多任务学习，原因有如下两点:1) 功率序列与设备序列任务非常接近，通过隐藏层参数共享，两个任务输出全连接层参数独立训练的模式能更大程度体现两个任务的关联性;2)硬参数共享模型能够压缩模型大小，提升模型训练和计算效率。

在进行多任务训练时，损失函数需要同时考虑功率误差与运行状态误差，前者使用均方误差，后者使用交叉熵，定义如式(4) 、式(5) 所示。

式中si(t) 和为用户t时刻的第i个设备启停标签状态与预测状态;xi(t) 和分别为用户t时刻的第i个设备功率标签信息和预测信息;为t时刻设备启动的概率，取值为0 ～1 之间。

2.2 基于多感受野融合的残差网络

非侵入负荷辨识问题本质上是时间序列问题的一种，在深度学习领域，用于分析和学习时间序列特征的常用网络为RNN 循环神经网络与LSTM 长短时间记忆网络，其两者都能通过记忆的方式获得序列的因果关系，但其在训练时与预测时缺乏并行性，一次只能处理一个时间步，极大程度地降低了网络运行的效率。此时时间卷积网络TCN［16］成为了处理时间序列问题的另一种选择，类似图像处理中二维卷积核在二维输入上滑动，依次提取数据中的抽象特征，在时间序列处理中同样可以使用一维卷积核在序列输入上进行滑动，当滑动顺序按照时间先后关系即可得到因果关系，并且由于卷积网络具有很好的并行性，并不固限于一次处理一个时间步，因为时间卷积网络有着更快的训练与预测速度。文中以残差结构为基础设计一种多感受野融合的时间膨胀卷积模型，通过不同感受野对设备启停的粗粒度信息和功率细节信息进行同步感受。

残差结构［17］可以保证网络充分利用其深度，解决模型训练过程中梯度消失的问题，增强和提高模型整体学习性能，残差块的基本结构如图4 所示。

膨胀卷积为多层时间卷积的组合，但在卷积过程中进行了一些输入数据的选择性跳过，从而得到更大的感受野，其在不改变参数数量的前提下扩大了网络感受野，如图5 所示。图中为卷积核大小为3 的三层非因果膨胀卷积结构［18］，非因果意味着t时刻输出与t时间前后的输入都有关系，增大了信息的感受。网络的第一层膨胀率为1，即普通卷积;第二层膨胀率为2，每两个实际卷积的输入之间跳过了一个值; 第三层膨胀率为4，实际卷积的输入之间跳过了三个值。t时刻的输出yt实际上由输入层的15 个值决定，通过依次增大膨胀率的方法，网络扩大了感受野，使得对时间序列的特征提取更加完备、更具有优势。

图5 非因果膨胀卷积结构Fig.5 Non-causal dilated convolution structure

由残差块构成的膨胀卷积网络中，每一个残差块中的两层非因果卷积层具有相同的膨胀率，而随着网络变深，残差块的膨胀率成倍数增加，当最后一个残差块的膨胀率为2D时，最终输出序列中的每一个值所具有的感受野S可用下式进行计算:

式中k为卷积核大小( 设为奇数) ;2i为每一个残差块中两层非因果卷积的膨胀率。需要注意的是，由于本次算法设计要求输入与输出具有相同的长度，因此每层网络需要在序列两侧进行填充零值( Padding) ，其数量为:

对于文中设计的非侵入负荷辨识多任务学习问题，既要分析全局的负荷运行状态和负荷功率趋势，又要细致拟合设备不同工作模式下的细节功率数据，因此在模型设计时考虑将多个具有不同感受野的膨胀卷积进行并行，分别提取不同粒度下的特征进行融合，以获得更好的辨识效果，整体设计模型如图6 所示。

图6 多感受野融合的网络结构Fig.6 Network structure of multi-receptive field fusion

3 实验与分析

3.1 样本生成

文中选择UK-Dale 数据集［19］作为实验数据集，UK-Dale 采自英国，在非侵入负荷辨识科研领域有着广泛的应用。其数据采样频率为1/6 Hz，录有较多种类的电器，能满足神经网络训练对数据量的要求。在这些电器中，文中选择耗电量、运行特征及普及程度都较突出的五种电器来进行对比实验: 电水壶，微波炉，冰箱，洗碗机，洗衣机。其中，电水壶为运行稳定的阻性负载，微波炉和冰箱为运行稳定的容性负载，洗碗机和洗衣机为持续性不规律电机负载叠加稳定阻性加热负载，这几类设备的选择能够满足文中对多任务学习模型在波动负荷及稳定运行负荷上不同改进效果的分析。

如表1 所示，UK-Dale 数据集中，这五种电器都存在于至少三个用户数据中，其分布情况如表1 所示。其中，微波炉和洗衣机在用户4 中公用同一个分电能表，故文中将用户4 中的这两种电器的数据排除在外。文中将用户5 统一用做测试集，其余用户按照6 ∶1 的比例将数据划分为训练集与验证集。

表1 辨识电器的分布情况Tab.1 Identifying the distribution of electrical appliances

不同类型的电器有不同范围的运行时长。而神经网络需要事前设定输入样本的长度，所以需要对以上五种电器确定不同的统一窗长。另外，每次输入的样本应尽可能地包含目标电器的一个完整工作周期，这方便神经网络去从宏观学习到电器的工作特征，由于UK-Dale 的数据采集频率为1/6 Hz，按照各个设备典型运行时间进行分析后，可得到表2 中各类设备样本的窗长信息，折算为分钟信息分别为6. 4 min、12. 8 min、51.2 min、102.4 min 和102.4 min，均能覆盖其典型运行时长。

表2 辨识电器的窗长大小Tab.2 Identifying the window size of electrical appliances

在进行样本生成时，需要对主电能表与分电能表中的数据进行截取及标注。对于某类目标设备而言，其正样本即为包含该类设备完整运行信息的功率曲线，具体步骤如算法1 所示，算法首先根据分电能表数据分析正在运行状态，随后对异常数据及实际同属一次的运行区间进行合并，随后将最终的运行区间随机存入窗长序列中，并得到对应的样本与标注;同时，由于真实工况下并不只包含有目标电器运行的情况，为保证泛化性，需要在训练集和测试集中增加不包含有目标电器运行的样本，使神经网络能够分辨目标电器运行与否的工况，随机选取目标设备运行后一段时间内的数据，且不包含下一次该设备运行区间，加入样本空间。

算法1:样本生成方法如下:

输入:分电能表曲线X，总电能表曲线Y。

输出:正样本集φT，功率标注集φP，启停状态标注集φS。具体程序如下:

①:S= find(X＞Pmin) //根据设备最小运行功率Pmin得到设备运行状态

②:记录S 中每一段独立的运行区间Q={si|i=1，2…}

③:根据最短运行时长duration从Q剔除异常区间＆

根据最短运行间隔gap将Q中多个区间进行合并

④:For allsiinQ

⑤:计算si运行区间［start;end］及长度len

⑥:随机生成t，并满足t+len＜windowLen

⑦:seqA=Y［start －t:start－t+windowLen］/Pmax－ ＞φT//Pmax为用户运行最大功率，此处进行归一化操作

⑧:pA=X［start－t:start－t+windowLen］/Pmax－ ＞φP

⑨:stateA=zeros(windowLen)state(t:t+len－1) =1 －＞φs

⑩:随机生成t，满足end+t+windowLen＜si+1．start

3.2 实验模型结构

为验证本次实验效果的有效性，文中选取4 种网络模型进行结果比对，第一种为文献［14］中提出的基础卷积网络，第二种网络为文中提出的多感受野融合网络，但是不进行包含运行状态预测的功率单任务学习，第三种网络为文中提出的多任务辨识深度残差网络，第四中为文献［20］中提出的基于软参数共享的多任务学习网络，他们的具体参数分别如表3、表4 所示。

表3 卷积神经网络模型Tab.3 Convolutional neural network model

其中，网络内Bilstm 单元和Attention 单元采用TanH 激活函数，除输出层外所有层均采用ReLU 激活函数，输出层采用sigmoid 激活函数。文中对四种网络均使用动量优化器进行训练，单任务学习的两个网络损失函数使用功率数据的均方误差函数Lp，多任务学习的两个网络损失函数使用均方差误差与交叉熵的组合函数，由于两个任务在单独训练时的损失函数在比例上存在偏差，因此如果直接线性相加可能发生多任务优化时网络更加侧重某个子任务的优化，因此本文根据启停辨识单任务与能量回归单任务学习时的两个损失函数训练结束时的比例关系进行多任务学习时的损失函数超参数，如下式所示:

式中，系数的选择用以保持其与能量回归单网络的损失函数Lp数量级保持一致，方便下文进行相关比较。

3.3 算例结果

文中的辨识结果需要从设备开关状态与设备功率信息层面两方面进行评价，在本次实验中，两个多任务学习网络会输出设备运行状态，可以直接用以评价，而两个只进行能量回归的网络可以参考算法1 中运行状态计算方法对分解后的能量曲线进行启停状态计算。对于设备开关状态的评价使用f1值进行。在f1评价体系中，P代表设备运行的时间点集合，N代表设备关停状态的时间点集合，TP是预测正确的设备运行时间点集合，TN是预测正确的设备关停状态时间点集合; 同样地，FP和FN代表预测错误的设备运行时间点集合和预测错误的设备关停状态时间点集合f1值可由下式进行计算。

式中precisionk描述设备k被辨识为启动状态的正确率;recallk描述设备k实际为运行状态的时间点中判断正确的比率。fk是一个介于0 到1 的值，fk值越大，证明模型的分类效果越好，若精确率与召回率有一方太小，都将影响到fk值。

对于设备功率信息的辨识准确度，文中使用平均绝对误差( Mean Absolute Error，MAE) 进行评价，即:

式中T为样本的长度;xt为t时刻实际的功率;(t) 为t时刻辨识得到的功率。

四个网络在不同设备上的f1指标如表5 所示，从表中可知，四个网络在电水壶上的f1指标接近，在洗碗机和洗衣机上文献［15］所提多任务学习网络与文中所提多任务学习网络与单能量回归网络的差距最大，总体上文中所提网络的f1指标在所有设备上为最大值。

表5 四种网络模型下各类设备辨识结果的f1指标Tab.5 f1 index of identification results of various devices under four network models

四个网络在不同设备上的MAE 指标如图7 所示。从图7 中可以看到，MAE 指标与f1指标在不同网络上的趋势基本一致，文中所提网络在所有网络中取得了最小的能量误差，同时在洗衣机与洗碗机这两个负载波动型负荷上相较其他网络取得了最优提升，其中与基础卷积网络相比分别减少了60%和46%的能量误差。而对于负载运行相对稳定的电水壶、微波炉和冰箱设备，多任务学习模型取得的性能提升远小于在负载波动型设备上取得的效果，这实际与多任务学习模型能够更好的消除波动型负荷的辨识结果噪声干扰机理保持了一致。

图7 不同模型下各类设备辨识结果的MAE 指标Fig.7 MAE index of identification results of various devices under different network models

图8展示了多感受野残差网络单任务学习与多任务学习关于洗衣机设备的预测结果的细节比较，同样从图中可以看出，无论辨识准确性还是小功率震动部分的细节预测上，后者都优于前者。图8( a) 下方虚线框所标注位置与图8( b) 相比，其辨识结果的波动趋势与真实功率曲线的匹配度低，即多任务模型改善了负荷波动状态下的辨识噪声污染。同时，图8( a) 左侧虚线框标注位置还存在部分错误辨识，多任务学习机制的引入同样整体提升了辨识效果。

图8 洗衣机辨识结果示意Fig.8 Schematic diagram of identification results of washing machine

通过多感受野融合单任务网络与多任务网络模型的变量控制实验可知，本文所提的多任务学习机制对负荷辨识的精度进行了提升。在实际进行辨识应用时，多任务学习模型的计算复杂度并未发生实质变化，仅增加了一个全连接层的额外计算量，且在模型训练时相比单任务学习网络仅增加了有限数量的轮次。如图9 所示，多任务学习模型开始训练时损失函数值大于单任务学习模型，随着训练轮次的增加，单任务模型有先达到收敛条件，多任务模型在额外的15 轮迭代后也达到了收敛条件，且最终损失函数值小于单任务模型。

图9 每轮次模型损失函数变化趋势( 洗衣机)Fig.9 Change trend of model loss function in each epoch ( washing machine)

4 结束语

提出了一种基于能量分解与设备运行状态评估的多任务学习模型，以改善仅使用负荷辨识能量回归单网络结果评估设备运行状态的局限，通过状态与能量同步估计并点乘输出的算法框架，提升能量分解过程中在设备未运行处的噪声污染。文中针对设备能量回归与状态评估任务，对输入序列全局信息与局部信息的敏感度差异，构建了基于多感受野融合的残差网络。实验结果表明，基于能量分解与设备运行状态评估的多任务学习模型在未额外增加过多的训练和预测计算成本的基础上，实现了辨识精度的提升，尤其在洗衣机等存在小功率波动运行工况的设备上效果更为明显。值得进一步优化的是，文中所设计的网络仍然仅针对单个设备有效，不同设备需要独立训练不同的参数，在后续的研究中将进一步优化为单个网络同时支持多个设备的负荷辨识，以减少实际应用时的参数存储与计算时间成本。