池招荣,樊云鹏,覃显南,赖璐璐,黄雅琴,卢晶晶
(广西电网公司崇左供电局,广西 崇左 532299)
安全问题一直是电力系统中的首要问题。当前我国电力系统中利用深度学习系统进行安全带佩戴检测的方法具有一定科学性,但是深度学习系统在实际操作过程中存在严重的数据依赖问题,导致深度学习无法适应各种情境,而迁移学习正是解决这一问题的重要手段[1-4]。本文主要探讨将深度迁移学习运用到电力行业安全带佩戴检测中,提高检测准确率,为电力行业安全带佩戴检测提供新的思路[5]。
迁移学习是1种机器学习方法,是把已经学习到的知识从源领域,迁移到1个新的目标领域,促使目标领域有更好更快的学习效果,类似于日常学习中的举一反三。一般情况下,源领域有大量的数据集可以提供训练,但是目标领域所需要的数据量很少,迁移学习就很适合解决此类问题[6]。
迁移学习分类如下文所述。
(1)样本迁移。当目标领域和源领域之间有较多数据特征重叠时,样本迁移利用大数据在源领域中找到与目标领域相同的数据,加大该样本的权值,对于重叠特征较少的数据,样本迁移会降低权值。样本迁移操作简单,但是在具体样本数据选取权重和判断源领域与目标领域数据的相似度上仍需要经验,在实际工作中需特别注意。
(2)模型迁移。模型迁移的情况是源领域的神经网络同目标领域的神经网络共享了1层或几层的权值参数,理论上可以将源领域中已经训练好的大量数据模型迁移至目标领域中,但是在实际工作过程中只取训练好的模型前几层。该类型迁移的优点是只需要训练少量的数据就能够达到很好的工作效果,缺点就是直接迁移过来的模型参数不易收敛[6]。
Resnet很好地解决了深度学习在层数加深时带来的梯度消失与梯度爆炸的问题,是目前学习性能最好的卷积神经网络之一。Resnet50 卷积神经网络图如图1所示,ResNet50 包括 5 个阶段,其 STAGE1 是对输入数据的卷积与池化预处理,STAGE2 由 3 个Bottleneck 块组成,Bottleneck 块包含 3 个卷积核分别为 1×1,3×3,1×1 的卷积层,2个1×1的卷积核分别对输入输出数据进行降维与升维操作,较大程度地减少了计算资源的消耗[7]。
图1 Resnet50卷积神经网络图
Fine-tuning 迁移学习方法如图2所示。方法1初始化全连接层参数,根据目标任务重构 Softmax 的输出分类,其余层参数初始化为预训练模型的参数,在训练目标数据集时,预训练模型参数也会随之微调。方法2与方法1的区别在于第1阶段到第5阶段的预训练模型参数将会被冻结,训练目标数据集时仅改变全连接层参数。方法3在方法1的基础上对STAGE5的卷积层进行初始化,引入超参数m对初始化卷积层个数进行控制,当m=0时方法3退化到方法1[4]。
图2 Fine-tuning 迁移学习方法
本文提出1种哈里斯鹰优化算法来优化超参数。Harris Hawk优化算法是1种元启发式算法,Harris Hawk与其他家庭成员进行独特的合作觅食活动。因此,哈里斯鹰种群的独特捕食行为非常适合作为1个智能种群优化过程来模拟[3]。
3.1.1 全局搜索阶段
当q<0.5时,哈里斯鹰会根据其他成员和猎物的位置进行栖息表达式为
式中:q、r1、r2、r3、r4均为 [0,1] 内的随机数;ub、lb为搜索空间上、下限;Xrand为一随机个体位置;Xrabbit为猎物位置;Xave为种群内所有个体的平均位置;r2是一个比例系数;一旦r4的值接近1,就会进一步增加该策略的随机性;绝对值中的内容可看作两个体间的相对距离;r1为随机的比例系数。
3.1.2 局部开发阶段
在猎物的逃脱过程中,其逃逸能量E将大大降低,其表达式为
当E0由0减小至-1时(E0<0),此时猎物不断逃跑耗费了很多能量,所以越来越虚;当E0由0增加至1时(E0>0),猎物处于恢复能量阶段。当|E|≥1时,此时对应全局搜索阶段;当|E|<1时,哈里斯鹰进行局部勘探,对应局部开发阶段[7-10]。
3.1.3 开发阶段
假设r为猎物逃脱概率,r<0.5时为成功逃脱,相反r≥0.5为逃脱失败。假设|E|≥0.5时,进行轻柔围攻;当|E|<0.5时,进行强硬围攻。
当r≥0.5且|E|≥0.5时,猎物仍然有足够的能量,因此哈里斯鹰:
式中,J为猎物逃跑过程中的跳跃距离,J=2*(1-rand)。
当r≥0.5且|E|<0.5时,猎物非常疲惫。此时哈里斯鹰公式为
将适应度值最优个体作为目标个体,再使用DHHO/ DE 更新种群位置即超参数,最后使用更新后的超参数配置深度学习模型,开始下一轮迭代。满足最大迭代次数时,输出的最优个体位置就是最优超参数[8]。计算个体的适应度值公式为式中:TP为真正类样本,即正确检测到安全带的样本;TF为真负类样本;NP为假正类样本;FN为假负类样本。
基于DHHO/DE实现深度迁移模型的超参数寻优,根据目标函数优化得到最优适应度值,在种群中挑选最优适应度的个体作为下一次迭代的目标个体,然后根据公式确定下一代目标个体位置,当迭代达到最多次数或者满足测评指标时即可输出最优个体位置,与此对应的就是最优超参数。
在采集了大量用于电力作业安全带的图像后,经过预处理,将这些图像转化为1组具有超参数设置的深度偏移模型进行训练,然后在训练好的模型上进行测试。训练层通常模型参数稳定,其目的是提高神经网络的学习精度,在一定程度上提高数据集的处理能力。
应用层当中首先要经过YOLOv3网络检测,确定工人位置,目的是实现准确率更高的检测,随后将检测到的工人图像预处理后传入最优超参数配置的深度迁移学习模型,进行安全带佩戴检测后即可以获得结果。
本文采用预训练的YOLOv3进行工人检测,将检测的工人图像传入到安全带佩戴检测模型,输出佩戴概率[9]。
结果可知,当工人未佩戴安全带时,检测模型输出的置信度较低,受工人穿戴衣物的影响在一定数值内波动但不会超过检测阈值;检测模型输出的置信度较高,可以判断工人已佩戴安全带[10]。
本文主要介绍了3种方法建立的模型参数优化的DHHO/DE算法,然后在2 000个自建数据集上建立了3个超参数优化配置模型。结果表明,本文提出的检测方法有很好的实用性,在缺乏传动装置的情况下对安全带磨损的检测也能达到99%的准确率。本文提出的方法旨在解决电力行业高处作业安全检查的难点,为这些问题提供了可行的方法。