应用改进卷积神经网络的客户服务业务中台资源异常信息主动报警

丁颖, 邱伟, 熊伟光

(国家电网有限公司客户服务中心,天津 300309)

0 引 言

近年来,随着传感检测技术、数据存取技术以及大数据分析技术的快速发展,传统的信号处理有了进一步的发展,机器学习和深度学习的方法越来越多地应用到故障分析领域。文献[1]将卷积神经网络用于轴承故障诊断,运用机器视觉辨识不同状态下的轴承损耗情况,取得了很好的效果,但是存在超参数设置困难的问题。文献[2]把这一技术应用到人类自己身上,根据不同人脸所表现的图像特征,提取特征值进行图像识别,但是准确率不高。采用人工干预的方式不仅耗费人力,而且不能对异常情况进行及时、准确的判断反馈。文献[3]提出利用物联网来解决财务数据源传输的问题,此方案虽然能够全面快速地达到数据传输的效果,但是在学会用过程中,存在安全性不稳定,容易造成数据丢失等情况,不利于系统的稳定和安全。对于电力系统中台信息而言,基于各种传感器数据转码成图形并进行目标检测,是一种能够体现卷积神经网络优势的方法,该方法提高故障判断准确率的同时,减少了对先验知识和专家知识的依赖,成为了故障诊断行业的普遍诉求。

1 数据预处理

1.1 传感器数据提取

本文采用基于格拉姆矩阵的差值图像编码方式[3],格拉姆矩阵具有易于实施并且能很好地复现原始数据特征的优点。假如在t时刻,电力运维现场采集到的传感器数据V={v1,v2,v3,…,vm}。其中:vi为第i个电力在线测试传感器的数值;m为检测传感器的总数。由于不同传感器具有不同的量纲,因此需要将这些传感器数据进行归一化,本文采用z-scores法对传感器数据进行归一化处理,这里给出格拉姆矩阵如式(1)所示。

(1)

式中:A为实矩阵;vi,j为两个不同电力系统传感器在数据归一化后的差值。格拉姆矩阵在其对角线上复现了原始的传感器数据,而除了对角线之外的地方,记录了当前传感器与其他所有传感器的差值特征。当电力中台信息资源故障发生时,可以通过某些传感器的数值表现出来,而这些数据又通过格拉姆矩阵表现出来。

1.2 数据编码

根据前文得到的数据格拉姆矩阵,将数据信息转换成卷积神经网络易于处理的图像数据,对数据进行0～255的缩放,缩放公式如式(2)所示。

(2)

式中:Amax、Amin为矩阵A的最大值和最小值;I为单位阵。得到的数据经过差值编码后即可转化成对应的色度图像。

1.3 数据增强

本文采用的数据增强方法主要有两种:第一种是对训练集图片进行几何变换,比如随机裁剪、随机旋转某个角度和对称或者水平左右翻转等;第二种是基于噪声的数据增强,就是在原来图片的基础上,随机叠加上高斯噪声。本文采用第一种数据增强方式,具体的实例如图1所示。

图1 数据增强对比图

通过图1可以看到,本文研究方法被优化处理后,数据信息明显增强,具有突出的技术效果。

2 经典卷积神经网络

卷积神经网络中卷积层和池化层两者可以交替设置,通常进行多个“卷积+池化”单元提取对象的多种数据图像特征[4]。

卷积运算的数学表达式如式(3)所示。

(3)

池化层通常对特征面进行采样操作,主要起到对特征信息的整合和降维作用,可以减小输入特征的大小,简化过程,加快进程。

全连接层可以将提取到的特征进行分类,一般情况下在神经网络的最后。全连接层数学表达式如式(4)所示。

(4)

3 改进的卷积神经网络模型

具体改进逻辑如图2所示。

图2 改进逻辑架构图

3.1 S-ReLU函数

式(3)中,卷积运算通过乘法和加法来完成图像数据的线性变换,但对于非线性变换,卷积运算本身无法做到,因此,需要加入激活函数。目前最常用激活是ReLU函数,但是对于电力传感器而言,数据集中很可能出现负值或者零值,而对于零和负分布的数据,ReLU函数无法对其进行非线性拟合处理。因此,本文对ReLU函数进行改进,运用S-ReLU函数作为激活函数[5],其表达式如式(5)所示。式(5)为改进后的激活函数。

(5)

式中:f(x)为一个以x为自变量的函数;ex为指数函数;ln(1+ex)为自然对数以1+ex为底数的对数。S-ReLU函数图像如图3所示。

图3 S-ReLU函数图像

由图3可知,改进后的激活函数在x≤0时,均存在非负函数值(零点除外),并且在x=0处的导数值也存在。不仅解决了负值没有非线性拟合能力的问题,还使得函数在整个区间内可导。

3.2 批量归一化层

通过不断调整神经网络的中间输出,从而使得神经网络的数据更加稳定[6]。具体方法如式(6)～式(9)所示。

(6)

式中:μ为一组数据的平均值;m为标准化样本的数量;Xi为每组标准数据。通过式(6)提高了数据信息的计算能力,进而提高神经网络计算效率。

(7)

式中:σ2为方差;Xi为每组标准数据;μ为一组数据的平均值。通过式(7)提高了数据计算能力。

(8)

式中:Zi为原始数据的标准差;ξ为常数;Xi为每组标准数据;μ为一组数据的平均值。通过式(8)提高数据信息计算能力。

(9)

式中:Zi为原始数据的标准差;α、β为卷积神经网络学习参数。由卷积神经网络训练得出,用来代替偏置。

3.3 Dropout层

为了缓解电力系统传感器数据的过拟合问题,本文采用在全连接层前加Dropout函数的优化方法。Dropout层图解如图4所示。

图4 Dropout层图解

通过图4可以看到,将中台资源数据信息融入到Dropout层图能够提高中台数据信息的计算能力。

3.4 超参数寻优

灰狼算法中,狼群分为四个梯队:第一层α层狼群,负责带领整个狼群狩猎,即优化算法中的最优解;第二层β层狼群,负责协助α层狼群,为次优解;第三层为δ层狼群,听从α层狼群和β层狼群的命令;第四层为ω层群狼,跟随以上三层狼群。本文中α层狼群、β层狼群、δ层狼群均设置为一只,模仿本文最好的三种超参数设置,ω层狼群根据客户服务业务中台资源异常信息需要设置若干只,模仿大量超参数设置。本文中,每只狼的位置与卷积神经网络所有超参数构成一个向量pij,其中:i为第i只狼;j为超参数的个数。在进行一次新的狩猎之前,狼群中每只狼首先计算自己与α、β、δ狼的距离,如式(10)所示。

(10)

式中:Dα、Dβ、Dδ为每只狼离α、β、δ狼的距离;X为每只狼的当前位置;t为迭代次数。一次狩猎包围结束,狼群按照式(11)更新位置。

(11)

式中:X1、X2、X3为受α、β、δ狼的影响,狼群需要移动的距离;A和C为确定的系数。其表达式如式(12)所示。

(12)

式中:a为收敛因子,从2线性降到0;r1、r2为随机数。

为了达到提高超参数对于卷积神经网络的准确度这一目的,设定灰狼适应度函数如式(13)所示。

(13)

图5 GWO算法融入后的寻优特征图

由图5可知,GWO算法模拟了自然界灰狼的领导层级和狩猎机制,利用卷积神经网络前向计算灰狼对应的输出,并根据式(13)更新适应度值,然后根据适应度值不断迭代。GWO算法融入后得出最优参数,在此最优超参数下,改进后的卷积神经网络模型归于客户中台信息故障的识别准确率是最高的。

4 试验与结果分析

4.1 试验数据集

本文通过数据集传感器(A类、B类、C类)来训练和测试上文的模型,本文试验所用数据集如表1所示。

表1 试验数据集描述

表1中列出了A、B、C三种传感器是一种传递感觉的机器。三种传感器表示的是正常状态下和异常状态下的数据,并将其分类后上标签供卷积神经网络识别。

4.2 试验卷积神经网络模型

本文试验环境为Windows10,Pytorch平台,Pycharm编译环境,所用深度卷积模型如图6所示。

图6 卷积神经网络结构图

图5网络搭建了5层卷积层,3层最大池化层来提取图片特征和减少参数量,以及一层dropout层来丢弃一定的神经元,一定程度上防止过拟合各层的具体参数如下。

输入层:输入尺寸为100×100的图片数据,数据集为灰度图像,可以当做RGB图像,当作100×100×3的图片处理;卷积层 1,拥有96个卷积核,卷积核大小为11×11,步长为4,激活函数是S-ReLU函数;池化层 1,窗口大小为2,步长为4;卷积层 2,拥有256个卷积核,卷积核大小为5×5,激活函数是S-ReLU函数;池化层2,窗口大小为3,步长为1;卷积层 3,包括384个卷积核,卷积核大小为3×3,激活函数是S-ReLU函数;卷积层 4,包括384个卷积核,卷积核大小为3×3,激活函数是S-ReLU函数;卷积层 5,包括256个卷积核,卷积核大小为3×3,激活函数是S-ReLU函数;池化层 3,窗口大小为3×3,步长为1;全连接层1,拥有1 024个神经元节点;Dropout层,0.5; 全连接层2,拥有1 024 个神经元节点;Dropout层,0.5;输出层,使用Softmax激活函数对图像进行分类,包括10个神经元节点。引入激活函数S-ReLU后,使本文研究系统获取数据特征呈线性增长,仿真图如图7所示。

图7 数据增长特征仿真图

由图7可知,在引入S-ReLU后的数据获取中,数据的输入和呈线性关系,使数据的处理更容易简便。

Dropout层对本文系统输入输出的数据进行标准化处理,使得数据分布更加平稳,有利于网络训练的稳定性和泛化能力。仿真模型如图8所示。将离散的数据泛化后,得出分布平稳的数据特征。

图8 归一化作用仿真

4.3 超参数设置

模型搭建完成之后,用训练集进行模型训练,初始化灰狼个数为80,迭代次数为60,初始权重采用随机函数进行赋值,进行三次试验,三次试验结果如图9所示。从中取最好效果的test3的超参数如表2所示。从图9可以看出,三次优化试验结果中,第三次效果最好,见表2。三次基于灰狼算法得出的最优曲线时超参数的设置。

表2 超参数寻优结果

图9 三次优化效果图

4.4 试验结果分析

本文分别进行两组对照试验:第一组为经典卷积神经网络模型;第二组采用改进后的卷积神经网络模型对数据加强后的训练集进行仿真。训练轮数设置为100轮,训练轮结束后,分别对同一测试集进行测试训练,同时得出训练集和测试集的正确率,如图10和图11所示。

图10 经典卷积神经网络仿真图

图11 改进卷积神经网络仿真图

图10训练集的正确率在85%左右,测试集的正确率也在85%左右。

图11测试集的正确率也有94%左右,说明客户服务业务中台资源异常信息诊断和计算能力较好。本文研究方法为提高客户服务业务中台资源异常信息诊断提供了新型思路。

5 结束语

对客户服务业务中台信息故障进行数据编码和数据增强,基于经典卷积神经网络,通过优化激活函数S-ReLU函数使其能对所有负无穷到正无穷的数据进行拟合、增加批量归一化层增加迭代速度以及在全连接层加入Droupout函数来抑制过拟合问题,最终引入灰狼算法对卷积神经网络超参数进行启发式搜索寻优。

由仿真结果可以看出,改进后的卷积神经网络对于故障判断的准确率从85%左右提高到94%左右,说明本文设计具有明显的优势,具有推广前景。