基于改进Adam-DBN的油井工况诊断方法

王 通, 熊涛理

(沈阳工业大学 电气工程学院, 沈阳 110870)

目前,我国石油开采企业多采用有杆泵抽油井采油[1].为了保障抽油设备的安全稳定运行,提高油井工况诊断的技术水平具有重要意义.

国内外现有油井工况诊断方法大多采用示功图图像作为依据.早期的示功图人工分析法耗费大量人力和时间,无法满足生产需要.近年来,基于机器学习的方法较好地运用于抽油机工况诊断之中,如随机森林[2]、支持向量机[3]、极限学习机[4]等,正逐步取代传统的人工分析.这些方法主要过程为:首先对示功图数据进行特征提取,再对提取到的特征进行分类.然而,特征的选择需要借助丰富的经验知识,不同的特征提取方法可获得不同的特征,导致诊断结果也有较大差异,影响了油井工况的准确判断.

深度信念网络(deep belief network,DBN)作为深度学习神经网络的经典模型之一,以其优异的特征提取能力,近年来被应用在故障诊断与特征提取方法上,并且取得了较好的成绩[5-10].DBN方法相比传统的故障诊断方法,其通过逐层的贪婪无监督学习与有监督的调优,自动提取数据的特征,减少了人工参与带来的不确定性.同时,为了有效保证DBN模型能够达到令人满意的结果,减少梯度扩散导致精度调节失败,常采取梯度优化算法来提高网络训练速度与分类准确率.李忠刚等[11]采用DBN从行星齿轮箱提取机械故障震动的特征,并通过分析不同梯度优化算法的表现,使网络更加有利于故障状态分类.沈长青等[12]引入Nesterov动量法得到训练速度更快速的模型,提升深度信念网络的泛化能力,更好地实现了轴承故障诊断.因此,本文利用深度信念网络在自动提取数据特征上的优势,将深度信念网络应用于油井工况识别.在传统的梯度优化算法基础上,提出一种改进Adam-DBN油井工况诊断方法.使用对比散度算法进行无监督的预训练,获取较优的初始权值;运用动量法预测梯度下降位置,用于更新下降方向和学习率,避免梯度扩散导致调节精度变差.

1 DBN模型

1.1 受限玻尔兹曼机

DBN是由多个受限玻尔兹曼机(restricted bolt-zmannmachine,RBM)堆叠而构成的多层深度学习网络.通过对大量无标签数据贪婪无监督学习,再对少量有标签数据进行有监督的调优,获得深层特征提取模型,实现对原始数据的降维.RBM是一种由可视层v和隐含层h组成的概率无向结构模型,如图1所示.

图1 RBM结构

输入向量可以通过可视层v输入到RBM网络,根据RBM结构,对于任意状态(v,h),其能量函数为

(1)

式中:θ={W,a,b},W为权重,a为可视层的偏置,b为隐含层的偏置;ω为可视层与隐含层的连接权重;V为可视层神经元个数;H为隐含层神经元个数.

可视层神经元v和隐含层神经元h的联合密度分布定义为

(2)

(3)

隐含层节点与可视层节点的激活概率为

(4)

(5)

RBM训练的目的就是求解参数θ={W,a,b},对参数求偏导数可得

ΔWij=〈vihj〉data-〈vihj〉model

(6)

Δai=〈vi〉data-〈vi〉model

(7)

Δbj=〈hj〉data-〈hj〉model

(8)

由于〈x〉model模型的期望在计算时比较困难,因此进行k步Gibbs采样,通常情况下进行1步即可达到可视层和隐含层的平稳分布,更新公式为

Wij=Wij+η(〈vihj〉0-〈vihj〉k)

(9)

ai=ai+η(〈vi〉0-〈vi〉k)

(10)

bj=bj+η(〈hj〉0-〈hj〉k)

(11)

式中,η为学习率.

1.2 DBN结构模型

DBN采用顺序堆叠RBM构成,结构模型如图2所示.网络包含两个阶段:无监督预训练和有监督调优.

图2 DBN结构

前向堆叠RBM学习属于无监督学习,通过将无监督训练后的模型参数传递给有监督训练作为参数的初始化.反向微调阶段是从DBN网络最上层进行,在多层RBM网络之后增加一个反向传播(BP)层作为DBN网络的输出层,基于训练样本数据的类别,对使用Softmax分类器判定的类别进行统计,结合BP算法对DBN网络反向训练,采用梯度更新算法更新参数,微调各个初始连接权重.微调阶段可以进一步优化DBN网络中各个连接参数,使误差损失值降低,从而提取出更为准确的数据特征.

1.3 Dropout优化DBN

当样本数据较少时,为有效防止模型出现过拟合问题,引入Dropout正则化对学习算法进行约束.其思想是通过阻止特征检测器的共同作用来提高神经网络的性能.实现方式为在前向传播的过程中,以某一概率选取部分神经元不再激活,即在训练过程中部分神经元保留权重且不更新,同时失去连接,但下次样本输入时可能重新激活.DBN模型引入了Dropout技术后,减轻了不同特征之间的协同作用,从而有效减少了过拟合现象.

2 改进的Adam-DBN算法

参数更新算法的优劣影响网络的训练精度.目前应用在DBN中的参数梯度更新算法,最常用的方法为随机梯度下降法(stochastic gradient descent,SGD).使用SGD更新梯度公式,即

θt=θt-1-ηθL(θt-1)

(12)

式中:t为迭代次数序号;L(θt-1)为损失函数;θL(θt-1)为L(θt-1)关于θ的梯度.算法中一个关键的参数为学习率η,学习率可通过多次实验和训练误差最小来选取,然而实际选取初始学习率却相当复杂,若η太大,训练误差将会反复波动,损失函数值可能会明显增大.若η太小,则会导致训练进程十分缓慢,损失函数值持续保持在一个较高的值,无法达到训练误差精度的要求.

2.1 Adam优化算法

针对SGD算法的缺点,提出了Adam算法,在迭代自变量之前,加入一阶变量mt用于计算过去梯度的指数加权平均值,迭代过程为

mt=β1mt-1+(1-β1)gt

(13)

式中:0≤β1<1为超参数;gt=θL(θt).一阶变量相当于E(gt),即当前梯度gt的期望.二阶变量vt计算过去梯度平方的指数加权平均值,迭代过程为

vt=β2vt-1+(1-β2)gtgt

(14)

(15)

(16)

式中,ε为稳定性常数,目的是防止出现分母为零的情况,并且常取β1=0.9、β2=0.99.

2.2 改进算法

修改后的一阶、二阶变量更新公式为

mt=γmt-1+gt

(17)

vt=βvt-1+(1-β)mtmt

(18)

参数更新公式为

(19)

3 实验与分析

1) 选择现场示功图数据集,将数据集划分为训练样本和测试样本.

2) 初始化参数,利用对比散度算法和训练数据对DBN进行预训练,得到最优初始化参数.

3) 将最优初始化参数和样本数据传递到误差传播网络中,进行参数微调.

4) 按式(17)、(18)计算反向微调过程参数梯度对应的一阶、二阶变量.

5) 按式(19)权值参数精调公式,计算并更新对应参数.

6) 判断是否满足最大循环次数,若是,训练结束,模型训练完成;否则,返回步骤3).

3.1 数据选取

实验数据选取某采油平台油井上近两年示功图数据,去除异常的示功图后共584个.5种工况数目分别是正常300、供液不足130、气体影响84、固定阀漏35、油泵下碰35,依次标记为工况Ⅰ～工况Ⅴ,5种工况示功图如图3所示.由数据可知,油井正常工况占比较大,非正常工况少量出现,这种情况符合油井生产状态.本文实验内容主要是对改进Adam-DBN有效性进行验证,因此所有对比方法按照油田生产实际状态进行建模测试.其中随机抽取各工况训练样本数分别为270、110、70、30、30个,余下各工况样本数30、20、14、5、5个作为测试样本.

图3 5种工况示功图

为更好地实现数据的表示与分析,减少网络输入层的维度,首先对示功图数据进行预处理,将示功图图像划分成26×52网格的二值图像,对经过曲线的网格赋值为1,未经过的赋值为0,DBN网络的输入层维数为1 352,示功图预处理如图4所示.

图4 示功图预处理

3.2 工况诊断实验

网络结构的隐含层设计为2层,神经元个数分别为90、30,输入层维数为1 352,输出层维数与输出模式类别数相同,故网络节点数为1 352-90-30-5;无监督训练60次,有监督训练50次,无监督动量因子为0.6,预训练起始学习率为0.01,隐含层使用sigmoid激活函数.由于工况样本数量较少,选取Dropout方法以P=0.1的概率,在训练过程随机选取部分神经元使之处于未激活状态,减少过拟合现象的出现.

验证改进的Adam-DBN算法对其他梯度优化方法在DBN中的应用对比.将改进的Adam-DBN算法与随机梯度下降法(SGD-DBN)、动量法(momentum-DBN)、自适应学习率(Adagrad-DBN)、自适应矩估计(Adam-DBN)作用于微调阶段梯度下降过程进行比较,5种算法调优参数设置如表1所示.训练结果如图5所示.

表1 DBN梯度优化算法参数

图5 基于梯度下降相关算法的损失函数值对比

对比图5中目标函数的收敛情况可知,改进Adam-DBN算法的损失函数值在第1次迭代之后,相较于另外4种方法就呈现最低的损失值,10次迭代时已经表现出良好的稳定性,损失函数值平稳后更加接近0.在测试数据集上表现出良好的稳定性,迭代开始就可以快速下降,收敛状态时损失函数值的平稳值也更低,目标函数值保持平稳下降且没有出现大幅振荡情况,明显优于对比算法.

为了进一步验证改进Adam-DBN算法对油井工况识别的有效性,使用上述相同的样本集,对常用于分类问题的支持向量机(SVM)、基于灰度矩阵极限学习机(GM-ELM)算法,以及基于上述4种优化方法的DBN进行油井工况诊断准确效果对比.不同方法的油井示功图识别实验仿真结果对比如表2所示.

表2 油井示功图识别实验结果对比

由表2可以看出,改进的Adam-DBN算法准确率达到94.59%,优于结果最好的Adam-DBN算法81.08%的准确率.运用于油井工况诊断的SVM与GM-ELM方法的准确率较高.对比算法在部分工况下的识别错误率较高,不能很好地识别出与其他工况的差异,导致较多工况发生误判.改进的Adam-DBN算法能够发掘更加细致的示功图差异,提高了油井工况诊断的准确率.

4 结 论

本文提出了一种基于改进Adam-DBN的油井工况诊断方法,针对传统油井工况诊断方法由于特征选择困难和不确定性导致诊断效果不佳的问题,将深度信念网络引入油井工况诊断领域.使用深层网络来进行特征提取,同时对网络参数训练过程中有监督训练阶段梯度下降进行优化.在反向调优过程中,运用动量法预测梯度下降位置用于更新下降方向,利用学习率自适应选择下降步长,有效避免梯度扩散导致调节精度变差的问题.仿真结果表明,该方法可以取得更低、更加稳定的损失函数值,能够更准确判断出相似工况的类型,通过与其他诊断算法进行对比可知,改进的Adam-DBN拥有更高的分类精度,为油田的安全生产运行多提供一份保障.