基于改进DenseNet的电阻层析成像图像重建算法

2024-11-02 00:00:00仝卫国崔建昕门国悦蔡天娇
现代电子技术 2024年21期

摘 "要: 针对电阻层析成像(ERT)的逆问题存在严重的病态性、非线性和欠定性,导致经典算法的重建图像通常精度偏低的问题,提出一种基于改进DenseNet网络优化的电阻层析成像重建算法。首先,采用Landweber算法迭代值作为图像重建初始解;其次,构建了融合CBAM注意力机制的多尺度卷积模块以获取不同尺度特征,从而加强对关键特征的提取;使用DenseNet作为图像重建的主干网络,引入Swish作为网络的激活函数并融合dropout算法提高网络的泛化能力;最后,使用余弦退火算法优化学习率,避免模型训练陷入局部最优。此外,对改进DenseNet网络进行了抗噪性实验和静态实验。实验结果表明,采用改进算法进行ERT图像重建,相对误差和相关系数均得到提升。该算法不仅具有较高的重建精度和良好的可视化效果,还表现出对抗噪声干扰的特性。

关键词: 电阻层析成像; DenseNet; CBAM; 图像重建; 多尺度卷积; 余弦退火

中图分类号: TN911.73⁃34 " " " " " " " " " " " 文献标识码: A " " " " " " " " " " " " 文章编号: 1004⁃373X(2024)21⁃0034⁃06

Electrical resistance tomography imaging reconstruction algorithm

based on improved DenseNet

TONG Weiguo1, 2, CUI Jianxin1, MEN Guoyue1, CAI Tianjiao1

(1. Department of Automation, North China Electric Power University, Baoding 071003, China;

2. Hebei Technology Innovation Center of Simulation amp; Optimized Control for Power Generation, North China Electric Power University, Baoding 071003, China)

Abstract: In view of the severe ill⁃posedness, nonlinearity and under⁃determinedness in the inverse problem of electrical resistance tomography (ERT), which often leads to low accuracy in image reconstruction of the classical algorithms, an ERT imaging reconstruction algorithm based on improved DenseNet is proposed. The Landweber algorithm is employed to generate the iterative value, which is taken as the initial solution for image reconstruction. A multiscale convolutional module incorporating the convolutional block attention module (CBAM) is constructed to capture features of different scales, thereby enhancing the extraction of key features. The DenseNet is utilized as the backbone network for image reconstruction, integrating Swish as the activation function of the network and incorporating the dropout algorithm to enhance the generalization capability of the network. The cosine annealing algorithm is used to optimize the learning rate of the model, preventing the model from getting stuck in local optima during training. Additionally, noise resistance experiments and static experiments are conducted to evaluate the performance of the improved DenseNet. The experimental results demonstrate that both the relative error and correlation coefficient are improved after employing the proposed algorithm for ERT image reconstruction. The algorithm not only achieves higher reconstruction accuracy and superior visualization, but also exhibits robustness against noise interference.

Keywords: ERT; DenseNet; CBAM; image reconstruction; multiscale convolution; cosine annealing

0 "引 "言

气液两相流在能源系统、化工、石油工业、动力等工程领域中普遍存在[1],例如电厂锅炉和油气管道中都会有气体和液体同时存在并相互作用的复杂流动现象。对两相流的深入研究对于工程领域的许多应用具有重要的意义。随着现代科技的发展,利用图像重建技术对气液两相流进行研究和分析成为了一个备受关注的方向。电阻层析成像(Electrical Resistance Tomography, ERT)技术具有无辐射、响应速度快、结构简单、非接触等特点,在多相流检测领域应用广泛[2⁃5]。而ERT图像重建的质量决定了它能否广泛应用于工程领域。由于电阻层析成像的图像重建具有非线性、病态性和欠定性[6],且在测量过程中极易受到外界环境和自身设备的干扰,因此选择合适的图像重建算法就显得尤为重要。图像重建传统方法包括以LBP[7]、Tikhonov[8]为主的非迭代算法和以Landweber、共轭梯度算法为主的迭代算法。

由于电阻层析成像边界电压的数量远小于重建图像截面剖分的网格数[9],使用传统重建算法难以准确建立测量电压和介质分布之间的非线性映射关系。而神经网络的深层结构能够逐层提取和组合特征,并利用大规模和多样化的样本进行训练,能够比较精确地建立非线性映射关系[10]。文献[11]提出了基于数据驱动的CNN图像重建方法,将ECT系统电容值预处理为二维矩阵作为卷积神经网络的输入,提高了模型的泛化能力。文献[12]提出了一种基于卷积神经网络的ERT成像算法,获得了较好的成像效果。文献[13]提出了一种6层全连接深度网络图像重建算法,通过线性与非线性交替训练获得了较好的可视化效果。文献[14]提出了基于迭代重加权最小二乘法的鲁棒正则化极限学习机算法,具有良好的泛化性能。

本文采用Landweber算法作为图像重建初始解,利用多尺度卷积模块对其进行特征提取,再用改进的DenseNet对融合多尺度信息的特征输出进行图像重建,可以减轻Landweber算法所导致的图像模糊以及存在伪影的问题。实验结果表明,本文提出的改进算法具有更高的重建精度并且能够抵抗噪声干扰。

1 "相关理论

1.1 "ERT工作原理与数学模型

电阻层析成像是一种利用电极阵列在待测物场周围施加电流信号,通过检测电极间的电势分布来获取场域内电导率分布和相分布的技术[15]。当电流通过两相流时,由于液体和气体对电流的电阻性质不同,电位差的测量结果会产生显著差异。这些电压差值受气液两相流中液体和气体的分布影响而变化,可以用来分析和推断流型的状态和分布情况。

ERT敏感场可以近似认为是似稳场,根据Maxwell方程,敏感场内电导率和电势分布满足:

[∇⋅(σ⋅∇Φ)=0] (1)

式中:“∇·”为散度;“∇”为梯度;[σ]为场中的电导率分布;[Φ]为场中的电势分布。ERT的数学模型是经Maxwell方程组和Laplace方程化简得到,对于有[M]个电极的ERT系统模型,可将敏感场表示为:

[Φ(x)+ρσ(x)∂Φ(x)∂v=UmEmσ(x)∂Φ(x)∂vds=Imm=1MUm=0m=1MIm=0m=1,2,…,M] (2)

式中:[ρ]为边界上的电荷密度;[v]为边界上点的外法向量;[Im]和[Um]为第[m]个电极上的电压和电流;[M]为系统电极数量。

1.2 "Landweber迭代算法

Landweber迭代算法是由最速下降法演变来的,主要思路是将ERT图像重建问题转化为目标泛函极小值的优化问题。它是ERT领域普遍应用的一种方法。Landweber迭代算法的目标泛函如下:

[minf(g)=12Sg-V2] (3)

[f(g)]下降的梯度为:

[∇f(g)=ST(Sg-V)] (4)

最速下降法以负梯度方向为迭代方向,则Landweber算法的迭代公式为:

[g0=STVgk+1=gk+δkST(V-Sgk)] (5)

式中:[gk]为第[k]步迭代图像的灰度值;[δ]为迭代步长;[g0]为迭代初值;[S]为灵敏度系数矩阵;[V]为测量电压和空场电压的差值。

2 "网络模型与算法

2.1 "融合注意力的多尺度卷积模块

2.1.1 "多尺度卷积模块

在特征提取过程中,传统的卷积神经网络使用固定大小的卷积感受野,难以捕捉到边界电压信号中的多尺度特征,因此存在特征提取不充分的问题。此外,固定大小的卷积核也并不适用于所有的输入信号。相比之下,多尺度卷积技术能够有效学习不同尺度的特征,提高模型的特征提取效率。

本文采用如图1所示的多尺度卷积模块,该模块由三个并行的卷积分支组成,分别采用3×3、5×5和7×7大小的卷积核,用以学习不同尺度的特征信息,并生成相应的特征图。在卷积操作后,添加BN层对特征图进行处理,以增强模型的稳定性。激活函数方面选择ReLU函数。卷积操作后的特征图按通道维度进行连接,并通过残差连接的方式实现融合多尺度信息的特征输出。

2.1.2 "CBAM注意力

采用CBAM注意力机制[16]对学习到的多尺度特征进行提取,可以聚焦于不同尺度上更重要的信息,增加目标区域的权重。CBAM是一种轻量级的注意力机制,能够在不显著增加计算量的同时提升模型性能。该机制由通道注意力模块和空间注意力模块两个子模块串行排列,如图2所示。

通道注意力模块通过共享的多层感知器(Shared Multilayer Perceptron, Shared MLP)对压缩扩张后的平均池化和最大池化特征进行处理,并将结果通过Sigmoid函数进行激活,学习到通道注意力权重以区分不同通道间的特征,表达式为:

[Mc(F)=Ψ(MLP(AvgPool(F))+MLP(MaxPool(F)))] (6)

式中[Ψ]为Sigmoid函数。

通道注意力模块如图3所示。

空间注意力模块接收通道注意力模块的输出作为输入,并对其进行最大池化和平均池化操作,然后将两种池化结果进行拼接,并在经过卷积降维后使用Sigmoid函数进行激活,得到空间注意力权重,表达式为:

[Ms(F)=σf3×3AvgPool(F),MaxPool(F)] (7)

式中[f3×3]为3×3的卷积。

空间注意力模块如图4所示。

2.2 "DenseNet网络

DenseNet是由文献[17]提出的一种深度神经网络结构。网络核心为稠密块(Dense Block),每个Dense Block有许多瓶颈层采用独特的密集连接方式进行连接,每一层都会接收前面所有层的输出作为其输入,以确保最大程度地传递信息。这种结构具有抗拟合能力强和减轻梯度消失问题的优点。稠密块如图5所示,瓶颈层如图6a)所示。

这种密集连接方式提高了特征图与梯度的传递效率,使得网络深度可以进一步加大。假设网络中第一层的输入向量为[x0],输出向量为[x1],那么网络中第[i]层的输出可以表示为:

[xi=Hi[concat(x0,x1,x2,…,xi-1)]] (8)

式中:concat指将输出特征矩阵进行拼接操作;[Hi]表示三种连续操作的复合函数,包括批规范化(BN)、Swish激活函数和卷积操作。为了降低特征图的尺寸,在两个Dense Block之间采用过渡层完成下采样操作,结构如图6b)所示。

改进网络的整体结构如图7所示,结构中包含了四个Dense Block和三个交替的过渡层。其中,四个Dense Block中的Bottleneck Layer个数分别为3、6、12、8,批量数batch_size为64,增长率设置为32,即网络每一层输出特征图的数量为32。Transition Layer的压缩系数设置为0.5,将特征图的维度降低为原来的一半。

损失函数采用均方误差(MSE)函数,其定义为原始图像与重建图像对应像素之间的平方差的平均值,公式为:

[Loss(y,y)=1ni=1n(yi-yi)2] (9)

式中:[y]和[y]分别为原始图像和重建图像中第[i]个网格内的灰度值。

2.3 "Swish激活函数

神经网络的特性决定了其在特征传递过程中仅进行线性计算时无法有效拟合复杂多样的非线性信息,所以要为神经网络引入激活函数。激活函数作为一种非线性函数,通常被置于卷积操作的前后,以确保神经网络中单个神经元的输入与输出呈现非线性关系。

DenseNet网络采用ReLU激活函数。在更新偏置和权重时,ReLU激活函数将小于0的偏置直接置为0,这可能导致网络无法进行有效学习,进而导致神经元坏死和输入信息的丢失。基于以上原因,本文选取Swish激活函数[18],其表达式为:

[Swish(x)=x⋅11+e-x] (10)

相比ReLU激活函数,其具有无上界有下界、平滑、非单调的特性,且在整个定义域内都可以求导,避免了梯度消失的问题。

2.4 "余弦退火调整学习率

神经网络模型的参数需要优化器不断地进行调整和更新,以最小化损失函数,提高模型的性能。本文选择Adam优化器优化模型参数,初始学习率为0.002,并采用余弦退火策略调整学习率[19]。

[ηi=ηtmin+12ηtmin+ηtmax1+cosTcurTtπ] (11)

式中:[ηi]为当前的学习率;[ηtmin]和[ηtmax]分别为第[t]次重启时学习率的最小值和最大值;[Tcur]是当前迭代轮次的epoch次数;[Tt]为第[t]次迭代的epoch次数。

2.5 "dropout算法

在神经网络的训练过程中,深层网络通常能够有效提取更为丰富的特征。然而,随着计算复杂度增加,常常会面临过拟合问题。本文采用dropout算法对DenseNet进行改进,该算法在训练过程中以一定的概率将神经元随机丢弃,以降低网络之间的互相依赖,抑制网络的过拟合现象并解决训练过程中的耗时问题。

3 "实验结果及分析

3.1 "评价指标

为了分析本文采用方法的图像重建质量,选择常用的相对误差和相关系数作为重建图像的评价指标。

相对误差是衡量重建图像与原始图像之间差异程度的指标,其表达式为:

[RE=g*-g2g2] (12)

式中:[g*]表示原始流型样本的灰度矩阵;[g]表示重建之后图像的灰度矩阵。相对误差越小,则重建图像的质量越好。

相关系数是衡量重建图像与原始图像之间线性相关程度的指标:

[CC=cov(g,g)Var(g)Var(g)] (13)

式中:[g]表示重建图像的灰度值;cov()为误差;Var()为均方差,表示重建图像与原始样本的离散程度。

3.2 "仿真实验

为验证改进算法的收敛性和有效性,选择四种两相流型构建数值仿真模型。建模过程中,随机设置具有不同大小和位置分布的气泡,以验证改进算法的性能。设定每个样本内1 920个像素点的电导率参数,得到每种不同气泡大小和位置分布的1 600组边界测量电压值,共获取6 400组样本数据,每组样本包含120个边界电压值和1 920个电导率分布值,构成仿真数据库。其中训练集5 600组,测试集800组。从训练集中随机选取800组训练样本作为验证集。

为了验证改进算法的收敛性和有效性,使用本文算法与经典的LBP算法、Landweber迭代算法进行对比,结果如表1和图8所示。

由重建图像可以看出,LBP算法在气泡多时成像效果较差,出现了边缘模糊的现象,且伪影较多,Landweber迭代算法的成像质量强于LBP算法,但不能将流型轮廓准确的呈现。本文使用的DenseNet算法对于所有的流型均能较好的区分,重建图像边缘清晰,并能够准确呈现气泡的形状和位置信息。

由表1可定性地对本文算法进行分析,从表中可以看出,DenseNet算法的相对误差和相关系数在几种流型中均最优,重建精度最高,算法的提升效果明显。

3.3 "抗噪性实验

由于ERT系统通常工作在环境比较复杂的现场,在测量过程中的噪声会对重建图像造成较大的干扰,因此需要对重建算法的抗噪性能进行分析。

抗噪性实验中,在测试集的四种流型的数据中添加20~40 dB信噪比(Signal⁃to⁃Noise Ratio, SNR)的高斯白噪声来模拟实际的环境,以验证网络的抗噪能力和实用性。

[SNR=10lgPs Pn] (14)

式中:[Pn]表示添加噪声的平均功率;[Ps]表示原始边界电压测量信号功率。SNR越大表示添加噪声的平均功率越小。在不同信噪比下重建图像的结果如图9、表2所示。

由图9可以看出,在信噪比为20 dB时,流型存在伪影,但可以识别各个流型气泡数量。信噪比为30 dB和40 dB时,已可以较清晰地分辨出各种流型,重建结果与原图相差不大,表明DenseNet算法具有良好的抗干扰性能。

3.4 "静态实验

静态实验采用的设备为华北电力大学16电极ERT系统,传感器管道的直径为120 mm,电极为导电金属材料。实验中使用自来水模拟液相,以直径为10 mm、20 mm、30 mm的聚氨酯棒模拟气相。使用DenseNet算法对采集到的数据进行图像重建,静态实验重建结果如图10所示。

由重建结果可以看出,LBP算法成像结果失真严重;Landweber算法不能准确地重建出场域内介质的分布和位置;本文算法相比LBP算法和Landweber算法有明显的改善,对几种流型重建出了清晰的场域介质分布,具有更高的精度,能够较好地区分不同气泡的位置。

4 "结 "语

针对ERT系统中图像重建的非线性问题,本文提出了一种基于多尺度卷积模块和CBAM注意力机制改进的DenseNet网络重建算法。使用多尺度卷积模块提取多尺度特征信息,采用CBAM注意力机制增加关键区域的权重,再通过DenseNet网络对融合了多尺度关键区域信息特征的输入进行图像重建,并通过仿真实验、抗噪性实验和静态实验与常用算法相比,实验结果表明,本文方法具有更高的精度和更好的可视化效果,且具备较高的抗噪性能。

参考文献

[1] 汤亮,蔡凯翼,徐适斐.基于深度学习的上倾管气液两相流流型识别[J].热能动力工程,2023,38(2):64⁃69.

[2] 颜华,胡丽娟,王伊凡,等.基于改进灵敏度矩阵的ERT图像重建[J].仪器仪表学报,2018,39(5):241⁃248.

[3] ZHU L Y, JIANG Y D, LI Y, et al. Conductivity prediction and image reconstruction of complex⁃valued multi⁃frequency electrical capacitance tomography based on deep neural network [J]. IEEE transactions on instrumentation and measurement, 2022, 71: 1⁃10.

[4] WANG C, GUO Q, WANG H X, et al. ECT image reconstruction based on alternating direction approximate Newton algorithm [J]. IEEE transactions on instrumentation and measurement, 2020, 69(7): 4873⁃4886.

[5] CUI Z Q, WANG Q, XUE Q, et al. A review on image reconstruction algorithms for electrical capacitance/resistance tomo⁃graphy [J]. Sensor review, 2016, 36(4): 429⁃445.

[6] 马敏,李继伟.基于SENet双路径多尺度特征融合的ECT图像重建[J].振动与冲击,2023,42(7):180⁃186.

[7] GAMIO J C, ORTIZ⁃ALEMAN C, MARTIN R. Electrical capacitance tomography two⁃phase oil⁃gas pipe flow imaging by the linear back⁃projection algorithm [J]. Geofísica internacional, 2010, 44(3): 165⁃273.

[8] JING L, LIU S, LI Z H, et al. An image reconstruction algorithm based on the extended Tikhonov regularization method for electrical capacitance tomography [J]. Measurement, 2009, 42(3): 368⁃376.

[9] 仝卫国,曾世超,张立峰,等.基于深度残差神经网络的电阻层析成像及流型辨识方法[J].系统仿真学报,2022,34(9):2028⁃2036.

[10] 姚佳烽,车权齐,李志伟,等.电容层析成像技术研究进展[J].机械制造与自动化,2022,51(5):1⁃7.

[11] 孙先亮,李健,韩哲哲,等.基于数据驱动的卷积神经网络电容层析成像图像重建[J].化工学报,2020,71(5):2004⁃2016.

[12] TAN C, LÜ S H, DONG F, et al. Image reconstruction based on convolutional neural network for electrical resistance tomo⁃graphy [J]. IEEE sensors journal, 2018, 19(1): 196⁃204.

[13] 李峰,谭超,董峰,等.全连接深度网络的电学层析成像算法[J].工程热物理学报,2019,40(7):1526⁃1531.

[14] 张立峰,戴力.基于鲁棒正则化极限学习机的电容层析成像图像重建[J].计量学报,2022,43(8):1044⁃1049.

[15] 党红云,刘敏.基于ERT的可视化压力测量方法[J].无损检测,2023,45(10):78⁃84.

[16] WOO S, PARK J, LEE J Y, et al. CBAM: Convolutional block attention module [C]// 2018 15th European Conference on Computer Vision. Heidelberg, Germany: Springer, 2018: 3⁃19.

[17] HUANG G, LIU Z, WEINBERGER K Q, et al. Densely connected convolutional networks [EB/OL]. [2024⁃08⁃20]. http://arxiv.org/abs/1608.06993.

[18] RAMACHANDRAN P, ZOPH B, LE Q V. Searching for activation functions [EB/OL]. [2018⁃08⁃13]. http://arxiv.org/abs/1710.05941.

[19] LOSHCHILOV I, HUTTER F. SGDR: Stochastic gradient descent with warm restarts [EB/OL]. [2017⁃02⁃23]. https://arxiv.org/abs/1608.03983v3.

作者简介:仝卫国(1967—),男,河北保定人,博士研究生,副教授,研究方向为先进流量测量技术。

崔建昕(2000—),男,山东聊城人,硕士研究生,研究方向为电阻层析成像与深度学习。