频域多方向C-UNet及动态损失的工业烟尘图像分割

张大锦,刘 辉†,陈甫刚,赵 安

(1.昆明理工大学信息工程与自动化学院,云南昆明 650500;2.昆明理工大学云南省人工智能重点实验室,云南昆明 650500;3.云南昆钢电子信息科技有限公司,云南昆明 650302)

1 引言

工业是推进人类社会发展的基础动力,随着工业化进程的快速发展,包含大量烟尘颗粒的工业烟尘排放量逐渐增加,已成为污染环境和危害人体健康的重要来源之一.为了降低工业烟尘对人体健康的危害和环境的污染以及未来工业同生态协调可持续的发展,有效控制工业烟尘的排放成为了刻不容缓的工作[1].烟尘浓度是工业排放烟尘污染等级监测的重要评判标准,通过对烟尘排放浓度进行监控,可以有效降低大气污染程度提高环境质量.由于计算机图像识别技术对工业排放烟尘浓度进行监测具有低成本和高准确率等特点,已经成为烟尘浓度监测的主要方法[2].其中,基于林格曼烟气黑度图的计算机图像识别方法在工业应用中使用最广,该方法包括烟尘图像采集、烟尘区域分割、烟尘区域提取、计算烟尘区域黑度值和污染等级判定5个主要环节,其中实现烟尘区域的准确分割是实现烟尘污染等级监测的难点和关键[3].

利用计算机图像识别技术进行烟尘分割主要有传统图像分割方法和深度学习分割方法.传统图像方法主要有区域生长法[4]、纹理分析法[5-6]和差分法[7].该类方法主要通过提取烟尘图像的颜色、纹理和空间结构信息等物理特征实现烟尘区域分割,存在计算冗余量大和分割精度低等问题.

随着计算机技术和性能的高速发展和快速提升,深度学习广泛应用于图像识别[8]、目标检测[9]和语义分割[10]任务中,并在实际应用中取得了比传统方法更好的效果.为解决传统方法分割烟尘存在复杂度高边缘分割效果不佳的问题,Yuan等人[11]提出一种双路径全卷积神经网络(fully convolutional network,FCN),增强了FCN对烟尘上下文和边缘特征的提取能力,但网络缺乏对烟尘形变特征的提取能力,对形状多变的烟尘边缘分割结果不够完整;因此,董泽舒等人[12]针对形状不规则的烟尘分割困难的问题,提出了一种基于注意力机制的长距离信息建模方法,通过提取长距离像素间的依赖和连续性关系,减少了非连续区域的烟尘误判,但该方法没有针对烟尘具体特性进行分析,在小目标烟尘分割中存在漏分割现象;因而,詹光莉等人[13]针对小目标烟尘漏分割误分割的问题使用衔接注意力机制与残差ASPP(atrous spatial pyramid pooling)的W-Net实现对小目标烟尘进行准确分割,但是该方法在提取特征的过程中方法较为单一,导致在烟尘边缘部分的分割效果欠佳;故此,吴建辉等人[14]提出一种基于频率分离特性的烟雾图像分割网络,使用频率分离模块将特征图中的烟雾区域分离为低频和高频部分,结合频域和空间域特征细化了烟雾边界,改善了分割效果,但该方法没有考虑烟尘非刚性多方向变化特点,在烟尘边缘方向信息的提取效果上还有待提高.以上深度学习方法在一定程度上实现了烟尘区域的分割,但都没有结合烟尘非刚性方向多变特性进行分析,缺乏对烟尘边缘方向信息的提取能力,导致对烟尘边缘区域的分割不够准确.

U-Net网络[15]能利用全局上下文信息和在有限的训练样本下进行端到端的快速训练,能有效解决数据稀缺和类别不平衡的问题.目前,已有许多研究人员提出了基于U-Net网络的改进方案[16-18],并取得了良好的效果.但针对烟尘图像分割任务来说,不仅需要关注烟尘分割的完整性还要关注烟尘边缘分割的准确性,对于非刚性、方向多变和边缘细节模糊的烟尘,U-Net网络还存在挖掘烟尘边缘方向信息不充分,导致烟尘边缘细节信息容易丢失分割不够准确的问题.

因此,本文针对工业烟尘非刚性多方向变化的特点,将轮廓波(contourlet)变换具有挖掘多方向信息的特性引入U-Net分割网络,构建具有提取烟尘边缘方向信息能力的C-UNet网络实现对烟尘边缘方向特征的提取和烟尘区域的准确分割.1)通过网络编码阶段的轮廓波多方向分解下采样结构,将烟尘特征分解为低频烟尘主体部分和高频多方向边缘细节分量部分,增强网络对烟尘边缘方向信息的提取能力;2)通过网络解码阶段的轮廓波细节重构上采样结构,结合跳跃连接的烟尘高频多方向细节信息和解码特征,增强网络对烟尘边缘细节信息的恢复能力;3)针对烟尘边缘特征提取困难的问题,对损失函数进行改进,提出一种基于动态加权策略的组合损失函数来优化训练网络,使网络随着训练进行从关注整体烟尘特征的提取逐渐到关注烟尘边缘特征的提取.结果表明,本文方法能够更好的提取烟尘边缘方向细节特征,对烟尘整体及边缘区域的分割准确度更高.

2 频域多方向C-UNet工业烟尘图像分割

2.1 多方向Contourlet变换

Contourlet变换是频域图像处理中一种多方向多尺度的几何分析方法[19],能在不同尺度和不同方向上有效提取图像细节信息,将其引入深度网络中可以增强网络几何分析的能力.Contourlet变换是拉普拉斯金字塔(laplacian pyramid,LP)[20]与方向滤波器组(directional filter banks,DFB)[21]结合形成以轮廓段为基函数来逼近原始图像的多方向双层滤波器组结构.在不同尺度的特征图上,先使用LP分解得到一个低频子带图像和包含边缘细节的高频子带图像,再使用DFB在LP分解得到的高频子带图像上进行l级的多方向分解,得到2l个高频方向子带.

对于一个输入图像X,经过LP进行多尺度分解,在第j层的低频子带和高频子带可分别表示为

其中:M为采样矩阵;m,n,o和p为位置参数.将高频子带通过DFB进行方向分解,DFB分解过程中的采样矩阵可表示为如下对角形式:

其中:l为分解等级,k为方向角度.DFB对每一层的高频子带进行分解,将相同方向上的线性特征组合成相应的稀疏系数s,引入ϕk,j为DFB在不同方向上的基函数,以内积的形式表示s为

图像每次经过LP分解产生的高频子带输入DFB,逐渐将点奇异连成线型结构,从而捕获图像中的边缘轮廓特征.Contourlet 变换具有完全重构优点,LP 和DFB各自完全重建,经对偶操作实现完全重建输入图像.由于烟尘具有丰富的方向特征,使用Contourlet变换进行烟尘特征的提取和重构能有效提取烟尘图像中的边缘方向细节信息,增强烟尘边缘的分割效果.

2.2 频域多方向C-UNet

针对实际工业生产过程中,排放的烟尘会受到多种自然环境的影响,使烟尘图像存在边缘模糊方向多变等特点,导致烟尘边缘分割不准确的问题.本文通过改进原网络的编解码采样操作、跳跃连接和损失函数,将Contourlet变换具有挖掘多方向信息的特性引入U-Net分割网络,增强网络对烟尘图像边缘方向信息的提取能力,提出一种频域多方向C-UNet及动态损失的工业烟尘图像分割方法,该方法能够同时提取图像空间域和频域特征,有效利用烟尘多方向信息且注重烟尘边缘信息提取,整体网络结构如图1所示.

图1 C-UNet网络结构原理图Fig.1 Schematic diagram of C-UNet network structure

C-UNet网络主要由编码阶段的轮廓波多方向分解下采样(contourlet multi-directional decomposition down-sampling,CMDD)、解码阶段的轮廓波细节重构上采样(contourlet detail reconstruction up-sampling,CDRU)以及多方向信息跳跃连接(multi-directional information skip connections,MISC)3个部分构成.首先,烟尘图像通过编码阶段实现烟尘低级和高级语义信息的提取,其中,在每个尺度下采样操作中,通过使用CMDD结构得到包含烟尘图像主体信息的低频子带进行高级语义信息的提取和包含烟尘边缘细节信息的高频方向子带进行方向细节信息的传递;其次,在解码阶段通过结合烟尘高频多方向子带特征与低频解码特征进行CDRU恢复特征图分辨率和烟尘边缘细节信息;最后,在网络中不仅对不同尺度的特征进行跳跃连接,还对不同CMDD得到的烟尘高频多方向细节信息进行跳跃连接,既能提高网络在持续采样过程中烟尘细节信息的表达准确性,又能增强网络对烟尘边缘方向细节信息的恢复能力.

C-UNet网络通过在不同作用域下对烟尘图像特征进行提取,分别对烟尘图像的低频和高频特征进行利用,增强了网络对烟尘边缘方向细节信息的提取和恢复能力,提高了烟尘整体及边缘区域的分割效果.

2.3 轮廓波多方向分解下采样

语义分割网络下采样操作中最大池化和平均池化等池化操作的邻域子采样会丢失烟尘边缘细节信息,降低网络对烟尘边缘方向细节信息的处理能力.基于频域处理的轮廓波变换方法能将图像分解为包含目标主体信息的低频分量和包含目标边缘方向细节信息的高频分量,能提高网络对细节信息的处理能力.为了增强网络对烟尘边缘方向细节信息的提取能力,本文使用轮廓波分解实现下采样操作,CMDD结构如图2所示.

图2 CMDD结构原理图Fig.2 Schematic diagram of CMDD structure

在进行轮廓波分解的过程中,先通过拉普拉斯金字塔分解(LP decomposition,LP-Dec)将烟尘图像分解为一个包含烟尘主体信息的低频子带进行高级语义特征提取和包含烟尘边缘和轮廓细节的高频子带进行方向细节信息的传递,对分解得到的烟尘高频子带进行3 级方向滤波器组分解(DFB decomposition,DFB-Dec)得到8个烟尘高频边缘方向子带特征.

输入图像x经LP-Dec之后得到低频子带a和高频子带b,即

图2中(a)展示了LP-Dec的详细过程,输入图像x经过分解滤波H和采样矩阵M下采样之后得到低频子带a,对低频子带a再经过采样矩阵M上采样和合成滤波G之后与输入图像x做差值处理得到高频子带b.

高频子带b经过DFB-Dec分解得到8个高频方向子带Yi,即

图2中(b)是DFB-Dec的详细过程,高频子带b经过分解滤波器E进行多方向分解后,通过采样矩阵S进行下采样之后得到8个高频方向子带Yi.

烟尘图像经过LP-Dec产生的包含烟尘边缘和轮廓的高频子带进行DFB-Dec,将LP捕捉的分布在同方向上的线性特征组合成一个轮廓段系数,形成以轮廓段为基函数来逼近烟尘图像进行烟尘轮廓的边缘多方向信息提取.通过对输入烟尘图像进行LP-Dec和DFB-Dec之后,将输入烟尘图像的低频信息和高频信息进行分离,对烟尘高频边缘方向细节信息和烟尘低频图像主体信息分开进行特征处理,避免了在进行特征提取过程中烟尘的高频细节信息与低频主体信息互相影响,提高了网络对烟尘边缘方向细节信息的提取能力.

2.4 轮廓波细节重构上采样

实现上采样特征图分辨率恢复的常用方法主要有双线性插值、反卷积和反池化等,这些方法虽然能够恢复图像的分辨率大小,但是缺乏对图像细节信息的恢复能力.由于轮廓波变换具有完全重构的优点,能够完全重构分解图像,因此,本文在网络解码阶段通过CDRU 来实现对烟尘图像特征图的分辨率恢复,CDRU结构如图3所示.

图3 CDRU结构原理图Fig.3 Schematic diagram of CDRU structure

对轮廓波多方向分解下采样产生的8个烟尘高频方向子带先进行3级的方向滤波器组重构(DFB reconstruction,DFB-Rec)得到重构的烟尘高频子带特征,再结合低频解码子带特征进行拉普拉斯金字塔重构(LP reconstruction,LP-Rec),最后得到输出的重构烟尘特征.

8个高频边缘方向子带经过DFB-Rec进行完全重构得到高频子带b,即

图3中(a)为DFB-Rec结构示意图,8个烟尘方向子带先进行上采样S之后通过不同的方向合成滤波器D进行合成,再相加融合后得到高频子带b.

在进行DFB-Rec之后得到的烟尘高频子带b再与低频解码子带a进行LP-Rec得到重构图像,即

图3中(b)为LP-Rec结构示意图,高频子带b经过分解滤波H和采样矩阵M进行下采样之后与低频子带a进行差值处理得到一个近似重构烟尘图像,再经过采样矩阵M上采样及合成滤波G之后与高频子带b进行相加融合,得到最后的重构烟尘图像.

通过结合解码低频子带和在编码过程中分解出来的烟尘高频方向子带信息进行CDRU有效利用了烟尘高频方向细节信息,实现了烟尘图像特征图分辨率和边缘细节信息的恢复,增强了在解码过程中烟尘边缘细节信息的恢复能力.

2.5 多方向信息跳跃连接

在网络中进行编解码特征提取过程中会存在烟尘边缘细节信息丢失的情况,为增强网络对烟尘边缘方向细节信息的提取恢复能力,本文在网络中通过MISC实现对烟尘边缘多方向细节信息进行单独利用.在网络编码操作的过程中,通过CMDD得到的烟尘高频方向子带信息,以跳跃连接的方式直接传递到CDRU操作中,降低了由于网络持续采样提取特征过程中造成的烟尘细节信息损失.通过烟尘高频方向细节信息的直接传输,增强了网络在解码过程中对烟尘图像边缘细节信息的恢复能力.另外,在进行解码操作的过程中,结合高频跳跃连接的烟尘多方向细节信息和烟尘低频解码特征进行CDRU恢复烟尘图像特征,能有效增强网络恢复烟尘边缘细节信息的能力.

C-UNet通过把包含烟尘边缘方向细节信息的高频分量和包含烟尘主体信息的低频分量分开进行处理,使烟尘主体低频分量进行持续提取高级烟尘语义信息的过程中不会受烟尘高频边缘细节信息的影响,同时烟尘高频方向细节信息为上采样恢复分辨率的过程中提供了烟尘多方向细节信息,增强了网络恢复烟尘边缘方向细节信息的能力.

3 动态加权组合损失函数

在烟尘分割的过程中,交叉熵损失(cross entropy loss,CEL)函数[22]在网络训练的时候能够同时关注背景与待分割目标前景区域,为所有像素保持平滑的梯度,有助于对所有像素进行分割,CEL计算公式如下:

其中:y表示烟尘真实标签,表示烟尘预测结果,m表示类别总数.

但是CEL在烟尘的边缘精细部分的分割效果较差,特别是在烟尘的边缘像素的区分上置信度较低,导致烟尘图像边缘细节分割模糊.针对此问题,本文提出了一种基于动态加权策略的组合损失函数来增强网络对于烟尘边缘特征的提取.

基于结构相似性指标构建的结构相似性损失(structural similarity loss,SSIML)函数[23]能够捕捉图像边缘结构信息,考虑到每一个像素结构的局部领域,在进行损失计算的时候为边界分配更高的权重,以此在训练的时候使网络更加关注边界的精细分割,其计算公式如下:

焦点损失(focal loss,FL)函数[24]能够通过参数调整正负样本和难易分割样本对损失函数的贡献,能在网络训练的时候使网络更偏向于难分割样本,增强网络对难分边界的分割效果,其计算公式如下:

其中:α是样本数量平衡因子,用来调节正负样本的比重;γ是难易平衡因子,用来调节难分样本对损失函数的贡献.本文中设置α=0.75,γ=2.

普通组合损失函数通过使用固定参数对不同损失函数进行加权组合,加权参数的固定设置,不利于最佳参数的寻找和网络的训练过程.为了使损失函数适应网络的训练过程,更能准确分割烟尘边缘及整体区域,受文献[25]的启发,对CEL函数进行改进,采用动态变化的权重参数来实现组合损失的加权,使组合损失具有自适应性和动态性,能使网络模型从关注全局信息逐渐关注烟尘边缘区域,提高烟尘边缘区域的分割效果.

本文采用lg函数构造了一种动态参数变化方案,通过设置最小权重参数和最大权重参数,使加权参数在网络训练的过程中根据迭代次数的变化进行动态调整.以迭代次数动态变化参数为自变量的lg函数为

其中:n为当前迭代次数,N为总迭代次数.

当网络刚开始训练,即n=1时,需要通过本文构造的动态加权策略使组合损失函数的加权参数接近于最小权重参数;随着网络训练到最后一轮,即n=N时,需要加权参数等于最大权重参数.因此,要使动态参数能在最小权重参数和最大权重参数范围内动态变化,需改进自变量为∈(1,10],以得到动态变化函数为

最后,基于上述得到的动态变化函数,即可得到本文提出的在最小权重参数和最大权重参数范围内随着网络训练的进行动态变化的动态加权策略

其中:βcur为当前迭代次数下的β值,βmax为设定的参数最大值,βmin为设定的参数最小值.

通过上述动态参数构建的动态加权组合损失函数如下:

随着网络训练的进行,β值随着动态增长变化,使动态加权组合损失函数更适应网络的训练过程,让网络从训练开始先通过CEL来关注烟尘全局信息,提取烟尘整体区域;在此基础上再通过SSIML和FL来关注烟尘难分割的边缘区域,提取精细烟尘边缘,以达到网络对烟尘整体和精细边缘区域的准确分割.

4 实验与分析

4.1 实验平台及数据

实验所用电脑配置为Intel(R)Xeon(R)CPU E5-2620 V4@2.10 GHz处理器,64 GB内存,11 GB RAM的NVIDIA GeForce RTX 2080Ti显卡,实验使用Python语言,PyTorch深度学习框架.

实验所用工业烟尘图像来自实际钢厂定点拍摄的烟尘排放视频,视频记录了白天时间段内不同监测点不同场景的烟尘排放信息.从拍摄视频中选取不同时间段、不同拍摄点的60段烟尘视频,从中提取1724帧图像,设置图像尺寸大小为224×224,使用Labelme图像标注软件在专家指导下手动对烟尘目标区域进行标注,制作烟尘图像数据标签.对烟尘图像和标签进行上下翻转和90°,180°,270°旋转实现数据集扩充至8620张,其中训练集6370张、测试集2250张.为了验证本文方法在不同烟尘场景下的识别能力,将测试集中的2250张图像划分为昏暗烟尘场景840张、易辨烟尘场景340张、干扰场景210张、小目标烟尘场景380张、稀薄烟尘场景175张、有颜色烟尘场景305张,共6个场景.

4.2 实验设置

本文实验在PyTorch深度学习环境下,通过端到端的方式进行训练,训练使用Adam算法对损失函数进行优化,优化器参数β1=0.9,β2=0.999,批处理大小batch=2,学习率lr=0.0001,训练迭代次数epoch=50.

4.3 评价指标

为了对本文方法进行有效评估,选择了查全率R(recall)、查准率P(precision)、IOU(intersection over union)、DSC(dice similarity coefficient)和F1度量(F1-score)作为评价指标.其中: R是被正确分类的正样本数量与真实正样本的数量之比;P是被正确分类的正样本数量与被预测为正样本的数量之比;IOU是语义分割的标准度量,是真实值与真实预测结果的交集与并集之比;DSC用于度量两个集合的相似程度;F1度量是综合度量查全率和查准率的指标,本文中正样本为烟尘目标区域、负样本为背景区域.各评价指标计算公式如下:

其中: TP,TN,FP,FN表示真实值与预测值之间的关系,如表1所示.式(21)中,β用于调整查全率和查准率的权重,当β=1时,二者重要度一样;β值增大,则认为查全率更重要;β值减小,则认为查准率更重要.在本实验中,更关注被分割出来的烟尘正样本数量,即认为查全率更重要,设置β=2.

表1 TP,FP,FN,TN含义表Table 1 Meaning of TP,FP,FN,TN

4.4 消融实验分析

为了验证本文所提结构上改进的有效性,本节对U-Net[15]、单独使用CMDD结构(Model1)、单独使用CDRU结构(Model2)、去除DFB分解和重构只进行LP分解和重构(LP-Net)和本文方法C-UNet进行对比.在进行Model1和Model2的消融实验过程中,网络的上采样和下采样过程使用原始U-Net网络的上采样与下采样结构.其中,在验证CDRU结构的有效性时,需要使用到CMDD结构分解得到的8个高频方向子带,因此,在网络的下采样过程中,仅使用CMDD 结构为CDRU结构提供8个高频方向子带,并不参与网络的训练.各个网络训练所用损失函数为CEL,评价指标对比如表2所示,分割结果对比如图4所示.

表2 网络结构评价指标对比Table 2 Comparison of network structure evaluation in-dexes

图4 网络结构改进前后对比Fig.4 Comparison of network structure before and after improvement

1) 从实验结果中可以看出,U-Net中由于对烟尘整体特征和边缘方向细节信息的提取能力不足,存在烟尘边缘细节信息丢失和烟尘漏分割的问题,如图4中第3列的第1个图所示;

2) 单独使用轮廓波进行下采样能降低由于池化操作的邻域子采样造成烟尘边缘细节信息的问题,能增强网络对烟尘边缘方向细节信息的提取能力,从表2 中的评价指标也可直观看出,Model1 比U-Net 在R,IOU,DSC 和F1 这4 个评价指标上分别提高了6.30%,3.69%,3.23%和4.78%,但Model1在提取烟尘整体和边缘细节信息上的能力还有待提高,对烟尘分割还不够准确,如图4中第4列的第2个图所示;

3) 单独使用轮廓波进行上采样能够利用轮廓波变换具有完全重构的优点,能够完全重构分解图像,增强网络对烟尘图像边缘细节信息的恢复能力,从表2 的评价指标可以看出,Model2 比U-Net 在R,IOU,DSC和F1这4个评价指标上分别提高了6.34%,3.47%,2.93%和4.71%,但Model2同样存在分割出来的烟尘整体和边缘不够精确的问题,如图4中第5列的第4个图所示;

4) LP-Net去除了DFB分解和重构只进行LP分解和重构,在一定程度上增强烟尘边缘细节信息的提取能力,从表2的评价指标可以看出,LP-Net比U-Net在R,IOU,DSC 和F1 这4 个评价指标上分别提高了5.68%,3.53%,2.86%和4.32%,但LP-Net缺乏对烟尘多方向信息的提取能力,对烟尘边缘部分的提取还有待提高,如图4中第6列的第3个图所示;

5) 本文方法C-UNet通过CMDD将图像分解为包含烟尘主体信息的低频分量和包含烟尘边缘方向细节信息的8个高频分量,有效提高了网络对烟尘细节信息的处理能力.通过CDRU结合跳跃连接的多方向细节信息,能有效提高网络对烟尘边缘方向细节信息的恢复能力,提高烟尘边缘细节部分的分割效果,如图4中第7列第4个图所示.从表2中的评价指标中可以更直观的看出,增加方向信息之后,本文方法C-UNet通过提取8个烟尘方向进行边缘细节特征提取,在R,IOU,DSC和F1这4个评价指标上比U-Net分别提高了7.62%,5.22%,4.12%和5.96%,说明增加烟尘方向信息提取能有效增强网络对烟尘边缘信息的提取能力,提高网络对烟尘整体和边缘区域的分割能力.

4.5 损失函数改进对比

为了验证本文提出的动态加权损失函数的有效性,将所提的动态加权损失和其他损失函数进行对比.改进前后对比的损失函数有CEL[23],SSIML[24],FL[25]以及固定参数分别为(β=0.6,β=0.7,β=0.8)下的组合损失函数和本文所提动态加权策略下(参数动态变化范围分别为:(0.2,0.6],(0.3,0.7],(0.4,0.8])的动态组合损失函数.9个损失函数在C-UNet上的评价指标对比如表3所示,分割结果对比如图5所示.

表3 损失函数评价指标对比Table 3 Comparison of loss function evaluation indexes

图5 损失函数实验结果对比Fig.5 Comparison of experimental results of loss function

1) 从实验结果可知,采用单一损失函数对网络进行训练,由于对烟尘的整体特征和边缘特征没有针对性,使网络对烟尘边缘的关注度不够,分割结果不够精确.其中,SSIML的分割效果差的原因是单独使用SSIML的时候网络关注的是全局图像的边缘结构信息,缺乏烟尘先验信息指导,导致单一SSIML下烟尘的分割效果较差.从图5中(c)-(e)列可以看出单一损失函数存在漏分割误分割等问题,从表3中的评价指标上也能直观看出比本文方法低;

2) 组合损失函数能够克服单一损失函数的缺点,能够利用不同损失函数的优点实现对烟尘图像进行更准确的分割.从固定参数分别为(β=0.6,β=0.7,β=0.8)下的组合损失函数的实验结果可知,组合损失函数能够利用CEL,SSIML和FL每个损失函数的优点,能分割出相对更准确的目标烟尘区域,但由于固定参数的组合损失不能很好的适应网络训练过程,导致对于烟尘的边缘细节上的分割还不够准确,如图5中(f)-(h)列和表3的评价指标中可以看出烟尘边缘分割不够精确;

3) 本文提出的动态加权组合损失函数能适应网络的训练过程,在网络训练初期由CEL对烟尘目标整体区域进行分割,提供先验指导信息,随着网络训练的进行,在分割出烟尘整体区域的基础上,由SSIML和FL损失来关注烟尘边缘结构细节信息的提取,使网络对于烟尘整体的分割完整度和边缘分割的准确性得到有效提升.如图5中(i)-(k)列,以及表3 的评价指标中可以看出烟尘分割结果更为准确.从表3中的评价指标的对比得出,在动态权重为(0.4,0.8]范围内的IOU和DSC指标上最好,在(0.3,0.7]范围内的查全率R和F1度量指标上最好.在本实验中,更关注被分割出来的烟尘正样本数量,更关注R和F1指标,后续对比实验在动态权重为(0.3,0.7]范围内进行.实验结果表明,在动态权重为(0.3,0.7]时,本文方法能有效增强网络对烟尘边缘的提取能力,在R,IOU,DSC和F1这4个评价指标上比U-Net分别提高了9.25%,5.27%,4.31%和6.91%.

4.6 与其他模型对比

为了验证本文提出方法的有效性和适应性,将本文方法C-UNet 和其他11 种语义分割方法进行对比,对比方法有FCN[26],U-Net[15],ResNet[27],PSPNet[28],Deeplabv3+[29],DA-Net[30],W-UNet[31],SE-DUNet[32],Kidney-SegNet[33],I-BiSeNet[34],W-Net[13].11种对比网络的训练参数与本文方法保持一致,在6个烟尘场景测试集上进行实验,评价指标对比如表4所示,分割结果对比如图6所示.

表4 各场景下不同网络模型评价指标对比Table 4 Comparison of evaluation indicators of different network models indifferent scenarios

图6 不同烟尘场景实验结果对比Fig.6 Comparison of experimental results indifferent smoke scenes

1) 在昏暗、易变、干扰、小目标、稀薄和有颜色烟尘场景下,FCN,U-Net,ResNet和PSPNet网络由于网络结构设计相对简单,对于非刚性多方向变化烟尘的整体和边缘细节信息提取能力欠佳,导致分割的烟尘存在漏分割和误分割的问题,如图6 中的(c)-(f)列所示;

2) Deeplabv3+,DA-Net,W-UNet,SE-DUNet,Kidney-SegNet,I-BiSeNet和W-Net网络由于结合了更多的改进思路,分割效果有所提高,但是网络缺少针对性,网络的适应能力不足,仍然存在漏分割和误分割的情况,如图6中的(g)-(m)列所示,从表4中也能直观看出在不同烟尘场景下大部分的分割评价指标上都比本文方法低;

3) 本文方法能够利用CMDD分解图像为包含烟尘主体信息的低频分量和包含烟尘边缘方向细节信息的8个高频分量,有效降低了烟尘细节信息的丢失,增强了网络对细节信息的提取能力,通过CDRU结合跳跃连接的多方向细节信息,能有效提高网络对烟尘边缘方向细节信息的恢复能力,提高烟尘边缘细节部分的分割效果,并通过动态组合损失使网络更关注烟尘边缘信息的提取,本文方法的抗干扰能力得到了有效提高.在6个不同烟尘场景下不同方法的分割结果中,本文方法的分割结果优于FCN,U-Net,ResNet,PSPNet,Deeplabv3+,DA-Net,W-UNet,SE-DUNet,Kidney-SegNet,I-BiSeNet 和W-Net共11种方法,分割烟尘整体及边缘更加准确.从表4的评价指标上也可清晰看出,在不同烟尘场景下,本文方法在R,IOU和F1这3个评价指标上都比其他分割模型表现好.通过实验证明,本文方法能够很好解决烟尘边缘信息丢失的问题,能适应复杂场景下目标烟尘的准确分割.

5 结论

针对边缘模糊且方向多变烟尘分割不准确的问题,本文提出频域多方向C-UNet及动态损失的工业烟尘图像分割方法进行解决.首先利用CMDD结构来提高网络对烟尘多方向细节特征的提取能力;然后通过高频多方向细节信息的跳跃连接,提升持续采样过程中细节信息的表达准确度;之后利用CDRU结构来增强烟尘边缘细节信息恢复能力;最后构建动态加权组合损失函数来优化训练网络,增强网络的自适应性和动态性,提高网络在训练过程中对烟尘边缘特征的提取能力.

实验结果表明,本文方法对边缘模糊方向多变烟尘有更好的分割效果,能针对性地改善烟尘边缘分割困难的问题.同时,为验证本文方法的适应性和有效性,分别在多个不同烟尘场景数据集下进行不同方法的对比实验,从实验结果中可知,本文方法的分割效果都优于其他分割网络.