基于编解码网络的化工驱油图像分割方法

翟钰杰，尚佳童，张 栋，赵伟强，雷 涛†

(1.陕西科技大学 电子信息与人工智能学院，陕西 西安 710021；2.陕西省人工智能联合实验室，陕西 西安 710021；3.中电科西北集团有限公司西安分公司，陕西 西安 710065)

石油作为国际重要的化石资源，自20世纪50年代起，在能源消耗总量中，油气始终占据首位，引起了生产方式的革命，创造了空前文明成果，使世界进入了“石油时代”。石油供应关系国家经济和军事保障，影响发展战略；与其他矿产资源相比，石油带有更多的战略物资的色彩。但由于油气是流体矿物，在整个体系中油、气、水关系复杂，不合理的开采、驱油会大大降低其采收率，因此选用合适的驱油材料并对驱油率进行分析则显得尤为重要。驱油图像分割是驱油率分析的关键步骤，它将不同时序得到的油水图像进行分割，目的是为下一步驱油率的计算以及材料的使用提供参考数据。因此，研究并找到更好的驱油图像分割方法，提升模型分割水平，对整个石油资源领域都具有重要的意义，对社会的发展和进步也具有不可代替的作用。

近年来，随着深度学习的发展，图像被广泛应用于目标检测、图像分类、分割和识别，其中图像分割技术根据相似性原理将图像分成几个不同的部分。自从全卷积神经网络提出后将端到端的网络结构引入图像语义分割技术中，随后便被广泛研究和利用，并且基于深度学习的图像分割算法在各种图像分割任务中取得显著的成就。如Bai等人利用大规模CMR图像数据集对FCN进行训练及评估，最终得到与专家相同的分割精度和临床测量精度。FCN可以接受任意大小的图像，但图像经过池化操作后部分像素的空间位置信息丢失，分割过程中未能考虑图像上下文信息，导致分割结果粗糙、分割边界不连续。U-net则继承FCN的思想，继续进行改进。如Sreekumar等人使用两个包含复杂背景的数据集Egohands和GTEA进行训练多种网络并测试比较，实验证明U-net相比于FCN具有更好的性能，其中实验通过将U-net网络第一次应用于手部分割，证明了其泛化性，也正是我们选取其进行化工图像分割的原因所在。U-Net将经过多次下采样得到的低分辨率信息和从编码器直接传递到同高度解码器上的高分辨率信息结合起来，可以更好地适用于边界模糊、梯度复杂的图像任务。然而其大小固定的卷积导致图像细节特征缺失；重复的下采样、池化以及参数共享造成模型抗噪性差，鲁棒性低，导致图像分割精度差，边界模糊。

为解决上述问题，在U-net网络结构的基础上提出一种新的网络模型CoU-net,来有效地提取多尺度上下文信息并将其通过空间注意力融合，提高分割精度。通过吉淑滢等人的研究证明，信息融合模块在网络复杂程度不变的基础上可以有效提升分割结果的精度。多尺度信息融合方法有很多，本文提出的多尺度信息提取融合模块由四个并行膨胀卷积滤波器和两个级联的注意力信息融合模块组成，四个并行膨胀卷积滤波共享权重，用于捕获不同的尺度上下文信息并且运用空间注意机制进行融合。模块嵌入解码器的顶部，可以通过自学习为不同尺度的目标动态选择合适的感受野，更好地融合多尺度背景信息，提高分割精度。

1 基于编解码网络的化工驱油图像分割方法

1.1 U-net网络

2015年Olaf Ronneberger等人在FCN的基础上改进，提出了U-net网络，由于其网络呈“U”形而得名，网络通过U形网络和跳跃连接实现底层高分辨率图像信息和深层语义信息相融合，可称之为医学分割影像的基石，能够有效处理医学图像任务。

在U-net中作者采用了对称结构，整个网络分为编码器部分(下采样)和解码器部分(上采样)，结构简单但很有效，在生物医学图像的分割任务中取得了出色的效果。编码器部分为特征提取网络，通过多层的卷积操作来提取特征信息，并采用步长为2的2×2最大池化操作来缩小特征图，提取更抽象的特征，获取场景信息。解码器为特征融合网络，对任务目标进行精确定位，通过上采样操作，将包含高级抽象特征信息但低分辨率的图片在保留高级抽象特征的基础上变为高分辨率，恢复到原始图像大小；并且图片与编码器提取的低级特征高分辨图片进行通道融合还原图片细节信息。最后通过两次卷积操作生成特征图，再经过sigmoid函数输出一个反映预测结果的概率值，值越大，预测结果的可能性越大。U-net结构不仅适用于生物医学图像，后也在遥感图像、制造工业以及农业等自然图像中担当着重要角色。

1.2 多尺度信息提取模块

正如引言中所讨论的，多尺度上下文信息可以提高语义分割任务的性能。然而，如何有效地提取和整合利用这些信息是一个值得探索的问题。DeepLabV1中作者提出空洞卷积的概念，在避免大量损失图像特征的前提下增加感受野，在特征图分辨率不变的同时增加卷积层的感受野，有效地获取了图像位置和细节信息。DeepLabV2中作者提出空洞空间金字塔池化(ASPP)结构，通过不同膨胀率的空洞卷积进行卷积后，将得到的图像多尺度信息特征图进行拼接。PSPNet和PoolNet采用了具有不同内核大小的多个并行卷积池来聚合不同区域的上下文信息，从而提高获取全局信息的能力。DeepLabV3和CE-Net采用了具有不同感受野的多个并行的卷积分支，提取不同尺度的特征信息后将其融合，提高了模型的多尺度信息捕获能力。DeepLabV3+在V3的基础上为了减少网络计算量舍弃了传统卷积运算，采用了空洞深度可分离卷积将其替换。

设计一种新的多尺度信息提取融合模块，具体结构如图1所示。在此模块中，我们采用4个并行的、膨胀率分别为1、2、3、4的膨胀卷积改变传统卷积的感受野，用来捕捉不同尺度的特征信息。膨胀卷积共享权重用来减少模型参数和过拟合的风险。

图1 多尺度信息提取融合(MIEF)模块

1.3 注意力信息融合模块

然而，在上述多尺度信息提取以及信息融合的过程中，感受野不能动态调整以适应不同大小的目标，导致模型的鲁棒性较差，分割精度低。由于注意力机制已被广泛用于改进模型性能，许多基于注意力机制的规模感知网络已被提出以克服上述问题。SA通过将注意力模块引入多尺度输入，学会了对每个像素的多尺度特征进行加权。AFNet和SPAP采用尺度感知层自适应地改变有效感受野的大小。SKNet提出了一种动态内核选择机制，将通道注意机制引入多个特征分支中。

除此之外，我们使用文献中的注意力信息融合模块来融合不同尺度的特征信息，增强模型的鲁棒性和抗噪性。如图2所示，引入空间注意力机制来动态地选择合适的尺度特征，并通过自学习将其融合。通过不同膨胀率的膨胀卷积得到的不同尺度的特征和经过通道拼接，一系列卷积操作后得到一组通道数为2的特征图，并将其按通道分别作为对应，的特征映射,∈×(:特征图的高度，:特征图的宽度)。通过softmax函数对空间值进行操作后得到两张像素级注意力特征图,∈×,计算公式如式(1)所示。

[1,2,3，…,×]

(1)

其中,为特征映射图,第个位置的像素值。

最后融合的特征图通过加权和获得，加权公式如式(2)所示。

=⊙+⊙

(2)

我们使用两个并行的注意力信息融合模块并与另一个进行级联操作，来获得四个分支的最终融合特征。之后利用带有可学习参数的残差连接来获得整个MIEF模块的输出。

图2 注意力信息融合模块

1.4 CoU-net整体框架

CoU-net网络结构如图3所示，多尺度信息提取模块和注意力信息融合模块集成在一起，将编码器提取的特征送入模块中，从而提高图像的分割精度。

图3 CoU-net网络

2 实 验

2.1 数据集建立

本次课题使用的是驱油数据集，此数据集是通过CAD和3D打印技术重新模拟新疆某油田中的岩石板，通过高分辨率相机拍摄驱油过程中油路的变化，按照像素差异总共包括3种类别，其中背景为灰色，油是红色，驱油材料为蓝色，背景为分割场景中不关心的区域。

原始的影像尺寸较大，因此我们需要对原始影像和标签图像进行预处理，首先对数据集进行随机裁剪，裁剪成2000张256×256大小的训练集，1000张测试集，并且在训练集中选取500张图片作为验证集，为了确保数据集能够训练出有效的网络模型，使其具有鲁棒性，需要将裁剪好的数据集进行数据增强。通过随机角度旋转、翻转、伽马变换、亮度变化以及添加噪声等增强图像数据集。经过对原始影像进行预处理操作，最终形成了2000张原图和对应标签构成的训练集，500张原图和对应标签构成的验证集以及1000张测试集，如图4所示，至此实验所需数据集建立完成。

图4 数据集(部分)

2.2 实验环境

实验环境为：处理器Intel(R) Xeon(R) CPU E5-1620 v4 @ 3.50 GHz，显卡NVIDIA GeForce GTX 1080，内存64 GB，Windows64位系统。GPU加速库为CUDA 11.0；深度学习框架为PyTorch，版本为torch 1.7.1；开发环境为PyCharm，版本为2019.3.3；编程语言为Python 3.7；可视化工具为TensorboardX 2.4；python库NumPy 1.19.5。

2.3 评价指标

为了定量分析模型在驱油图像中进行分割的效果，引入三个分割评价指标，分别为准确率(Accuracy)，交并比(IoU)和平均交并比(MIoU)，其计算公式分别如式(3)～(5)所示。

(3)

(4)

(5)

其中，代表样本为正，预测结果为正；代表样本为负，预测结果为正；代表样本为正，预测结果为负；代表样本为负，预测为负；为图像总类别数。

2.4 实验结果与分析

为了验证所提出方法的有效性，提出的网络为CoU-net,与原始U-net、MU-net、U-net++、ResNet深度学习模型进行对比。实验采用交叉熵(Cross Entropy)损失函数和Adam优化器来对网络模型优化，学习率(Learning Rate)为0.0001，批数量(Batch)为8，迭代次数(Epoch)为300，最终模型收敛，分割模型性能指标如表1所示。

表1 分割模型性能指标

表1展示了不同分割模型的性能，从结果中可以看出CoU-net在测试集上的MIoU达到了72.18%，准确率达到了83.34%，相比于原始的U-net网络分别提高了1.24%和2.55%，并且优于其他网络。由此可以验证本文方法的可行性，具有更加优异的分割精度。

为了更直观地表示，图5列举了部分图像分割样例。从图中可以看出，使用CoU-net进行分割的图片已经非常接近标注图像，并且相比于其他网络的分割结果边界更为明确，线条更加流畅，明显优于原始网络。

图5 不同分割网络的结果图对比

3 结 论

基于U-net提出了一种新的U形网络模型：CoU-net用于化工驱油图像分割，解决了U-net中多尺度上下文信息提取不足以及融合过程中造成的信息冗余,模型鲁棒性差等问题。设计并嵌入了集成多尺度信息提取以及空间注意力机制的MIEF模块，实现了多尺度上下文信息的提取融合，有效地改善了U-net对图像边缘细节的分割能力，并且通过注意力机制提高了原有模型的鲁棒性，提高了模型对图像重要任务的计算能力，分割精度较原始模型有较大的提升。但整个网络的结构还存在一定的问题，在跳跃连接部分没有进行充分的考虑，在一些细致的目标上还存在问题，未来将重点对网络构架进行优化，针对跳跃连接进行改进，进一步提高分割精度。