基于注意力密集连接Unet 的磁瓦表面孔洞和裂痕缺陷分割算法

陈荣演，邱天，杨创富

（五邑大学 智能制造学部，广东 江门 529020）

磁瓦是各种电子产品线圈、电动机以及变压器等的重要组成部件，其质量的好坏直接影响相关产品的品质. 磁瓦缺陷检测具有较大的复杂性和多样性，从早期人工检测方式发展到目前主流的基于机器视觉的检测方式，虽然提高了检测效率，但是受限于人为设定规则划分缺陷的检测思想和人工设定规则难度大、鲁棒性差等缺点，基于视觉的检测方式一直局限于一些特定使用场合，虽有不少研究成果[1-5]，但仍然无法满足现代化生产需要. 随着人工智能的兴起，利用深度学习这种通过数据驱动来自动提取特征的方式在工业缺陷检测中取得了很多不错的结果[6-10]，基于以上成果，本文采用Unet 深度学习网络为基础对磁瓦表面孔洞和裂痕缺陷分割进行研究，针对磁瓦数据集数量较少和缺陷不明显等情况，构建一种密集连接的改进Unet 网络来实现对磁瓦表面孔洞和裂痕缺陷的分割算法，以提高磁瓦缺陷分割精度.

1 基于Unet 网络算法改进

Unet 作为图像分割的经典网络，已经在医学、工业以及自然图像等方面广泛应用. Unet 之所以会被广泛使用，是因为其独特的U 形编码—解码结构，其左边部分为编码部分，是通过多次卷积下采样获取不同尺度特征的网络结构. 编码部分得到的特征会通过跳跃连接送到解码部分，使得高层语义信息和底层信息进行融合，解码部分会通过上采样和卷积以融合不同的层次特征，并恢复回原图大小. 由于Unet 交互、融合了多层次的特征，故其对特征的表示能力较好，但是Unet 对细节处理不足以及对小物体分割效果不理想. 本文为了加强特征的表述和对小物体缺陷的分割，构建了密集连接的改进U 型卷积神经网络，改进后的网络模型如图1 所示，改进主要包括以下几个方面：解码阶段的密集连接、增加注意力机制CBAM、使用混合空洞取代下采样池化.

图1 改进密集连接Unet 模型

1.1 解码阶段的密集连接

一般来说，在进行磁瓦缺陷检测时所能采集到的数据是非常有限的，所以要在有限的数据中尽可能地充分利用数据，而密集卷积连接[11]可以有效提高特征的利用和传播，还可以解决梯度消失等问题，从而提高分割的准确性. 本文在网络中把编码阶段的每一层的特征都进行级联，并且通过一个1 ×1 的卷积对级联后的数据进行降维，另外在每个下采样前的卷积层添加批归一化（Batch Normalizing，BN）. 采用密集连接不仅可以通过复用特征来获得较高的利用率，而且可以起到正则化的作用，也可以在小样本中防止过拟合的发生.

1.2 增加注意力机制CBAM

注意力机制的主要思想是通过给特征进行加权，使得有效特征的权重增大，抑制无效特征或者噪声. 本文在特征提取的开始位置嵌入如图2 所示的CBAM 模块[12]，特征经过通道注意力和空间注意力模块生成注意力图，然后以注意力图为权重将输入的特征进行加权操作，使受关注的特征能够更突出地表达出来.

图2 CBAM 模块

在通道注意力模块中，特征分别经过最大池化和平均池化后送到多层感知网络，然后将多层感知网络的两个输出特征进行加和，最后通过sigmoid 函数进行激活. 在空间注意力模块中，将从通道注意力模块得到的输出分别进行最大池化和平均池化，然后在空间的维度上进行拼接，并使用1×1卷积进行降维，最后通过sigmoid 函数进行激活.

1.3 使用混合空洞卷积代替下采样池化

磁瓦的孔洞缺陷很小，而过多的下采样池化会造成特征和细节信息的丢失，因此在编码阶段的最后一个下采样用空洞卷积代替池化层，同时因为空洞卷积是间隔采样，因此会造成感受域图像不连续的现象，也就是网格效应的发生，从而导致一些细节丢失. 所以在检测中使用混合空洞卷积（Hybrid Dialated Convolution），也就是用空洞率为[1,2,5,1,2,5]的卷积，这样的设计可以把原本间隔采样的点补齐，从而达到感受野覆盖全图的目的.

2 实验与分析

在进行实验前，首先对数据进行增强和预处理，然后搭建网络和定义损失函数对网络进行反向传播训练，最后对网络输出的分割结果进行客观评价，从而判断分割网络的优劣.

2.1 数据增强和预处理

文中采用的磁瓦缺陷数据来源于中科院自动化所收集的磁瓦数据集[13]，里面包含了6 种常见磁瓦缺陷的图像. 因为孔洞和裂痕是磁瓦中最常见也是最难被检测出来的表面缺陷，因此选取这两项来进行实验. 数据集里面含有标注的孔洞缺陷图像共有115 张，含有裂痕缺陷标注的图像共57 张. 为了扩大训练样本，对原数据集的图像数据进行旋转、移位、调节亮度等一系列增强数据操作，使得孔洞和裂痕数据都扩大到300 张，并保持高宽地把图像调整到256 ×256大小和进行归一化处理. 其中270 张图片数据用于训练，30 张图片数据用来测试.

2.2 损失函数

磁瓦缺陷的分割属于二分类问题，由于磁瓦的缺陷占图像的比例比较小，样本分布不均衡. 正样本所占比例很少，这会使模型更倾向于判断其为负样本. 为了平衡正负样本的不均衡，需要在交叉熵损失函数上进行加权，使占比多的样本拥有的权重低、占比少的样本拥有权重高，以此平衡样本. 加权交叉熵损失如公式（1）所示：

式中，Yi表示目标，P(Yi)表示属于目标的概率，α表示平衡样本的权重.

2.3 评价指标

本文采用的模型评价指标如下：TP 表示预测为目标真实也为目标；TN 表示预测为背景真实也为背景；FP 表示预测为目标真实为背景；FN 表示预测为背景真实为目标.

MIoU：用来评价分割每个类真实结果和预测值之间的交集和并集比例的平均值.

Dice：用来衡量预测集和真实集的相似度.

Precision（精确度）：反映真实为正例所占的比例.

Sensitive（灵敏度）：反映被正确分成正例所占的比例.

2.4 分割结果对比分析

本文算法主要针对磁瓦的孔洞和裂痕缺陷进行分割，分割结果对比如图3 所示，评价指标得分如表1 所示. 其中MIoU、Dice 系数用来衡量分割结果和标签数据集合的相似程度，精确度是衡量模型分割正确的指标，灵敏度是衡量模型找出缺陷目标像素能力的指标. 表1 中，Res Unet 灵敏度约为64%，而精确度约为92%，说明分割结果中属于FN（假负）的比例高，表明Res Unet 不能很好地找出属于缺陷目标的像素. Unet 的各项指标在表1 中都比较平均，说明Unet 能够较好的完成分割任务，但从图3 中可以看出Unet 分割结果的边界存在模糊不清. 本文改进算法的MIoU 和Dice相比于Unet 分别有2.692%和3.342%的提升，因此本文算法分割目标在一定程度上优于U-net，从图3 中也可以看出本文算法的边界都比较清晰，且更加接近于真实缺陷的形状.

图3 磁瓦孔洞缺陷分割效果图

表1 磁瓦孔洞缺陷不同模型分割对比

在裂痕缺陷图片分割中，分割效果对比如图4 所示，评价指标得分如表2 所示. 文献[9]算法的精确度约为57%，而灵敏度约为93%，说明分割结果中属于FN（假正）的比例高，表明该算法把属于背景的像素错误划分为目标像素的情况较多. Unet 的分割情况与文献[9]算法类似，但分割后的图像边缘略显模糊，整体上优于文献[9]算法. 本文改进算法的MIoU 和Dice 系数都比较高，在分割精确度较高的情况下，灵敏度也处于较高水平，因此说明本文算法能较好找出缺陷目标. 从图4 可以看出，本文算法可以清晰分割较小的缺陷目标，分割效果更接近真实情况.

图4 磁瓦裂痕缺陷分割效果图

表2 磁瓦裂痕缺陷不同模型分割对比

3 结论

本文通过在Unet 算法的基础上构建了密集连接的U 型改进卷积神经网络算法，完成了对磁瓦的孔洞和裂痕缺陷分割. 实验结果表明，本文改进算法可以提高磁瓦孔洞和裂痕缺陷分割的精确度.为了使改进算法可以真正部署到工业上，下一步工作将对网络进行优化修剪，采集和制作包含多种缺陷类型的磁瓦数据集并进行训练，以增强算法的鲁棒性.