多尺度注意力线束端子实时语义分割网络

谷亚楠，曹如意，赵理山，芦碧波，苏柏顺

（河南理工大学 计算机科学与技术学院，河南 焦作 454003）

1 引言

线束在电子器件中的应用非常广泛，是电子系统中传输信号的重要载体，而线束端子作为线束生产中的重要连接组件，其质量直接影响到整个电子系统的功能［1］。线束生产中需要对线束端子进行压接，使之与电线牢固连接，在压接过程中会出现压断线芯或者线芯空隙过大的情况，进而影响到电子器件的正常使用，因此线束端子的质量检测就显得尤为重要［2］。由于线束端子的横截面积较小，故其清晰图像的采集难度较大，需要专业人员通过专业仪器设备对线束端子进行切片、抛光、腐蚀、酸洗等操作之后再放在显微镜下进行拍摄来获取线束端子横截面的彩色图像［3］。通过测量线束端子线芯与绝缘层轮廓，将测量得到的参数与设定的标准参数进行对比，可以检测线束端子质量［4］。但是人工测量成本高、效率低，并且持续的高强度工作会导致疲劳，从而造成测量精度下降，影响检测准确率。

为实现线束端子质量检测自动化，芦碧波等人［3］先将图像转换至Lab 空间进行处理，再使用水平集方法［5］分割其轮廓。李秀娟等人［6］利用HALCON 软件中的相关算子测量端子图像中部分几何量。胡建华等人［7］制订了一套较完整的端子压接质量检验标准。近年来，由于深度学习的发展，神经网络在图像分割［8］领域已经取得了很大的进展。Long 等人［9］提出了全卷积神经网络（Fully Convolutional Networks，FCN）［10］，实现了端到端的语义分割模型。Ronneberger 等人在全卷积神经网络基础上提出UNet［11］网络，在少量样本的情况下也能达到较好的分割精度。何凯明等人［12］在Faster R-CNN［13］基础上增加了一个语义分割的分支提出了Mask R-CNN，实现了实例分割。由于神经网络可以通过大量数据自动学习提取不同目标的特征，因此对于线束端子显微图像的分割效果要明显优于传统的分割方法。

然而对于线束端子分割任务，仍存在以下问题。首先，线束端子数据集采集难度较大导致数据有限，过于复杂的模型可能会过拟合。其次，线束端子线芯与绝缘层特征接近且线芯区域存在空隙，易造成误分割。另外，线束端子质量检测具有实时性要求，需要模型具有较快的推理速度。为解决上述问题，本文基于UNet 网络进行改进，提出一种基于多尺度注意力的线束端子实时语义分割网络MRF-UNet。首先使用参数量更少的多尺度注意力模块（Multiple Receptive Field attention module，MRF）代替UNet 的下采样模块，增强多尺度特征提取能力同时通过减少参数量降低过拟合的可能。其次使用特征融合实现跳跃连接并对解码部分进行深度约减，提升推理速度。

2 相关工作

2.1 UNet 网络

UNet 是常用的语义分割网络，其总体采用对称的U 型结构并通过跳跃连接（Skip-connection）将浅层特征引入解码部分，使解码器在上采样时利用浅层特征得到更加精细的分割结果，UNet 网络如图1所示。

UNet 由编码部分与解码部分构成，编码部分通过卷积池化等操作对特征图进行压缩与编码，获取图像语义信息与细节信息。输入图像首先经过双层卷积操作将特征通道扩展到64 维，之后依次通过4 组池化层与双层卷积操作进行特征提取。

解码部分则利用反卷积与卷积操作对特征图进行解码，利用编码部分获得的语义信息与细节信息恢复概率图。首先通过4 组反卷积层与双层卷积层（对输入特征2 倍上采样后与编码部分对应特征进行拼接，再将特征通道数减半）对输入特征进行语义解析与细节恢复。最后通过1×1 卷积输出概率图。

图1 UNet 网络Fig.1 UNet network

2.2 残差结构

何凯明等人在ResNet 网络中使用残差结构［14］，通过将输入与输出进行连接，使得梯度在反向传播时增加了一条恒等通道，可加快模型训练速度，降低梯度消失的可能。本文提出的MRF 模块可以提升网络的特征提取能力，但同时网络深度增加可能造成学习退化的问题。在MRF 模块中使用残差结构可以加快模型训练速度。

图2 残差结构Fig.2 Residual structure

3 线束端子实时语义分割网络

3.1 网络总体结构

线束端子显微图像获取流程繁琐，能够得到的训练样本有限。如果使用复杂的大型网络容易过拟合且会造成模型参数量增加，不利于实现算法实时性。因此在线束端子分割任务中大型分割网络与结构简单的UNet 网络比并不具有优势。但UNet 网络采用双层卷积操作提取图像特征，语义解析能力不足且运算速度较慢。为解决以上问题，本文在UNet 基础框架上进行改进。采用参数量更少的MRF 模块作为网络的特征提取模块，提升模型提取多尺度特征的能力，同时较少的参数量也降低了过拟合的可能。其次使用特征相加实现跳跃连接，进一步减少了网络的参数量。最后对解码部分进行深度约减，降低模型参数量并提升推理速度。

MRF-UNet 网络结构如图3 所示。网络分为编码部分（Encode）与解码部分（Decode）。Encode包含1 个ConvX 层与4 个MRF 模块，Decode由4 个上采样（UP）模块和1 个ConvX 层构成，1～4 层特征与6～9 层特征通过跳跃连接相连。其中ConvX 层代表卷积、批量归一化、非线性激活操作。

图3 MRF-UNet 网络结构Fig.3 MRF-UNet network structure

输入图像首先经过ConvX 层将图像卷积到32 维，再通过4 个MRF 模块提取图像多尺度特征，每个MRF 模块将特征图通道数扩大2 倍并进行2 倍下采样。之后经过4 个UP 模块恢复特征图分辨率，UP 模块利用反卷积（De-Conv）层将特征图通道数缩小一半并进行2 倍上采样。其次经过批量归一化（Batch Normalization，BN）层与非线性激活函数（Rectified Linear Unit，ReLU）层对特征进行归一化处理与非线性激活。最后ConvX 层对特征进行解码再通过跳跃连接引入浅层特征相加后输出，特征相加实现跳跃连接参数量更少。本文利用反卷积层同时实现上采样与特征映射，相较于UNet 的上采样模块，减少了一个卷积层，实现解码部分深度约减。

3.2 多尺度注意力模块

线束端子显微图像在采集过程中，受工艺水平、光照环境等因素影响，线芯与绝缘层边界不清晰且线芯区域存在空隙，因此给分割任务带来很大难度，此外线束端子质量检测具有实时性要求［3］。为了使模型在高质量完成特征提取任务的同时，还能保持较少参数量，本文采用多尺度注意力（MRF）模块作为网络特征提取的基础模块。MRF 模块结构如图4 所示，由短期密集连接（Short-Term Density Concatenate module，STDC）模块［15］与通道注意力机制（Attention）［16］构成并使用残差结构将输入与输出连接，相较于UNet 的下采样模块，MRF 模块增强模型多尺度特征提取能力的同时，保持较少的参数量。输入特征首先通过STDC 模块提取多尺度特征，再利用通道注意力机制对多尺度特征进行自适应加权激活，最后引入残差结构加速网络训练。使用STDC 模块代替传统卷积模块，能够增强网络多尺度特征提取能力，避免下采样过程导致线束端子显微图像中的边缘和空隙等细节信息丢失，从而提升网络对边缘以及空隙的分割能力。而注意力机制能够对不同的特征自适应增加权重，强化不同目标特征间的差异性，进一步提升线芯与绝缘层边界的提取能力。

图4 多尺度注意力模块Fig.4 Multiple receptive field attention module

3.2.1 STDC 模块

Fan 等人提出STDC 模块，总体结构如图4（b）所示，STDC 模块通过较少的参数量获得多感受野特征，输出结果中深层特征少，浅层特征多。在图像分类任务中，深层特征一般会使用更多的通道数量。但语义分割任务中，模型在解码阶段将高维度特征图进行解码得到概率图，浅层特征能够带来更加细粒度的信息，使得到的分割图像更加精细，过多的深度特征则会导致语义信息冗余。因此STDC 模块可以增强网络提取线束端子显微图像中不同尺度特征的能力。

输入特征图依次经过4 个ConvX 层获取不同尺度特征，第1 个ConvX 层的卷积核尺寸是1×1，其余为3×3。第2 个ConvX 层的卷积步长是2，其余步长是1。因此第2 个ConvX 之后的特征图尺寸都是输入特征尺寸的一半，最后将得到的4 组特征图通道拼接后输出。由于第1 组特征图尺寸是其余3 组的2 倍，需要使用均值池化进行2 倍下采样后才能进行拼接。

3.2.2 通道注意力机制

STDC 模块可以提取多尺度特征，但是不同尺度的特征对分割结果的影响不同，线束端子显微图像中，目标的颜色通常是绿色，背景则通常是黑色，因此颜色信息对线束端子的分割尤为重要。所以对不同尺度特征进行针对性的提取与学习可以进一步提升分割精度。STDC 模块能够充分利用线束端子多尺度特征进行分割，但是不同尺度特征对分割结果的权重不同。通道注意力机制可以对不同尺度的特征进行重加权激活，增强有用信息，抑制冗余信息。这样可以有效提升模型对特征的学习能力，同时加速模型拟合。

本文所采用的通道注意力机制如图4（c）所示。首先，通过最大池化和均值池化获取两组特征向量。其次，经过卷积层和ReLU 层将特征向量进行压缩激活，利用卷积层将压缩后的特征向量解压缩。之后将两路特征向量融合，并利用Sigmoid 激活函数进行激活。最后，将激活的特征向量与输入特征图相乘得到输出特征图。

3.3 损失函数

交叉熵损失函数［17］是图像分割的常用方法，用于描述两个概率分布之间的差异性信息，交叉熵损失函数（CrossEntropy Loss，CELoss）计算公式如式（1）：

其中：N代表像素点个数；M代表类别数；yij代表符号函数，若样本i的真实类别等于j则取1，否则取0；pij表示像素点i属于类别j的预测概率。

线束端子数据集中的背景、绝缘层、线芯这三个类别的分布相差较大。背景区域占比大，因此在训练过程中，网络更侧重学习背景区域的特征。引入戴斯系数损失函数（DiceLoss）［18］可以很好的解决类别不均衡问题，DiceLoss 用于描述两个集合的重合度，计算公式如式（2）：

其中：A和B分别表示真实结果与模型分割结果，|A∩B|表示两个集合相交的像素点个数，|A|和|B|分别表示集合A和B的元素个数。

然而DiceLoss 对边界较为敏感，在反向传播的过程中可能导致梯度剧烈变化，造成模型训练速度变慢［19］。基于以上考虑，本文使用CELoss与DiceLoss 构成的复合损失函数，如式（3）所示：

本文将CELoss 与DiceLoss 相加构成复合损失函数，CELoss 关注像素分类结果，DiceLoss 则更关注分割区域与真实结果之间的相似性，二者具有一致性，当分割区域与真实结果完全重合，损失值为0。该复合损失函数可以降低类别不均衡问题对模型造成的影响，同时防止梯度剧烈变化，加快模型训练速度。

4 实验分析

4.1 实验配置

实验运行环境为Ubuntu20.04 系统，Intel Xeon（R）Silver 4214R CPU @ 2.40 GHz x48 处理器，内存128 GB，显卡NVIDIA Corporation TU102GL ［Quadro RTX 8000］，CUDA11.4.2，Pytorch1.9.1，Python3.8.12。模型训练使用RMSprop 优化算法，并设置衰减学习率，连续2个Epoch 模型验证精度不提高，学习率衰减一半。训练过程开启AMP 自动混合精度，降低训练过程中内存占用，加快训练。BatchSize 设为20，Epoch 设为101，初始学习率设为0.001。

4.2 数据集介绍

本文使用线束端子显微图像数据集均通过专业人员利用线束端子截面检测仪进行采集。数据采集流程繁琐，能够获得的数据集有限，共138 张原始数据，线束端子显微图像如图5 所示。为提高模型泛化能力，本文通过调节亮度对比度、灰度均衡化、随机高斯噪声、几何变换等图像处理技术对数据集进行数据增强，共得到1 600张数据。其中，随机选取200 张作为测试数据集，用于模型性能评价；140 张作为验证集，用于训练过程中对模型性能进行阶段性评估；剩余的1 260 张作为训练集用于模型训练。为便于进行批训练，通过裁剪缩放等操作对数据进行预处理，将所有图像尺寸统一成576×800。

图5 线束端子显微图像Fig.5 Micrograph of harness terminal

4.3 评价指标

为客观评价本文算法性能，采用以下指标对模型进行评估：平均交并比（MIoU）、平均像素精度（MPA）、戴斯系数（Dice）、每秒推理帧数（FPS）。MIoU 表示分割结果与实际结果的相似度，MPA 表示像素点分类精度，Dice 表示分割结果与实际结果的重合度，FPS 表示每秒模型推理图片数量。具体计算公式如下：

其中：k+1 是类别个数，在线束端子显微图像分割任务中k=2；Pii为真正的数量，Pij，Pji分别表示假正和假负；N为推理图片数量；T为推理所用时间；A和B分别表示真实结果与模型分割结果。

4.4 实验与分析

4.4.1 模型性能对比实验

STDC 模块能够增强模型多尺度特征的提取能力，但是不同尺度特征对分割结果的影响不同，加入注意力机制可以对重要特征增加自适应权重，从而提升分割效果。注意力机制提取特征向量后会利用卷积与ReLU 对其进行压缩激活，不同的压缩比率对模型性能的影响不同。为了对比STDC 模块、注意力机制对模型效果的影响，进行以下实验，其中K表示注意力机制特征压缩比率。从表1 可以看出，单独使用STDC 模块，模型的精度略低于UNet，但是速度却是UNet 的4 倍。使用本文提出的MRF 模块相较于使用STDC 模块在分割精度上有一定提升，且模型推理速度是UNet 的3 倍。并且当特征压缩比率K=16 时效果最好。

本文算法为保证实时性与轻量化，采用了参数量更少的MRF 模块。其次使用特征相加实现跳跃连接，进一步减少了网络的参数量。最后对解码部分进行深度约减，降低模型运算量。为验证网络整体性能，将MRF-UNet 与UNet，BiSeNet［20］，SegNet［21］等语义分割网络的推理占用内存（Memory）、浮点数运算量（Floating-point Operation Per second，FLOPs）、每秒推理帧数（FPS）进行对比，对比结果如表2 所示。实验结果显示，MRF-UNet 模型推理占用内存低于其他网络，相较于UNet 下降了48%左右，这表明模型对设备内存的要求较低，可以降低设备成本；浮点数运算量同样低于其他网络，相较于UNet下降了89%左右，运算量大幅度减少，因此模型推理速度得到较大提升。模型推理速度达到15 FPS，可以满足线束端子质量检测实时性要求。

表1 模块性能指标对比Tab.1 Module performance index comparison

表2 网络性能指标对比Tab.2 Comparison of network performance indicators

为验证本文算法对线束端子的分割效果，将MRF-UNet 与UNet，BiSeNet，SegNet 在测试数据集上进行分割效果对比，实验对比结果如表3所示。实验结果可以看出，MRF-UNet 的各项指标均优于其他模型，MIoU，MPA，Dice 指标分别达到了97.54%，98.83%，98.31%，高于其他模型，分割精度满足线束端子质量检测要求。

表3 网络分割效果对比Tab.3 Comparison of network segmentation effects（%）

为了定性分析本文算法对边界不明显与线芯区域存在空隙的线束端子图像的分割效果，将本文算法与其他语义分割网络进行对比，结果如图6 所示。例1 边界不明显，BiSeNet，UNet 线芯区域误分割，SegNet 分割绝缘层存在缺失；例2线芯与绝缘层存在较大空隙，BiSeNet 分割线芯区域过于平滑，UNet 分割线芯区域存在孔洞，SegNet 分割线芯效果较差；例3 边界不清晰且线芯与绝缘层存在空隙，BiSeNet 分割边缘丢失细节信息，UNet，SegNet 分割结果不够精细；例4 边界不清晰，BiSeNet 线芯区域误分割，UNet 分割结果尚可，SegNet 分割线芯边缘存在锯齿。例5线芯与绝缘层存在细小空隙，BiSeNet，SegNet 线芯区域误分割，UNet 分割结果尚可。例6 边界不明显，BiSeNet 线芯分割不够精细，UNet 分割结果较好，SegNet 分割绝缘层精度不足。可以看出，本文算法对于边界不清晰与线芯存在空隙的样本分割效果更好。

图6 分割结果对比图Fig.6 Comparison diagram of segmentation results

4.4.2 几何参数测量实验

为验证MRF-UNet 在实际线束端子显微图像几何测量任务中的精确度，分别使用MRFUNet，BiSeNet，UNet 和SegNet 等模型对线束端子测试样本进行几何测量。几何测量要先获取线束端子线芯与绝缘层的轮廓，具体流程如下：（1）利用模型对线束端子显微图像进行分割，获得线芯与绝缘层对应区域；（2）使用数字图像处理技术，对分割区域进行平滑、去孔洞处理（为获取相对平滑的轮廓）；（3）使用轮廓检测算法获取线芯与绝缘层轮廓。轮廓获取结果对比如图7所示。

示例1 中BiSeNet 与SegNet 分割的线芯轮廓边界不够精细，UNet 分割的线芯轮廓存在孔洞；示例2 中BiSeNet 与SegNet 分割的边界不够准确，UNet 分割结果较好；示例3 中的BiSeNet，SegNet 对线芯轮廓的分割都不够精确，UNet 得到了较好的分割结果；由此可见，BiSeNet、UNet，SegNet 算法对一些线束端子图像容易误分割，分割结果不稳定，这将影响轮廓几何特征的测量，从而影响线束端子质量检测。而本文提出的算法MRF-UNet 则可以精准的对线束端子线芯与绝缘层进行分割，并准确提取内外轮廓，为后续的质量检测提供数据支撑。

图7 轮廓检测对比图Fig.7 Contour detection comparison diagram

几何测量在获取线芯与绝缘层轮廓之后，根据所得轮廓计算线芯与绝缘层的周长和面积，将所得数据与人工测量数据进行比较，计算平均测量精确度（线芯与绝缘层的周长和面积的精确度平均值）。本文算法与其他网络进行几何测量的对比结果如图8 所示。

测量结果可以得知，BiSeNet，SegNet，UNet网络的几何测量平均精度分别为94.5%，95.8%，96.1%。而本文算法MRF-UNet 的几何测量平均精度达到96.3%，优于其他算法。

图8 几何测量结果对比图Fig.8 Comparison diagram of geometric measurement results

5 结论

本文为实现线束端子质量检测自动化，提出了一种基于多尺度注意力的线束端子实时语义分割网络MRF-UNet。首先，采用MRF 模块作为特征提取基础模块，增强模型对线束端子的多尺度特征提取能力。其次，使用通道相加代替通道拼接，进一步降低网络参数量，防止模型过拟合。最后，对解码部分进行深度约减，提高模型推理速度，满足线束端子检测实时性要求。经过实验对比，MRF-UNet 网络的各个指标均优于UNet、BiSeNet 和SegNet，MIoU，MPA，Dice 指标分别达到97.54%，98.83%，98.31%。更重要的是在分割精度达到预期水平的情况下，推理速度是UNet 的3 倍，满足线束端子质检任务的实时性要求与精确度要求，可以为后续的线束端子质量检测提供数据支撑。