一种改进Mask R-CNN的化妆棉棉片缺陷检测方法

李 亮，陈广峰，丁彩红

(东华大学 机械工程学院, 上海 201620)

化妆棉是纺织行业中常见的产品之一,在人们的日常生活中发挥着重要作用。由于机械设备不稳定、工人操作水平不足等原因,化妆棉在制造过程中易出现质量缺陷。常见的化妆棉缺陷包括褶皱、异物油污、无压点、缺少非织造布、压边不良、压点不良。目前国内主要依靠人工对化妆棉棉片的缺陷进行检测,人工检测的方式容易受外界因素的影响,导致检测精度和检测效率大打折扣。

基于机器视觉的自动缺陷检测方法可有效提高生产效率并降低误检率和漏检率。基于传统机器视觉技术的缺陷检测方法利用人工设计的特征进行分类,算法效果往往依赖于研究者对缺陷特征的人工选择和准确描述[1],例如:范程华等[2]将太阳能电池板表面缺陷作为研究对象,在一维傅里叶变换的基础上构建缺陷区域在小波域的投影系数欠定方程,借助匹配追踪思想筛选图像中的缺陷,通过寻找缺陷区域在小波中的投影大值,实现缺陷检测;Celik等[3]运用小波变换和形态学处理等方法对5种织物的缺陷区域进行检测,再利用灰度共生矩阵和前馈神经网络对5种织物缺陷进行分类。这种基于传统机器视觉的缺陷检测方法检测时间较长,且检测对象的纹理相对简单,往往难以完成纹理背景较为复杂的缺陷及小面积缺陷的检测任务。化妆棉棉片存在很多小面积缺陷(如异物油污、压点等),这导致传统的基于机器视觉的缺陷检测方法适应性较差。

基于深度学习的缺陷检测方法检测效率较高,能有效地识别小面积缺陷。例如:汪琦等[4]通过构造基于Mask R-CNN的绝缘子串分割模型,在获取的掩模图像中引入最小外接矩形提取绝缘子串图像,搭建自爆缺陷检测模型,实现绝缘子自爆缺陷的检测,识别准确率高达94.12%。Huang等[5]基于全卷积网络(FCN)提出一种地铁盾构隧道裂缝和渗漏缺陷检测算法,在自建的裂纹和泄露数据集上得到99.2%的综合识别准确率,检测效果良好。Zhang等[6]将YOLOv2目标检测算法与深度卷积神经网络相结合,实现对色织织物的缺陷检测,识别准确率达86.8%。Mei等[7]提出一种基于无监督学习的织物缺陷检测方法,通过在多个高斯金字塔级别使用卷积去噪自编码器重建图像,实现对织物缺陷的检测,在织物数据集上测试时获得83.3%的识别准确率。

本文提出一种基于改进Mask R-CNN[8]的化妆棉棉片缺陷检测方法,旨在构建一种基于深度学习的缺陷检测方法,以实现对化妆棉棉片缺陷的快速、准确自动化检测。

1 改进的Mask R-CNN网络模型框架

Mask R-CNN是一种两阶段目标实例分割框架。第一阶段,使用基础网络结合特征金字塔网络(feature pyramid networks,FPN)[9]结构生成特征图,再使用区域建议网络(region proposal networks,RPN)[10]在特征图上生成一系列候选框并进行筛选。第二阶段,使用分类网络完成分类、检测和分割任务。由于Mask R-CNN网络对化妆棉棉片缺陷检测的准确率不高,易出现漏检、误检现象,为缓解这种现象,本文对Mask R-CNN网络模型进行改进。首先,去掉Mask R-CNN网络中的分割分支,引入深度卷积思想改进基础网络;其次,改进FPN结构,以实现更加精准的预测。原始的FPN仅仅是将基础网络中的前后两个特征图进行融合相加;改进后FPN增加了1个浅层特征图,采用多信息融合的方式将所有的特征图进行融合相加,同时改进低分辨率图像的上采样方式。此外,在RPN前添加注意力机制模块,以使网络更加关注缺陷目标区域。改进的Mask R-CNN网络结构如图1所示。

图1 改进的Mask R-CNN网络结构Fig.1 Improved Mask R-CNN network structure

2 改进的Mask R-CNN网络模型细节

2.1 深度卷积网络

在一定范围内,增加特征提取网络深度能够提高检测的准确率,但同时模型的复杂度和训练的难度也会增加。这是因为反向传播过程中误差的累积会引发“梯度弥散”或“梯度爆炸”现象。ResNet[11]特征提取网络中的残差模块可以缓解该现象。为了使ResNet模型可以根据图像的特征信息,自适应地调整各个通道的特征响应,从而提高模型的特征提取能力,参考Swin Transformer[12]在ResNet50基础上进行改进,改进后的网络结构如图2所示。

图2 深度卷积网络Fig.2 Depthwise convolutional network

ResNet50中stage 0采用步长为2的7×7大卷积与最大池化方法对原始图像进行预处理。大卷积核不仅参数量很大,而且会破坏原始图像的通道信息和细节纹理信息,导致网络后续学习的性能较差。本文使用步长为4的4×4小卷积替代7×7大卷积,以减少信息的损失和参数量。

ResNet50中stage 1、stage 2、stage 3、stage 4堆叠的残差模块的次数依次为3、4、6、3。参考Swin Transformer结构,将4个stage堆叠的残差模块次数依次修改为3、3、9、3。对ResNet50中的两种残差结构进行改进,如图3所示。原始残差网络中的3×3卷积有较多的参数量,这将降低检测速度,并且卷积过程中每个通道采用同样的卷积核,无法充分提取所有的通道信息,因此,将原残差结构中3×3的普通卷积修改为7×7的深度卷积,同时将深度卷积上移。非线性激活函数可以防止梯度消失,但是使用过多会使原始图像过度非线性化,从而破坏通道信息,因此减少对非线性激活函数的使用。为了提高模型的泛化能力,将非线性激活函数修改为加入随机正则的GELU激活函数[13]。标准化可以加速网络的收敛并减少过拟合,但是使用过多可能会破坏原始图像的分布,损失图像信息,因此减少标准化的使用。此外,ResNet50采用的Batch Normalization[14]是在批次维度上对图像采用相同的均值和方差进行标准化,而图像的每个通道的信息是不同的,因此会在一定程度上破坏通道维度的信息,故将Batch Normalization修改为在通道维度上进行标准化的Layer Normalization[15]。

图3 ResNet50和深度卷积网络残差结构图Fig.3 Residual structure diagram of ResNet50 and depthwise convolutional network

2.2 多信息融合特征金字塔网络

Mask R-CNN的主干网络由特征提取网络ResNet和FPN构成。FPN作为一种多尺度检测方法,能够实现多尺度特征图的提取。原始的FPN获取的特征图对语义信息的表达不够完整,很难同时兼顾大目标、中等目标和小目标的检测精度,如图4(a)所示。为增加上下文信息的参考,使模型获得不同语义程度上的特征图信息,从而提高对化妆棉棉片上的小目标缺陷的检测精度,提出一种多信息融合的特征金字塔结构,如图4(b)所示。

在图4(a)与图4(b)中,两种特征金字塔网络均采用自上而下的横向连接结构,C1～C5均为基础网络每个阶段生成的特征图。图4(a)中,P2-P6为C1～C5相邻两个特征图经过上采样融合相加生成的特征图,上采样方式均采用双线性插值;图4(b)中P1～P6为C1～C5所有特征图经过上下采样融合相加生成的特征图。C4和C5两个低分辨率特征图采用的上采样方式是Pixel Shuffle[16],C1～C3采用的上采样方式则是双线性插值。与双线性插值相比,Pixel Shuffle在上采样时不会损失任何细节信息,信息总量保持不变,能够提高低分辨率特征图的表征能力。

2.3 注意力机制

化妆棉棉片表面纹理复杂,在模型的检测过程中会造成一定的干扰。将注意力机制引入到网络中,能更好地提取图像的特征,同时增加与缺陷相关的特征权重[17]。注意力机制通过给图像特征施加相应的注意力权重,从而突出待检测目标的重要特征,并抑制一些无关信息。常见的注意力机制包括通道注意力机制[18]、空间注意力机制[19]及混合注意力机制[20-21]。通道注意力机制是在图像特征通道尺度上施加注意力权重,使得模型关注有意义的特征;空间注意力机制是在图像特征空间尺度上施加注意力权重,使得模型关注特征在空间中具体的位置;混合注意力机制则能够充分结合特征通道和特征空间两个维度的注意力机制,对图像特征进行全面解析,从而使模型精准关注图像中的目标特征。

在区域建议网络生成前引入混合注意力机制[20],并在此基础上对其进行改进,以更好地解析融合后的图像特征,从而在区域建议网络中生成更加准确的预选框。本文将混合注意力机制的通道域注意力模块中的多层感知机替换成1个1×1卷积和Batch Normalization,再与一个7×7的Depthwise卷积[22]进行跳跃连接。Depthwise卷积是不同通道的特征图采用不同的卷积核进行卷积操作,这能够避免普通卷积中不同通道的特征图因采用相同的权重表征原始图像而导致信息损失的问题。改进后的注意力机制模型如图5所示。

图5中,WC为通道注意力权重,WS为空间注意力权重。给定特征融合金字塔生成的特征图Fi,首先,将该特征图送入通道注意力模块,分别通过平均池化和最大池化得到特征图每个通道的信息;然后,利用1×1卷积将通过池化获取的信息参数进行叠加,再经激活函数Sigmoid进行非线性激活,获得通道注意力特征权重MC(Fi),再与输入特征图Fi逐元素相乘,得到通道注意力特征图FC;接着,将FC送入空间注意力模块,依次进行平均池化和最大池化,再通过1×1卷积进行通道转换,并利用Sigmoid函数进行非线性激活,得到空间注意力特征权重MS(Fi),再次与FC逐元素相乘,获得空间注意力特征图FS。将原始特征图Fi经过一个7×7的Depthwise卷积获得的结果与FS逐元素相加,得到最终的特征图FO。

2.4 损失函数

由于去掉了Mask R-CNN网络中的分割分支,改进后Mask R-CNN只有4个损失函数,如式(1)所示。

LLoss=Lrcls+Lrbbox+Lcls+Lbbox

(1)

式中:Lrcls为区域建议网络的分类损失;Lrbbox为区域建议网络的边界框回归损失;Lcls为整个网络的分类损失;Lbbox为整个网络的边界框回归损失。

一般目标检测网络存在两个问题:一是正负样本不平衡问题;二是简单和困难样本不平衡问题。为解决这两个问题,在区域建议网络中对原来的交叉熵损失函数进行改进,设计一种新的损失函数,如式(2)所示。整个网络的分类损失采用交叉熵损失函数,如式(3)所示。

(2)

(3)

式(2)中,α为衡量正负样本的权重系数,一般负样本较多,因此取较小的值,从而提高正样本的权重,这里取0.25;γ为调节简单样本和困难样本之间的权重系数,可使模型在训练时更专注于难分类的样本,这里取2;式(2)和式(3)中的y为类别参数,正样本取1,负样本取0;K为类别数;P为目标属于某个类别的概率。

整个网络和区域建议网络的回归损失均使用SmoothL1损失函数:

(4)

式中:x、y为矩形框的中心坐标;w、h为矩形框的宽和高;Gi为真实框的回归参数;pi为预测框的回归参数。

3 试验方法与结果

3.1 数据集的说明与准备

化妆棉棉片主要通过裁切制成,在工业生产中会出现各种表面缺陷,常见的有褶皱、异物油污、无压点、缺少非织造布、压边不良、压点不良等6类缺陷,如图6所示。

试验采用自制的化妆棉棉片缺陷检测数据集。图像使用工业相机在黑色检测平台上采集,剔除一些不符合要求的图像后获得原始的数据集,共800张,按照8∶1∶1的比例划分为训练集、测试集和验证集,图像数量分别为640、80、80。3种数据集均包含所有的缺陷图像。为了模拟化妆棉棉片的工业生产环境,对训练集和测试集采用对比度增强、随机镜像、随机缩放、旋转变换方法进行扩增,验证集保持不变。对增强后的数据集进行筛选从而使各类缺陷达到均衡。数据增强后数据集的数量分布为训练集3 840张、测试集480张、验证集80张。

3.2 试验平台配置

试验在Ubuntu 9.3.0系统上进行。系统具体配置如表1所示。

表1 试验平台配置Table 1 Experimental platform configuration

3.3 试验设置

针对化妆棉缺陷检测模型,将Batchsize设置为4;模型训练轮数为45,每轮训练960次,初始学习率设置为0.005;优化器使用SGD,学习动量设为0.9;学习率更新策略使用MultiStepLR。模型训练损失和学习率曲线如图7所示。共训练50轮,前15轮模型的下降速度很快,而15～25轮时下降趋势减缓,训练至45轮后基本趋于稳定,表明模型已经收敛。

图7 模型总损失和学习率曲线Fig.7 Total loss and learning rate curve of the model

3.4 对比试验与结果分析

3.4.1 评价指标

评价缺陷检测精度的指标通常为误检率和漏检率。误检率一般用平均准确率(mean average precision,RmAP)来衡量;漏检率一般使用召回率(Rre)来衡量。平均准确率越高,误检率越低;召回率越高,漏检率越低。具体计算公式为

(5)

(6)

式中:P(R)为PR曲线;n为类别编号;N为类别数;NTP为预测结果为正样本且实际结果为正样本的个数;NFN为预测结果为负样本且实际结果为正样本个数。

3.4.2 特征提取网络对比试验

为了衡量深度卷积网络的性能,使用ResNet50、ResNet101、ResNext101、SENet50、RepVGG、深度卷积网络等6种卷积神经网络模型作为Mask R-CNN的特征提取网络。设置6组对比试验,试验结果如表2所示。

表2 不同特征提取网络的对比试验结果

由表2可知,使用本文提出的深度卷积网络来搭建Mask R-CNN时,特征提取能力显著增强,检测效果提升明显,RmAP达89.5%,Rre达77.4%。相比其他网络,深度卷积网络的Rre和RmAP最高,即漏检率和误检率最低,展现出强大的特征提取能力。相比ResNet50、ResNet101、ResNext101、SENet50、RepVGG,RmAP分别提高了6.3%、5.2%、4.4%、5.5%、6.5%,Rre分别提高了9.6%、6.8%、4.9%、8.1%、6.2%。由此可见,本文提出的深度卷积网络,由于采用了多个深度卷积堆叠而成的残差结构,同时减少了标准化和激活函数的使用,能够提取出更多的有用信息,显著降低漏检率和误检率。

3.4.3 改进模块对比试验

本文在原始Mask R-CNN检测框架下分别改进了FPN、加入了多通道注意力机制以及优化了损失函数。为验证上述改进模块的作用,以本文提出的深度卷积网络为特征提取网络,设置6组对比试验,结果如表3所示。

表3 不同模块的对比试验结果

表3第一行是以深度卷积网络为特征提取网络的Mask R-CNN的检测结果。由表3可以看出:原网络加入多通道注意力机制后,RmAP和Rre分别提高了4.2%和7.1%;改进FPN后,RmAP和Rre分别提高了4.9%和7.0%;优化损失函数后,RmAP和Rre分别提高了1.5%和1.0%;改进FPN,且加入注意力机制后,RmAP和Rre分别提高了5.6%和12.7%;改进FPN、加入注意力机制、优化损失函数后,RmAP和Rre分别提高了6.9%和13.8%;综合各模块的优点,改进Mask R-CNN的RmAP可达95.7%,Rre可达88.1%。由此可见:对于化妆棉棉片缺陷数据集而言,多信息融合特征金字塔网络能够提取出更多的缺陷信息;在区域建议网络前加入多通道注意力机制,有助于模型更加关注缺陷部位的特征,从而使模型学习地更加充分;改进区域建议网络的损失函数有利于生成更加准确的候选框,从而降低误检率和漏检率。

3.4.4 经典网络对比试验

为进一步验证改进的Mask R-CNN的效果,选取Faster R-CNN、SSD、YOLOv5、Mask R-CNN 4种经典网络进行对比,试验结果如表4所示。

表4 改进的Mask R-CNN与经典网络的对比试验结果

从表4可以看出,改进Mask R-CNN的检测效果优于Faster R-CNN、YOLOv5、SSD、Mask R-CNN网络。与Mask R-CNN相比,改进Mask R-CNN的RmAP分别提高38.7%、64.4%、18.0%、13.7%,Rre分别提高58.5%、96.7%、31.1%、24.8%。由此可见,本文提出的网络模型在化妆棉棉片数据集上漏检率和误检率均较低,有着更好的检测效果。此外,缺陷检测的平均时间增加幅度较小,检测1张图只需0.08 s,远高于人工检测的速度,满足实际工业的需求。

3.4.5 试验效果与分析

为了验证改进的Mask R-CNN的检测效果,选取3张含有缺陷的化妆棉棉片进行测试验证,如图8所示。图8(a)为待检测图像,图中待检测缺陷目标用虚线框标注,图8(b)～(f)分别为Faster R-CNN、YOLOv5、SSD、Mask R-CNN、改进的Mask R-CNN等5种检测算法的检测结果。

图8 不同检测算法的检测结果对比Fig.8 Comparison of test results of different detection algorithms

从图8可以看出,采用Faster R-CNN、YOLOv5、SSD、Mask R-CNN等4种算法检测时均出现不同程度的漏检和误检,尤其是YOLOv5算法没有检测出任何缺陷目标。这是因为化妆棉数据集存在很多异物油污、压点等小目标缺陷,YOLOv5算法本身对小目标的检测效果不好,同时YOLOv5算法在实际运算过程中会利用非极大值抑制算法选取得分最高的那个预测框,而YOLOv5算法的回归思想基础是将图像划分成S×S个网格,每个网格最多只能预测1个目标物,因此它对在同一个网格内出现多个目标物体的情况表现不佳,无法全部识别目标。本文改进的Mask R-CNN算法,能够更准确识别化妆棉棉片的缺陷类别和位置,平均准确率和召回率均较高,较好地解决了漏检、误检问题。

4 结 论

采用改进的Mask R-CNN检测模型,在自制的化妆棉棉片数据集上取得95.7%的检测准确率和88.1%的召回率,具有良好的检测效果,可以代替人工检测,具体结论如下:

1)在特征提取网络部分,通过堆叠深度卷积的残差结构,同时减少标准化和激活函数的使用,获得更丰富的语义特征,有利于后续检测框的生成和预测,增强检测能力。

2)采用多信息融合的特征金字塔网络可以获得更多的特征图信息参考,同时用像素重组的上采样方式替代原始的双线性插值的上采样方式,能够提高小分辨率特征图的表征能力,从而提高检测准确率;引入混合域注意力机制,能够提高小缺陷目标的检测效果;采用Depthwise卷积,能有效解决漏检、误检问题。

3)针对正负样本不平衡和简单困难样本不平衡两个问题,对区域建议网络的分类损失函数进行优化,可提高检测算法的准确度。