基于动态先验特征的包覆药多类型外观缺陷深度检测框架

郭 峰，陈中舒，代久双，吴云峰，刘 军，张昌华

(1.电子科技大学计算机科学与工程学院 成都 611731；2.电子科技大学机械与电气工程学院 成都 611731；3.泸州北方化学工业有限公司 四川 泸州 646605)

包覆药作为一种高能量材料，通常被嵌入固体火箭或导弹发动机的动力系统中，其在高温高压的环境中通过燃烧产生能量，为该动力系统提供动力[1]。包覆药外观质量直接关联着其燃烧性能，进而影响着该类动力系统的运行表现[2]，因此在制造过程中对其外观质量进行实时检测具有重要意义。

包覆药外观缺陷类型多样，主要包括形状缺陷、尺寸缺陷和表面缺陷。目前，包覆药外观缺陷是通过人工检测的方式实现缺陷包覆药的检出，但该方法检测效率低下，且检测结果易受人工状态影响。随着信息化和智能化技术的快速发展，基于深度学习的视觉检测技术凭借其具有特征自主提取、特征快速迁移等优势[3]，被广泛应用在实际生产制造等工业场景中[4-5]，下面将分述不同类型缺陷检测的研究现状。

包覆药形状缺陷检测可被视为分类问题，即根据包覆药的形状表征将其分为斜角、黏合和形状正常包覆药。形状表征是指基于包覆药的轮廓及其内部语义信息，挖掘用于描述不同形状的规则。传统形状表征规则主要依赖于人工设计[6]，然而该规则易受环境干扰、鲁棒性较差。随着文献[7]对形状表征深入的研究，基于形状的自然图像分类问题在机器视觉领域得到快速普及。此外，受益于神经网络平移不变性质，即使图像中目标对象发生平移、旋转、缩放等变化，深度分类器仍能取得较好的图像分类效果，已成为解决图像分类问题的主流方法[8]。

包覆药尺寸缺陷本质上可归结为尺寸测量问题，不在尺寸范围内的过长和过短包覆药均被视为尺寸缺陷包覆药。目前基于图像的尺寸测量多数是根据图像二值化、分水岭分割等传统图像处理算法[9-10]，但此类算法易受阈值约束，难以适配光照变化、环境噪声和复杂背景等场景。本文将深度分割网络[11]作为尺寸缺陷检测过程的预处理模型，利用深度学习特征自主提取等性质将包覆药从复杂背景中分割出来，将包含复杂背景的包覆药图像转换为包覆药区域像素为255、其余区域像素为0 的二值掩码图像。之后通过空间坐标转换规则，实现尺寸缺陷检测。

包覆药表面缺陷包括表面凹坑、裂痕等可视缺陷。基于深度学习的表面缺陷检测方法目前在NEU-CLS 和KolektorSDD 等工业数据集上均取得了显著的表现[12-13]。然而，上述基于有监督学习的表面缺陷检测依赖于大量有标签缺陷数据，难以适配包覆药表面缺陷数据稀缺场景。受文献[14]启发，本文将表面缺陷检测视为无监督学习任务，只利用正样本数据实现表面缺陷包覆药的检出。

虽然目前存在众多基于视觉的缺陷检测方法，但大多数方法主要集中解决单一缺陷类型，难以同时实现包覆药形状缺陷、尺寸缺陷和表面缺陷检测，开发一个能够同时完成上述3 种缺陷的检测框架迫在眉睫。同时，目前深度检测算法被嵌入边缘设备端，然而该类边缘设备存储和运算性能均有限，确保模型轻量化对实时检测极其重要。此外，不同检测任务所需特征存在重叠交叉，不同检测任务间具有强相关性，如何有效利用任务相关信息，在去除冗余特征的同时加速模型收敛过程至关重要。针对上述问题，本文提出了一种基于动态先验特征的包覆药多类型外观缺陷检测框架，主要贡献包括以下3 点。

1）本文提出的多类型外观缺陷检测框架能够同时实现包覆药形状、尺寸和表面缺陷的检测。

2）本文将用于形状缺陷检测的深度分类器和用于尺寸缺陷检测的深度分割网络集成，移除不同任务间的冗余特征，并利用梯度停止策略阻止不同任务训练过程相互干扰，确保模型收敛。此外，本文设计了一种基于深度卷积自编码器的表面缺陷检测方法，只需正样本就可实现表面缺陷的检出。

3）本文提出了一种基于动态先验特征的空间注意力机制，将深度分割网络迭代过程中形成的过程信息作为动态先验特征，指导深度分类器和深度卷积自编码器快速聚焦于包覆药，抑制任务无关特征干扰模型训练过程，加速模型收敛速度。

1 基础知识及实验平台

1.1 基础知识

本文提出的包覆药多类型外观缺陷检测框架主要包括两个子模型：深度分割网络和卷积自编码器（convolutional autoencoder, CAE）[15]。这两个子模型含有一个共同的结构，称为编码-解码结构。其中，编码器通过逐层降维捕获语义信息，而解码器利用上采样操作逐渐恢复图像空间信息，编码器和解码器呈相互对称结构。编码-解码结构与卷积神经网络（convolutional neural network, CNN）的结合，在工业缺陷检测领域取得了广泛的关注。此外受益于CNN 的参数共享和局部连接特性[15-16]，编码-解码模型的参数量得以大幅减少。

深度分割网络中的解码器用于生成不同语义的分割图，而CAE 中的解码器用于重构输入。与线性自编码器不同的是，CAE 可保留二维图像的空间信息，并在局部位置实现参数共享。CAE 主要由一个编码器h=e(x)和 一个解码器y=d(h)组成，其中h表示输入图像x的低维表征。编码器能够学习输入图像低维表征，而解码器利用该表征尽可能无差重构输入图像。CAE 通过最小化式(1)实现模型参数训练，其具体表述如下：

式中，xi表 示n个 输入图像中的第i个样本。本文将利用CAE 能够重构输入的能力，完成包覆药表面缺陷检测任务，有如下优势：训练过程无须表面有缺陷样本；CAE 易于分割形状不规则缺陷；CAE能从复杂背景中准确检测表面缺陷。

1.2 实验平台

包覆药外观缺陷检测平台主要由5 个部分组成：物料供应装置、喂料装置、检测装置、控制装置和清洁装置，如图1a 所示。物料供应装置是待测包覆药临时存储的区域。喂料装置用于将待测包覆药沿着导轨输送至检测装置。当待测包覆药经过相机时，包覆药图像信息被实时采集。该平台采用如图1b 所示的三相机协同检测装置，分别从不同方位采集包覆药空间信息，并将采集到的图像传输至控制装置，完成图像分析和数据处理任务。其中，本文提出的包覆药多类型外观缺陷深度检测框架被部署在控制装置中，该装置根据检测结果控制相关气动装置动作，实现缺陷包覆药的自主离群。清洁装置避免灰尘等杂质影响成像质量。本文利用该平台采集到的图像数据完成包覆药多类型外观缺陷深度检测框架的训练及测试。

图1 检测平台

2 模型设计

本文提出的基于动态先验特征的包覆药多类型外观缺陷深度检测框架如图2 所示。该框架包括两个阶段：形状和尺寸缺陷检测、表面缺陷检测。其中，第一阶段通过多任务学习技术，将基于深度分类器的形状缺陷检测和基于深度分割网络的表面缺陷检测模型进行集成；第二阶段利用卷积自编码器重构输入，并通过对比原始图像和重构图像间的像素值，完成表面缺陷的检出。此外，本文设计了一种基于动态先验特征的空间注意力机制，用于抑制任务不相关特征干扰训练过程，加速模型收敛速度。

图2 包覆药多类型外观缺陷深度检测框架

2.1 基于动态先验特征的空间注意力机制

不同类型缺陷的检测依赖于不同特征，因此需根据不同缺陷特征设计不同检测模型。然而，包覆药不同类型缺陷的检测过程所需特征存在重叠交叉，不同任务间具有较强的相关性。如形状缺陷检测和尺寸缺陷检测均依赖于包覆药外轮廓等特征（任务相关特征中的共有特征），且三者缺陷检测均需聚焦于包覆药，抑制背景噪声干扰（任务无关特征中的共有特征），如图3 所示。因此根据不同任务间的强相关属性，通过易于获取的共有特征指导其余任务中的模型学习，对去除冗余特征、避免特征重复提取、加速模型收敛至关重要。

图3 不同任务特征相关性示意图

针对上述问题，本文设计了一种基于动态先验特征的空间注意力机制，将深度分割网络训练时形成的过程特征，作为分类器和卷积自编码器训练时的动态先验信息，指导形状和表面缺陷检测模型快速聚焦于包覆药区域，避免耗费过多算力和时间重复提取任务不相关特征，具体如下。

1）深度分割网络可从复杂背景中逐像素分割出包覆药区域。基于此先验信息，本文将深度分割网络在第n次迭代后形成的最后一层特征图，作为分类器第 (n+1)次迭代过程时的动态先验特征，即将第n次迭代后的最后一层特征经过下采样操作downscale()， 并与第(n+1)次迭代时由共享特征层输送至深度分类器的特征逐像素相乘，确保图像级别分类器将注意力快速聚集于包覆药区域，加速模型收敛过程，如图2 所示。此时，基于动态先验特征修正后的分类器损失函数表达式为：

式中，k表示分类数量； [y=i]代 表若预测类别y等于i，则值为1，否则为0；pi是 类别y被预测为标签i的概率。

2）该动态特征映射为与表面缺陷检测模型输入特征相同尺寸，之后二者逐像素相乘，利用动态先验特征指导CAE 快速聚焦于包覆药，抑制背景噪声干扰。此外，本文利用先验特征修正深度卷积自编码器损失函数，其表达式为：

式中，mask 代表基于动态先验特征的注意力图。

2.2 包覆药多类型外观缺陷深度检测框架

2.2.1 第一阶段：形状和尺寸缺陷检测

由于形状缺陷和尺寸缺陷均依赖于包覆药轮廓及其内部语义特征，因此两个任务所需特征之间具有强相关性。受文献[17]启发，本文将基于深度分类器的形状缺陷检测和基于深度分割网络的尺寸缺陷检测模型集成，去除不同任务间的冗余特征，如图2 所示。具体而言，本文将深度分割网络作为主干网络，并在其自编码器结构后设计额外的深度分类器，保证两个任务共享特征提取网络层。为了实现端到端训练，利用深度分割网络和深度分类器损失函数联合优化，具体表达式为：

式中，L分割和L分类分别代表深度分割网络和深度分类器损失函数，其中L分类采用修正后的损失函数，如式(3)； λ是一个动态均衡因子，用于平衡两个任务的训练过程； δ是一个阻止深度分类器主导整个损失函数的超参数。 λ可表示为：

式中，n和T分别代表当前迭代的次数和总迭代次数。由于深度分类器是基于图像级别的标签，而深度分割网络是基于像素级别的标签，两个任务在训练过程中将互相干扰。因此，本文设计动态均衡因子 λ，确保集成模型在训练早期学习深度分割特征，而在训练后期学习深度分类特征，促使模型稳定收敛。同时，本文将深度分类器向共享特征网络层传播的梯度停止，避免两个任务训练过程互相干扰。此外，该集成模型引入基于动态先验特征的空间注意力机制，利用深度分割网络过程特征指导深度分类器快速聚焦于包覆药，避免任务无关特征干扰深度分类器收敛。

形状缺陷检测可通过深度分类器实现粘连、斜角形状缺陷包覆药检出。尺寸缺陷检测包括两个关键环节：坐标空间转换和尺寸缺陷检测。其中，坐标空间转换是为了确定像素当量，即图像坐标系中像素代表的实际空间距离。本文采用文献[18]提出的标定方法，确定像素当量为0.012 mm。包覆药实际尺寸可通过像素当量和像素数量乘积确定，其中尺寸正常包覆药的上界和下界分别是12 mm和10 mm。尺寸缺陷检测方法包括4 个步骤。

1）通过深度分割网络，获得分割掩码。

2）基于分割掩码，得到包覆药像素数量。

3）通过像素当量与像素数量间的乘积，确定包覆药测量尺寸。

4）测量尺寸分别与包覆药上界和下界比较，若当前尺寸处于二者之间，则为正常包覆药，否则为尺寸缺陷包覆药。

2.2.2 第二阶段：表面缺陷检测

包覆药只占据图像部分区域，因此表面缺陷检测过程只需关注包覆药区域。基于此，本文提出了一种基于动态先验特征的空间注意力机制，促使CAE 模型训练及测试过程均能快速聚焦于包覆药，避免背景噪声等任务无关特征干扰，其具体可表现在3 个方面。

1）在训练阶段，将深度分割网络最后一层特征图映射为与卷积自编码器第一层特征图相同尺寸，并将该信息作为先验特征，指导CAE 模型将注意力快速聚焦于包覆药。

2）在测试阶段，将深度分割网络生成的分割掩码映射为与表面缺陷检测过程生成的残差图像相同尺寸，之后二者逐像素作积，避免背景噪声等异常像素干扰缺陷检测，如图4 所示。

图4 基于卷积自编码器的表面缺陷检测流程

3）将分割掩码作为约束信息，修正MSE 损失函数，避免背景等任务无关特征参与到模型训练过程当中，修正后的损失函数如式(4)。

本文提出的卷积自编码器只需表面正常包覆药图像数据就可完成模型训练，无须人工手动标注，其工作原理如下。

1）将分割掩码的外接矩形作为基准，对原始输入图像进行裁剪。

2）将裁剪后的图像作为表面缺陷检测模型的输入，利用CAE 的编码器提取低维非线性特征，并通过设计金字塔池化结构[12]和跨层连接机制[19]，捕获多尺度特征，细化缺陷边界。

3）基于提取到的多尺度低维特征，CAE 的解码器尽可能无差重构出输入图像，并利用修正后的损失函数式(4)训练模型参数。

4）设计基于椭圆的伪缺陷训练策略，提升模型的鲁棒性，即通过控制椭圆形状参数而随机生成不同类型缺陷样式，如长短轴之比为1 则为凹坑缺陷；长短轴之比接近0 则为裂缝缺陷；此外，本文将输入图像裁剪为若干小尺寸样本进行重构，样本重构均值为重构图像像素。

5）CAE 训练过程只依赖于正样本，因此CAE只具备重构表面无缺陷样本的能力，故可通过计算输入图像与重构图像像素差值，获得缺陷信息。

6）本文设计了一种缺陷得分策略，用于量化表面缺陷，其具体表达式为：

3 实验与分析

3.1 实验数据和实验环境

本文数据集来源于包覆药外观缺陷检测平台实际采集到的图像数据，共包含像素为480 pixel×480 pixel的982 张灰度图像。其中，表面缺陷数据有54 张，形状缺陷图像253 张，尺寸缺陷图像345 张。本文将数据按照6:3:1 的比例随机划分为训练、测试和验证数据集。此外，为了提高检测模型对光照等外界因子的鲁棒性，本文将训练数据通过增低亮度、变化对比度和锐度、增加噪声等方式，将训练数据集扩充为原来的5 倍。

本文使用配置有Intel Core i7-9700K CPU 和NVIDIA RTX Titan GPU 的实验环境，用于模型的训练和测试。同时，借助PyTorch 1.3 和OpenCV 3.4 等视觉函数库，完成多缺陷检测模型的前处理及后处理操作。将训练时最小批次设置为32；采用动量为0.9、权重衰减系数为2×10-3的随机梯度下降法优化神经网络模型；最大迭代次数为1 000；初始学习率为0.001。

3.2 评价指标

本文利用精确率、召回率、准确率和F1 分数等指标对多缺陷深度检测框架的性能进行评估。其中，深度分割网络的分割效果利用IoU[11]指标进行评估。上述指标可表示为：

式中，TP 和FP 分别表示有缺陷和无缺陷的样本被预测为有缺陷样本的数量；TN 和FN 分别表示无缺陷和有缺陷的样本分别被预测为无缺陷的样本；精确率用于描述检测结果中被正确预测的比例；召回率代表有缺陷样本被检测到的数量；准确率表示缺陷检测结果的总效果；F1 分数作为精确率和召回率的调和平均数，能够缓解数据分布不均衡对检测结果的影响。DR 和GT 分别表示包覆药的预测和标注边框。式(12)表示预测框和标注框之间的交并比，用于衡量两个集合的重叠程度，且该交并比越接近1 表明预测效果越好。除了上述评价指标之外，本文利用参数数量和检测速度指标评估多缺陷检测模型的计算复杂度。

3.3 形状缺陷和尺寸缺陷检测结果

由于形状缺陷检测和尺寸缺陷检测均依赖于包覆药轮廓等特征，因此本文也验证了将尺寸缺陷检测也视为分类任务，即利用深度分类器完成尺寸缺陷包覆药检出的效果。图5 所示的混淆矩阵表示包覆药形状缺陷检测结果，其对角线上的值代表每个种类的召回率。可以观察到，深度分类器除了在过长和过短缺陷上，均表现出较好的检测结果。具体而言，当过长和过短缺陷被视为分类任务时，部分样本将出现误分类现象，上述两种缺陷的召回率分别是76.92%和83.12%。这是由于CNNs 在下采样过程中，损失了图像尺寸精度信息，导致尺寸缺陷难以被视为分类任务。

图5 形状缺陷检测结果

由于深度分割网络的分割精度直接影响着尺寸缺陷检测的准确率，因此本文对目前几种主流的深度分割网络分割性能进行测试和选型，如FCN[20]、U-Net[21]、DeepLabv3[22]和DeepLabv3+[11]。表1 表明DeepLabv3+的性能明显优于其余几种模型，被选为本文尺寸缺陷检测的主干网络。此外，本文对形状和尺寸缺陷检测集成模型的性能进行评估。如表2 所示，集成模型在各项指标上均明显优于单独模型，表明深度分类器和深度分割网络在训练过程中互相受益，且能够有效去除不同任务间的冗余特征。

表1 主流的深度分割检测头分割结果对比

表2 单独模型和集成模型检测结果对比

3.4 表面缺陷检测结果

将提出的表面缺陷检测模型与其余两种基于自编码器的表面缺陷检测模型性能进行比较。需要特别注意的是：3 种表面缺陷检测模型只需要表面无缺陷样本就可完成参数训练。此外，87 张表面无缺陷样本和54 张表面有缺陷样本被用于测试表面缺陷检测模型的性能。

1）降噪自编码器 （denoising autoencoder, dAE）[23]：随机污染输入图像，并基于噪声样本训练模型，确保模型具有强鲁棒性。

2）变分自编码器 （variational autoencoder, vAE）[24]：该自编码器作为一种推断生成式网络结构，利用概率形式对潜在空间进行描述。

为了公平比较不同模型的检测性能，上述3 种表面缺陷检测模型均设定了相同的超参数。如表3所示，本文模型的F1 分数达到97.30%，检测结果明显优于降噪自编码器和变分自编码。虽然本文提出模型的检测速度略低于其余两种模型，但该模型的参数量远低于其余两种模型，更易被部署于边缘设备端。此外，表面缺陷检测模型检测速度低于其余模型的主要原因是：图像在前处理和后处理过程中损耗了额外的时间。

表3 本文模型与其余两种表面缺陷检测结果对比

通过消融实验，对本文所提各种策略进行评估。如表4 所示，重叠训练策略对表面缺陷检测结果影响最大，F1 分数直接从65.85%提升至97.30%。此外，跨层连接机制、金字塔池化结构、基于椭圆伪缺陷训练策略、空间注意力机制导致F1 分数分别提升25.76%、19.04%、16.22%和11.06%。实验结果表明：本文所提各种策略均能有效提高表面缺陷检测性能。表面缺陷检测结果如图6 所示。不难发现，缺陷区域的像素明显高于无缺陷区域的像素。当缺陷得分高于阈值时，则认为当前区域存在表面缺陷，否则为表面无缺陷区域。图6a 表示包覆药表面无缺陷，图6b 和图6c 分别表示包覆药表面存在凹坑和裂痕缺陷。

表4 表面缺陷检测消融实验对比

图6 表面缺陷检测结果

3.5 框架整体性能评估

本节将评估多缺陷深度检测框架整体性能，测试结果如表5 所示。其中，形状缺陷、尺寸缺陷和表面缺陷的检测准确率分别达到99.43%、95.90%、97.87%，满足实际生产需求。而尺寸缺陷检测性能略低于其余两种类型缺陷，成为进一步提升包覆药整体检测性能的关键环节。

表5 多缺陷检测结果 %

4 结 束 语

本文提出了一种基于动态先验特征的包覆药多类型外观缺陷深度检测框架，用于同时检测包覆药形状、尺寸和表面缺陷。该框架包括两个阶段。

1）将用于形状缺陷检测的深度分类器和用于尺寸缺陷检测的深度分割网络集成，去除不同任务间的冗余特征，减少模型参数量。

2）利用卷积自编码器实现包覆药表面缺陷检测，降低人工手动标注成本。本文根据不同检测任务间具有强相关属性，设计了一种基于动态先验特征的空间注意力机制，将深度分割网络迭代过程中形成的过程特征作为深度分类器和卷积自编码器的动态先验特征，确保不同检测任务在训练过程时快速聚焦于包覆药区域，避免任务无关特征重复提取，加快模型收敛速度。实验结果表明，本文提出的包覆药多缺陷检测框架在模型功耗、检测效率及检测准确率等方面均明显优于其余检测方法，更易被部署于边缘检测设备。