基于改进深度学习算法的铸件缺陷自动检测识别研究

王 飞，张素兰

（太原科技大学 计算机科学与技术学院，太原 030024）

铸件是根据不同铸造方式制造出的一体成型金属物件，其质量的优劣将对机器的安全运转产生直接影响[1]。有缺陷的铸件在使用过程中会因载荷的变化短时间发生损坏的概率较高，损坏带来的严重后果不可估量[2]。因此，采用有效措施实现铸件缺陷检测具有现实意义[3]。数字辐射成像（DR）的优势是成像快速、辐射量低、噪声小，将其应用于铸件缺陷检测中，不会对铸件本身产生任何损坏[4-5]。因此，利用智能化技术对铸件DR 图像进行识别，提高铸件缺陷检测精度成为当下亟待解决的问题[6-7]。

文献[8]利用机器视觉技术获取钢轨表面缺陷图像，通过基于级联自编码的语义分割模型识别其缺陷类别，但无法确定缺陷位置信息，同时，该网络在微小多缺陷目标识别方面难以取得较好的识别效果；文献[9]在获取铸件DR 图像后，通过引导滤波算法对其进行处理，再利用YOLACT 网络对标注后的铸件缺陷样本进行缺陷识别，但该算法的缺陷检测率难以达到工业要求。深度学习算法因在目标检测上的良好效果，受到各行业领域的关注[10]。为了提高铸件缺陷检测效果，本文提出基于改进深度学习算法的铸件缺陷自动检测识别研究，通过对YOLOv3 网络的骨架网络、多尺度检测网络以及损失函数进行改进设计，以适应多尺度缺陷目标的检测识别，将其与Faster RCNN、Cascade RCNN 网络融合，达到降低铸件缺陷漏检率目标，实现铸件缺陷的高精度识别。

1 改进YOLOv3 网络的铸件缺陷自动检测识别

1.1 铸件DR 图像预处理

为避免发生噪声和图像细节纹理一起过滤，提高铸件缺陷检测识别效果，本文采用引导滤波算法对铸件DR 图像进行处理，使图像纹理细节等获得最大程度的保留，并且不损失铸件DR 图像的边缘信息。在引导滤波算法中，I 定义为引导图像，通过其可对原始铸件DR 图像z 作基于I 的加权滤波处理，获得滤波后的铸件DR 图像δ。滤波器的数学表达式为

式中：Wij（I）为对I 作加权权值获得的权值。当原始铸件DR 图像z 为引导图像时，此时的滤波器即为保边滤波器。实现原始铸件DR 图像z 的平滑后，对I 与δ 作减法，即可获得铸件DR 图像的细节与大体轮廓，将其与放大系数相乘，并与滤波后图像δ 作加和后即可实现原始铸件DR 图像的增强，获得处理后图像Ie，其计算公式为

式中：α 为放大系数。

1.2 YOLOv3 网络结构

YOLOv3 由YOLOv1、YOLOv2 网络结构延伸而来，它利用回归算法能够对输入图像进行分割处理，得到数量为N×N 的网络，从而完成多目标的检测识别。

1.3 YOLOv3 网络改进

1.3.1 引入SPP 结构

为实现铸件缺陷的准确识别，本文将空间金字塔池化（SPP）结构引入到YOLOv3 网络中。SPP 结构如图1 所示，其内包含3 个卷积核尺寸分别5×5、9×9、13×13 的最大池化层、1 个跳跃连接，4 个分支为并行关系。将SPP 添加到YOLOv3 网络的第五、六卷积层之间，通过SPP 可实现输入铸件图像局部、整体特征的有效融合，获得更全面、更完整的铸件图像特征描述，对铸件缺陷误检率、漏检率的减小产生有利影响。

图1 SPP 基本结构Fig.1 Basic structure of SPP

1.3.2 多尺度检测网络

多尺度检测部分的输出结果分别为1/32、1/16、1/8 尺寸的特征图，分别对应大目标、中目标、小目标的检测识别，其中大目标识别结果需要在YOLOv3 网络的79 个卷积层后通过多个卷积处理方能得到，对其进行上采样处理，并同61 层输出结果进行融合后，继续执行数个卷积处理过程即可获得中目标检测识别结果；对第91 层的输出作上采样处理，再将其与第36 层输出作为融合后，执行若干个卷积即可得到小目标检测识别结果。经过以上处理后，可获得13×13、26×26、52×52 三种预测尺度，适应不同尺寸目标的检测识别。为了准确识别铸件图像中的更小缺陷目标，本文在原网络结构基础上，另添加了一种检测尺度，在获得52×52 特征图后，对其作上采样处理，再融合104×104 特征图后获得。

1.3.3 损失函数设计

铸件图像输入到YOLOv3 网络后，会被切割成Sh×Sw尺寸网格，其中网格高、宽分别为Sh、Sw，用于对数量为B 的目标框位置及其置信度分数的预估。铸件图像特征图训练时，预测的边界框通过B（x，y，w，h，cs）五元组进行描述，目标框的中心坐标为（x，y），其宽、高分别为w、h，其取值区间为［0，1］。对YOLOv3网络作改进处理后，目标框的实际坐标、宽度、高度分别通过下式获得：

式中：cx、cy为铸件图像左上角处坐标的偏移量；pw、ph为目标框宽、高的预测值；tx、ty、tw、th分别为改进YOLOv3 网络的学习对象。

如果各网格能够实现各目标检测类别的预估，则获得的张量维度可通过Sh×Sw×B×（5+C）表示。在对铸件缺陷类别及其位置进行预测时，YOLOv3 网络损失函数可表示为

式中：Errcoord 为铸件缺陷坐标预测值与实际结果间的误差；ErrIOU 为置信度偏差；Errclass 为铸件缺陷检测识别偏差。铸件缺陷位置预测误差可表示为

式中：权重因子通过ηcoord=2-wihi求得，其值可通过目标框的高度、宽度进行调节，以使坐标预测误差Errcoord 受目标框尺寸扰动较小。对于第i 个网格，其坐标、宽、高的预测结果分别为；其实际坐标、宽、高分别为xi、yi、wi、hi；∈｛0，1｝，是对铸件缺陷目标是否位于第i 个网格的第j 个目标框的描述。二元交叉熵函数通过Lcross-entropy表示，其公式为

式中：p 表示预测概率；q 表示实际概率。

置信度误差通过下式进行计算：

梯度会随着目标框尺寸偏差的增大而增大，故本文对铸件缺陷位置预测误差公式中的w、h 进行改进处理，改进后的铸件缺陷位置预测误差可表示为

1.4 铸件缺陷检测识别融合模型构建

为使铸件缺陷检测识别模型具有更好的缺陷识别效果、更高的缺陷召回率，对以上3 个网络进行融合处理，以使其能够对更多缺陷进行识别。模型融合过程如下：

（1）将去噪后的铸件DR 图像训练样本分别输入到改进后的YOLOv3 网络、Faster RCNN、Cascade RCNN 网络中实现各网络的训练学习，利用训练好的3 个缺陷检测模型分别对处理后的铸件DR 图像测试样本进行缺陷识别，获得缺陷位置、类别、置信度信息；

（2）随机选取2 个缺陷目标框，对其IOU 值进行运算，并与设定阈值进行比较，若其值高于阈值，说明两目标框中的缺陷目标属于同一缺陷类型，反之，表明识别的缺陷存在差异；

（3）当识别的是相同类型铸件缺陷时，则对置信度值进行调整，将各缺陷检测模型对各类铸件缺陷的识别精度作为依据，设定各检测模型权重，将其与该模型的缺陷检测置信度分数相乘，确定融合模型的置信度分数，确定具有最大置信度分数的缺陷目标框，将其位置信息进行保存，并对其置信度分数进行调整；

（4）当2 个缺陷目标框识别的铸件缺陷类型不同时，则对其置信度分数及其位置进行保存。

2 性能测试与分析

以铁道车辆上所用的摇枕铸件为研究对象，在Pytorch 深度学习框架下进行缺陷检测实验，利用数字式辐射成像技术采集摇枕铸件DR 图像，图像数量为1200 张，所有图像均有一定缺陷，缺陷类型为气孔、裂纹、缩松，采用本文算法对摇枕铸件缺陷进行检测识别，分析本文算法的缺陷识别能力。

图2（a）为从训练数据集中选取的一张摇枕DR图像的一部分，采用本文算法对其进行处理，通过对比处理前后摇枕DR 图像质量，分析本文算法的图像处理能力，实验结果如图2（b）所示。

图2 处理前后摇枕DR 图像质量对比Fig.2 Comparison of bolster DR image quality before and after processing

分析图2 可知，采用本文算法对原始摇枕DR图像进行处理，可有效改善原始摇枕DR 图像质量，原始图像的雾化、边缘模糊、细节信息不丰富的问题均获得有效解决。处理后的图像边缘清晰、细节信息得以完整保留。

通过对摇枕DR 图像处理前后的灰度直方图进行对比，进一步分析本文算法的图像处理效果，实验结果如图3 所示。分析图3 可知，对摇枕DR 原始图像进行处理后，图像像素灰度分布打破原有走势规律，波动幅度明显减小，表现出均衡性分布特点。实验结果表明，本文算法可实现原始图像的增强，图像质量明显提高。

图3 灰度直方图对比结果分析Fig.3 Analysis of gray histogram comparison results

将训练样本作为改进后YOLOv3 网络模型的输入，完成改进YOLOv3 网络模型的训练，设定学习率为10-3，衰减因子为5×10-4，通过分析平均训练损失曲线与平均交并比曲线，验证改进YOLOv3 网络模型的缺陷识别性能，实验结果如图4 所示。分析图4 可知，利用训练样本对改进YOLOv3 网络模型进行训练，训练平均损失随着训练次数的不断增加呈下降趋势变化，在前1000 次训练过程中，平均损失值下降幅度较大，继续增加训练次数，其值变化幅度变小，当训练3000 次后训练平均损失曲线逐渐开始收敛，当满足4000 次训练条件后，平均损失值基本接近稳定，其值为0.11；改进YOLOv3 网络模型在不断训练过程中，平均交并比曲线呈逐渐增长规律变化，训练次数小于3000 次前，该曲线增长明显，之后逐渐开始收敛，当达到4000 次训练后，其走势更加平稳。因此，改进后YOLOv3 网络模型可取得较好的训练效果。

图4 改进YOLOv3 网络模型性能分析Fig.4 Performance analysis of improved YOLOv3 network model

为降低改进YOLOv3 网络模型的缺陷漏检率，实现铸件缺陷的高精度检测识别，本文将其与Faster RCNN、Cascade RCNN 网络进行融合。以图4 的摇枕DR 图像为识别对象，采用融合模型对其缺陷进行检测识别，并将改进YOLOv3 网络模型作为对比模型，通过对两模型的缺陷检测结果进行对比分析，验证本文方法的优越性，实验结果如图5 所示。分析图5 可知，改进YOLOv3 网络模型在对摇枕铸件DR 图像进行缺陷检测识别时，对于图像中的极微小缺陷目标，难以实现完全识别，存在缺陷漏检测问题；融合模型的缺陷检测识别效果明显优于改进的YOLOv3 网络模型，在极小缺陷目标的检测识别上优势明显，利用检测样本集对融合模型的缺陷识别性能进行测试，缺陷识别精度均值可达到97.5%以上。实验结果表明，本文方法的缺陷检测识别能力突出。

图5 本文方法缺陷检测识别能力分析Fig.5 Analysis of defect detection and recognition ability of this method

3 结语

将本文方法应用于摇枕铸件缺陷检测识别中，通过分析摇枕DR 图像的处理性能以及改进YOLOv3 网络模型、混合模型的缺陷识别效果，验证本文方法的优越性。实验结果表明：①该方法处理后的摇枕DR 图像细节完整、边缘清晰、像素灰度分布均匀；②改进后的YOLOv3 网络模型在训练4000次后，平均损失稳定在0.11 左右，并获得最大交并比，有效降低缺陷误检率、漏检率；③混合模型在极小缺陷目标检测识别上具有突出优势，缺陷检测精度均值可达到97.5%以上。