基于深度学习的GH4169合金组织表面缺陷检测

徐奎奎，董兆伟，孙立辉，董中奇，姜军强

(1.河北经贸大学 信息技术学院，河北 石家庄 050061;2.河北工业职业技术大学 材料工程系，河北 石家庄 050091;3.西安科技大学 机械工程系，陕西 西安 710054)

0 引 言

GH4169合金是中国航空发动机的骨干材料，在航空发动机的高温部件使用率超过50%，随着航空发动机第四代和第五代的研制，对GH4169合金的使役性能也提出了更高的要求。随着冶炼工艺与成型制备技术的精进，GH4169合金虽已基本满足中国航空发动机的需要，但与国外Inconel718合金相比还存在着不小的差距，主要表现在冶炼工艺不合理或技术参数不精准造成的冶金黑斑以及合金组织均匀性较差造成的加工后的裂隙和浅坑[1]。这些由于技术不成熟造成的缺陷很有可能成为应力集中的薄弱环节，成为破裂和腐蚀的根源。因此，找到合金组织表面的缺陷对于分析这些缺陷的成因以及提高合金冶炼工艺有着重要的意义。传统的检测都是由研究员使用扫描电镜人工检测组织表面存在的缺陷，这样不仅效率低下，而且很容易由于视觉疲劳出现错检漏检的情况。传统的机器视觉检测方法如Canny边缘检测[2]、Prewitt算子[3]和小波变换[4]等通过手工设计提取特征，由于缺陷较小且有些缺陷颜色和背景相差不大造成鲁棒性较差，检测精度较低，无法满足实用要求。

卷积神经网络在提取特征方面有非常强大的能力，相比较手工提取的特征，卷积神经网络提取的特征可以达到更好的效果[5]。因此，该文将RetinaNet[6]模型应用于GH4169合金组织表面缺陷检测上，并且针对RetinaNet网络对小目标检测不敏感的问题进行改进，提出了一种CA-RetinaNet检测算法。首先，在RetinaNet网络模型中引入了一种CA-Resnet结构代替原来的残差结构[7]，增强网络提取特征的能力；之后重新构建了特征金字塔网络[8]的底层结构，删除了原来的P7有效特征层，重新构建了P2有效特征层，提高了网络模型对于小缺陷的检测能力。

1 模型设计

RetinaNet结构上由特征提取网络、FPN(特征金字塔网络)和两个FCN子网络共同组成。ResNet网络负责提取图像的特征，FPN针对提取到的特征进行多尺度语义融合以获得表达力更强的特征图，最后将这些特征图输入到两个FCN子网络中，从而完成目标框的分类和回归任务。由于GH4169合金组织表面缺陷形貌和一些伪缺陷接近并且大部分缺陷像素占比较少，因此使用传统RetinaNet检测算法进行检测效果并不理想。该文提出的CA-RetinaNet网络在RetinaNet的基础上，引用了CA-Resnet结构，并且重新构建了FPN层，从而提高了缺陷检测的准确率。

1.1 CA-Resnet模块

CA-Resnet模块是由Resnet模块和CA[9](Coordinate Attention)模块两部分构成的，其主要结构如图1所示。

图1 残差块结构和CA-Resnet模块结构

Resnet模块又被称为残差模块，其主要思想是提出了一种shortcut的形式将前后层直接相连，使得后层网络也可以得到前层网络提取到的信息。这种方法可以更好地学习输入与输出之间的残差H(X)-X[7],使得神经网络可以更好的被训练，在一定程度上解决了网络退化的问题。但在使用Resnet50对合金组织表面缺陷进行特征提取时发现，较小缺陷在经过多次降采样后，特征逐渐消失。为了解决这个问题，在Resnet50中插入了CA模块。

CA模块可以优化神经网络学习到的参数，在强调有用特征的同时，抑制干扰性背景特征，以此来增加神经网络学习到的感兴趣的目标权重。其主要结构如图1中CA-Resnet模块所示。

CA模块主要分为Coordinate信息嵌入和Coordinate Attention生成两个步骤。Coordinate信息嵌入主要是为了注意力模块可以捕捉到精确的远程空间交互信息。特征图经过特征提取网络后得到大小C×W×H的X1特征图，而后使用尺寸为(H,1)和(1,W)的平均池化函数分别沿水平方向和竖直方向对每个通道进行编码输出大小为C×1×W的特征图。Coordinate Attention生成将以上的变换产生的两个特征图进行concatenate操作，接着使用一个共享的1×1的卷积进行变换、经BN操作和Relu非线性变换后生成大小C/r×1×(W+H)的张量和，然后利用两个一维卷积变换将张量和变换为具有相同通道数的张量输入到Sigmoid激活函数中，使用适当的缩减比来降低模型的复杂度，最后将学习到的权重与原始特征图的每一个通道进行相乘，得到注意力权重的X2特征图。这样CA模块不仅完成了通道权重的优化，同时也捕捉到了水平方向和竖直方向上目标的信息。比起SE-Net[10](Squeeze-and-Excitation Networks)只注重通道之间的关系，CA模块将位置信息与通道之间关系进行了互补，同时又避免了较大的计算开销。该文在CA-RetinaNet网络中使用CA-Resnet模块进行特征提取，对图像中的目标进行通道特征增强，提高了神经网络提取特征的能力以及检测精度。

1.2 重建特征金字塔网络

特征金字塔网络是一种自顶向下且带有侧向连接的网络，它可以融合低层网络和深层网络提取到的语义信息，实现多尺度预测。在卷积网络提取图像的过程中，大的目标特征点容易得到保留，小目标特征点容易被跳过，特别是经过很多层卷积和池化之后，小目标的特征信息会越来越少，这对于小目标检测非常不利。而特征金字塔网络，在对特征点进行下采样后重新进行上采样，并且将下采样与上采样中长宽相同的特征层进行堆叠，这样就可以保证小目标的特征与信息不会完全丢失。

在RetinaNet网络中，特征金字塔网络由P3～P7五种尺度特征构成[11]，其中P3(75,75)和P4(38,38)用来检测小目标，P5(19,19)、P6(10,10)、P7(5,5)用来检测大目标。该文所使用的数据集大都是中小类型的缺陷，而FPN网络所产生的P7(5,5)有效特征层却是用来检测大目标。因此，在CA-Retinanet中删去P7有效特征层，重新计算CA-Resnet所提取到的C2特征图，将P3有效特征层进行上采样后与其融合得到一个新的有效特征层，该文将新建立起来的有效特征层成为P2有效特征层，用来检测较小尺度的目标。具体如图2所示。另外，为了配合P2有效特征层的检测尺度，将anchor的尺寸从(32,64,128,256,512)调整为(16,32,64,128,256)，以便网络更加精准地定位目标。

(a)RetinaNet中的特征金字塔结构 (b)CA-RetinaNet中的特征金字塔结构

1.3 Focal Loss损失函数

Focal Loss损失函数由常用的交叉熵损失函数(CE)变形而来，是为了平衡正负样本而提出来的一种新的loss计算方案，其具有两个特点：

(1)控制正负样本的权重。

(2)控制容易分类和难分类样本的权重。

其公式如下：

(1)

(2)

(3)

FL(Pt)=-αt(1-Pt)γlog(Pt)

(4)

其中,y表示真实值，Pt表示估计概率，P表示概率，通过设置α值(0-1之间)控制正负样本对loss的贡献，通过控制Pt的值来控制权重的大小，Pt越大则权重较大，Pt越小相应的权重也就越小，以此来抑制那些容易分类的样本权重，提高难分类样本的权重。有效地解决了正负样本不平衡的问题。

2 实验分析

2.1 数据集

2.1.1 数据集介绍

实验采用的GH4169合金来自于中航上大高温合金材料有限公司，采用真空感应-气氛保护-真空自耗“三联冶炼技术”及锻造工艺生产的大棒材。从GH4169合金锻件大棒上截取样品长条，经线切割、热镶、磨样、抛光后，使用配比为20 ml盐酸+20 ml无水乙醇+1.5 g五水合硫酸铜的腐蚀溶液进行化学腐蚀[12]，再采用日本产尼康LV100ND金相显微镜进行图像数据采集，共获取1 882张图片。检测的目标分别是由于技术原料原因造成的缺陷(defect)、在磨样过程中造成的划痕(scratch)以及沾上的附着物(attachment)。图片分辨率大小为512×512，使用LabelImg软件对图像中的缺陷、划痕以及附着物进行标注，数据标注格式为PascalVOC格式。采集到的数据图像如图3所示。

图3 数据集部分样本

2.1.2 小目标数据增强

小目标检测一直是目标检测领域中具有挑战性的问题，特别是在缺陷检测方面，小缺陷往往容易被忽略，这主要是因为小缺陷占比像素较少且标注面积占比较小，直接导致神经网络在训练的过程中会更加偏向于较大的物体。该文引用文献[13]的思想，采用oversampling(过采样)的方法改进离线数据增强方式。对于含有小缺陷的样本进行2次复制并且修改名字，相当于对小缺陷样本进行三倍的过采样，从而引起神经网络的“注意”，提升小缺陷检测的准确率。该文使用的数据集中原始数据共1 882张图片，采用过采样离线数据增强方式进行小缺陷数据增强后共3 482张图片，按照8∶2的比例随机划分训练集和验证集。

2.2 实验设置

2.2.1 实验环境

实验环境在windows10操作系统下，采用pytorch的深度学习框架，并使用NVIDIA GeForce RTX2080S(8G)进行训练加速。

2.2.2 实验细节

网络采用冻结训练方式进行训练，冻结次数设置为50。训练时采用Adam优化器进行迭代优化，未解冻部分训练输入批次batch_size=8，学习率learning_rate=0.000 1，解冻部分训练batch_size=4，学习率learning_rate=0.000 01。采用迁移学习训练方式，导入ResNet网络预训练模型，共计训练150个轮次。

2.2.3 评价指标

为了评估模型检测的效果，采取mAP(平均精度)对检测结果进行评价。

(5)

(6)

(7)

(8)

其中，TP是分类器认为是正样本且确实时正样本的例子，FP是分类器认为是正样本但实际上不是正样本的例子，FN是分类器认为是负样本但实际上不是负样本的例子。AP是利用不同的Precision和Recall的组合计算得到的平均精度，mAP就是所有类的AP值求平均。

2.3 过采样法改进离线数据增强实验

为了验证过采样法改进离线数据增强的有效性，分别在SSD模型上和RetinaNet模型上进行了实验对比，实验结果如表1所示。

表1 过采样法改进离线数据增强方式前后对比

从实验对比结果可以看到，采用oversampling后的模型在三个种类的检测精度上均有所提高，不仅如此，采用oversampling后的模型在检测结果的标注上也更加的准确。以RetinaNet的检测结果为例，使用oversampling方法的RetinaNet模型能够检测出图像中更多的目标且置信度更高。根据图4中第一列检测结果对比图可以看到，没有使用oversampling方法的RetinaNet模型只检测出来1个目标，而使用oversampling方法的RetinaNet模型可以检测出来2个目标；根据图4中第二列检测结果对比可以看到，经过oversampling方法后检测的置信度分别为(scratch1：0.67,defect：0.99,scratch2：0.90)，而没有经过oversampling方法检测的置信度分别为(scratch1：0.56,defect：0.99,scratch2：0.68)，很明显经过oversampling方法后的模型检测目标的置信度要更高一些。

图4 第一行是没有经过过采样数据增强的检测结果;第二行是经过过采样数据增强的检测结果

2.4 模型改进前后实验对比

为了验证改进的模型对于GH4169合金组织缺陷检测的有效性，分别在RetinaNet模型，RetinaNet加CA-Resnet，RetinaNet加改进FPN以及CA-RetinaNet上进行实验。结果如表2所示。由表2可以看出，针对RetinaNet做出的改进是非常有效的，CA-RetinaNet相比较RetinaNet的mAP提升大约8.6%；在加入CA-Resnet后模型mAP提升大约2.64%；对比改进前后特征金字塔网络的检测精度，可以看出CA-RetinaNet中的特征金字塔网络有更好的特征提取能力，对比改进前后的特征金字塔 网络的检测结果，可以看到重构后的特征金字塔网络拥有更好的特征提取能力，缺陷类AP值大幅度提高。

表2 模型改进前后检测结果 %

在GH4169合金组织表面缺陷数据集的测试集中选取200张图片进行检测实验，部分检测结果如图5所示。从图中可以看出，原始RetinaNet模型仅仅可以检测图中少部分目标，而CA-RetinaNet几乎可以检测出图中所有目标。

图5 第一行为缺陷的微观形貌；第二行是RetinaNet模型检测结果；第三行是CA-RetinaNet模型检测结果

2.5 不同目标检测模型对比

为了进一步验证所提方法的有效性，在过采样后的GH4169合金组织表面缺陷数据集上，将CA-RetinaNet算法与当前主流目标检测算法SSD[14]、YOLO V4[15]及EfficienNet[16]等算法进行了对比，结果如表3所示。由表3可知，CA-RetinaNet检测精度明显高于当前主流检测方法SSD以及EfficientNet；和YOLO V4相比，检测精度较高一些。

表3 不同模型检测结果对比 %

3 结束语

针对GH169合金组织表面缺陷较小，形貌不易区分造成传统原始RetinaNet检测算法错检漏检等问题，提出以下改进方法：

(1)过采样法改进离线数据增强方式，对小缺陷样本进行3倍过采样，不仅增加了目标的检测成功率，而且检测出来的目标置信度更高。

(2)提出一种CA-RetinaNet检测算法，一方面将CA-Resnet结构引入到RetinaNet模型中，增强了网络提取特征的能力，另一方面重新构建了特征金字塔网络的结构。通过在GH4169合金组织表面缺陷数据集上进行测试，CA-RetinaNet算法相较于原始RetinaNet检测算法mAP提高了8.6%，与其他目标检测算法相比也有较大的优势。