基于多流神经网络的PET瓶坯缺陷检测研究

段春梅，张涛川，李大成，陈 肖

(佛山职业技术学院，广东佛山 528137)

1 引言

PET瓶坯凭借无毒、质量分布均匀，良好的绝缘性等优点，广泛地应用于日化用品包装等领域，通过吹塑再次加工形成化妆品瓶、饮料矿泉水瓶、医塑包装、食用油瓶等，其产量和消费量随着经济的快速发展迅速增长。因此，PET瓶坯的质量具有非常重要意义。但是由于注塑机内部的空气原因而导致在瓶坯上随机形成气泡缺陷，或者因为降解的溶料在瓶坯上产生黑色的颗粒而形成黑点缺陷，或者因为模具表面受损以及碰撞原因在瓶坯侧壁上产生形状不规则的划痕，这三种缺陷是十分常见的，除此之外 PET瓶坯的缺陷还包括拉丝、水痕、凹痕等多种缺陷[1]。所以对PET瓶坯进行质量检测是生产过程中不可缺少的。

在许多制造业中，人工检测仍然是生产过程中的重要组成部分，但其不能保证检测的稳定性和准确性。因此，自动缺陷检测是解决这一问题的必然要求。其中机器视觉技术以其高精度的识别率和检测稳定性，逐渐取代了传统的人工检测方法，能够满足用户的要求。基于机器视觉的PET瓶坯缺陷检测过程一般包括图像采集、图像预处理、特征提取和缺陷识别四个步骤。其中，特征提取直接影响检测精度，甚至导致检测失败[2]。一般情况下，机器视觉特征提取方法大部分都是基于图像梯度方向的直方图的，例如SURF等[3]。但是由于缺陷具有任意尺寸、方向和形状的特点，所以通过传统的机器视觉特征提取方法获得的标准缺陷特征描述，可能导致分类结果的精度较低。

所以相对于上述特征提取方法，许多学者研究了深度学习的特征提取方法，并应用于不同材料的缺陷分类和检测。邓杰航等[4]针对皮革缺陷分类设计了基于参数优化的残差网络，通过多层卷积层提取皮革特征，引入残差模块解决深层网络的梯度消失问题，根据所提取特征进行缺陷分类。姚明海等[5]设计了卷积神经网络的自适应加权池化算法，提高卷积神经网络的特征提取精度，应用于各种基于神经网络的表面缺陷检测系统，从而提高表面缺陷的检测准确率。周颖等[6]利用改进的卷积神经网络实现太阳能电池板缺陷检测，主要通过改进损失函数，引入平衡因子，然后将网络的输出层换成随机森林分类器，提高缺陷检测的识别率和网络的泛化能力。金守峰等[7]通过光切成像原理搭建检测平台，采用BP神经网络实现织物表面绒毛缺陷检测。

同时具研究表明，学者很少利用深度网络学习对PET瓶坯缺陷分类和检测进行探讨，因此本文研究基于卷积神经网络的PET瓶坯缺陷分类和识别。同时本文将对传统卷积神经网络的结构进行改进，以获得更好的检测精度和稳定性。在传统的卷积神经网络基础上，采用多流卷积神经网络识别PET瓶坯缺陷，它通过融合多个图像特征来提高PET瓶坯缺陷的识别性能，满足了PET瓶坯缺陷识别的精度和稳定性要求。据研究所知，基于三个独立卷积神经网络流(RGB图像流、梯度图像流和缺陷图像流)的多特征融合方法尚未应用于PET瓶坯的缺陷分类和识别。目前，世界范围内没有开放的PET瓶坯样本数据集。项目团队与企业合作，由企业提供包含气泡、黑点、划痕和无缺陷的PET瓶坯样品，为此设计了一个PET瓶坯缺陷检测平台，通过样机平台采集样本图片，并对样本进行数据增强，有效地解决了训练样本不足的问题。

2 数据采集与预处理

2.1 PET瓶坯缺陷检测设备

设计了PET瓶坯缺陷检测平台，该平台可以采集样本图片并进行缺陷分类和质量评估。平台由工业相机、平面光源和运动控制系统组成。检测平台的结构图如图1 所示。其中，Basler工业相机配有ON Semiconductor MT9J003 CMOS 感光芯片，每秒 10 帧图像，1000万像素分辨率。PLC选用是国产三菱PLC-FX-3U，可以和MATLAB进行串口通信，通过MATLAB控制PLC的各个端点。光源是LED平面光源，可以通过调节器调节光源的亮度。拍照平台通过六块不透光的板围成一个密闭的箱子，为PET瓶坯拍照提供无干扰环境，减少外界的光照干扰。

图1 检测平台的结构图

2.2 数据增强

为了防止PET瓶坯的训练样本不足从而导致检测模型的检测精度低、拟合度低、鲁棒性差，则通过对原始样本进行适当增强变换，增加样本量。首先统一将PET瓶坯图像裁剪为512*512像素大小的图片，然后采用翻转、亮度调整、旋转等几何变换方法对数据进行增强[8]。图2为PET瓶坯图像的数据增强图。

图2 PET瓶坯图像的数据增强图

2.3 原始图像的梯度

PET瓶坯图像的梯度图像可以更好地表示输入图像的细节。而且，缺陷区域梯度信息对缺陷识别更加敏感。同时利用梯度图像流和原始图像流进行特征融合，可以提高检测性能。作为数据预处理的重要内容，图像梯度可以增强缺陷区域与均匀背景之间的突出变化，和增强图像的边缘信息。而PET瓶坯缺陷区域通常具有灰度值变化率大的特点，因此利用梯度算法可以消除大部分冗余的背景信息，保留具有较高意义的边缘信息[9]。通过对不同边缘检测算子的梯度算法进行实验比较，最好综合考虑Sobel算子，比较的效果图如图3所示，显示了原始的RGB图像和相应的算子的梯度图像。

图3 PET瓶坯原始图像及相对应的梯度图像

利用Sobel算子，对不同缺陷类型的PET原始RGB图像f(x，y)进行计算，得到相应的梯度图像，其计算公式如式(1)所示[10]。

(1)

其中梯度大小和方向的计算公式分别如式(2)和(3)所示[10]。最后对梯度图像进行归一化操作

(2)

(3)

2.4 提取缺陷感兴趣区域

如果PET瓶坯的三种缺陷像素较小，则容易混淆缺陷种类，为了更好的进行缺陷分类，需单独提取PET瓶坯图像的缺陷感兴趣区域，更好地读取三种缺陷的特征。提取缺陷感兴趣区域指的是对原始的PET图像经过一定的图像处理后，通过方框方式勾勒出缺陷区域。有三种方法，一种是利用图像分割技术提取ROI，该算法依赖于图像的颜色、纹理、形状等特征；第二种方法就是利用深度学习实现目标检测提取对应的缺陷ROI；第三种方法是人工标注缺陷区域，也是工作量比较大的一个环节。本文使用K-means 算法对PET瓶坯图像进行分割， 得到瓶坯图像中的缺陷区域。

K-means 算法过程：①首先将图片切割成不重叠的固定大小的块，使用K-means 算法通过无监督学习方式提取图像的特征块。②随机选择k个特征块作为初始聚类中心，通过式(4)计算其它块到k个聚类中心块的欧式距离，使得各类的聚类平方和最小，见式(5)所示；③根据距离大小求取相似的特征块，分配到与其最近的类中；④重新更新聚类中心，重复计算直到聚类中心和目标函数的值是否发生改变。由于瓶坯缺陷区域与非缺陷区域的特征分布存在一定差异，可以实现缺陷的分割[11,12]。

(4)

(5)

其中，欧氏距离衡量的是多维空间中各个点之间的绝对距离。um为聚类中心点，xi为数据对象。

3 PET瓶坯缺陷分类识别方法

3.1 多流卷积神经网络结构

传统卷积神经网络采用基于RGB或灰度图像的单流卷积神经网络进行训练，不考虑局部细节信息的提取。本文倾向于同时选择梯度图像作为特征提取的另一个输入，因为图像梯度能够很好地反映图像边缘等细节特征，降低了从RGB图像流中提取有效特征的难度，以便有效且容易地识别PET瓶坯图像的缺陷。本文将PET瓶坯的原始RGB图像，以及其对应的梯度图像和缺陷区域图像分别作为图像输入，设计了一种多流卷积神经网络模型，通过三个独立的子卷积神经网络提取特征。其中图像流和梯度图像流通过卷积层提取特征后融合特征，输入到全连接层，再与缺陷图像流提取的特征融合，最后输入到分类器进行分类。如图4所示的多流网络体系结构由三个独立的流组成，其输入为原始图像和对应原始图像的梯度图像和缺陷区域图像。

图4 多流卷积神经网络模型图

本文设计的多流卷积神经网络总共有6层，其中卷积层5层，全连接层1层，提出的多流卷积神经网络模型的每一个流都是基于ALEXNET的[13]。五个卷积层的设计与ALEXNET相同。融合卷积层提取的特征输入到全连接层，然后将所有局部特征重新通过权值矩阵连接起来，再输入到分类器中，得到概率分布，实现缺陷的分类和识别，最终给出了合格与不合格的判断。

3.2 特征的提取和融合

卷积运算的目的是提取输入的特征。特征的提取可以分卷积层提取和决策级融合。早期的卷积层只能提取边缘、直线和角度等低层特征。网络的后卷积层可以迭代地从底层特征中提取更复杂的特征。例如将RGB图像和相应的梯度图像和缺陷区域图像，分别输入到卷积神经网络中，得到各卷积层的特征映射。图5显示的是从三个子卷积神经网络的不同卷积层提取的带有缺陷的原始GRB图像(顶部)、对应的缺陷区域图像(中间)和对应的梯度图像(底部)的最激活通道的特征图。可以看出，从三个子网络流中分别提取的图像特征并不完全一致。

图5 三个子网络的卷积层的激活通道的特征图

利用上述方法分别提取图像的各层特征后，对特征进行归一化操作，然后在特征融合阶段合并。特征融合方法有很多种，包括和融合、最大值融合、级联融合等[14]。选择不同的特征融合方法或不同的特征融合层会影响缺陷分类识别的准确性。针对单一图像特征不能完全描述图像的问题，本文采用三个相同的子网络流同时训练，以提取不同图像的有效图像特征进行特征融合。本文实验部分比较了不同融合策略下在不同层融合层对检测精度的影响。通过比较，选择了合适的融合策略和融合层，可以帮助获得更好的缺陷分类的准确率。

4 结果与分析

本文以PET瓶坯缺陷分类和质量检测为例，验证本文提出的多流卷积神经网络模型的合理性、有效性、鲁棒性和分类性能。本文采用的是有监督训练方式，输入图像分别为PET瓶坯原始图像和其相对应的梯度图像和缺陷区域图像，其都有相对应的“类别标签”，其中类别标签总共有四种分类，分别为“黑点”、“气泡”、“划痕”和“无缺陷”。通过实验，将本文设计的网络结构的性能，与输入原始RGB图像或梯度图像的的单流网络结构进行比较，最后在ALEXNET网络的不同层次上，研究了不同特征融合策略对PET瓶坯缺陷分类性能的影响，从而选择合适的特征融合策略和融合层。为了证明网络的鲁棒性，在网络训练和测试过程中，随机抽取10次样本，进行训练。对于实验结果分析，使用了多种评估指标，包括准确度(Accuracy)、精度(Precision)、查全率(Recall)、特异性(Specificity)和F1-Score。其计算公式如下所示[15]

图6 特征融合图

(6)

(7)

(8)

(9)

其中，Tp为真实值和预测值均是正样本的值，即为真正例；Fp为真实值为负样本，预测值为正样本，即为假正例；Tn为真实值和预测值均是负样本的值，即为真反例；Fn为真实值为正样本，预测值为负样本，即为假反例。

F1-Score是精度和查全率的调和平均数，计算公式如式(10)所示

(10)

其中，β为权重值，当β=1时，则查全率和精确度的权重相等。则公式可以简化为式(11)所示

(11)

4.1 数据集

本文将通过检测平台采集的样本图片进行了预处理及分类，总共有5660张样本图像，将获得的瓶坯样本图像数据集分成训练集、验证集和测试集三部分，具体分配如表1所示。

表1 PET瓶坯样本图像数据集

4.2 多流卷积神经网络的不同特征融合策略在不同层次融合的比较

为了评估多流卷积神经网络使用不同特征融合策略在不同层次上的效果，设计了多组实验。具体数据见表2。比较了和融合、最大值融合、级联融合三种特征融合策略在融合精度上的差异。为了在该数据集中找到最适合缺陷分类和质量检测的层位置，研究了不同融合层的选取对精度的影响。

其模型的验证和测试的准确率和估计的广义分类误差比较如图7，8，9所示。

图7 不同特征融合策略的验证准确率比较图

在模型训练过程中，训练集是用于训练模型从而进行模型参数估计，验证集被用于确定效果最佳的网络结构，模型的测试可以评估训练模型的性能。如表2和图7所示，在验证和测试的准确率以及估计广义分类误差方面，比较PET瓶坯缺陷分类检测模型的三种特征融合策略，其中最大值特征融合性能最好，而级联特征融合的性能最差。在relu5层之后的特征融合上，最大值融合性能和融合策略的性能比较接近，但是考虑训练时间和测试时间，最大值融合策略的计算耗时最低。所以综合考虑选择最大值特征融合策略。

表2 多流网络的不同特征融合策略在不同层融合的缺陷分类性能比较

图9 不同特征融合策略的广义分类误差比较图

大多数早期卷积层特征层融合方案的测试准确率都在89%以下，相比之下，后期卷积层特征融合的准确率提高了7%以上。决策级融合的测试检测准确率达到93.72%，比后期的卷积层特征融合低了2%。因此在本文的数据集基础上，对于瓶坯缺陷分类，晚期的卷积层特征融合的分类性能较好。因此，从综合的角度来看，基于最大值融合策略的relu5层特征融合模型更适合于基于本文数据集的PET瓶坯缺陷检测。该模型所采用的缺陷分类验证的准确率为96.17%，分类测试的准确率为95.90%，估计的广义分类误差为0.045，表明该模型具有较好的泛化能力。本文所提出的神经网络结构能够有效地达到较好的检测精度。

在确定了最佳网络结构后，本文比较了所提出的方法中每个类别的正预测值和真阳性率，具体数据如表3所示。图8显示了评估指标的比较，其中包括精度、查全率、特异性和F1-Score。

图8 不同特征融合策略的测试准确率比较图

表3 PET瓶坯的每个类的评估指标的比较

从表3和图10可以看出，在本文的数据集检测中，黑点的被检测出来的概率只有百分之八十多，有一定的误检率。划痕相对黑点的检测性能稍高，但是黑点和细小划痕容易混淆。气泡和无缺陷样本的精确度、查全率、特异性高，说明该样本能被全部检测出来，误检率为零。

图10 四种PET瓶坯缺陷类型评价指标的比较

4.3 单流卷积神经网络和多流卷积神经网络的比较

将本文设计的多流卷积神经网络与单流卷积神经网络进行比较，通过实验分析来证明其合理性。其中单流卷积神经网络简称为STCCN，双流卷积神经网络结合SVM分类器简称为TSCCN+SVM，双流卷积神经网络结合Softmax分类器简称为TSCCN+Softmax。不同模型都是在相同数据集上训练和测试，其对比结果见表4和图11所示。

表4 多流神经网络和单流神经网络的比较结果

图11 单流和双流网络测试精度的比较

根据以上结果，多流卷积神经网络充分利用了多个流的结构和图像信息来获得有效的特征，其中梯度图像和缺陷区域图像对提高图像的表现和识别能力起着重要的作用。因为多流卷积神经网络模型兼顾瓶坯的全局特征和缺陷的细节特征，解决了单流网络对特征提取不全面的问题，所以多流网络的精度性能明显优于单流网络。除了精度外，检测速度也是影响性能的主要因素。平台采用了Intel CORE i7 3.4GHz的处理器，32G内存和NVIDIA Tesla M40 24GB GPU配置的计算机进行深度网络学习训练和测试实验。其中，本文设计的神经网络模型的预训练时间大约为1200秒左右，加载已训练好的模型时间为8秒左右。模型检测780幅图像的时间大约是110s，即每秒钟可检测7幅图像，其中检测时间包括了图像预处理时间。与人工检测相比，是能基本满足生产要求。

5 总结

首先，本文提出了一种新的多流卷积神经网络模型，有效地融合多种特征进行PET瓶坯缺陷分类和识别，这是第一次将多流网络应用于PET瓶坯缺陷检测，也是本文的一个重要创新。每个网络流都有一个从低级到高级的特征学习过程。为了防止深度学习中的过度拟合，采用数据增强的方法获取大量样本。利用Sobel算子计算图像梯度，并对其进行归一化处理。同时利用K-means 算法获取PET瓶坯缺陷区域。最后利用原始PET瓶坯RGB图像和相应的梯度图像和缺陷区域图像作为卷积神经网络的输入，提取特征进行融合。本文设计不同的实验，在不同融合层上利用不同特征融合策略，对单流网络和多流卷积神经网络进行了大量的比较分析，验证了本文提出的多流卷积神经网络模型的有效性。