基于改进Faster R-CNN的轮胎缺陷检测方法

吴则举，焦翠娟，陈 亮

（青岛理工大学信息与控制工程学院，山东青岛 266520）

0 引言

子午线轮胎因其相较于其他类型轮胎具有众多优点，比如安全耐用、环保舒适以及在行车过程中功能方面的优越性等获得用户的普遍认可［1］。在子午线轮胎制作过程中，因为生产流程复杂，加上轮胎使用要求精度高，所以这个过程中，子午线轮胎不可避免地会出现质量问题，将会影响轮胎出厂后的使用寿命，甚至危及到人身安全，所以在出厂使用前需要对每条轮胎进行无损检测［2-4］，及时发现不合格产品，以此来调整轮胎的生产流程及机械生产设备，从而可以节省生产材料成本、提高轮胎质量［5-6］。

目前轮胎缺陷检测方法一般是用X射线检测机对轮胎进行X 光成像，然后由工人观察获得的X 光图像，依据缺陷的形状和灰度特征等来辨别轮胎是否有缺陷并对其分类［7-9］。但这种做法存在很多缺点：人工目测具有主观性，检出结果易受检测工人敬业程度及相关知识掌握水平的影响；另一方面，负责检测的工人容易因为每天的工作任务和强度大，出现检测错误和漏检情况［10-12］。因此，如何提高出厂前轮胎缺陷检测的效率和自动化程度，是一项十分必要的研究内容。

近年来轮胎缺陷检测问题吸引了大量国内研究者的关注，如Liu 等［13］在2015 年提出了基于Radon 变换的轮胎缺陷检测算法；张斌等［14］在2016 年提出了基于图像处理的轮胎X光图像杂质检测技术，先后通过直方图列均衡、傅里叶变换及低通滤波、二值化和闭操作四步完成，并据此识别胎圈杂质缺陷。但上述方法只能对胎圈杂质缺陷进行识别。Cui 等［15］在2017年提出了基于主成分残余信息逆变换的轮胎X射线图像缺陷检测方法，通过主成分分析重构轮胎图像的主导纹理，然后将原始图像与重构的主导纹理图像相减（仅采用剩余较小的特征值及相应的特征向量来复原缺陷及噪声）即可找出缺陷；但是提取特征繁琐，需要人工参与选择。

以上轮胎缺陷检测的方法都是基于传统的机器视觉的方式，用来检测的特征是人为选择和设计的［15］，得到的特征参差不齐、鲁棒性差。传统方法虽然对于类型简单的缺陷具有较好的检测结果，但由于轮胎缺陷类型众多，各不相同，而且在得到的轮胎X 光图像中目标与缺陷的灰度值差别不明显，所以传统方法对轮胎X 光图像的缺陷检测结果并不理想［16-17］。Hinton 等［18］在2006 年提出的深度学习模型为复杂目标检测提供了一种高效方法。深度学习模型可以通过对训练数据集进行学习，提取到检测目标的特征，并从低到高将各个卷积层的变换特征进行整合，然后抽象出高层特征表达，使分类和定位变得更加容易。此后，基于卷积神经网络（Convolutional Neural Network，CNN）的优秀算法层出不穷，并在目标检测方面发挥了巨大作用。

本文将Faster R-CNN（Faster Region-Convolutional Neural Network）和在线难例挖掘（Online Hard Example Mining，OHEM）算法结合引入到轮胎缺陷识别与定位中，实现了工业中对于轮胎缺陷的自动检测［11］。本文主要工作如下：

1）使用训练好的Faster R-CNN 模型对轮胎X 光图像缺陷进行定位和识别。结果显示，该模型能够检测到轮胎X 光图像各个区域出现的缺陷，但是它只能定位出缺陷的部分区域，漏检率和误检率较高。

2）对于上述Faster R-CNN 模型对轮胎X 光图像缺陷进行定位和识别时准确度不高问题，首先，对待检测的X光图像进行预处理后再作为卷积网络的输入；其次，对该模型做了两点改良，即对ZF 卷积神经网络结构进行改进以及在RoI（Region of Interesting）pooling 层之后引入OHEM 算法；最后通过实验验证了改进后的Faster R-CNN 模型对轮胎缺陷检测的有效性。

3）对比分析了Faster R-CNN 模型改进前后的实验结果，结果表明改进后的模型检测效果更好，且鲁棒性强，检测时间较短，可以满足工业应用的要求。

1 准备工作

1.1 检测网络模型

Faster R-CNN 由特征提取层、区域建议网络（Region Proposal Network，RPN）层、Fast R-CNN 层等三个部分构成。其中，特征提取层利用ZF卷积神经网络提取输入图像的特征图，RPN层提取初步的候选框，Fast R-CNN层实现轮胎缺陷定位和识别。具体流程如图1所示。

图1 基于Faster R-CNN的目标检测框架Fig.1 Target detection framework based on Faster R-CNN

CNN 主要负责提取要检测目标的具体特征，运算操作包含卷积计算和降采样两部分。CNN的网络模型结构中包含了多个隐层，是仿照自然界中生物的视觉和知觉系统建立起来的，CNN可以进一步分为监督学习和无监督逐层学习。

CNN的结构包含三部分，即输入层、隐层和输出层。输入层的功能是接收多维数据并对其进行处理，其中，由于CNN采用梯度下降方法进行学习，所以输入的轮胎缺陷特征在被送入网络前要先通过归一化处理，归一化处理能使得网络的学习效率得到提升；隐层用来提高网络容量。本文中使用ZF卷积神经网络来提取轮胎X 光图像的特征，ZF 卷积神经网络的模型如图2所示。

图2 ZF卷积神经网络结构模型Fig.2 ZF convolutional neural network structure model

从图2 可以看出ZF 卷积神经网络具有五层卷积层，通过层层卷积运算后，可以更好地得到轮胎X 光图像的深层抽象特征；但是ZF卷积网络在进行缺陷识别时只使用最后一层的卷积结果，这就使得网络在得到抽象特征的同时丢失了有关缺陷区域的细节信息，这会降低对缺陷的大小和位置的判断敏感性。由于轮胎X光图像的缺陷类型中的杂质缺陷和气泡缺陷出现频率较高，这两类缺陷的尺寸较小，检测过程中如果只使用最后一层卷积特征信息来进行定位和识别，检测结果就会存在很大的误差，假如缺陷区域面积大小为25 pixel×25 pixel，当它在通过五层卷积层之后，提取到的卷积特征只有一个或几个卷积特征点。如此少的特征信息不仅对识别定位的精度有较大影响，同时也无法准确判断出目标类别。

针对上述情况，为了进一步提高识别准确率和定位精度，对基于Faster R-CNN 的轮胎X 光图像缺陷检测方法进行了两个方面的改进，具体操作如下：

l）对ZF 卷积神经网络结构进行改进。图3 是改进后的ZF卷积神经网络结构模型。

自R-CNN（Region-Convolutional Neural Network）之后的目标检测网络，它们在对小目标进行检测时信息损失会比较严重。为了解决这个问题，借鉴语义分割全卷积网络（Full Convolutional Network，FCN）结构［19］，对Faster R-CNN 轮胎检测模型的网络结构进行了改变，将ZF卷积神经网络第三层提取到的卷积特征和第五层提取到的卷积特征进行结合后输出，并作为RPN层的输入。这样改进的原因是：在轮胎X光图像缺陷检测网络的特征提取部分中，局部区域的细节特征由较浅的卷积层提取到，抽象特征由较深的卷积层提取，因此如果能把多个不同层提取到的特征综合起来后对缺陷进行识别与检测，这将有助于目标检测。在ZF 卷积神经网络中，每一层的卷积核可以提取出某些有意义的特征，其功能相当于通过自学习得到的滤波器，例如可以提取到轮胎的边缘、角度等信息，图3 中待测图像经过ZF 卷积神经网络中第三个卷积层的256 个卷积核后的输出如图4（c）所示，但其性能优于传统的滤波器，原因是本文卷积核是依据输入的数据集自学习而获得的，能够适应图像的变化，提取的特征更能表征轮胎的缺陷信息，而传统的滤波器是事先由人工设计的，很难适应缺陷信息的变化。图4（d）是网络第五个卷积层后输出的特征图，它提取到的是轮胎缺陷较抽象的特征，另外三层卷积层的工作原理和这两层相同，只是不同卷积层提取的特征不同。

图3 改进后的ZF卷积神经网络结构模型Fig.3 Improved ZF convolutional neural network structure model

图4 卷积输出特征图Fig.4 Convolution output feature graph

首先对第三层和第五层输出的结果分别进行响应归一化操作，增强构造模型的泛化能力；其次在对两层输出进行结合前先进行卷积运算，使得输出结果图维数相同。因为在ZF卷积神经网络中，第三层卷积层的输出结果是384 维，而第五层的输出是256 维，所以先要对两层的输出结果进行运算操作，对第三层的输出特征图做l×l 的卷积操作，使其输出变成256维后，再将两层结果相加。

2）在ZF 卷积神经网络中RoI pooling 层之后引入OHEM算法。

依照数据集的损失大小可以分为：容易检测样本和较难检测样本，如果在训练过程中可以自动选择这些多样性和高损失的较难检测样本，就会使得网络训练更加高效，Shrivastava 等［20］把Fast R-CNN 结构与OHEM 算法进行了 结合，实现了数据集中正负样本数值差异，进一步提高了算法准确性。OHEM 算法的核心要点为：首先依照损失大小筛选输入数据集中的样本，选出较难检测到的样本；然后将较难检测样本中对检测结果影响较大的样本，在随机梯度下降中进一步训练。

本文的具体操作步骤为：首先将每张轮胎X 光图像得到的特征图送入只读的RoINetl 中，通过计算，得到原图中所有建议框的损失；然后是依照损失的大小进行排序，挑选出较难检测样本；最后把选出样本送入RoINet2 中。在实际操作中将OHEM 算法应用在Fast R-CNN 的网络结构中后，它将Fast R-CNN分为两部分：Conv Network 和RoI Network，ROI Network可扩充为两个：RoINetl 和RoINet2，减少了显存。RoINetl 是只读的，只进行前向传播，为所有的RoI 在前向传递时分配空间，主要用于计算损失；RoINet2可以进行前向和反向传播，同时为前向和后向的RoI 分配空间，主要用于将较难检测样本作为输入，计算损失并回传梯度。在实验过程中，每个最小批次中图像数目为N，生成建议框的数目为|R|，即每张要检测的轮胎X 光图像中建议框数目为|R|/N，经过筛选后得到B个较难检测样本。为了方便计算，实验中通常会设置N=128，|R|=4 000，B=2。通过这种设计，一方面解决了数据的数据种类分布不均问题；另一方面，通过样本集合的增大，算法准确率得到了提高。

通过图3 可以看到，OHEM 算法为虚线框内结构。a 中的网络和b 中的网络是一样的，二者共享权重。a 中RoINetl 只做前向运算，并选择损失较大的建议框，然后采用非极大值抑制（Non-Maximum Suppression，NMS）去除交并比（Intersectionover-Union，IoU）较大(IoU＞0.6)的建议框并传入b 中网络；在b 中RoINet2 计算梯度并回传，最后更新整个网络。把Fast R-CNN 与OHEM 算法结合后的网络模型，对于数据集中的损失结果较大的小目标缺陷的检测精度进一步提高，其中在训练过程中当某类缺陷类型的漏检率较高时，它相对应的损失值就会增大，进而使得小目标缺陷的采样概率增大，采样的可能性也就进一步增加。

图5 是RoI Network 的输出及输出结果的统计图，其中图（a）中的横坐标表示神经元个数即维数（4 096 维），纵坐标是每个神经元的响应值；图（b）是对图（a）的直方图统计，横轴表示神经元的响应值，纵轴是每个响应值出现的神经元个数。

图5 RoI Network的输出及其输出结果统计Fig.5 RoI Network output and statistics of its output results

1.2 区域建议网络

区域建议网络层在目标检测中被用来生成锚点窗口，同时依据判断框内图像为目标或背景的概率用于初步提取候选框，比传统搜索选择算法的速度更快，能提高目标检测速率，更加符合工业需求。

区域建议网络构造的核心步骤为：首先在通过卷积运算得到的结果图上，使用一个小滑动窗口进行依次扫描；然后将通过第一步骤后映射得到一个d维向量；最后将该向量输入到后面两个FC 层——边界回归层（reg layer）和类别判断层（cls layer）。经过每一次滑动操作后，任意一个窗口位置处产生预测候选框的数量为k，故边界回归层输出结果数目为4k，用来完成预测候选框的坐标编码；类别判断层的输出结果数目为2k，用来估算预测候选框是检测目标的概率。图6 所表示的为区域建议网络结构。

图6 区域建议网络结构Fig.6 Structure of RPN

区域建议网络的损失函数定义为：

式中：x、y、w、h分别表示GT（Ground-Truth）包围盒的中心坐标、宽度和高度；ti表示包围盒的4 个参数化坐标表示正样本所对应的手工标注框的坐标向量。其中，对于鲁棒损失函数

当|x|＜1时：

当|x|≥1时：

RPN的总体损失函数定义为：

式中：i表示轮胎X 光图像样本特征图中预测候选框的索引值；Pi表示该窗口是网络要检测缺陷的预测概率，表示对应的手工标注框的预测概率；Ncls表示分类项归一化值，即一次处理的数目为256；Nreg为回归归一化值；λ为权重值，用于平衡两种损失，本文中设λ=1，即两项权重大致相等。卷积网络的训练过程中其他参数的取值如表1所示。

表1 其他参数取值Tab.1 Other parameter values

1.3 Fast R-CNN

对训练样本集中手工标注后的图像（GT Box）的锚框进行考察：首先找到与每个GT Box 面积交叠比例最大的锚框，记为正样本，然后在剩下的anchors中找到与GT Box的面积交叠比例大于0.6 的也记为正样本；如果二者面积的交叠比例小于0.2，记为负样本；其他类型的锚框则直接舍弃处理。在训练过程中，采用难例挖掘的策略（Hard Negative Mining）来平衡正负类别数据集数量的比率。

在实际计算中，设置区域网络提供1 000 个候选框，并从中随机选取300个用于Fast R-CNN 训练［21］。对样本进行训练时，如果将RPN 生成的所有anchors 都直接用来进行训练，则会因为有大量负样本参加训练，使训练得到的模型对正样本的预测准确率低，因此在随机选取每幅图像中256 个anchors参与计算损失时，要求在这256 个anchors 中正负样本的比例为1∶1，当比率小于1时，则利用负样本来补充正样本的数量。使用不同的池化方式处理大小不一的预测候选框，以确保在全连接层的输入时维度相同。根据输出结果的不同，可以将池化层的输入分为两类，即区域建议网络输出的proposals 和CNN输出的图像的特征图。

轮胎缺陷类别的判断是利用池化层输出的缺陷特征图，通过两个FC层的计算，可以知道检测到的缺陷类别是胎侧异物、胎冠异物、气泡、胎冠开根或者胎侧开根，输出类别概率；同时利用边界窗口回归获得每个缺陷的位置偏移量，提升目标检测框的精度。

2 轮胎X光图像缺陷检测

基于Faster R-CNN 模型的轮胎X 光图像缺陷检测流程如图7所示。

图7 基于Faster R-CNN的缺陷检测流程Fig.7 Defect detection flow based on Faster R-CNN

轮胎X 光图像中常见的缺陷主要有：胎侧异物、胎冠异物、气泡、胎侧开根、胎冠开根等。常见的几种轮胎缺陷在X光图像下显示如图8所示。

图8 轮胎常见缺陷的X光图像Fig.8 X-ray images of common defects of tire

训练集的图片数量为1 368张，每类缺陷图片数量所占的比例与轮胎生产过程中出现该类型缺陷的概率相同。轮胎缺陷种类繁多，形状大小各不相同，尺寸大小在50 pixel×50 pixel至200 pixel×400 pixel之间，具体构成如表2所示。

表2 训练集构成Tab.2 Composition of training set

在预处理阶段使用灰度拉伸方法来增强数据集［22］，使图像目标和背景的灰度值有了明显差异；其次，为了避免训练过程中出现严重的过拟合现象进而影响模型对于数据集的学习，对预处理后的数据样本集进行了数据扩充处理，形成了一个样本量充足的数据图像库，使得构造的检测网络模型具有较强的泛化能力。实验过程中，首先是每次从库中随机选取每类缺陷样本数量的30%作为测试集进行验证，其余70%的样本用于模型的训练，这样重复10 次选取样本并对其进行实验，最后计算结果的平均值作为算法的最终结果［11］。

2.1 预处理结果

直方图均衡化是经常使用的数据增强方法，它的核心思想是将待检测目标与背景之间的灰度值利用图像直方图方法进行变换，因操作简单高效而被广泛采用。未经处理前图像数据的灰度值是随机分布的，正常图像中的像素灰度值是随机变化的，原始图像的直方图在视觉上呈现数值高低不相同，但经过均衡化后，图像像素值会变得集中分布，对比度增强后的图像的直方图在视觉上会呈现平缓均匀。通过直方图均衡化对轮胎X光图像进行数据增强后结果如图9所示。

图9 预处理结果Fig.9 Preprocessing results

从图9 中可以看出预处理前图像所有像素的灰度值分布相对集中，需要检测的目标与背景之间的对比度不明显，给人的视觉感受是整个图像比较灰暗。通过预处理操作对图像进行灰度拉伸变换后，轮胎图像灰度值拉伸到0～255 的整个区间，由预处理后轮胎X光图像的直方图可以看到，处理后轮胎X 光图像的灰度值相对均匀地分布在整个灰度空间中，将预处理前后轮胎X 光图像进行对比后，发现变换后图像的对比度显然是大幅增强的，在视觉上更加清晰。

2.2 缺陷检测结果

图10是利用训练好的Faster R-CNN模型对轮胎X光图像进行缺陷检测的结果。从图中可以看到，使用训练好的Faster R-CNN 模型对轮胎X 光图像缺陷进行定位和识别，它只能检测到缺陷的部分区域。在图10（a）和图10（b）中对轮胎缺陷检测中只检测到异物的局部区域；在图10（c）气泡的检测结果中，将正常区域误检测成气泡缺陷，气泡缺陷真正的位置应该是白色方框代表的区域，对于气泡缺陷的误检主要是因为气泡缺陷在X 光图像中呈现弱边缘性，因此很难被正确检测出来。

待检测图片总数量为274，正确检测胎侧异物、胎冠异物、气泡、胎冠开根以及胎侧开根这五种缺陷的数量以及相应的评价指标见表3。

表3 Faster R-CNN模型检测结果统计与评价指标值Tab.3 Statistics and evaluation metric values of detection results of Faster R-CNN model

对图10 中检测结果中的各个矩形框的坐标进行统计，并计算它们之间的交并比（IoU），结果如表4 所示。其中，GT 项参数表示利用LabelMe 软件对轮胎缺陷区域手工标注框的坐标；检测坐标项参数表示利用算法定位出的边框坐标；GT size项参数表示轮胎缺陷区域手工标注的面积大小，Det size 项参数表示利用算法定位出轮胎缺陷区域面积的大小；IoU值代表手工标注GT 框与算法定位出包围框面积的交叠度，数值越大，说明算法的定位精度越高。结合图10 的检测结果和表4内IoU的数值可知，Faster R-CNN模型虽然能成功定位到轮胎缺陷，但是定位准确率较低，不能准确地实现轮胎X光图像缺陷的检测。

表4 Faster R-CNN模型检测结果的边框坐标以及交并比Tab.4 Bounding box coordinates and IoU of Faster R-CNN model

图10 Faster R-CNN模型对轮胎缺陷的检测结果Fig.10 Tire defect detection results by Faster R-CNN model

2.3 改进后的缺陷检测结果

图11 显示了用改进后的Faster R-CNN 模型对部分待检测的轮胎X 光图像进行检测的结果。从图11 可以看出，改进后的Faster R-CNN 模型可以正确检测出轮胎常见的这五种缺陷，满足工业检测的需求。

图11 改进后Faster R-CNN模型对轮胎缺陷的检测结果Fig.11 Tire defect detection results by improved Faster R-CNN model

对待检测的274 张轮胎X 光图像进行判断，统计出的这五种缺陷的检测数量以及相应的评价指标如表5 所示。由表5可知，改进后的Faster R-CNN 模型对轮胎X光图像的缺陷检测的准确率较高，同时各个缺陷类型的误检率和漏检率大幅降低；与未预处理之前的检测结果相比，改进后整体的检测结果有了明显的改善，大幅提升了对轮胎常见类型缺陷的识别准确率，且算法检测结果稳定性好，具有一定的泛化能力。

表5 改进后Faster R-CNN模型检测结果统计与评价指标值Tab.5 Statistics and evaluation metric values of detection results of improved Faster R-CNN model

对图11 中检测结果中的各个矩形框的坐标进行统计，并计算它们之间的IoU值，结果如表6所示。

表6 改进后Faster R-CNN模型检测结果的边框坐标以及交并比Tab.6 Bounding box coordinates and IoU of improved Faster R-CNN model

结合图10的检测结果和表4的IoU 数据可以看出：与表6中的IoU 值相比较，改进后Faster R-CNN 模型的检测结果的IoU值提升明显，利用改进后的Faster R-CNN对轮胎缺陷进行检测，无论是对异物缺陷、气泡缺陷、还是开根缺陷，都能在提升识别准确率的同时提高定位精度。

2.4 检测结果比较

将基于Faster R-CNN 的缺陷检测方法改进前后的检测结果进行比较，其中改进后方法被记为本文方法。

1）平均检测精度均值（mean Average Precision，mAP）。

实验采用mAP 作为轮胎缺陷检测性能的精度评价指标，mAP 值越大，则表示所使用方法检测结果的精度越高。mAP的大小与准确率（Precision）以及召回率（Recall）有关，在轮胎缺陷检测中，对于缺陷的真实类别与模型学习器预测类别的组合划分为：真正例TP（True Positive）、假正例FP（False Positive）、真反例TN（True Negative）以及假反例FN（False Negative）。

准确率P又叫做查准率，表示预测结果中正例所占的比重，如式（5）所示：

召回率R又叫做查全率，表示真实样例中被预测正确的样例所占的比重，如式（6）所示：

在对轮胎X 光图像组成的数据集中，假设样本总数为N，其中有正例M，那么就可以得到M个召回值，对于每个R值可以计算出其对应的最大准确率P，然后对这M个P值取平均即得到最后的mAP值。

平均准确率mAP定义如下：

Faster R-CNN 改进前后训练出的模型在轮胎缺陷图像上的检测结果如表7 所示。由表7 可以看出改进前的Faster RCNN 对轮胎气泡缺陷的定位识别效果最差，胎侧开根缺陷检测效果也不佳，对另外三种轮胎常见缺陷相对好些，整体而言，改进之前算法能够定位到缺陷，但是总体的检测精度较低；而本文方法对各类型缺陷检测结果的mAP 值较高，检测效果较好。

表7 Faster R-CNN改进前后的mAP比 单位：%Tab.7 Comparison of mAP before and after improvement of Faster R-CNN unit：%

2）改进前后的平均检测时间对比。

由表8 可以看出，改进前后平均检测时间基本相同，本文方法较改进前的测试时间稍有增加，但是最终的识别准确率和定位精度较改进前有很大的提升，算法的检测性能更优，满足了工业对于缺陷检测的要求。

表8 Faster R-CNN改进前后的平均检测时间比较 单位：hTab.8 Comparison of average detection time before and after improvement of Faster R-CNN unit：h

3 结语

本文基于Faster R-CNN 模型对轮胎缺陷进行检测，用于识别轮胎缺陷类型和标记出缺陷位置。在预处理阶段利用灰度拉伸方法对训练数据集进行处理，增强了目标和背景的差异；其次，对Faster R-CNN 结构进行了改进，借鉴语义分割网络的结构，将负责特征提取的ZF卷积神经网络的第三层卷积特征和第五层卷积特征相结合，并引入OHEM算法，使得最终获取的模型对于轮胎常见五种缺陷的检测准确率大幅提升，而且可以检测较小的缺陷目标，提升了Faster R-CNN 模型位置检测和识别的精度；通过对比改进前后的检测结果，验证了改进后的算法检测效果更好，鲁棒性强，且较短的测试时间也可以满足工业应用的要求。

目前，本文所采用的方法可以准确地定位和判别轮胎X光图像中的缺陷，但是对于部分边界模糊的气泡缺陷的检测结果相对不佳，因此在接下来的轮胎缺陷检测研究中，可结合多种直接、间接检测方法，对边界相对模糊的轮胎气泡缺陷问题进行进一步的检测。