机器视觉在轮胎及压痕图像分类研究的应用

朱建臣，王神龙

(上海理工大学 机械工程学院，上海 200093)

1 引 言

汽车是当今社会的重要交通工具，其轮胎和压痕的甄别与分类逐渐成为焦点，主要包括刑侦案件、交通事故现场、轮胎纹理图像专利等问题.为摆脱人工识别效率低、准确率低、工作量巨大等缺陷，开展基于人工智能技术的轮胎和压痕图像快速分类的研究具有重要意义.

针对这些图像进行快速分类，国内外已有部分研究.其中，针对犯罪现场的轮胎压痕的分类，Wang等[1,2]提出基于轮胎标识点形状识别的算法，将提取到的标识点轮廓特征输入到分类器中实现分类；Gueissaz等[3]提出收集胎面与道路磨损产生的小橡胶颗粒，通过比较收集得到的轮胎痕迹的化学特性，来区分不同制造商和型号的测试轮胎；Zhang等[4,5]提出基于深度学习的轮胎缺陷分类方法，研究基于监督特征嵌入深度学习的图像分类问题；西安邮电大学Liu等[6-8]提出一种基于迁移学习和特征融合的轮胎花纹图像分类算法，将轮胎图像的低层特征与迁移学习提取的高层特征融合后，输入到分类器中进行训练分类.

结合国内外研究现状，可以发现目前对轮胎及压痕图像的分类方法存在适用度局限性大、对样本数量要求高、特征提取方法繁琐及预测精度不够等问题.针对上述问题，本文提出一种基于机器视觉和图像处理技术的方法，对轮胎及压痕图像的分类问题进行研究.首先，对图像库中的原图像进行预处理并提取融合纹理特征.其次，将融合特征输入到分类器中进行训练和测试，得到分类精度.最后，为解决CNN由于数据不足导致的过拟合问题，将迁移学习模型应用到研究之中，并探讨了轮胎和压痕图像之间的映射关系.

本文的创新点包括：1)应用机器学习方法对轮胎及压痕图像分类进行研究，解决使用深度学习模型对硬件要求高的问题；2)针对CNN由于样本不足产生的过拟合，应用迁移学习模型，解决小样本数据应用深度学习的问题，实现′端到端′的思想；3)应用迁移学习模型对轮胎和压痕图像之间的映射关系进行研究并验证其准确性.论文的主要安排如下：第1部分对研究方法所使用的原理和相关算法进行简要介绍；第2部分在前文的基础上实施实验得到相应的结果，对提出的方法进行验证；第3部分做出总结，并对待研究的问题进行展望.

2 模型构建与原理介绍

2.1 图像库介绍

本文所用的轮胎和压痕图像来源于CIIP公共安全领域图像视频数据库[9].该数据库由西安邮电大学图像与信息处理研究所与陕西省法庭科学电子信息实验研究中心共同建立.数据库中既包括陕西省公安厅的真实案件数据，也有自建获取的图像数据.本文选用了在不同时间、不同环境(光照及气候)及不同拍摄条件(距离、尺度、仿射角)下，采集的轮胎表面花纹和压痕图像.其中，轮胎表面花纹和压痕图像各30类，每类80幅，共计4800幅图像.

2.2 机器学习的应用

机器学习模型是图像识别分类的主要研究方法之一，本文将其应用于轮胎及压痕的分类问题[10].所用方法主要包括图像预处理、纹理特征提取与融合、分类器选取等步骤，其流程如图1所示.

图1 机器学习模型流程图

2.2.1 图像预处理

为去除原始数据库中的图像存在噪声等无用信息，增加感兴趣区域的纹理信息，提高特征提取的质量，需要对原始图像库进行预处理[11].

对原始图像进行预处理的方法包括：尺度归一化、灰度化、拉普拉斯锐化以及均值滤波.其中，尺度归一化将所有图像大小统一缩放为256×256像素，以减少其他因素的干扰；灰度化将原始数据库中的RGB三通道图像转化为灰度图像，减少计算量；拉普拉斯迭代锐化对原始图像进行多次拉普拉斯锐化以增强纹理特征[12]；均值滤波处理减少图像中噪声对实验的影响[13].经后续实验证明，对原图像进行两次拉普拉斯锐化后，其提取的特征最具价值.经过上述预处理后的图像即可作为纹理特征提取的数据库.

2.2.2 纹理特征提取算法

1)灰度梯度共生矩阵

轮胎及压痕图像的特征主要为纹理特征，在比较各类纹理特征提取的算法后，选取灰度梯度共生矩阵作为描述图像纹理特征的第1个算法[14-16].先将轮胎与压痕的一幅图像划分为相同大小的N个子区域，计算每个子区域的灰度梯度共生矩阵的值.再使用所有子区域特征值的平均值表示图像的特征量.本节对灰度梯度共生矩阵原理进行简要介绍.

考虑用如下的二维函数表示轮胎及压痕的一幅N×N像素的二维图像：

{f(x,y);x=1,2,3,…,N-1；y=1,2,3,…,N-1}

(1)

梯度图像可以通过梯度算子计算获得，表示为：

{g(x,y);x=1,2,3,…,N-1；y=1,2,3,…,N-1}

(2)

其中，x和y是平面坐标，f代表图像任意坐标处的灰度，g代表图像任意坐标处的梯度。

然而，大量的灰度级会导致计算量急剧增加，所以需要进行灰度和梯度归一化.灰度归一化后的图像表示为：

F(x,y)=[f(x,y)(Lg-1)/fmax]+1

(3)

其中，fmax是原始图像的最大灰度，Lg是归一化后的灰度.梯度图像的归一化定义为：

G(x,y)=[g(x,y)(Ls-1)/gmax]+1

(4)

其中，gmax是梯度图像的最大梯度，Ls是归一化后的梯度.随后，在对灰度级和梯度进行归一化之后，获得两个矩阵，如下所示：

{G(x,y);x=1,2,3,…,N-1;y=1,2,3,…,N-1}

(5)

{C(i,j);i=1,2,3,…,Lg-1;j=1,2,3,…,Ls-1}

(6)

其中C(i,j)是归一化后的像素数，i是灰度级，j是梯度.最终，获得灰度共生矩阵归一化的表达形式：

(7)

通过灰度梯度共生矩阵算法，我们可以计算轮胎及压痕图像的15个统计量，以表示图像的纹理的15维特征.包括：小梯度优势、大梯度优势、灰度分布不均匀性、梯度分布不均匀性、能量、灰度均值、梯度均值、灰度标准差、梯度标准差、相关性、灰度熵、梯度熵、混合熵、惯性、逆差矩.用于表示轮胎及压痕的特征向量可描述为T=[T1,T2,T3,T4,T5,T6,T7,T8,T9,T10,T11,T12,T13,T14,T15].

2)灰度共生矩阵

灰度共生矩阵表示出现在图像中的像素亮度值(灰度)的不同组合分布，选取其作为提取轮胎及压痕图像纹理特征的第2个算法[17,18].灰度共生矩阵通过计算轮胎及压痕图像中两个像素点间特定距离和方向角之间的空间关系，来描述图像中的纹理特征信息.取方向角θ=0°、45°、90°和135°，由灰度共生矩阵可计算出图像的能量、熵、惯性矩、相关性4个纹理参数.选取这4个参数及其均值和标准差作为最终8维纹理特征，表示为G=[G1,G2,G3,G4,G5,G6,G7,G8].4个纹理参数的计算公式如下：

(8)

(9)

(10)

(11)

其中，i和j是矩阵中行和列的坐标，而p(i,j)是矩阵中对应坐标处的值.

2.2.3 多分类器设计

本节以压痕图像分类准确率为衡量标准，对比机器学习中常见分类算法在本研究中的性能，选取预测分类正确率最高的作为本研究的分类器.首先，将压痕图像划分为训练集和测试集；其次，将训练集中提取的压痕特征以及对应标签输入到各分类器中进行训练；再次，将测试集的特征输入到训练好的各分类器中得到预测分类结果；最后，将测试集的预测分类与真实分类相对比，得到各分类器分类的正确率.如表1给出了几种常见分类算法的优缺点及其对压痕图像的预测分类正确率.

表1 几种常见分类算法对比

经实验证明，支持向量机(SVM)可用于解决非线性和高维度等问题，在小样本分类中表现出优秀的性能和强泛化能力，具有其他分类器难以比拟的优势.因此，本文最终选取该算法作为处理轮胎及压痕图像的分类器，其原理可概括为在训练数据的高维空间中建立若干个超平面以区分数据，进而实现非线性模型的分类问题[19].SVM在解决多分类问题时可采用“一对一”分类法构建分类器，在每两类之间构建一个二分类器，当类别数为M时，需构建M×(M-1)/2个分类器.本文中M=30，需构建30×(30-1)/2=435个二分类器.

在本研究中，将灰度梯度共生矩阵中15维特征与灰度共生矩阵中8维特征进行加权融合，得到23维融合特征作为支持向量机的输入，以30种轮胎和压痕型号作为输出，设计分类器.

2.3 迁移学习的应用

由于样本数量的限制，使用卷积神经网络很容易出现过拟合现象，因而引入迁移模型作为补充研究[20-22].与传统的卷积神经网络相比，迁移学习模型在预训练一个模型后，应用到轮胎及压痕分类问题中，不需要大量的训练和测试数据作为支撑.其主要特点是利用不同问题之间的共性，将已经训练好的模型应用到新的问题中，进而解决小样本应用深度学习的问题.本文在ImageNet数据集[23]中，应用Alexnet深度学习模型[24]预训练出一个模型，再调整某些超参数，以适合轮胎及压痕图像分类.图2为迁移学习在ImageNet数据集中使用Alexnet学习模型，并应用到轮胎及压痕图像分类的过程.

图2 迁移学习模型流程

3 实验和结果

本节简要介绍了融合特征的权重确定和两种方法的实验结果，并对两种方法结果进行分析和比较.

3.1 机器学习方法的实验和结果

为分析单特征与融合特征对于轮胎及压痕图像分类正确率的影响，先对二者进行验证.利用几种常见的纹理特征提取算法，对压痕图像进行测试，得到如表2所示数据.易知，融合特征相比于单特征的预测分类正确率有明显提高，对于轮胎图像的实验结果也有相同结论.

表2 单特征与融合特征比较

确定选取融合特征后，需要对融合特征进行权重分配，以下为特征权重分配的具体步骤：

1.令F为分配权重后的融合特征，如式(12)所示.

F=[x×GGCM,y×GLCM]

(12)

2.将权重分配步长设置为0.1，遍历所有x和y值并得出分类器的正确率；

3.选择4种不同数量的训练集和测试集组合，分别对应于100个、200个、300个和400个测试样本.

如表3描述了不同分配权重比时，轮胎和压痕的分类准确率.第1列为两特征之比，第2列和第3列分别为轮胎及压痕以100张图样作为测试集得到的实验正确率.从表中可以看出，对于轮胎图像分类，当x=0.2且y=0.8时，轮胎分类正确率最高为97%.对于压痕图像分类，当x=0.7且y=0.3时，压痕分类正确率最高为88%.

表3 不同权重的融合特征对比

在确定融合特征权重之后，将数据库划分为不同数量的训练集和测试集进行实验.分别以100个、200个、300个和400个作为测试集，剩下样本作为训练集进行实验，所得实验结果如表4所示.

由表4可知，随着训练集数量的增加，模型对轮胎和压痕图像的分类正确率也随之增加.当测试集样本为100时，模型对轮胎的预测分类正确率高达97%.对于压痕不同测试集分类结果，与轮胎有着同样的规律.当测试集样本为100时，模型分类正确率高达88%.由于图片较大，此处仅展示以100个轮胎图像样本作为测试集的结果图，如图3所示.实验硬件配置为i5 CPU，8GB内存，运行环境为MATLAB R2018b.

表4 轮胎及压痕不同测试集分类结果

图3 轮胎100个测试样本的分类结果

图3中，横坐标为测试的图片编号，纵坐标为对应的类别，星点表示预测的分类结果，圈点表示的实际类别，两点重合，则表示预测分类是正确的.例如，图3中的第1个测试图片，其真实分类为第24类，预测分类也为第24类，易知预测分类正确.反之，第44个测试图片，其真实分类为第20类，预测分类却为第16类，显然，预测分类错误.

以第20类轮胎为例，进一步探讨上述散点图所包含验证过程的含义，如图4所示.

图4中，左侧框内为输入的图像及其所属分类，对应前文的圈点；右侧框内为经过SVM模型预测后的分类结果，对应前文的星点.当左侧真实分类与右侧预测分类相同时，则表示预测分类正确，以笑脸表示，反之则以哭脸表示.

图4 轮胎验证过程示意图

3.2 迁移学习方法的实验和结果

迁移学习具备深度学习“端到端”的思想，在进行实验时，不需要实施机器学习中预处理、特征提取融合以及分类器设计等操作.它在预训练好一个模型后进行超参数微调，以适应目标任务的实现.

本文在ImageNet数据集中使用Alexnet学习模型，进行超参数微调后应用到轮胎及压痕图像分类.实验前，先冻结预训练模型中全连接层之前的所有网络层次，使这些网络的参数在训练时不进行梯度更新，优化的仅是全连接层的所有参数.然后，将全连接层最终的输出类别数修改为文中的30类.最后，输入尺度归一化后的轮胎及压痕图像进行训练.其中部分参数设置如下：学习率Initial Learn Rate设置为0.0001，Mini Batch Size设置为10，Max Epochs设置为20.以不同百分比选取数据中的样本作为训练集样本，剩余的样本作为测试样本进行实验.

在进行实验时，分别选用80%、75%、65%和60%的数据作为训练集，在剩余样本的每个类别中均匀采样作为测试集进行实验，所得实验结果如表5所示.由于图片较大，此处仅展示以20%压痕样本作为测试集的结果图.图中的标记以及预测分类的结果，与图3中的含义相同，此处不再赘述.

表5 轮胎及压痕不同测试集分类结果

由表5知，随着训练集数量的增加，模型对轮胎和压痕的分类正确率也随之增加.当训练集样本占比为80%时，轮胎分类正确率高达98.13%.同样的，当训练集样本占比为80%时，压痕分类正确率高达92.21%.

由图5可知，压痕错误率主要集中在第18和第19类，其他分类结果错误率较低，总体分类正确率较高.

图5 20%压痕测试集的分类结果

3.3 轮胎和压痕图像之间的映射

对比机器学习和迁移学习模型在轮胎及压痕图像的分类结果可以看出，迁移学习在本研究中的准确性明显高于机器学习模型.本节选取迁移学习模型对轮胎和压痕图像之间的映射关系进行研究.

首先将20%的轮胎及压痕图像测试集分别输入到对应训练好的模型中进行预测分类，然后将轮胎预测分类结果、压痕预测分类结果以及真实分类结果绘制到散点图中，如图6所示.当3者在散点图中重叠，则表示轮胎和压痕图像之间的映射正确，否则错误.

图6 20%测试集的轮胎与压痕的映射结果

由图6可知，轮胎和压痕图像之间的映射正确率可达到90.03%.其中，图中圈点代表压痕的预测分类结果，叉点代表轮胎的预测分类结果，星点代表真实的分类结果.当且仅当3点重合时，代表二者之间映射关系正确.

3.4 两种方法的对比讨论

对比上述轮胎及压痕图像分类的结果可以看出，本文所提出的方法在轮胎及压痕图像分类的研究具有准确率高、成本低、适用性强等优点.此外，两种分类方法原理不同，各有优势.其中，机器学习的优势是：对于日常研究中难以获得大数据库的情况下，它更适合小样本研究，且机器学习的可解释性更强[25].迁移学习的优势是：在相对较多的数据的支持下其正确率较高，不需要机器学习的特征工程，适用性较强.然而，它们也都有不可忽略的缺点.例如，机器学习的设计过程繁琐，而迁移学习对GPU等硬件要求较高.对于本文所涉及的研究，基于更大图像库的卷积神经网络的深度学习方法可能更合适.

4 总结和展望

本文基于机器视觉和图像处理技术，对轮胎及压痕图像的分类进行研究.在机器学习方法中，对图像进行预处理，提取并融合纹理特征，最后输入到分类器中训练并测试模型.同时，由于数据库较小，还将迁移学习引入本研究中，对轮胎及压痕图像分类进行补充研究.

实验证明，机器学习技术对轮胎图像分类正确率达到97%，对压痕图像分类正确率也可达到88%.同时，迁移学习模型对轮胎图像分类正确率达到98%，对压痕图像分类正确率可达到91%.在轮胎和压痕图像之间的映射关系研究中，迁移学习模型的预测分类正确率可达到90.03%.本文所提出方法中的机器学习模型和迁移学习模型对轮胎和压痕图像分类预测均可达到较高的精度.然而，本研究仍有许多工作需要继续探索，例如对压痕图像分类正确率的提高，基于大数据库应用深度学习模型等.对于这些研究，期待在以后的工作中继续研究.