基于环形特征的卷积神经网络轮毂识别

程淑红， 芦嘉鑫， 张典范， 徐 南

(1.燕山大学 电气工程学院，河北 秦皇岛 066004；2.燕山大学 河北省特种运载装备重点实验室，河北 秦皇岛 066004；3.秦皇岛职业技术学院，河北 秦皇岛 066100)

1 引 言

基于机器视觉的轮毂自动分类系统是轮毂生产线中关键组成部分，传统的识别方法主要是提取轮毂特征并匹配，然而在实际生产中，轮毂的识别速度、准确率往往会受到各种因素的影响。程淑红等[1]以轮辐边缘轮廓为模板在待识别轮毂图像中随机游走进行匹配，并用纹理偏差度作为识别标准；这种方法抗复杂背景能力强，但对于纹理复杂的轮毂识别精度不高。朱焜等[2]对轮辐区域进行多边形简化，并选取了轮毂外径、螺栓孔个数和轮辐条数等7个具有旋转不变性的特征与轮毂模板依次匹配，提高了复杂形状轮毂的识别准确率，但没有考虑到实际生产中轮毂生产线的背景干扰。郭智杰等[3]用差分方法去除生产线背景并利用开闭运算对轮毂图像进行降噪处理，提取车轮外径、轮辐条数、轮心直径等参数生成序列号，作为轮毂的特征参数与标准模板对比匹配；此法降低了轮毂识别的误判率，但识别速率较低。张典范等[4]提取轮毂局部特征并用K-means聚类算法[5,6]将其量化到中心,计算轮毂特征到中心的残差之和得到局部聚合描述符(vector of locally aggregated descriptors,VLAD)特征向量，为了提升计算速度对VLAD向量进行主成分分析(principal component analysis,PCA)降维处理,对比特征向量从而识别轮毂型号[7,8]；识别效果在轮毂数量少时较好，但是对于种类复杂、规模较大的轮毂数据库会不可避免地下降。为了实现实际生产中任意角度的轮毂自动识别，刘岩松等[9]通过计算待识别轮毂与模板之间环投影特征向量、外径和圆心的相似度进行粗略匹配，再利用径向投影进行精确匹配；该方法具有旋转不变性，提高了计算速度，但此方法仍需人工提取特征。

传统的识别方法依赖于人工设计几何特征、纹理特征等来匹配型号，但轮毂外形越来越复杂，仅通过有限的特征来判断类型会出现特征重合、准确率低等问题。随着工业大数据的兴起，使得深度学习[10,11]技术逐渐应用到工业生产中。以卷积神经网络[12～14]为代表的深度学习技术在图像识别应用中尤为突出。

本文提出了一种基于环形特征的卷积神经网络轮毂识别方法，该算法计算量小，识别精度高。利用霍夫圆检测将轮毂定位，将环形轮毂归一化为矩形，搭建基于改进VGGNet(Visual Geometry Group Network)的轻量级卷积神经网络，将环形特征轮毂图片输入到网络中进行模型训练以及性能评估，为实际生产中轮毂的自适应分类提供了一种可行方案。

2 轮毂识别方法

首先，借助霍夫圆检测提取轮毂外轮缘半径、轮心纵坐标和横坐标等参数并将直角坐标下的环形轮毂映射到极坐标，将轮毂展开成矩形；然后，搭建轻量级的卷积神经网络作为轮毂识别模型并进行训练；最后，对轮毂型号做出判定。本文提出的轮毂型号识别总体方案主要分为展开环面图像特征提取、基于改进VGG的展开轮毂图像识别和实验结果与分析3个部分。具体轮毂识别方案如图1所示。

图1 轮毂识别方案Fig.1 Scheme of wheel model identificatio

2.1 展开环面图像特征提取

2.1.1 轮毂定位

确定一个轮毂的位置需要确定3个参数：轮毂外边缘半径，轮毂圆心横坐标和纵坐标。轮毂定位如图2所示，先将原轮毂图像转化为灰度图像(见图2a)；用canny算子提取轮毂边缘(见图2b)；遍历轮毂图像上所有像素点,进行霍夫圆检测[15]，将原坐标图像映射成参数空间，参数空间的一个点对应图像坐标空间中的一个圆；最后，选取参数平面上满足阈值的点，得到轮毂的圆心坐标以及外边缘半径。

2.1.2 轮毂图像归一化

采用轮毂归一化模型，如图3所示。将直角坐标I(Ox,Oy)下的环形轮毂图像映射到极坐标IExpan(r,θ)中。

图3 归一化模型示意图Fig.3 Scheme of the normalization model

转换公式如下：

I(Ox,Oy)→IExpan(r,θ)

(1)

I(Ox(l,θ),Oy(l,θ))→IExpan(r,θ)

(2)

Ox(l,θ)=(1-l)×Ox_out(θ)+Ox_in(θ)

(3)

Oy(l,θ)=(1-l)×Oy_out(θ)+Oy_in(θ)

(4)

式中：l∈[0,1]为轮毂环形半径，θ∈[0,2π]是映射弧度，(Ox_out，Oy_out(θ))为轮毂外边缘像素坐标，(Ox_in(θ)，Oy_in(θ))为轮心像素坐标。

轮毂归一化时只保留圆环状的轮毂部分，消除在图像采集时带来的噪声影响。通过轮毂归一化模型，将轮毂展开成51×264 pixels的矩形图像，将环形轮毂图像展开为矩形图像更有利于特征的提取。归一化的结果如图4所示。

图4 归一化结果图Fig.4 Normalized result diagram

2.1.3 展开环面图像特征提取

轮毂是一个以轮心为对称中心的圆环，由于环形轮毂图像中心对称的特性，在提取轮毂特征信息时只有1/4的区域是有效的，其余部分是以轮心为对称中心的全等形，利用卷积神经网络提取特征有2种特征提取方式,见图5。顺序提取方式提取出的很多特征是冗余的(见图5a)，且卷积核通常为矩形，矩形框划过环形轮毂边缘处会产生许多噪点，增加了卷积运算的计算量；故本文提出了一种旋转提取轮毂特征的方法(见图5b)，环形轮毂经过一系列的变换，归一化成标准形式的矩形，找出轮毂图像中的不变量，减少几何变换的影响，使本轮毂识别算法具有平移、缩放和旋转不变性。旋转提取特征信息可以减少卷积运算的计算量，加快卷积神经网络的收敛。

图5 2种特征提取方式Fig.5 Two kinds of feature extraction

2.2 基于改进VGG的展开轮毂图像识别

2.2.1 改进的VGG网络

为了追求更高的准确率，卷积神经网络倾向于更深、更复杂的结构设计来获取详细的特征，这需要更多的卷积计算，参数量和计算量也随之加大，使得网络的速度有所限制。在实际生产中，轮毂识别任务需要在有限的计算环境下实时进行，这对于网络的结构有更高的要求。本文设计了一种改进的VGG网络架构，以更高效的网络计算方式，在网络参数减少的同时，不损失网络的性能。该模型使用深度可分离卷积[16]，图6为深度可分离卷积与普通卷积对比图。

图6 深度可分离卷积与普通卷积对比图Fig.6 Depth separable convolution and standard convolution

深度可分离卷积分为两部分，深度卷积和逐点卷积。深度卷积为通道数都为1的卷积核，负责各通道之间的信息；逐点卷积的卷积核都为1×1，将深度卷积的特征图在维度上进行加权组合并生成新的特征图。这种设计打破了输出通道维度和卷积核大小的联系，实现了准确率和延时性之间的平衡。

改进的VGGNet使用3×3的滤波器提取特征，在每个深度可分离卷积层(Separable Conv)后连接激活函数ReLu和数据归一化(Batch Normalization)处理，组成一个卷积块，网络由6个卷积块组成。利用最大池化(Maxpool)进行降采样，Dropout减少参数量，加快收敛速度，数值取0.25或0.5。Flatten层将输入的参数一维化。最后，所有的特征参数经过全连接层，通过Softmax进行分类。网络参数结构如图7所示。

图7 网络结构参数图Fig.7 Network structure parameter

2.2.2 轮毂识别算法

对输入的轮毂图像二值化得到灰度图像，用Canny算子提取轮毂边缘，确定轮毂外边缘半径、轮毂圆心横坐标和纵坐标，根据图3的轮毂归一化模型，将环形轮毂图像展开成矩形。将展开轮毂图像送入改进的VGG网络提取特征。最后用Softmax分类，识别出轮毂型号，图8为轮毂识别算法框架。

图8 轮毂识别算法框架Fig.8 Wheel identification algorithm framework

3 实验结果与分析

3.1 检测结果与分析

电脑配置：CPU为Intel Core i5-9400频率 2.9 GHz，8 G运行内存；GPU为NVIDIA GeForce GTX 1660； 操作系统为Ubuntu 18； 仿真实验基于tensorflow1.13.1，OpenCV3.4.4。

实验采集10种轮毂图片，型号为A01～A10, 如图9所示, 将采集到的图片进行数据增强，每种轮毂图像扩增到100张，数据集由1 000幅轮毂图组成，采用的轮毂图均为1616×1236 pixels。

图9 轮毂样本示例Fig.9 Samples of wheel hub dataset

将数据增强后的轮毂数据集划分为训练集、测试集和验证集3个互斥的子集，样本容量比例为7:2:1，使用轮毂数据集中的训练集训练模型，然后用测试集评估模型的泛化能力，验证集用于模型的参数选择和配置。经过多次网络训练和参数调节，选用环形特征轮毂图进行测试，初始学习率为0.001，采用随机下降法批量训练，训练轮次为100。

使用识别率Ri和误检率Fi作为轮毂识别算法的性能度量指标，i为某类轮毂型号，i={1,2,…,10}，如图10所示。图10中：FT为正确识别第i类型号的图数量；FA为识别成第i类轮毂的图总数；FN为将第i类轮毂识别为其他种类轮毂的图数量；A为将轮毂型号错误识别为第i类的图数量。

Ri=FT/FA

(5)

Fi=FN/(FT+FN)

(6)

图10 识别率与误检率示意图Fig.10 Recognition and false detection rate

为了论证本论文算法可以识别多类轮毂型号，选择了3种纹理较为复杂的轮毂，表1中分别列出了轮毂边缘检测图、环形特征轮毂图像以及Ri和Fi。图中的识别率都维持在较高水平且没有误检轮毂型号，可以看出基于环形特征的卷积神经网络对各种型号的轮毂识别都有较好的效果。

3.2 算法有效性和实时性

改进的VGG网络在不同型号轮毂的训练过程中，通过大量的学习和参数优化，使轮毂型号识别得以泛化。在实际生产中，轮毂识别任务需要在有限的计算环境下实时进行，因此本文从有效性和实时性两个不同角度加以详细说明。

3.2.1 有效性

针对轮毂型号的识别效果主要体现在两方面，一方面是旋转提取轮毂特征，另一方面是改进的VGG网络。用测试集来验证基于环形特征融合的卷积神经网络轮毂识别算法效果， 同时使用3种深度学习方法和3种机器学习方法分别对基于环性特征的轮毂图和普通轮毂图识别来对比验证。3种机器学习方法均采用Hog提取特征。

表1 3种轮毂识别Tab.1 Identification of three wheel models (%)

根据表2所示的检测效果可知：对于A04、A05和A06这3种型号的轮毂，SVM的Ri高于K近邻和决策树，但Fi较高，总体来说SVM的分类效果较好，但3种传统机器学习方法Ri普遍比卷积神经网络低。VGG_16的识别率普遍在较高的水平，但错误识别的轮毂较多，Inception V3和本文算法的识别效果较好，且改进的VGG网络识别率最佳。模型中的深度可分离卷积在减少计算量的同时，不会损失网络的性能，进而论证了改进的VGG网络可以准确识别轮毂型号。

表2 普通轮毂识别率和误检率Tab.2 Ordinary wheel recognition rate and false detection rate (%)

表3为基于环形特征的轮毂识别率和误检率。

表3 基于环形特征的轮毂识别率和误检率Tab.3 Ring wheel recognition rate and false detection rate (%)

由表3可知，用Hog提取环形轮毂特征与普通轮毂特征相比，3种机器学习方法的识别率都有所提升，但还是低于深度学习方法。基于深度学习方法识别环形特征轮毂图片比普通轮毂图片的识别效果更佳，且改进的VGG网络优于VGG_16和Inception V3。由此可得对比顺序提取轮毂特征，旋转提取环形轮毂特征更加有效，且具有平移不变性、缩放不变性和旋转不变性。

为了更直观地论证本文算法的有效性，本文设计了4组交叉验证实验。实验1为基于改进VGG的环形特征轮毂型号识别；实验2为基于改进VGG的普通轮毂型号识别；实验3为基于VGG_16的环形特征轮毂型号识别；实验4为基于VGG_16的普通轮毂型号识别。

图11为4组验证实验的分类识别率，即训练模型验证A07型号轮毂的正确概率，可知旋转提取环面轮毂特征可以加快卷积神经网络的收敛。由于环形轮毂的中心对称性，将环形轮毂展开使特征利用率更高，从而提高识别准确率。改进VGG模型识别率总体维持在较高的评价，其中实验3的分类最高精度为96.53%，实验1的分类精度最高为99.6%。改进后的VGG网络相较于以往的算法来说，其结构更加简洁，解决复杂特征的能力更强。

图11 4组实验识别率Fig.11 Classification recognition rate of experiments

3.2.2 实时性

4组实验识别时间如图12所示，实验1的平均推理耗时为11.78 ms;实验2的耗时为35.86 ms;实验3为54.12 ms;实验4的耗时达到71 ms。改进VGG网络识别轮毂图像的推理耗时普遍低于VGG_16，本文模型通过深度可分离卷积层和Dropout层减少参数量，在不损失网络性能的同时降低了计算量，为工业生产中轮毂型号的实时检测提供了可行的方法。

图12 4组实验识别时间Fig.12 Recognition speed of four groups of experiments

4 结 论

本文针对在实际生产中轮毂的混流生产，设计了一种基于环形特征融合的卷积神经网络轮毂识别算法。利用展开环形轮毂图片旋转提取特征，与传统的顺序提取特征方法相比，削弱了冗余特征的影响，加快卷积神经网络的收敛，并且使本识别算法具有平移、旋转和缩放不变性。基于改进VGG的卷积神经网络模型，解决了实际生产中轮毂识别任务计算环境有限的问题，利用深度可分离卷积打破了输出通道维度和卷积核大小的联系，在不损失模型性能的同时提高了识别速率。利用多种卷积神经网络和机器学习算法对比验证了本文轮毂识别模型的优越性。运用自定义的4种交叉验证实验进行分析，结果表明，该方法能够实时并且准确地识别轮毂型号。