李 飞,唐亚健,苑玮琦
(沈阳工业大学信息科学与工程学院,辽宁 沈阳 110870)
随着中国制造业的发展,“中国制造”已经成为一种代名词,越来越多的制造行业处于世界领先,其中摩托车轮毂生产已经跃居世界第一。轮毂是承载摩托车的主要部件,具有很高的安全标准。其机械安全均需要满足《摩托车和轻便摩托车轻合金车轮(GB/T 22435-2008)》,如果轮毂在铸造,机加工阶段出现气孔,夹渣,缩孔,连接不良,车刀未车出和碰伤等缺陷而未检测出来,在后续摩托车运行时,这些缺陷均有可能成为安全隐患。
目前,国内轮毂制造商仍处于劳动密集型的生产,表面缺陷检测依然运用人工目测,抽查复核。这种检测方式会由于人眼的疲劳效果,难以长时间,高效率,高精度的检测表面缺陷。目前,机器视觉在制造业里对产品表面缺陷检测的应用已经开始普及,近年来不少新技术已经提出了轮毂表面的缺陷检测,例如,激光技术[1],激光位移感测[2],光电检测[3]车轮表面检测设备[4]基于电磁超声技术[5],AUROPAⅢ设计用于裂纹检测[6]。而该种检测方法受到外界影响较大,而在复杂的工业生产现场,难以达到长期稳定高效地检测。文献[7]使用线阵相机对轮毂外缘面进行成像并通过畸变矫正和边缘检测来提取表面车不出的缺陷,针对以上情况,结合目前人工智能的高速发展,提出以机器学习算法为核心,利用机器视觉方法建立的摩托车轮毂表面缺陷检测系统检测多种轮毂表面缺陷。
依据摩托车轮毂自身圆形的特点,设计出一套旋转式成像的在线检测系统,其模型,如图1 所示。
图1 轮毂在线检测系统模型图Fig.1 Hub Online Inspection System Model
当轮毂放置在旋转装置上,两侧的旋转式机构转动,通过表面旋转机构和轮毂之间的表面摩擦力带动轮毂进行转动。光源将光线照在轮毂成像面上,通过反射送入线阵相机。旋转装置通过编码器将旋转装置的旋转频率送入线阵相机作为线阵相机的成像频率,成像结果送入计算机处理并显示。相机和光源需要通过移动对轮毂各个成像面进行成像。
所有数据均来源于摩托车轮毂生产现场,利用上述机械设备,使用加拿大Teledyne DALSA 公司的线阵相机和日本CBC 板式会社的computar 工业镜头对轮毂表面各个工位进行各方面成像。在调整好镜头对焦后,使用千兆以太网将成像数据保存到计算机中形成图库。
对图库中所有保存图像的有效研究区域进行剪裁,删除背景干扰,由于部分图像在制动圈上,可能存在锈迹,锈迹在红色光源下会发亮,会使得后期提取缺陷特征时进行误测,所以对图像进行灰度变换,在诸多变换中,最终选择优化后的Gamma 变换公式(1),变换结果,如图2 所示。
式中:G—该点变换前的灰度值;m—输入图像的最大灰度值;o—Gamma 变换的补偿量。
图2 Gamma 变换Fig.2 Gamma Transformation
并为每张图片标记上label 值,为后续支持向量机(support vector machine,SVM)的模型训练提供训练集。
3.2.1 灰度特征选择
灰度特征是一幅图像的基本特征。提取图像的不变距(Invariant Moments)作为训练特征。同时,以 3*3,5*5,7*7,9*9 四种窗口提取图像局部的灰度变化的均值,方差,形成特征矩阵,对特征矩阵进行主成分分析,提取其降维后的特征矩阵,并进行归一化处理,从而增加特征之间的不相关性,消除因光源老化造成光照强度波动引起的图像对比度和亮度的变化,这样共提取9 种特征变量。
一幅图像的灰度直方图反应了该图中各像素灰度出现的频率,从该部分入手提取灰度特征。将直方图的灰度值作为X 值,灰度值对应的灰度频率值作为Y 值,然后拟合成为一个一维函数,将离散的灰度频率值变为连续值。直方图最大的峰值及其邻域代表了图像中的背景部分,而小的峰值可能是缺陷部分,但是,直方图上各个峰值都有一些细小的毛刺,对于提取直方图的极大值带来诸多干扰,同时降低提取的干扰特征。所以,我们选择使用Gauss 平滑在不改变直方图表示的整体意义的前提下,对直方图进行优化平滑,如图3 所示。
图3 图像的直方图及其优化Fig.3 The Histogram of the Image and Optimization
提取在高斯平滑系数为1 下直方图的极大值,已知直方图最大值为背景频率,占比最大,以最大值为中心在一定阈值范围内,可以视为背景灰度的波动范围,依旧将其当作背景,阈值范围外的极大值可以假设为缺陷的部分,将其灰度值提取出来作为一个特征变量。
通过对灰度特征的提取,一共提取了10 个特征变量。
3.2.2 纹理特征选择
纹理特征是一幅图像的重要特征,纹理的变化表现出轮毂表面的结构特征和花纹空间排列关系。
对图像进行Canny 边缘检测,提取其表面花纹的边缘信息,对提取出的边缘信息进行特征的二次提取,通过式2 计算提取出来边缘的紧密度。
式中:L—边缘的长度;F—边缘的面积总和。
灰度共生矩阵(Gray-level co-occurrence matrix;GLCM)可以反应一幅图像中纹理的空间分布情况,先计算出图像的GLCM,再对灰度共生矩阵提取其能量值,关联性,局部同质性,相对性作为特征。
能量值提取,如式(3)所示。
关联性提取,如式(4)所示。
局部同质性提取,如式(5)所示。
相对性提取,如式(6)所示。
式中:参数width 为灰度共生矩阵的宽度;Ci,j—灰度共生矩阵坐标(i,j)对应的值,且:
纹理特征中还包含有一些特殊纹理,例如:垂直边缘,水平边缘,空间高频点和V 字形等,通过特定空间域卷积模板,对图像进行卷积滤波,提取特有的纹理,其模板,如图4 所示。
图4 特殊纹理卷积模板Fig.4 Special Texture Convolution Template
通过对纹理特征的提取,一共提取了9 个特征变量。
支持向量机方法是Cortes C 和Vapnik V N 于1995 年首次提出,标准支持向量机的训练过程可归结为求解一个受约束凸二次规划(Quadratic Programming,QP)问题,对于数量为 n 的训练样本,其时间复杂度和空间复杂度分别为O(n3)和O(n2),随着训练数据规模的增加,其训练时间和空间的开销急剧增大,所以不适合用来处理大规模数据集[8]。支持向量机具有很强的学习能力和泛化性能,能较好地解决小样本、高维数、非线性、局部极小等问题[9],通过非线性变换将低维空间数据转换至高维空间,然后使用超平面进行最优分类。
在给定的样本训练集中 D={(X_1,Y_1),(X_2,Y_2),…,(X_n,Y_n)},Yi∈{-1,+1},分类训练都是寻找一组 ω 和 b 值,建立下列方程将训练样本使用超平面分开:
式中:ω={ω1,ω2…ωm}—法向量,明确超平面的方向;b—偏移量,决定超平面到原点的间隔。所以空间中任意一点到超平面的距离为:
当 Yi=+1 时,存在 ωTx+b>0,Yi=-1 时,存在 ωTX+b<0,同时,对于超平面(ω,b)可以缩放使其结果值所以我们可以将其合并成为:
距离超平面最近的数个异类样本点使式(12)成立,这组样本点被称为“支持向量”[10](support vector),他们之间的距离被称为“间隔”(margin)。
若要找到可以划分“最大间隔”(maximum margin)的超平面,我们需要找到式(12)中的约束参数ω 和b,使得γ 值最大,即:
一般情况下,在低维空间中样本训练集是线性不可分的,对于这样的问题,我们需要将低维空间的线性不可分数据转化为高维空间中,对于训练样本的特征均属于有限维的特征向量组,一定存在一个更高维的特征空间使这个问题线性可分。而从低维空间向高维空间映射的关键是“核函数”φ(·,·),可以满足f(x)=ωTφ(x)+b(φ(x)为X 映射转换后的特征向量)划分出一个好的超平面。
通过实验发现,RBF 核函数相较于其余核函数具有更好的分类效果,因此,选择RBF 高斯径向基函数作为数据从映射的核函数,通过计算和实验,最终选择RBF 核函数参数σ=3.16。
在高维空间中找到的最优超平面,又是可能因为部分离群的样本或者噪声导致求解出的超平面可能处于过拟合的状态,所以,需要引入惩罚因子来剔除个别样本使得求解出的超平面具有更好的泛化能力。
为了验证SVM 在轮毂上的缺陷识别,分别筛选气孔,发振,疏松和表面车不出四类缺陷进行检测分类。将已有的各类图像10 张,20 张,50 张,100 张训练集样本图片分别进行灰度和纹理的特征提取,组合成为一个高维度的特征矩阵,送入SVM 中进行训练。
经统计,在使用各类样本图片100 张的时候,通过对测试集上100 张缺陷图像进行检测,其识别并标记成功的精度,最高识别率高达93%,而在其10 张样本,20 张样本,50 张样本进行的训练结果用来在测试集上进行检验,其成功识别率最低也在82%的左右,如图5 所示。充分证明了SVM 对于小样本,高维特征的较高优势。而且识别成功率也随着训练样本的提升在提高。
图5 不同训练集样本数下识别率Fig.5 Recognition Rate Under Different Training Set Sample Sizes
为了验证不同特征向量对实验结果的影响,单独将灰度特征组成特征向量,在不包含纹理特征的情况下对训练集进行训练,分别选择各类图像 10 张,20 张,50 张,100 张作为训练集。
通过训练结果在测试集的100 张图像上的分类和识别的结果,如图6 所示。最高的识别成功率仅有54%,而单独使用各类样本10 张图像进行训练,其识别成功仅有27%。由此可见,当在灰度特征的基础上引入了纹理特征的信息时,分类识别的成功率大幅度的增加。灰度特征中所能提取到的信息有限,单独使用制约了SVM 的泛化能力,而在灰度特征的基础上添加进纹理的精确特征,提取到更多图像缺陷信息,提高了分类器的能力,使其具有更加良好的泛化能力。
图6 灰度特征下识别率Fig.6 Gray Scale Feature Recognition Rate
图7 检测失败案例Fig.7 Detection Failure
在测试中,也同样存在分类的错误的情况,现对其原因进行分析:在这张疏松的缺陷图像中,由黑色箭头指向的疏松区域并不属于连续密集度很高的缺陷,其特征与气孔类似,因此在识别中,将该类疏松缺陷未能准确归于疏松缺陷类型,而是将其归于气孔缺陷中,造成缺陷类型的识别错误,如图7 所示。而由白色箭头指向的疏松区域由于成像效果偏暗,造成疏松缺陷目标模糊不清,而没有检测出该部分的缺陷。
针对摩托车轮毂表面缺陷检测,提出了一种以灰度特征为基础加上纹理特征,通过SVM 训练的方式来识别缺陷的思路,同时首次建立一个完整的摩托车轮毂表面检测的方案。从机械上旋转式成像出发,再通过提取灰度特征和纹理特征组成特征向量,使用SVM 进行缺陷训练,并在测试集上检验训练结果。测试结果表明:通过SVM,在各类缺陷100 张训练图像的情况下,对于缺陷的识别分类高达93%,显示出这里算法的优势,和在摩托车轮毂检测上的实际意义。