基于机器学习的铆接质量数字化检测系统

郝博,闫俊伟,王杰,郭嵩,尹兴超

(1.东北大学机械工程与自动化学院,辽宁沈阳 110819；2.东北大学航空动力装备振动及控制教育部重点实验室,辽宁沈阳 110819)

0 前言

随着机器视觉、模式识别、深度学习等技术的发展以及计算机技术与传统制造业的结合，机械制造业迎来了新的发展机遇。中国全面推进实施制造强国战略，要求机械制造业智能化发展。如何实现机械装配质量诊断更高效、准确，对工业生产的经济性、安全性和可靠性具有十分重要的意义。机器学习算法与机器视觉技术在质量检测领域拥有广阔前景。利用CCD相机采集图像，经图像预处理、相关性搜索、特征边缘提取等操作可以很好地应用于质量检测领域。除此之外，机器学习中的-近邻(-NN)算法、决策树(Decision Tree)算法、朴素贝叶斯(Naive Bayes)算法、支持向量机(SVM)算法、随机森林(Random Forest)算法等都可以用于机械设备故障诊断，其中支持向量机算法的诊断效果较好。

铆接工艺在航空制造业领域应用广泛，飞机装配过程中大量使用铆接连接。飞机在飞行过程中一旦铆接部位出现质量问题，很可能导致飞机故障甚至解体，造成巨大的经济损失和人员伤亡。在实际检测中，铆接质量检测大多采用传统人工检测，检测效率低、对工人经验要求高、质量信息难追溯。近年来，很多研究者对铆接质量检测进行了研究。胥俊敏、杨宾峰等对远场涡流传感器进行优化设计，并将它应用于铆接检测。蒋滔等人将改进遗传算法与OSTU方法相结合，对飞机蒙皮图像进行分割，采用视觉检测方法检测铆接质量。黄华斌等采用声发射参数滤波和空间滤波的方法，在强噪声环境下获取有效声发射信号,通过对信号的特征参数进行趋势分析、空间定位分析和组合滤波分析,检测铆接壁板上裂纹的萌生和扩展情况。MUELLER等通过扭矩传感器、激光传感器等实时监控铆接过程，利用人工智能算法执行检测任务。上述检测方法对机器学习技术的应用，大多是采用机器视觉对信息进行采集、整理，应用机器学习算法进行检测的研究较少，在质量追溯方面也涉及较少。

本文作者针对目前传统铆接检测效率低、工人劳动强度大等问题，提出基于机器学习的铆接质量检测方法。在应用机器视觉的基础上，采用IPSO-LSSVM算法进行质量检测，使用专家系统进行质量追溯和缺陷分析。在沈阳飞机工业集团某型号飞机装配车间对原型系统进行验证，该系统可以为铆接质量数字化检测提供技术支持。

1 铆接工艺及铆接常见缺陷

测试使用的铆钉为抽芯铆钉，使用气动铆枪进行铆接，如图1所示。

图1 铆接工具及铆接示意

影响铆接寿命的工艺参数有拉铆力、铆钉尺寸、铆钉与被铆接件的材料特性、锪孔的尺寸等。根据检测经验，常见铆接缺陷如表1所示。

表1 常见铆接缺陷及成因

若铆钉压缩不充分，会使钉头与四周产生缝隙；若铆钉压缩过量则会使镦头高度过小或刻伤壁板。为防止铆接失效、保证铆接寿命，在装配过程中应选取适当的铆钉及合理的铆接参数。

2 铆接质量检测系统组成

基于机器学习的铆接质量检测系统包含4个部分，即图像采集部分、图像处理部分、质量检测部分、质量追溯部分。

(1)图像采集部分由CCD摄像机、图像采集卡、照明系统、控制机构、计算机组成，保证采集的图像清晰、特征鲜明；

(2)图像处理部分对图像进行二值化处理、中值滤波处理、Canny边缘提取、特征测量等操作；

(3)质量检测部分通过机器学习算法构建模型，对图像进行分类，是铆接检测系统的核心；

(4)质量追溯部分反馈检测结果，对不合格铆接进行分析，得出产生铆接缺陷的原因。

3 铆接质量检测系统工作流程

基于机器学习的铆接质量检测系统的工作流程如图2所示。

图2 铆接检测系统工作流程

3.1 图像采集及预处理

对采集到的图像进行二值处理，把铆接部位从图像中提取出来。如公式(1)，对于输入图像的像素，其阈值与设置的阈值进行比较，赋予输出图像白色(255)或黑色(0)的像素。

(1)

传统灰度处理难以突出图片特征，因此选择使用Imadjust函数对图像进行灰度调整。根据图像背景,为突出铆接部分特征，去除0.2×255至0.5×255之间的值，其余部分的值在0～255之间按比例重新映射。如图3中(a)、(b)所示分别为原图、Imadjust函数调整的灰度图。图4所示为Imadjust函数调整的直方图。

图3 调整前后的灰度图对比

图4 Imadjust函数调整的灰度直方图

对调整后的灰度图进行中值滤波[图5(a)]，减少脉冲噪声、椒盐噪声对图像特征的影响，为后续边缘特征提取做准备。

如公式(2)所示，(,)、(,)分别为原始图像和输出图像，、为图像三阶矩阵区域中位置的对应变量。

(,)=med{(-,-)}

(2)

由于形态学分析会淡化裂纹，导致裂纹难以检出，中值滤波后的图像在形态学操作前应优先进行裂纹检测。对图像使用Canny边缘检测算法，并对图像中铆接处裂纹进行识别，边缘检测结果如图5(b)所示。

图5 中值滤波及边缘检测结果

Canny边缘检测首先对图像进行高斯滤波，高斯核如公式(3)所示：

(3)

式中：为平滑度参数，当=1.5时，计算公式如式(4)所示。

(4)

图像高斯滤波像素如公式(5)，式中为图像的三阶像素矩阵，求得的像素为矩阵的中心点像素。

(5)

使用Sobel算子依次计算每个像素点的梯度，得出边缘所指方向。此时得到的边缘比较模糊，需要进行非极大值抑制，确保边缘只有一个准确响应。采用双阈值检测将边缘像素区分为强边缘或弱边缘。强边缘判定为真实边缘，弱边缘通过抑制孤立低阈值点进行判断，得出边缘检测结果图。

对于边缘检测结果图,使用SSD(Single Shot Multibox Detector)算法对裂纹进行检测，将检测出裂纹的部位直接定义为不合格。通过裂纹检测的图像进入之后的检测环节。

使用中值滤波的图像进行形态学操作，对图像进行腐蚀、膨胀来消除铆接部位周围灰尘、颗粒对图像的影响，如图6所示。这种处理使图像边缘趋于平滑，且不会明显改变图像中其他特征信息。

图6 形态学操作结果

对经过处理的图像应用Regionprops函数，得到特征部位的像素点总数、特征部位边缘像素点数、特征部位在图像中占比、特征部位圆度。根据上述数据,应用公式(6)求得具体特征参数。

(6)

式中：为图像面积;为特征部位面积;为特征部位周长。

3.2 机器学习算法在铆接检测系统中的应用

3.2.1 粒子群优化算法

PSO算法处理铆接检测模型参数可以提升检测准确率。设在维空间中有个粒子组成粒子群，粒子的位置=(1,2,3,…,)，粒子的飞行速度=(1,2,3,…,)，粒子的最好位置=(1,2,3,…,)，其中=1,2,3,…,，粒子群中所有粒子经历的最好位置为()。根据上述定义，可以得出粒子群算法的进化方程如公式(7)(8)所示：

(+1)=()+[()-()]+[g()-()]

(7)

(+1)=()+(+1)

(8)

式中：表示粒子；表示维度；表示进化次数；、为加速常数,常取2;、为[0,1]内随机数。

3.2.2 最小二乘支持向量机算法

为防止检测结果陷入局部最优，使用回归拟合能力较强的LSSVM算法构建铆接检测模型。

(9)

s.t.[()+]=1-，=1,2,3,…,

式中：为权向量；为拟合误差，是实际训练输出与估计输出的误差值；为惩罚参数，用于惩罚超出误差的样本；()为非线性函数，把原始空间的输入向量映射为高维空间向量；为偏差量。为解决上述问题引入拉格朗日函数，如公式(10)所示:

]-1+}

(10)

s.t.≥0=1,2,3,…,

式中：为拉格朗日乘子。根据KKT最优条件，对、、、求偏导数，并令它们等于0，得出公式(11)：

(11)

联立上述公式消去、，经过整理得出公式(12)：

(12)

式中：=[,,,…,];=[1,1,1,…,1]，=[,,,…,];为×的单位矩阵;=[()()]×。根据上述公式可以得出LSSVM的最优分类函数如公式(13)所示:

(13)

式中：(,)=()()为核函数，它应满足Mercer定理，文中选用径向基核函数，如公式(14)所示：

(,)=e-(|-|)/(2)

(14)

3.2.3 算法的改进与应用

传统PSO算法具有铆接检测模型样本较少、数据集中等特点，需进行改进。在PSO算法中增加惯性权重，前期选择较小增强搜索精度、减少发散、提高搜索能力，可有效提高检测准确性。具体改进如公式(15)(16)(17)所示：

(+1)=()+[()-()]+

[g()-()]

(15)

(+1)=()+(+1)

(16)

(17)

其中:、分别为权重的最大、最小值；、分别为当前迭代次数、最大迭代次数。

使用IPSO算法对LSSVM算法构建的模型进行参数优化，初选参数如下：=20，=2，=2，=0.95，=0.4，=100。经过IPSO优化得出=58.536、=5.633。将上述参数代入检测模型，并使用300张铆接部位图像对模型进行训练，并用60张进行测试，得出测试结果如表2所示。

表2 模型测试结果

3.3 铆接质量追溯

检测系统的质量追溯模块应用智能制造技术。对于不合格的铆接，检测系统会将其特征信息保存至数据库并输入铆接质量在线分析系统。该系统会对不合格的铆接进行推理决策，列出缺陷种类和原因并指导工人对缺陷进行修正。分析系统界面如图7所示。

图7 铆接质量在线分析系统

铆接质量在线分析系统具有自学习能力，通过人机交互和质量问题决策案例进行自我学习，将技术人员的经验知识和新捕捉的特征存入知识库，提高系统决策能力。这些知识也可用于图像预处理部分，将更多重要特征信息纳入需要提取的部分，提高铆接质量检测系统的检测准确率。

4 铆接质量检测系统在某飞机装配车间实践

提高装配效率和装配质量是车间高效生产的基础，提高装配质量检测效率是提高生产效率的重要途经。铆接质量检测系统相比传统人工检测在效率上有明显优势。

为验证系统有效性，在沈阳飞机工业集团某型号飞机座舱盖及风挡装配车间应用铆接质量数字化检测系统进行测试。随机选取50个铆接部位进行检测，测试系统实用性和检测精度。经过图像采集处理，得出如表3所示的结果。

表3 图像特征信息提取结果

将特征信息导入铆接检测系统进行检测，结果如图8所示。

图8 铆接检测结果

对比、分析铆接质量检测系统检测结果与传统人工检测结果，结论如表4所示。

表4 铆接检测系统结果分析

由表4可知：铆接检测系统铆接质量检测准确率为96%，基本可以完成检测任务。将检测为不合格的铆接数据输入专家系统，可分析铆接缺陷产生原因，方便工人修正。

经过验证，可以得出铆接质量检测系统对提高装配质量检测效率、减少人工劳动强度、提高检测精度具有较好的应用效果。

5 结论

本文作者针对传统铆接质量检测效率低等问题，提出基于机器学习的铆接质量数字化检测系统。通过验证得出以下结论：

(1)借助CCD摄像机采集铆接部位图像，应用图像处理技术可以有效提取铆接部位特征数据；

(2)利用经过训练的铆接质量检测模型，可以有效判断铆接质量，并且准确率较高；

(3)利用铆接质量在线分析系统可以分析铆接缺陷的产生原因并给出解决方案。

基于机器学习的铆接质量数字化检测系统能够有效提高铆接检测效率、减少工人劳动且具有较高准确率。但是，目前将该系统应用于曲面铆接检测仍处于探索阶段，还需进一步研究和验证。