飞机蒙皮铆接质量视觉检测系统的构建*

（四川大学制造科学与工程学院，成都 610065）

铆接是飞机蒙皮上的主要连接形式，铆接的质量直接影响蒙皮甚至飞机整机结构的性能。目前，在生产车间中，对于铆钉尺寸距离的测量主要依靠人工完成，检测效率低，不能满足自动化生产的要求。近年来，机器视觉技术已在检测领域中得到了广泛的应用[1-5]。本文在国内外相关研究基础上[6-9]，基于机器视觉技术构建了飞机蒙皮铆钉的视觉检测系统平台，该检测系统的核心在于对采集的图像进行处理，而图像分割技术则是图像处理的关键技术之一，也是图像理解的前提。

阈值分割是图像分割中最常用的方法，通过适当的阈值将图像中的目标与背景分开，为后续的识别提供依据。但是如何选取最优的阈值、保证最好的分割效果是该分割方法的难点，也是研究人员长期研究的课题。机器视觉技术发展至今，人们已经提出了很多选取阈值的方法，如迭代阈值法[10]、最大熵值阈值法[11]以及最大类间方差阈值法[12]等。其中最大类间方差一直被认为是阈值分割的经典方法，但是该方法计算量非常大。因此，本文结合改进的遗传算法来减少计算量、缩短运算时间，并对遗传算法进行相应的优化，避免了过早收敛现象。

1 飞机蒙皮铆接质量检测参数分析

铆接是飞机上主要的连接形式，铆钉连接示意如图1所示。如图可知，铆接是铆钉一端发生形变而形成的紧固连接，此形变是塑性变形，不能恢复，形变后形成的形变端类似于圆形，被连接件之间的载荷也主要由形变端承受。因此，飞机蒙皮铆接质量的检测可以说是对形变端的检测。

对于单个铆钉而言，如果铆接后所形成的形变端的直径较大，则形变端的厚度必然会减小，此时该铆钉的力学性能降低，容易损坏；如果铆接后形变端的直径较小，此时的连接不稳定，容易导致铆钉脱落。因此，单个铆钉的形变端直径必须在规定的范围之内，这也是衡量铆接质量的一个重要参数。

此外，飞机蒙皮零件之间的连接是由多个铆钉铆接而成，而工作时是希望将零件所受的载荷均匀分布在这些铆钉上，但是如果某两个铆钉之间的距离较大，必然导致零件的载荷不能均匀分布，即存在一部分铆钉所分担的载荷比其他铆钉所分担的载荷大，在工作过程中这部分铆钉容易被破坏。因此，对于飞机蒙皮零件而言，铆钉之间的间距也是衡量铆接质量的一个重要参数。

综上所述，铆接之后形变区的直径和铆钉的间距是衡量整个飞机蒙皮铆接之间的参数，在飞机蒙皮铆接质量检测系统中所检测的参数也就是铆钉铆接后的形变尺寸和铆钉的间距。

2 视觉检测系统总体设计

图1 铆钉连接示意图Fig.1 Rivet connection image

图2 视觉检测系统结构框图Fig2 Diagram of visual system structure

3 图像分割

为获取铆接之后的铆钉的变形尺寸和铆钉之间的间距，必须从蒙皮图像中提取出铆钉特征，因此蒙皮图像分割是图像处理必不可少的步骤。

3.1 最大类间方差阈值分割法

最大类间方差阈值分割方法基本思路是将图像的直方图以某一灰度为阈值，将图像灰度值分成两组并计算两组方差，当被分成的两组之间的方差最大时，就以该灰度值为阈值分割图像[13]。设1幅图像灰度值个数为m，灰度值为i的像素为ni，则得到图像总像素N为：

各灰度值的概率为：

设阈值k将图像分为g0和g1(目标和背景)两组，g0、g1灰度值分别为 [0,1…k]和 [k+1,k+2…m]，则g0、g1组产生的概率分别为：

目标组g0的灰度平均值为：

背景组g1的灰度平均值为：

可以预见，未来5G对于家电功能、性能上也将有较大的影响，更优化的网络环境有助于家电智能化的全面升级，在度过初期研发阶段之后，成熟的5G产业将拉动整个社会经济进入新的快速发展时期。

整幅图像灰度平均值为：

由上可得目标组g0与背景组g1之间的方差d(k)计算公式如下：

由上可知，要使d(k)取得最大值，须对整幅图像中的所有灰度值都进行方差计算、比较，然后才能得到使类间方差取最大值的灰度阈值k*，这一过程需要大量的计算，尤其是在图像较大时，需要很长的计算时间，这不仅对计算机硬件要求高，更重要的是降低了检测效率。

3.2 基于改进遗传算法的最大类间方差阈值分割法

遗传算法是模拟生物进化自然选择和遗传机制的一种优化算法，它具有强大的搜索寻优能力，将遗传算法与上述的最大类间方差阈值分割法结合起来用于图像分割中，将最大类间方差阈值分割法中的方差计算式（8）作为遗传算法的适应度函数，利用遗传算法搜寻最优解的能力来减小最大类间方差阈值分割法中的计算量，这将弥补最大类间方差阈值分割法计算量大、计算时间长的缺点[14]。

在遗传算法中，交叉和变异概率的选取是影响算法行为的关键因素，传统简单遗传算法（SGA）中交叉和变异的概率在整个迭代过程中不变，这导致在迭代过程中出现迭代次数多、收敛性差且容易出现局部收敛等现象。而较理想的遗传算法应具有根据样本适应度值自动调节交叉、变异概率的能力。首先在迭代初期，应使适应度值较小的样本的交叉、变异概率偏高，从而使得种群中样本更加丰富；同时对于出现的适应度值较大的样本应减小其交叉、变异的几率，使其保留至下一代，从而保存优良基因，避免局部收敛。在迭代后期，由于交配池中保留下的样本均接近最优解，可降低整体的交叉、变异概率，同时，适应度值越大的样本的交叉、变异概率越小。

对于上述较理想的遗传算法，其交叉变异概率在整个寻优过程中是变化的，变化趋势如图3所示。在迭代初期，交叉、变异概率平均高于迭代后期，同时，每一代样本中，适应度值不同的样本交叉、变异的概率随适应度值的变化而变化，适应度值越大，交叉变异的概率越小。因此，在迭代过程中，分别采用式（9）、（10）来调整迭代过程中的交叉、变异率。

式中，PC、Pm分别为交叉、变异概率；PC1、PC2、Pm1、Pm2为预设交叉、变异概率；k1、k2、分别为调节系数；f为交配池中个体的适应度值；favg为每一代样本的平均适应度值；fmax为每一代样本中最大适应度值。h（t）则是一个关于迭代次数的二值函数，当迭代次数小于设定值m时，h（t）的函数值为0，反之则为1。

图3 交叉、变异概率变化趋势Fig.3 Trend of crossover and mutation rate

4 飞机蒙皮图像分析处理

4.1 图像采集与预处理

图4（a）是一幅由上述视觉检测系统所采集的飞机蒙皮试验板的原始灰度图像，由图像可知，在采集过程中存在噪声干扰。因此，在对图像进行分割前，使用3×3模版的中值滤波器对其进行滤波处理，处理结果如图4（b）所示，通过中值滤波处理后的蒙皮图像噪声点明显降低，然后用上述改进遗传算法与OSTU方法对图像进行分割，处理步骤如下：

（1）编码。因为蒙皮图像灰度值为0～255，所以对染色体使用8为二进制数编码。

（2）初始化种群。产生一定规模的初始化种群并设置好最大迭代次数，以及PC1、PC2、Pm1、Pm2、k1、k2以及迭代次数函数h（t）。

（3）评估。对于产生的种群，采用式（8）为适应度函数，根据输入的蒙皮图像计算每个个体的适应度值。

（4）选择。选择出上一代样本中适应度较大的样本进入下一代。

（5）交叉、变异。采用式（9）、式（10）、式（11）计算每个个体的交叉变异概率，并形成新的个体。

（6）终止迭代。终止迭代的条件为找到最优分割阈值或者达到最大迭代次数。

采用上述方法对蒙皮图像进行分割，其结果如图4（c）所示。

图4 飞机蒙皮图像Fig.4 Images of aircraft skin

4.2 蒙皮铆钉特征提取与曲线拟合

飞机蒙皮铆接质量视觉检测系统主要检测参数是铆钉铆接变形后的直径和铆钉之间的间距。因此，必须在分割后的图像基础上提取铆钉的特征图像，进而识别铆钉达到检测目的，具体处理步骤如下。

步骤1：获取铆钉区域的图像特征。由图4（c）可以看出，铆钉在铆接后，其中心部分的反光性很好，从而造成中心部分形成高亮区，在进行图像分割后，铆钉的图像特征直接通过圆形筛选会被中心的反光区所干扰。对此，本文采用分割后的图像中较大联通区域与分割前图像作差的方法来排除反光区域的干扰，其结果如图5（a）所示，此时铆钉的图像特征为联通的整体。

步骤2：提取铆钉边缘曲线。在图5（a）图像的基础上通过圆形筛选，提取出图中铆钉的特征图像，但是由于步骤1中的作差处理，导致所提取的铆钉特征与原始图像中铆钉图像之间存在较大误差，所以在提取到铆钉区域后，对其进行形态学腐蚀、膨胀操作，然后由腐蚀结果和膨胀结果得到一个环形分割器，如图5（b）所示。最后，用环形分割器在图4（b）所示的图像上分离出铆钉边缘区域的灰度图像，再对其进行亚像素边缘提取，结果如图5（c）所示。

步骤3：曲线拟合，参数计算；提取到铆钉的亚像素边缘曲线之后，用标准的圆方程对其进行拟合，得到铆钉的圆心和半径参数。最后通过欧拉距离公式算得铆钉之间的距离。

图5 蒙皮处理过程图像Fig.5 Processing images of aircraft skin

5 结束语

本文所介绍的飞机蒙皮铆接质量检测系统是一个对飞机蒙皮铆接质量的自动化检测系统，本文重点介绍的结合改进遗传算法与OTSU方法的阈值分割方法在图像分割方面的效果较好，但整个视觉检测系统仍存在很多不足，离生产线上实时检测的需求还有很大的差距。因此，在以后的研究过程中，提高该系统的实用性是我们主要的努力方向。

[1]唐君萍, 张丽艳.飞机复杂零件上大量小尺寸导孔的快速视觉检测[J].中国机械工程, 2015, 26(18):2456-2465.

TANG Junping, ZHANG Liyan.Quick vision inspection for large number of small size guide holes on complex aircraft parts[J].China Mechanical Engineering, 2015, 26(18):2456-2465.

[2]雷良育, 周晓军.基于机器视觉的轴承内外径尺寸检测系统[J].农业机械学报, 2005,36(3):131-134.

LEI Liangyu, ZHOU Xiaojun.Machine vision system for inner and outer diameters inspection of a bearing[J].Transactions of the Chinese Society for Agricultural Machinery, 2005,36(3):131-134.

[3]展慧, 李小昱.基于机器视觉的板栗分级检测方法[J].农业工程学报, 2010,26(4):327-331.

ZHAN Hui, LI Xiaoyu.Determination of chestnuts grading based on machine vision[J].Transaction of the Chinese Society of Agricultural Engineering, 2010,26(4):327-331.

[4]王辉, 雷雨春.基于机器视觉的樱桃外径检测[J].农业机械学报, 2012,43(S1):246-249.

WANG Hui, LEI Yuchun, Size detection for cherry fruit based on machine vision[J].Transactions of the Chinese Society for Agricultural Machinery, 2012,43(S1):246-249.

[5]周竹, 黄懿.基于机器视觉的马铃薯自动分级方法[J].农业工程学报, 2012,28(7):178-183.

ZHOU Zhu, HUANG Yi.Automatic detecting and grading method of potatoes based on machine vision[J].Transactions of the Chinese Society for Agricultural Engineering, 2012,28(7):178-183.

[6]张金龙, 赵芙生.基于遗传算法的三维重构图像阈值分割[J].南京师范大学学报(工程技术版), 2005,5(1):5-7.

ZHANG Jinlong, ZHAO Fusheng.Image threshold segmentation of 3D reconstruction based on genetic algorithm[J].Journal of Nanjing Normal University (Engineering and Technology), 2005,5(1):5-7.

[7]NARANBAATAR E，KIM H S，LEE B R.Radius measuring algorithm based on machine vision using iterative fuzzy searching method[J].International Journal of Precision Engineering and Manufacturing, 2012,13(6):915-926.

[8]SHEN H，LI S，GU D，et al.Bearing defect inspection based on machine vision[J].Measurement, 2012, 45(4):719-733.

[9]DERGANC J，LIKAR B，PERNUS F.A machine vision system for measuring the eccentricity of bearings[J].Computers in Industry, 2003,50(1):103-111.

[10]李忠涛, 刘江.阶梯轴尺寸及形位误差的机器视觉检测[J].工具技术, 2008,42(2):77-80.

LI Zhongtao, LIU Jiang.Multi-diameter of geometrical size and shape-position error detection by machine vision[J].Tool Engineering,2008,42(2):77-80.

[11]马苗,鹿艳晶.SAR图像的二维灰熵模型的快速分割方法[J].西安电子科技大学学报（自然科学版）, 2009,36(6):1114-1119.

MA Miao, LU Yanjing.Fast SAR image segmentation method based on the two-dimensional gray entropy model[J].Journal of Xidian University(Natural Science), 2009,36(6):1114-1119.

[12]姚敏.数字图像处理[M].北京:机械工业出版社,1996.

YAO Min.Digital image processing[M].Beijing: China Machine Press,1996.

[13]赵小川.MATLAB图像处理[M].北京:北京航空航天大学出版社, 2014.

ZHAO Xiaochuan.Image processing by MATLAB[M].Beijing:Beihang University Press, 2014.

[14]李贤阳, 黄婵.一种结合改进OTSU法和改进遗传算法的图像分割方法[J].实验室研究与探索, 2012,31(12):57-61.

LI Xianyang, HUANG Chan.A novel method for image segmentation based on improved OSTU and improved genetic algorithm[J].Research and Exploration in Laboratory, 2012,31(12):57-61.