污染环境中织状复材蒙皮孔的视觉检测技术研究＊

李 博 章绍昆 高 鑫 喻志勇 卢仁华

（①成都飞机工业（集团）有限责任公司，四川 成都 610091；②中国人民解放军93147 部队，四川 成都 610091）

高强度碳纤维制成的复合材料具有比强度高、整体成型性好、承载效率高等优点[1]，在现代飞机设计中采用了大量碳纤维复合材料蒙皮（简称“蒙皮”），是构成飞机气动外形的关键零件。在蒙皮上制有群孔，用于联接金属骨架。由于连接孔处易发生疲劳裂纹[2-3]，连接孔的孔位对于保证连接强度至关重要。在检测蒙皮上的大量小尺寸孔系时，常规三坐标测量机经常会遇到探头碰撞孔壁的问题，而且每分钟的测孔数量仅为5～6 个，限制了在大规模群孔检测场景中的应用。

机器视觉技术凭借非接触式优点，成为蒙皮连接孔检测的一个重要研究方向，相关学者开展了大量工作。勾江洋等[4]利用相机、镜头和光源研制了机器视觉测孔系统，采用“自适应二值化+Canny算子”方法处理孔图像，达到检测孔位的目的；唐君萍等[5]在视觉检测系统中采用“Otsu 二值化+Canny 算子”方法检测连接孔边缘，然后拟合孔心坐标；薛婷等[6]利用智能相机搭建视觉检测平台，采用“高通滤波+Canny 算子”方法检测飞机壁板基准孔的边缘像素，然后拟合孔心坐标。

现有文献大多是在实验室环境下开展视觉测孔技术研究的，但是在实际的加工环境中存在恶劣光照、冷却液残留、切屑附着等不利因素，蒙皮本身还具有织状纹理、孔口毛刺和表面撕裂等特点，使蒙皮图像掺杂了大量干扰信息，无法使用文献中提到的图像算法完成孔周边缘的提取。

针对以上问题，本文设计了一套在机检测蒙皮孔位的机器视觉装置，进一步提出了用于实际加工环境中，能够从具有大量干扰信息的蒙皮图像中准确提取孔周边缘的图像算法；同时给出了激光束的标定方法和光斑坐标的计算方法，综合以上信息求解连接孔的孔位坐标。最后通过实验验证了本文技术方案的有效性。

1 视觉测孔原理

1.1 机器视觉装置及其测孔方法

机器视觉装置由工业相机、远心镜头、激光器和光源等光电器件以及连接件组成，通过刀柄夹持在机床主轴上，跟随主轴运动依次完成测孔动作，如图1 所示。该装置选用BT-2336 型远心镜头，在其6 mm 的景深范围内消除透视变形，从而保持放大倍率不变[7]，能够获取清晰的连接孔图像。配合MV-EM1400C 型相机，获取的图像像素等效长度ξ为0.005 8 mm。在镜头四周均布4 个激光器，产生4 束点状激光，测量时在蒙皮表面形成光斑，用于确定连接孔的孔口近似平面。

图1 机器视觉装置

视觉测孔原理如图2 所示，共有3 个步骤。

图2 视觉测孔原理

（1）拍摄连接孔图像，通过孔周边缘提取与圆孔拟合计算孔心的XY坐标。

（2）拍摄4 个激光光斑图像，利用激光束的直线方程计算光斑的三维坐标。

（3）根据4 个光斑的三维坐标拟合孔口平面方程，将孔心的XY坐标代入平面方程求解孔心Z坐标。

1.2 定义坐标系

为了便于描述图像的像素处理，一般按照如下方式定义图像坐标系OF：原点放置于像素矩阵的左上角点，X轴沿着矩阵行号增大的方向，Y轴沿着矩阵列号增大的方向。在OF中的坐标单位为像素。

在描述孔位坐标时，一般采用的是相机坐标系OC，其定义如下：XY平面位于镜头的物方平面，Z轴与镜头轴线重合且指向镜头，X轴沿着像素矩阵列号增大的方向，Y轴沿着像素矩阵行号减小的方向。在OC中的坐标单位为毫米。

OF与OC的方位关系如图3 所示。

图3 坐标系的方位关系图

图像在X、Y方向上的像素分辨率分别记作U和V，那么OF相对于OC的齐次变换矩阵可表示为

2 图像处理算法

2.1 连接孔图像处理

受加工现场的复杂环境影响，蒙皮连接孔的图像中掺杂了大量干扰信息。图4 所示为一幅采自加工现场的蒙皮图像，其分辨率为4 608×3 288，包括残留冷却液、孔内反光、表面织状纹理等干扰信息。

图4 连接孔的蒙皮图像

为了快速准确地提取孔周边缘，本文提出了一种图像算法。首先通过全局图像快速处理初略定位连接孔区域，然后在临近孔口的区域内精确搜索边缘，最后利用边缘像素拟合孔心的XY坐标。下面叙述图像处理过程。

2.1.1 连接孔区域初略定位

连接孔区域初略定位是指先后采用多种方式统一处理蒙皮图像的全局像素，快速确定连接孔在图像中占据的大致位置，流程如图5 所示。

图5 连接孔区域初略定位流程

步骤1：将彩色图转换为灰度图，然后经双三次插值将图像缩小至1/8，以提高计算速度，如图5a所示。

步骤2：构造Canny 算子提取所有边缘，如图5b所示，其灰度矩阵记作D(x,y)。

步骤3：构造一个平滑滤波器f(x,y)。f(x,y)的维数为23×23；在f(x,y)中以坐标(11, 11)为圆心建立一个半径为11 的实心圆Cf，易得Cf所占区域共有429 个元素；f(x,y)的元素取值为

D(x,y)与f(x,y)进行卷积，相当于对图5b 施加平滑处理得到图5c，其灰度矩阵记作：

在图5c 中，连接孔内少量伪边缘被基本滤除，蒙皮表面的织状纹理也融合为具有一致性的背景。

步骤4：对图5c 运用Otsu 算法[8]得到灰度阈值λ1，使用 λ1分割图5c，初略定位连接孔所在区域，如图5d 所示，其灰度矩阵记作：

步骤5：图5d 包含若干相互独立的连通域，采用Moore-Neighbor Boundary Trace 法[9]提取连接孔所在连通域的边界像素集，如图5e 所示。

步骤6：使用最小二乘法[10]对该像素集进行圆拟合，如图5f 所示。第i个像素的坐标记作(Xi,Yi)，拟合的圆心坐标和半径分别记作(xa,ya)、Ra，误差定义如下：

2.1.2 连接孔的精确定位

由于孔周边缘包含360°圆周范围，常见的边缘算子无法直接使用，本文基于Kirsch 算子设计了孔周边缘提取方法，流程如图6 所示。Kirsch 算子使用8 个掩模，见表1。图像每个像素点同时与上述掩模进行卷积，每个掩模将在某个特定边缘方向产生最大响应，取响应最大值作为边缘图像的输出值。

表1 Kirsch 算子

图6 孔周边缘提取流程

步骤1：基于连接孔区域的初略定位结果，以圆心坐标(xa,ya)作为轴对称中心且以(2Ra+200)作为边长，自动从图5a 中截取一个包含连接孔的方形子图，如图6a 所示。

步骤2：图6a 的灰度矩阵L(x,y)分别与K1～K8进行卷积，得到响应矩阵Mi。

则边缘图像H(x,y)的像素灰度值为Mi(x,y)中的最大值，图像如图6b 所示。

步骤3：如图6c～图6e 所示，将Ca重叠在边缘图像之上，然后将Ca等分为四段圆弧，再将它们向内偏移100 像素作为边缘搜索起点，使用灰度阈值 λ2分别沿水平和竖直方向搜索孔周边缘。

以右侧的孔周边缘搜索为例，在水平向右搜索过程中首次遇见的灰度值大于 λ2的像素，便是连接孔的边缘像素。具体如下，孔周边缘像素灰度矩阵记作的搜索起点为中像素点的最小行号与最大行号分别记作 µ1和 µ2，则I(x,y)的部分元素取值如下。

I(x,y)中非零元素构成了边缘像素集 S2，如图6f的红色点集所示。

步骤4：使用最小二乘法对 S2进行圆拟合得到圆Cb，其圆心与半径分别记作(xb,yb)和Rb。

按照如下方式构造圆环状ROI 区域以剔除伪边缘：圆环的圆心位于(xb,yb)，内径与外径分别等于2Rb-10 和2Rb+10 。 S2与ROI 区域的交集为

再次使用最小二乘法对I(x,y)中非零元素代表的边缘像素进行圆孔拟合，得到连接孔在OF中的二维孔心(xc,yc)和半径Rc。

2.2 激光光斑图像处理

激光器发出的光束在孔口附近的蒙皮表面形成4 个光斑，如图7a 所示。图像处理后可得光斑的XY坐标，再结合标定的激光束空间直线方程，计算光斑Z坐标。

图7 激光光斑图像

2.2.1 光斑二维坐标计算

将光斑图像转换为灰度图，使用灰度阈值 λ3分割图像得到光斑的二值图，如图7b 所示。

以I号光斑为例，共占有N个像素，其中第j个像素的坐标为那么I 号光斑在OF中的XY坐标(xI,yI)为

类似地，求解II～IV 号光斑的XY坐标(xII,yII)、(xIII,yIII) 、(xIV,yIV)。

2.2.2 激光束标定

上下移动机器视觉装置，使光斑在蒙皮表面的位置发生变化，形成一系列离散的光斑，对这些光斑进行直线拟合，就得到了激光束在OF中的直线方程。下面以I 号光斑为例叙述标定方法，标定原理如图8 所示。

图8 激光标定原理图

步骤1：令机床主轴依次停靠在(0,0,Z1)～(0,0,Z7)采集光斑图像，参照第2.2.1 小节方法分别计算I 号光斑在7 个标定位置的XY坐标，记作则光斑在OF中的三维坐标为

步骤2：采用最小二乘法[11]拟合空间直线方程，记作：

对方程进行等价变换，得：

误差定义如下：

构造最小二乘函数 Ψ：

求解k1、b1、k2、b2以及直线方程参数x0、y0、z0、n、p。

2.3 孔位计算

获得4 条激光束的空间直线方程之后，将光斑XY坐标带入直线方程计算光斑的Z坐标，由此获得光斑的三维坐标(xm,ym,zm),m=I ∼IV。4 个光斑确定了连接孔孔口所在的平面，采用最小二乘法拟合孔口平面方程，记作：

2.1 节计算了连接孔在OF中的XY坐标(xc,yc)，它实际上描述了连接孔轴线L的位置，如图9 所示，L的方程为

图9 连接孔的孔位坐标示意图

连接孔轴线L与孔口平面的交点坐标即为连接孔的孔位坐标Pc，联立式（13）和式（14）求解孔位的Z坐标zc：

孔的齐次坐标Pc表示为

将Pc转换为OC坐标系的点位坐标Pd：

至此完成了孔位坐标的计算。

3 实验验证

基于Visual Studio 平台开发了机器视觉装置配套的测量软件，该软件集成图像处理算法，自动完成图像采集与数据处理，开展了蒙皮试验件的在机测孔实验。其中一件蒙皮轮廓尺寸为895 mm×425 mm×50 mm，一共制有106 个ϕ5.5 mm～ϕ6.5 mm的连接孔，如图10 所示。

图10 蒙皮试验件在机测孔实验

首先采集不同蒙皮上处于不同状态的连接孔图像，图11 所示为其中4 幅典型图像，为节省篇幅，图11 仅展示了连接孔及其附近区域的局部图像，图11a～图11d 依次代表具有良好状态、孔内残留冷却液、孔口毛刺以及不良光照的连接孔。

图11 加工现场采集的连接孔图像（局部）

图12 所示为应用“自适应二值化+Canny 算子”算法提取图11 的连接孔边缘，图13 所示为应用“Otsu 二值化+Canny 算子”算法提取图11 的连接孔边缘，图14 所示为应用“高通滤波+Canny 算子”算法提取图11 的连接孔边缘。其中仅有“Otsu 二值化+Canny 算子”算法能够处理图11a 所示图像，其他算法均已失效，原因是上述算法不能同时抑制环境光照、蒙皮织状纹理、冷却液残留等因素造成的大量伪边缘，也没有设计有效的边缘搜索策略，导致算法失效。

图12 “自适应二值化+Canny 算子”算法的孔周边缘提取结果

图13 “Otsu 二值化+Canny 算子”算法的孔周边缘提取结果

图14 “高通滤波+Canny 算子”算法的孔周边缘提取结果

图15 所示为应用本文算法提取图11 的连接孔边缘，可见该算法对于各种外部环境中的蒙皮连接孔均有很好的边缘提取效果。

图15 本文算法的孔周边缘提取结果

对于图10 所示的蒙皮试验件，使用本系统开展了连接孔孔位的在机检测，再使用三坐标测量机进行离线测量。本系统与三坐标测量机之间的测量偏差值如图16 所示。

图16 蒙皮的孔位检测偏差

由图16 可知，孔位的检测偏差最大值为0.046 mm，满足了蒙皮连接孔0.05 mm 的孔位检测精度要求。视觉测孔系统每分钟平均测孔12 个，三坐标测量机每分钟平均测孔6 个，前者的检测效率是后者的2 倍。

4 结语

（1）本研究研制了一套机器视觉装置，提出了污染环境中织状复材蒙皮孔的图像处理算法，采用粗略定位与精确定位相结合的方法实现孔周边缘的精确提取。

（2）本文提出了激光束标定方法和光斑的图像处理算法，准确地计算了蒙皮连接孔的孔位坐标。

（3）通过实验验证了本文方法的有效性，结果显示：图像处理算法可准确提取蒙皮孔周边缘，孔位测量误差小于0.05 mm，检测效率是常规探头方式的2 倍，满足了飞机复材蒙皮连接孔对检测精度和检测效率的要求。