一种面向叉耳式翼身对接的视觉测量方法*

（南京航空航天大学机电学院，南京 210016）

随着计算机技术及图像处理技术的发展，视觉测量在航空航天、工业制造、医学等领域得到了越来越多的应用。典型的应用有尺寸检测[1]、机器人导航[2]和目标物体追踪[3]等。而单目视觉技术因其结构简单、成本低、测量系统复杂度小等优势得到广泛应用。在航天领域，单目视觉测量经常用于基于合作目标的在轨飞行器空间对接位姿估算[4]，其通常是对目标飞行器的靶标等相关特征进行图像采集，获取相关合作目标的图像，进而通过相关算法对图像特征进行处理，获取被测目标的空间位姿信息，从而指导对接；在潜航器领域，单目视觉测量也早已用于无人潜航器（UUV）的回收[5]，通过在回收设备上安放信号灯进行图像采集与处理，从而实施回收引导，并取得较好的效果。目前，在以上领域应用的测量技术，算法已比较成熟。

而在航空制造装配领域，主要采用激光跟踪仪等设备进行装配定位，视觉测量技术应用相对较少，相关文献较难查到。而在飞机装配翼身对接过程中，因为机翼和机身的遮挡，使得激光跟踪仪在对翼身对接叉耳孔进行定位时无法直接测量该特征，采用引出式靶球等方式在高精度测量要求和现场条件复杂的情况下也较难实现，同时容易发生误碰等情况，且间接测量不免会导致测量结果出现偏差的情况发生，造成无法根据测量结果确定实际对接状态。目前在实际工作中只能通过人工锤击，将定位销锤入对接叉耳孔内，造成应力集中，影响飞机使用寿命，为此需要采用一种新的方法来满足测量要求。当前，视觉测量技术的检测精度已达微米级别[6]，处理速度也超过100帧/s[7]，为实现翼身叉耳式对接的高精度测量提供了一种新方式。

本文提出一种面向叉耳式翼身对接的视觉测量方法，并给出测量方法模型，系统介绍该测量方法所涉及的各种关键技术如图像采集、椭圆拟合及空间位姿解算等，并通过试验进行相关精度验证。

1 对接叉耳孔视觉测量系统

面向叉耳式翼身对接的测量系统主要需实现对接孔位图像采集、图像特征处理和孔位配合关系计算这3大功能，系统处理流程如图1所示，为此需采用合适的软硬件来实现上述功能。为实现测量功能，搭建视觉测量系统，其组成如图2所示。为测量对接孔位，将工业相机采用吸盘等固持装置将其固定在机翼上，在对接过程中，测量机翼对接孔位姿态。通过设置相关光源系统，尽可能避免环境对图像采集的影响，同时采用专门的图像采集卡保证图像质量。通过开发或使用相关软件，进行所需处理，最终达到测量目的。

2 对接叉耳孔视觉测量模型

叉耳式对接孔可提供空间圆特征，对接叉耳孔的测量即为空间圆位姿的测量。故求解的位姿参数为空间圆心坐标和圆的法向。

图1 视觉测量系统工作流程Fig.1 Workflow of visual measurement system

图2 视觉测量系统组成Fig.2 Constitutions of visual measurement system

空间圆在相机坐标系中对XOY平面平行投影图一般情况为椭圆（特殊情况下退化为一段直线），如图3所示。n为空间圆法线N在XOY平面内的投影，N和n的夹角β即为高低角，n与X轴的夹角α为方位角，α和β就是空间圆法线在相机坐标系中的姿态角。

图3（b）是XOY平面正视图，法线N的投影n和椭圆的长轴垂直，而和短轴重合。因此只要得到投影椭圆的长轴方向就可确定空间圆法线方位角α。图3（c）是nOZ平面视图，高低角β可以通过投影椭圆的长轴2a和短轴2b求得：

先提取图像中椭圆的边界点，然后通过椭圆曲线拟合得到椭圆长、短轴和方向等信息，就可以得到空间椭圆法线的方向角α和高低角β。

参考文献[8]中提出的摄像机成像模型，空间圆在归一化焦平面上投影的椭圆方程为：

图3 空间圆投影模型Fig.3 Projection model of the spatial circle

将上述方程和摄像机归一化成像模型[8]组合，即可得到空间椭圆锥的方程：

也可以表示为：

其中，

因而对于已知空间圆半径R，求解空间圆的位置和方向即相当于寻找空间一平面，该平面截取上述椭圆锥所形成半径与之相对应的圆。由文献[9]可知，三阶对称矩阵Q存在正交矩阵P将其对角化，即：

通过计算可知，圆心坐标（X，Y，Z）和空间圆所在平面法向量（U，V，W）分别为：

最后通过虚假解去除和相关坐标系转换即可得到所需测量的圆信息。在处理过程中，单目视觉测量会出现空间椭圆参数存在二义性问题，如公式（7）、（8）所示。为了解决该问题，拟采用He等[10]提出的平行圆孔依据法向量平行的关系剔除虚假解。为此，需要将相机放置在可以拍摄到对接孔的两组整体圆孔位置处，见图4。这样即可拍摄到两组相互平行的圆，进而得出确定解。

3 视觉测量系统关键技术

3.1 对接孔位图像采集

图像采集的质量直接影响到最终检测的结果，因此需采用必要的措施保证所采集图像的质量。在对接孔位测量系统中，为采集更高质量的图片，选取工业相机进行系统搭建。配合专门的图像采集卡，进一步确保采集图像的质量。通过选取合适像素的相机来保证所得图片满足处理所需的精度要求。同时为提高采集图片质量，采用定制的面光源进行背光照射，确保多环境下系统的可靠性。

图4 相机和对接孔相对位置关系Fig.4 Relative position of camera and docking hole

3.2 对接孔位图像处理

视觉测量所涉及到的图像处理技术多种多样，针对不同测量对象，所采用的方法各不相同。为此，本文中介绍的主要是对接孔位测量中可用到的相关技术。系统处理流程（所涉及的技术）主要为：图像去噪、边界提取及椭圆检测。

3.2.1 图像去噪

由于光电等多种因素的作用，采集的图像不可避免地带有噪声。考虑到本文中实际对接孔位图像噪声主要为高斯噪声，故只需采用均值滤波器即可。

3.2.2 边界提取

1986年，Canny[11]定义了边缘检测算子的3条评价准则，并提出了一种最优边缘检测算子。Canny算子被认为是目前最成功和使用最广泛的边缘检测方法之一。本文所阐述的测量系统中，为获取质量较稳定的边界，采用Canny边缘检测算子进行边界提取。

3.2.3 椭圆检测

获取完图像中的边界之后，为进行椭圆检测，需要对边界进行相关处理。在实际边界检测过程中，不可避免地存在一些干扰边段，需进行干扰边段去除工作。通过对实际对接叉耳孔图片进行分析，发现通过去除面积较小和长度较小的边段，即可达到边段去除的目的。去除完边段之后即可进行椭圆检测。传统的霍夫检测等方法在适用于本文所提工作对象时，计算效率不高，故本文采用一种基于弧段组合的最小二乘法椭圆检测法，设计如图5所示椭圆检测流程。通过试验测试设置合适的椭圆判定参数EFI，以保证弧段组合的准确性。此处约定：初始边界处理后的边界称为边段（其有可能属于圆弧也有可能不属于），将属于圆弧的边段称为弧段，将同属一个圆弧的弧段称为弧段组合。具体流程为：

（1）检测预处理：将检测边段进行编号B(1)～B(n)，弧段判据FlagIsArc(i)、弧段兼并标记FlagIsMerge(i)、椭圆判据FlagIsEllipse(i)置零初始化，设置椭圆判断参数EFI。

（2）弧段检测：设置循环i=1～n，遍历所有边段B(i)进行椭圆拟合，获取拟合结果距离标准差DistVar，进行弧段（FlagIsArc(i)=1）与非弧段（FlagIsArc(i)=0）分类.

（3）弧段组合：设置双层循环，外层循环（j=1～n）进行弧段是否兼并判断（FlagIsMerge(j)=1表示兼并），内层循环（k=1～n）进行弧段组合。此处，弧段组合采用两步法拟合椭圆（先通过基于代数距离的直接最小二乘法拟合椭圆初值，再通过基于几何距离的方法求精确解），通过拟合结果的距离标准差DistVar判断是否进行弧段组合。满足条件则进行弧段组合，将后面的弧段合到前面，同时弧段兼并标记FlagIsMerge(k)=1，若不符合条件则往下查找。

（4）椭圆拟合：最后将经过组合的弧段B(j)进行椭圆拟合，将满足结果的椭圆作为最终处理结果。

为了提高对接孔位图像处理速度，采用上述弧段组合算法，在相机固持在机翼的情况下，先对只有机翼孔位时采集的图片进行处理，而后依据处理结果对翼身对接时采集的图片进行图像分割，分割之后再进行椭圆检测。图6中是通过MATLAB采用上述流程进行处理的结果，可以看出，采用上述椭圆检测算法，通过设置合适阈值，可以达到较好的椭圆检测效果。

3.3 对接孔位配合关系计算

对接孔位配合关系即为相关孔位的对中关系。其对中关系主要有3种[12]：角度不对中、平行不对中和综合不对中。具体关系如图7所示。

通过计算椭圆的空间姿态，获取椭圆法向和圆心之后，计算孔位配合的对中同轴度。由于该测量系统是为了指导后续对接调姿，故此处主要计算两轴线之间的夹角θ和距离d。在对接调姿完成后，再根据测量结果选择合适的定位销。

图5 椭圆检测流程Fig.5 Ellipse detection process

4 测量精度验证

为验证测量系统精度，搭建出原理如图8所示的试验模拟平台。加工精度为±0.005mm的对接叉耳孔模拟件，孔径为R20mm，在叉耳侧边固定位置处加工靶球安放孔，通过相对位姿关系模型确定孔位中心数据，求出两轴线之间的夹角θ和距离d作为相应理论值。

由于孔径为R20mm，相机离叉耳孔模拟件距离为80mm，系统要求分辨在0.03～0.05mm范围内的细节。因此视觉系统选择AVT公司的Guppy PRO系列F503B工业相机，分辨率为2588×1940，靶面尺寸为1/2.5英寸（5.76mm×4.29mm），像元尺寸为2.2μm，系统放大倍率为4.29/40=0.10725；可分辨景物精度为0.0022/0.10725=0.0205，满足系统要求。系统物镜的焦距为80×4.29/40=8.58mm，选取Computer M0814-MP2镜头，焦距8mm，其光圈数从F1.4到F16，可调系统通光量，配合图像采集卡，选用背光光源。具体试验步骤如下：

图6 椭圆检测效果Fig.6 Ellipse detection effect

图7 对中关系Fig.7 Coaxial relation

图8 模拟件试验原理Fig.8 Experiment principle of analogue parts

（1）首先进行相机参数标定，获取对接前机翼上的叉耳孔图像，处理得到相关位姿数据。由于相机固定在机翼上，因此在后续测量中，只需要通过图像分割，处理机身上的孔位数据，即可进行相对位姿求解，同时该方法避免了因叉耳孔互相遮挡造成的边界失真。

（2）在叉耳孔上放置靶球，通过Leica激光跟踪仪，在测量对象无遮挡、现场便于放置设备的实验室条件下，放置在2m范围内测量出叉耳孔的位姿，作为理论值。

（3）获取对接孔位图像，通过图像分割获取机身上的孔位图像，通过图像处理得到叉耳孔位姿测量数据。

（4）在多个姿态下，重复步骤（2）～（3），获取多组数据；

（5）试验数据分析。

4.1 视觉测量试验数据

具体试验环境如图9所示。在10组不同位姿下，通过激光跟踪仪和视觉系统分别测量出模拟件位姿数据的理论值和实际值。10组不同姿态下的试验测量数据如表1所示。

5 试验结果与讨论

系统要求实际测量角度偏差小于0.025°，距离偏差小于0.03mm。从表1中的试验数据可以看到，通过视觉测量系统测出的平均角度θ偏差在0.02243°，小于所要求的0.025°；平均距离d偏差在0.02788mm，小于所要求的0.03mm，与激光跟踪仪器两米范围内的测量精度0.027mm[13]相比，误差小于0.001mm，达到了2m范围内激光跟踪仪的测量精度，说明本文所寻找的替代测量方式可满足所需测量精度要求，验证了所提方法的可行性。

图9 试验装置及现场Fig.9 Experimental device and site

表1 激光跟踪仪理论位姿测量数据和视觉系统实际位姿测量数据

6 结论

本文阐述了一种面向叉耳式翼身对接的视觉测量模型，主要用于直接测量翼身叉耳孔相对配合量数据。在面向外场拆卸重装等特殊情况及翼身对接高精度测量要求下，传统激光跟踪仪等检测仪器难以顺利执行某些特殊测量任务，进而提出的一种新的基于视觉的直接测量方法。该方法硬件布置可行性通过实际验证。同时面对图像中孔位特征不完整的特点，提出一种基于弧段组合的最小二乘椭圆拟合法。该方法随着处理深入，由于弧段兼并之后就不再重复组合，弧段组合会越来越快。当然该算法也存在一些问题：若边段过多，拟合效率会受相应影响。本文中，对接孔位所提取出的边段较少，比较适合这种方法。通过试验，验证了该测量方法的精度，论证该测量方法的可行性。

同时，在试验中发现，当光源系统布置不合理时，在极端情况下，图像中的内部边界区域会出现小部分阴影。本文所搭建的系统通过试验部分所述的前后两次采集，基本避免了该影响，后续可研究其影响所占比重。可对该方法涉及到的多方面进行更加详细深入的研究，从而提高系统稳定性和测量精度等。

[1] 雷良育, 周晓军, 潘明清. 基于机器视觉的轴承内外径尺寸检测系统[J]. 农业机械学报, 2005, 36(3): 131-134.

LEI Liangyu, ZHOU Xiaojun, PAN Mingqing. Machine vision system for inner and outer diameters inspection of a bearing[J]. Transactions of The Chinese Society of Agricultural Machinery, 2005, 36(3): 131-134.

[2] JIA Z, BALASURIYA A, CHALLA S. Autonomous vehicles navigation with visual target tracking: technical approaches[J]. Algorithms,2008, 1: 153-182.

[3] 包加桐, 宋爱国, 唐鸿儒, 等. 基于视觉目标跟踪的侦察机器人导航方法[J]. 东南大学学报(自然科学版), 2012, 42(3): 399-405.

BAO Jiatong, SONG Aiguo, TANG Hongru, et al. Navigation method for reconnaissance robot based on vision object tracking[J]. Journal of Southeast University (Natural Science Edition), 2012, 42(3): 399-405.

[4] 赵连军. 基于目标特征的单目视觉位置姿态测量技术研究[D]. 成都: 中国科学院研究生院(光电技术研究所), 2014.

ZHAO Lianjun. Research on mono-vision pose measurement based on features of target[D]. Chengdu: Institute of Optics and Electronics, Graduate University of Chinese Academy of Sciences, 2014.

[5] 郝悦. UUV水下回收视觉导引的相对位姿估计方法研究[D].哈尔滨: 哈尔滨工程大学, 2015.

HAO Yue. Research on relative pose estimation for UUV docking based on vision guided method[D]. Harbin: Harbin Engineering University,2015.

[6] KIM H T, LEE K W, JEON B K, et al. Quick wafer alignment using feedforward neural networks[J]. IEEE Transactions on Automation Science & Engineering, 2010, 7(2): 377-382.

[7] 冯春. 基于单目视觉的目标识别与定位研究[D]. 南京: 南京航空航天大学, 2013.

FENG Chun. Research on identification and location of object based on monocular vision[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2013.

[8] 苗锡奎, 朱枫, 丁庆海, 等. 基于星箭对接环部件的飞行器单目视觉位姿测量方法[J]. 光学学报, 2013, 33(4): 115-123.

MIAO Xikui, ZHU Feng, DING Qinghai, et al. Monocular vision pose measurement based on docking ring component[J]. Acta Optica Sinica,2013, 33(4): 115-123.

[9] SHIU Y C, AHMAD S. 3D location of circular and spherical features by monocular model-based vision[C]//Proceedings of IEEE International Conference on Systems, Man and Cybernetics.Cambridge:IEEE,1989: 576-581.

[10] HE D, BENHABIB B. Solving the orientation-duality problem for a circular feature in motion[J]. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, 1998, 28(4): 506-515.

[11] CANNY J. A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis & Machine Intelligence, 1986, 8(6):679-698.

[12] 刘晓如. 同轴度测量中的图像处理技术研究[D]. 西安: 中国科学院研究生院(西安光学精密机械研究所), 2008.

LIU Xiaoru. Study of coaxiality measurement based on laser[D]. Xi’an:Xi’an Institute of Optics and Precision Mechanics, Graduate University of Chinese Academy of Science, 2008.

[13] 汪亮. 基于机器视觉的激光跟踪仪测量靶球自动定位方法研究[D]. 南京: 南京航空航天大学, 2013.

WANG Liang. Research on the method of laser tracker on measure target ball automatic positioning based on computer vision[D]. Nanjing:Nanjing University of Aeronautics and Astronautics, 2013.