卫星结构板智能投影辅助装配系统研制与应用

徐 磊，刘金山，孙宏宇，林晓青，王黎黎，周占伟

北京卫星制造厂有限公司,北京 100090

0 引 言

进入21世纪后，世界各国的航天活动呈现了蓬勃发展的新态势，空间已成为人类在新世纪积极开发与探索的重要领域.习近平总书记在首个“中国航天日”讲话时讲到，“探索浩瀚宇宙，发展航天事业，建设航天强国，是我们不懈追求的航天梦”.航天产品制造具有技术密集度高、产业关联范围广、辐射带动效应大等显著特点，处于装备制造业高端地位，是国家工业基础、科技水平、综合国力、国防实力的重要标志和综合体现，是带动国家产业结构提升，实现“制造大国”向“制造强国”转变的重要载体.航天制造业应该在新的历史时期内，率先开展智能制造技术的研究与应用，形成在关键工序、关键岗位的智能制造技术示范，带动我国整体智能制造技术的发展.

蜂窝夹层结构板作为各类卫星结构的主要组成部分，具有较高的强度质量比，较优的刚度质量比，在卫星结构中起着结构连接、设备安装、提供支撑、承受和传递载荷、保持刚度等作用.蜂窝夹层结构板中包含大量的埋件，用以设备、管路、电缆和直属件的安装，埋件尺寸精度以及埋件安装的正确性对于实现结构板的精度及使用要求具有关键作用.

为满足卫星结构连接、设备安装等需求，平均每块蜂窝夹层结构板中包含500余件埋件，每年埋件的总装配量达到百万级，数量庞大.但是，目前在卫星结构板装配过程中埋件装在哪、装什么类型的埋件、埋件装配的极性和方向等均需要依靠人工在图纸或三维模型上一一识别，导致结构板埋件装配生产效率不理想、操作难度较大、埋件错装、漏装、装反等质量问题难以杜绝.

随着我国卫星型号任务的不断增长、卫星产品复杂度的不断提升、以及卫星研制多品种变批量混线生产的特点越发突出，上述问题已经成为了影响卫星结构板装配效率进一步提升的瓶颈之一，已无法适应未来持续增长的任务量，更加难以实现制造过程的精细化管控.鉴于此，本文提出一种卫星结构板智能投影辅助装配系统，实现卫星结构板装配过程中埋件位置、规格等相关信息在工件表面的直接投影显示，以直观的方式指导操作者进行各类埋件的装配工作，从而提高生产效率、质量稳定性，满足日益增长的航天任务需求.

1 结构板智能投影辅助装配系统总体设计

卫星结构板智能投影辅助装配系统基本结构由工作台、工装板、定位器、相机、投影机及计算机组成.系统通过利用高亮度投影仪，依据工装板实际位置及对应设计图，在上胶后的结构板表面直接投影安装内容，实现智能投影辅助装配功能.工作台是工人的基本操作空间，同时也为工装板提供支撑.工装板是工人进行装配的基本单元，装配孔粘贴于工装板上后，再与蜂窝进行装配.安装板上的定位器预先安装在工装板特定位置上，用于根据工人操作接收投影机投射的标定图案，汇总信息后，为相机及工装板的关系进行标定，实现自动校正.投影机安装于可移动支架上，是系统的核心显示模块，主要包括投影标定图案及投影辅助图像.计算机为系统的核心处理模块，为投影机提供显示内容，同时在标定时，将定位信息进行计算，并将平面的信息应用在显示内容上.

图1 卫星结构板智能投影辅助装配系统运行原理Fig.1 Operating principle of smart projection aided assembly system for satellite structural plate manufacturing

卫星结构板智能投影辅助装配系统的基本运行流程，首先要对系统的内部参数进行标定，获得投影仪和相机坐标系之间的转换关系；然后使用相机定位跟踪并采集结构板图像以及ProE模型图像，经过特征点匹配，得到相机坐标系和结构板坐标系的转换关系.然后通过矩阵运算，得到投影仪和结构板坐标系之间的关系，对投影要投出的模型完整特征进行调整，使之能够与结构板高精度重合.最终将投影图像投影至结构板表面，指导工人进行装配.其中，投影图像上对埋件的安装位置有特殊标注，从而辅助操作者进行该类型埋件的安装.

图2.智能投影辅助装配系统运行流程Fig.2 Operation process of smart projection aided assembly system

2 结构板智能投影辅助装配系统关键技术

2.1 结构光测量系统标定

相机采集图像的过程是由三维空间到二维空间的映射.相机针孔模型中，成像空间中的所有点均通过相机光心投射到相机成像平面上.

根据针孔模型成像原理图，以相机光心为原点建立相机坐标系

(1)

其中，XW，YW，ZW为空间中景物点在相机坐标系中的坐标，xc，yc，zc为对应成像点在相机坐标系中的坐标，zc为相机焦距.则有

(2)

其中s为一个标量系数，K为相机内参数矩阵

(3)

kx,ky分别为相机坐标系x轴方向、y轴方向的放大系数.

相机与投影仪之间存在内参外参矩阵以及畸变系数有待标定.同样为获得更精确的三维重建点云，要求有尽量高的标定精度，相较于其他标定方法，传统标定法能够获得更高的标定精度.相机传统标定方法中以张正友标定法为代表，其一般采用间距相等的棋盘格标定板，通过放置相机视野中多个不同位置，利用图像处理识别棋盘格角点，形成多个不同平面网格，以此进行摄像机标定.

如图3所示，通过分别建立相机成像平面与标定板三维平面、投影图案平面与标定板三维平面之间的坐标匹配关系，进一步求解获得2者间的单应性矩阵，通过多个单应矩阵即可求得相机与投影仪的内参矩阵与畸变系数，以及2者间的外参矩阵.

图3 相机投影仪标定板间坐标匹配关系Fig.3 Coordinate matching relationship between camera projector calibration plates

首先建立相机图像二维点(u,v)到棋盘格世界坐标(Xw,Yw,Zw)的关系，如下式所示，其中sk为尺度因子，Kc为相机的内参矩阵，cRw,cTw分别为棋盘格世界坐标系OwXwYwZw到相机三维坐标系OcXcYcZc的旋转矩阵与平移向量.

(4)

以棋盘格平面为XwOwYw面建立世界坐标系，故所有角点的Z轴方向值均有Zw=0，取cRw=[r1,r2,r3]，则r3分量可以略去化简得到如下关系式：

(5)

对应即可构造图像二维坐标系到棋盘格世界坐标系之间的单应性矩阵

H=sk-1Kc[r1r2cTw]

(6)

(7)

由于内参矩阵至多有5 个未知参数，由上式提供2个约束方程，故通过标定板3次不同位置放置，即可实现内参矩阵的求解，也可通过更多位置的内参约束通过最小二乘法求解最优内参矩阵，进一步即可求解外参矩阵.而对于相机的畸变模型，则通过构造畸变前后坐标关系矩阵，利用最大似然估计进行约束，通过多次迭代，即可求解并优化畸变系数.

除相机外，由于投影仪与相机的模型不完全相同，因此结构光三维测量系统中一般实际采用圆点标定板.通过对相机采集图像进行处理，确定相应圆心，以此达到与棋盘格标定板相同的效果.同时利用相移编码法，通过投影仪投射编码结构光，确定圆心对应在投影图像的像素坐标，最终实现投影仪与相机的同步标定，在分别获得相机与投影仪相对标定板的外参矩阵后，即可确定投影仪与相机之间的外参矩阵，完成标定过程.

投影仪的标定需要借助相移法编码实现，但投影仪存在非线性失真会导致相移法解码误差较大.投影仪投射图像强度分布在0 到255 之间，由于加工工艺、环境噪声等问题，投影强度与对应的反射强度无法保证线性.如图3所示为失真前后的余弦函数，横纵坐标分别代表函数的自变量与因变量，y代表余弦函数的周期，f(y)代表失真作用影响，其中图4(a) 为两周期的正常余弦函数图案，图4(b)为经过非线性失真后的两周期的余弦函数图案，其余弦强度偏离真实值，导致余弦函数对应的相位值存在失真.而对于时间相移编码法结构光三维测量，由于解码相位依赖于像素点的图像强度，投影的非线性将直接影响解码精度，因此需对投影仪的非线性进行校正.

图4 投影仪非线性失真影响Fig.4 Nonlinear distortion effect of projector

投影仪非线性校正的目标是实现投影强度与相机采集强度成线性关系，一般通过建立采集强度和投影强度之间关系，通过函数拟合与校正，采用预编码的方式对原始投影图案编码生成实际投影图案，以此保证解码相位的高精度.

在投影仪前放置一块均匀白板，分别投影强度值全为[0,255]的编码图案，通过相机采集对应256 张图案，然后建立编码图案强度与实际采集强度之间关系，如图5所示，横纵轴分别为投影图案强度与相机采集图像强度.考虑到环境光与过曝的影响，选取投影强度范围在[0,210]之间进行函数拟合，投影图案强度Ip与采集图像强度Ic关系如下式所示.由此可见，投影强度和实际采集强度并未完全保持线性.

图5 投影强度与采集强度关系Fig.5 Relationship between projection intensity and acquisition intensity

(8)

(9)

其中，TI代表投影图案编码周期，i为编码图案横坐标，由于线性变换不影响单点的相位值，故预编码图案强度可对应生成

(10)

便利起见，取其中系数kI=1,bI=0，则获得预编码图案强度表达式如下，对应生成3个周期的2者强度分布图像，如图6所示.

(11)

图6 原始投影强度与预编码强度分布Fig.6 Original projection intensity and precoding intensity distribution

综上，通过预编码图案即可建立原始投影图案与相机采集图案强度之间的线性关系，在[30,210]强度范围内，其测量效果如图7所示，投影强度与相机采集强度基本保持线性关系，实现了投影仪的非线性校正.

图7 修正后原始投影强度与采集强度关系Fig.7 Relationship between original projection intensity and precoding intensity after correction

2.2 基于结构板三维模型的投影图像获取

完成系统的标定过程以后，使用相机采集结构板的图像并使用截图软件截取ProE模型的图像.在进行图像采集之前，需要对结构板和模型进行处理.其中，结构板需要粘贴4个同心圆标志点，如图8所示，4个标志点的粘贴要求是不能对称，以使建立坐标系时确定坐标系的方向.使用相机进行采集时为使采集的图像有足够的亮度，使用投影仪投影一张全白的图像.

图8 同心圆标识点Fig.8 Concentric circle identification points

获取工艺和设计的三维模型和三维工艺，将三维工艺的工序和三维模型进行关联，并且根据三维工艺生成可执行的工序列表，在投影系统中根据三维列表和三维模型，按照零件的规格等分类生成三维投影图像，进而生成可投影文件，在实际生产中直接调用该文件进行投影.

使用ProE二次开发的插件，将模型正视以后，截取ProE模型的图像.该图像会自动保存到指定路径供后续进行图像处理使用.对于模型的要求是模型上也要有易于识别的标志点.为方便起见，可将模型的上的标志点同样设计为同心圆形状，分布于结构板上的标志点完全相同.其中，需要进行特别标识的ROI区域也要使用特别的颜色进行区分.

图9 卫星结构板三维模型Fig.9 Three-dimensional model of satellite structural plate

2.3 相机坐标系和结构板坐标系映射

完成系统的标定以及结构板投影图像获取后，需要进行图像处理得到标志点的坐标并进行配准，得到相机坐标系和结构板坐标系之间的关系.

识别标志点的第一步是进行标识点检测.在众多的基于 HOUGH 变换方法的检测圆的算法中，有些不适合用于检测多个圆，有些是不能够检测同心圆环.此外，也没有专门的用于检测多个同心圆环的算法.为此，提出了选择式变换方程用于检测多个非同心圆的方法，该方法仅仅寻找相对应的包含3个圆周边缘点的点组.此外，还提出了一套用于寻找基于边缘梯度方向角信息的点组的方法.

假设一幅图像中包含着一个同心圆环，环中像素的灰度值低于背景灰度值.在经过 SOBEL 算子的边缘检测之后，得到每个边缘像素点的梯度方向角(在每个圆周上标注了8个方向角).然后从边缘像素中选择3个点为一组选取所有的点组.选取的原则是避免每个点组中3个点的任意一个点的距离过短，还要保证每个点组中的3个点要属于同一个圆周.该方法的步骤是

1)对整幅图进行搜索，一旦搜索到某个边缘像素点立即停止转到步骤2).

2)进行局部搜索.寻找所有属于同一个圆周的点组.

在对相机拍摄得到的结构板图像和模型截图的得到的图像分别进行标志点识别之后，接下来便可以对获得的2组标识点进行配准，以得到投影仪坐标系和结构板坐标系之间的关系，如图10所示，进而确定投影仪和结构板的相对位置关系.为投影仪进行无畸变的投影奠定基础.

图10 投影仪和结构板坐标系转换关系Fig.10 Transformation relationship between projector and satellite structural plate coordinate system

只要获得特征点的世界坐标(三维坐标)、2D坐标(像素坐标)、相机内参矩阵、相机畸变参数矩阵以上4个参数即可以解得相机与标志物之间的外参(R、T)，并以此求得相机的世界坐标(以标志物为世界坐标平面，且原点为标志物已知某一点).

图11 基于solvePnP函数的相机世界坐标求解代码Fig.11 Camera world coordinate solution codes based on solvePnP

2.4 结构板投影图像生成

根据得到的配准关系，对于上述ProE模型图像，对模型三维点位进行提取，记为{(X,Y,1)}model，因此只需将模型三维点位转换至投影仪二维坐标系下，生成高重合度的投影图像.

(12)

对应可将模型三维点位转换至投影仪坐标系下，记为{(X,Y,Z)}pm，公式如下：

(13)

根据投影仪的内参矩阵，可将投影仪坐标系下的三维点位投射至成像平面，记为{(x,y)}pm，公式如下：

(14)

考虑到投影仪的畸变，对上述成像平面上所有点进行畸变校正，利用内参矩阵Mp可知成像平面的光心坐标(x0,y0)，对应可获得畸变校正后的投影图像二维点坐标{(x,y)}af，公式如下：

(15)

其中，i,j为中心化后的图像坐标，分别如下：

(16)

如上，即可生成最终的高重复度投影图像，根据完整模型特征和ROI特征可分别实现完整模型投影和ROI区域投影.

3 应用验证

针对卫星结构板智能投影辅助装配系统投影的虚实轮廓重合度误差和虚实孔位重合度误差进行测试验证.虚实轮廓重合度误差和虚实孔位重合度误差测试验证的对象均为具有长方形轮廓的带有标志点和埋件装配孔位的卫星结构板，结构板尺寸为长1200 mm×600 mm.

图12 卫星结构板智能投影辅助装配系统应用现场Fig.12 Application of smart projection aided assembly system for satellite structural plate manufacturing

轮廓重合度测量方式为：利用游标卡尺沿着轮廓边缘选取10个点进行测量，其中每条长边选择3个点，每条短边选择2个点，误差定义为实际工件选取点到投影轮廓的最近点的距离.将结构板以多个姿态摆放在相机视野的多个位置上.一共进行2组实验，包含20个测量点的误差值，表1所示为实测数据，其中，最大误差值为2.0 mm，最小误差值为0.1 mm，平均值为0.900 mm，均方差为0.5525 mm.

表1 投影轮廓边缘误差实测数据表(单位：mm)Tab.1 Measured data table of projection contour edge errors

孔位重合度的测量方式为：利用游标卡尺沿着轮廓边缘选取10个点进行测量，其中每条长边选择3个点，每条短边选择2个点，误差定义为实际工件选取点到投影轮廓的最近点的距离.将结构板以多个姿态摆放在相机视野的多个位置上.一共进行2组实验，包含20个测量点的误差值，表2所示为实测数据，其中，最大误差值为2.0 mm，最小误差值为0.1 mm，平均值为0.945 mm，均方差为0.5674 mm.

表2 投影孔位重合度误差实测数据表(单位：mm)Tab.2 Measured data table of coincidence errors of projection hole positions

针对基于智能投影辅助装配系统的卫星结构板埋件装配效率和质量稳定性进行应用验证.选取典型型号卫星平台结构板，记录采用智能投影辅助装配系统的装配时间、是否可以正确投影埋件的规格、是否可以投影相同规格的全部安装位置、以及依据图纸操作的装配时间.

图13 投影在卫星结构板上的操作提示Fig.13 Projective image of operation tips on satellite structural plate

表3 典型产品应用实测数据表Tab.3 Measured data table of typical products application

针对同一卫星结构板(含12种规格共计150个埋件)，由不同操作人员分别进行3组实验，表3所示为实测数据，其中基于投影系统的装配效率提升最大值为193.5%，最小值为121.8%，平均值为150.4%.

4 结 论

本文提出了一种基于三维模型的卫星结构板智能投影辅助装配系统，该系统采用机器视觉技术，可动态的、智能的识别产品不同的摆放位置，并进行跟踪定位，通过选择不同的埋件三维模型，将同样规格埋件安装位置一次性投影在产品上，并明显标记出规格、位置轮廓、极性、操作提示等，操作工人可根据投影引导进行结构板装配，为减少装错、漏装、装反等低层次质量问题提供了技术支撑，可大幅提升卫星结构板复合前埋件装配环节的操作效率和质量稳定性.经过在典型型号卫星结构板类产品制造过程中进行应用验证，投影精度达到2 mm，可满足卫星结构板埋件辅助装配对投影精度的要求，与以往边查看图纸边进行操作的方式相比，结构板埋件安装效率提高了1倍以上.本文提出的方法和系统，也为虚实融合相关智能制造技术在航天领域的发展和应用提供了参考和借鉴.