周爱国 尉皓智 朱玉田 梁钊泉
同济大学机械与能源工程学院 上海 201800
高精度制造加工领域对于零部件的定位装配,复合材料的多层铺贴以及特殊表面的喷涂提出了更高质量,更高效率,更低成本的要求。激光扫描投影技术是利用激光的特性和人眼视觉暂存效应,基于零部件的CAD数模信息,驱动二维振镜将激光光束快速反射,使得三维空间投影面中展现由激光光束快速循环扫描形成的零部件外形轮廓[1]。风电叶片的制造过程涉及到复合材料的多层铺贴,激光扫描投影技术可以优化其中模板定位和划线工序,提高铺层的效率与质量。
激光扫描投影技术在实际应用时需要进行系统标定操作,即利用投影面处的已知世界坐标的标靶建立双轴振镜转角信息与被投影零部件之间的坐标转换关系[2]。
很多研究人员针对于振镜激光投影系统的标定问题进行了具体研究。刘邈等[3-5]利用复合平面标靶和激光跟踪仪搭建投影系统,采用近似模型法和查表法标定了二维振镜的内外参数,实现高精度的激光三维标示;郭丽丽等[6,7]利用iGPS(Indoor GPS)建立定位模型,构建了一套智能激光3D 投影系统,采用四元数法解算坐标转换参数,从而提高了投影系统中心参数标定的精度。这些激光投影技术的标定精度较高,但是标定过程往往存在操作复杂、效率低下的问题,因而出现了融合视觉测量技术的标定方法;陈雨情等[8,9]设计了统合单目摄影测量的自主扫描激光投影系统,利用粒子群算法与遗传算法求解系统各坐标间互相转换的数学模型;赵祖阳等[10]引入单目视觉作为辅助手段,利用图像二维单应性解算被投影目标的位姿以及标定振镜与相机之间的转换关系。基于视觉辅助的三维激光投影标定方案,可以降低标定过程的复杂度,有利于促进激光投影技术的推广与应用。
现有的激光投影技术的研究中,并未涉及到风电叶片复合材料铺层这一实际应用场景,并且存在操作复杂和成本较高的问题。针对该应用场景工况复杂、光照环境差的特点,本文提出了一种新的视觉辅助的三维激光投影方案。全反射镜可以将投射向其中的光原路反射。本方案以全反射镜作为标靶,利用红外相机发射红外光,全反射镜可以将红外光沿着原路径反射,在像平面形成清晰的亮点,在光照条件差的情况下可以迅速寻找到标靶位置。由此搭建投影系统模型,在视觉辅助下实现系统的自动标定。
激光扫描投影系统包括相机、二维振镜、被投影目标、标靶,如图2所示。该系统中定义了3个坐标系:相机坐标系Oc-XcYcZc、世界坐标系Ow-XwYwZw和振镜坐标系Oz-XzYzZz。
图2 三维激光投影系统模型
振镜模型与相机模型具有相似性,因而可以将振镜模型等效成一个相机模型[11]。相机模型中,镜头对真实物体进行映射形成相机二维图像。而振镜模型中,双轴电机伺服旋转形成目标图像,在投影面形成二维图。由此,建立图像坐标系Oc1-Xc1Yc1Zc1和振镜投影坐标系Oz1-Xz1Yz1Zz1。
系统的标定过程可分为标靶投影坐标的自动寻找和投影矩阵的计算求解2部分。标靶投影坐标的自动寻找通过运用像平面坐标系Oc1-Xc1Yc1和振镜投影坐标系Oz1-Xz1Yz1之间存在的单应性关系进行迭代寻找。投影矩阵定义为Oz1-Xz1Yz1与Ow-XwYwZw之间的转换矩阵,利用标靶的投影坐标与世界坐标,采用奇异值分解的算法进行求解。
单应性矩阵是一个3阶矩阵,用于表示同一空间平面在2个摄像机下的图像点间存在的对应关系。
如图3所示,对于空间平面上的点X,其在2个摄像机下的像可分别记为M、M',假设2点的齐次坐标分别为(x,y,1)和(x',y',1),那么2点间一定存在一个单应性矩阵H,使M'=HM。
图3 2幅图像间的单应变换
显然,图像中的每组对应点都能得到一组方程。由于齐次坐标系可以进行任意尺度的缩放,即式(2)中每个h参数都乘以一个非零常数并不会改变等式的结果,可将单应性矩阵H中的每个未知数都除以h33,则矩阵H将为8个自由度。显然,找到图像间4组以上的对应点,就可以求解出单应性矩阵H。
对于平面投影,可以通过单目相机的图像坐标系与激光振镜的投影图像坐标系的二维图之间存在的单应性矩阵,根据标靶的像素坐标直接求解其在振镜投影坐标系中的坐标。
对于空间投影,标靶会放置于不同空间平面上,利用单应性矩阵根据像素坐标直接求解出的振镜坐标存在一定偏差,因而设计了一套基于单应性矩阵的标靶投影坐标自动寻找的方案。该方案采用迭代法,识别投影圆心的像素坐标并将其标靶像素坐标进行比较,根据2坐标之间的差值设定标靶的参考像素坐标,并以单应性矩阵作为计算参考求解新的投影坐标,重投影再次与标靶像素坐标进行比较,不断重复此流程直至误差满足系统规定,由此求出标靶投影坐标的近似值,流程框图如图4所示。
图4 视觉辅助的标靶自动寻找方案
标靶投影坐标的自动寻找方案,需要实现标靶中心和投影图像中心像素坐标的自动寻找,采用模板匹配方法来实现这一需求。
模板匹配方法通过比较模板图像和测试图像,找到测试图像中与模板图像相似的部分,即通过计算二者中目标的相似度实现。
如图5所示,采用最大类间方差法对红外相机拍摄图像进行阈值分割,可以明显看出红外发射器光照不均匀。因而采用基于相关性的模板匹配算法,减少光照方面的影响。
图5 红外发射器光照不均匀
该算法将模板图像中所有像素点按照顺序组成一个行向量作为模板的特征向量a,然后在检测图像中遍历与模板像素尺寸相同的区域,将其中像素点组成特征向量b,通过计算2个向量之间的夹角来衡量匹配度,表达式为
分别选取对应的标靶图案作为模板,对红外相机采集的标靶图像和激光投影图像进行分区域模板匹配,可以较为准确地找到标靶和投影圆中心的像素坐标,如图6、图7所示。
图6 基于模板匹配的标靶寻找
如图2所示,将系统的投影矩阵定义为Oz1-Xz1Yz1与Ow-XwYwZw之间的转换矩阵,将标靶在世界坐标系Ow-XwYwZw中的坐标记为Pw,在振镜投影坐标系Oz1-Xz1Yz1中的坐标记为p。
为了便于矩阵变换推导,引入齐次坐标进行分析,同时假设存在转换矩阵M,表达式为
转换矩阵M是一个3×4的矩阵,表达式为
式中:m1、m2、m3均为1×4的向量。
根据单个标靶的世界坐标与投影坐标可以列出方程,表达式为
式中:hi、vi是标靶的投影坐标,Pwi为标靶的世界坐标。
由于M是一个3×4的矩阵,故采用至少6个标靶可以解算出投影矩阵。假设标靶数量为n(n≥6),建立超定方程组为
构造向量m如式(8)所示,超定方程组(7)可以等价为式Pm=0,其中P矩阵为2n×12的矩阵。
转换矩阵M的求解,可以等价为超定方程组Pm=0的求解问题,这类方程组不存在精确解,故只能寻找其最小二乘解m+。m+是对P进行SVD(Singular Value Decomposition)分解后最小特征值对应的特征向量。在求解出m+后,根据m向量的定义,可以迅速求出系统的投影矩阵M。由此可根据待投影点的世界坐标,求解出其投影坐标,即完成激光投影系统的标定工作。
如图8所示,利用型铝、全反射镜、投影幕布和网格纸搭建实验架,其中投影幕布的大小约为1.2 m×0.8 m。设置投影距离为3 m放置振镜与相机,对激光投影标定方案进行验证。具体实验步骤如下:
图8 激光投影标定实验架
1)图像采集
在实验架中固定标靶位置,记录其世界坐标。固定相机与振镜的位置,拍摄实验架,采集图像如图9所示。由此采集各个标靶的像素坐标。
图9 标靶像素坐标采集图像
控制振镜向被投影面均匀投射多个激光圆环并记录其振镜投影坐标,在投影的同时,控制相机采集图像如图10所示,记录各个激光圆环中心的像素坐标。
图10 激光圆投影采集图像
2)标靶投影位姿估计
基于图5b中的激光圆环中心的像素坐标与振镜投影坐标,求解单应性变换矩阵,根据标靶像素坐标反解标靶的振镜投影坐标,不断迭代运算,直至得到满足误差范围的标靶振镜投影坐标估计值。
3)投影矩阵解算
基于标靶的世界坐标与振镜投影坐标,利用奇异值分解算法求解其投影矩阵。
4)三维激光投影实现
在投影面网格纸中标记多个待投影点,利用其世界坐标,使用投影矩阵求解出其振镜投影坐标,投影激光圆环,记录投影误差。
以投影面网格纸的原点为基准,建立世界坐标系,记录标靶的世界坐标。在相机采集图像中找到标靶中心的像素坐标。控制振镜投影,对标靶进行手动标定,以振镜参数作为标靶的投影坐标。利用单应性矩阵,通过迭代求解的方式求解出标靶投影坐标近似值。经测量,投影坐标近似值与手动投影得到的实际值之间的平均误差可以达到2 mm,故可实现一定误差范围内标靶的自动寻找。
根据表1中标靶的世界坐标和投影坐标解算投影矩阵。在投影面中选取待投影点P1,根据其世界坐标(x1,y1)结合投影矩阵计算其投影坐标。利用投影坐标即振镜参数进行重投影,记录其投影点P2的坐标(x2,y2),计算其间距S用来表示投影的误差。
表1 标靶在各坐标系下的坐标
如表2所示,选取9个投影点进行重投影,其投影误差平均可以达到3.3 mm,基本可以满足风电叶片铺层投影的精度要求。
表2 系统的重投影误差
实验中采用的相机分辨率为640×480,而视场大小约为1.2 m×0.8 m。在像素坐标系中一个像素点的偏差,就会引发世界坐标系中毫米级的偏差。同时,振镜每次的最小偏转是一定的,其形成的二维图像也有固定的分辨率。二者的分辨率都对本文提出的投影标定方案的误差产生了影响。
本文提出了一种应用于叶片复合材料铺层场景的视觉辅助的三维激光投影标定方案,实现了三维激光投影。系统引入全反射镜作为标靶,红外相机采集图像,利用模板匹配的算法实现相机图像中全反射镜标靶和投影圆图案的查找,通过相机与投影振镜间存在的单应性关系,通过迭代法自动寻找到标靶的投影坐标。通过标靶的世界坐标与投影坐标,采用奇异值分解的算法实现投影矩阵的求解,由此完成了整个三维激光投影定位系统的标定。
相比于常规的标定方法,本文的标定方法避免了引入IGPS这样的定位设备,减少了复杂的标定操作,降低了成本,大大提高了标定的效率,全反射镜标靶的引入可以使系统适用于工况复杂,光照不良的铺层场景,同时,系统的投影定位精度可达3.3 mm,基本满足叶片铺层投影的精度要求。