赵涵卓 丁宇航 张宗华 王晨 张昂 孟召宗 肖艳军 高楠
摘要 条纹投影测量方法具有无接触、测量精度较高、分辨率高等优点,是最可靠的三维测量方法技术之一。而系统标定的精度决定了测量数据的精度上限,是三维测量中至关重要的环节,所以本文分析比较了条纹投影测量系统已有的主要标定方法,包括有:反向投影法、三角关系建模法、隐式拟合法和神经网络法。從误差积累、系统搭建严格程度、操作复杂度、是否需要精密辅助装置、是否考虑镜头畸变以及测量精度等方面进行了对比分析,得出每种方法的优缺点及应用,并以精度相对较高的相位匹配标定法、多项式标定法和平面拟合标定法3种方法为例进行对比实验,综合方法特征与实验结果,得出标定方法选择依据:需要高精度测量应选择多项式拟合法,需要操作灵活应选择相位匹配法,同时对精度和灵活性有需求,应选择平面拟合标定法,对此类技术面向不同需求时选择适当的方法进行系统标定具有一定的应用价值。
关 键 词 三维测量;相移条纹;投影仪标定;系统标定;相位高度标定
中图分类号 TH741 文献标志码 A
文章编号:1007-2373(2023)03-0017-12
DOI:10.14081/j.cnki.hgdxb.2023.03.002
Research on calibration method of fringe projection measurement system
ZHAO Hanzhuo, DING Yuhang, ZHANG Zonghua, WANG Chen, ZHANG Ang, MENG Zhaozong, XIAO Yanjun, GAO Nan
(School of Mechanical Engineering, Hebei University of Technology, Tianjin 300401, China)
Abstract Fringe projection measurement method is one of the most reliable three-dimensional measurement methods because of its non-contact, high measurement accuracy and high resolution. The system calibration directly determines the upper limit of measurement data accuracy, and is the most important step of 3D measurement. In this paper, the main calibration methods of fringe projection measurement system were summarized, including the back projection method, triangle relation modeling method, implicit fitting method and neural network method. The advantages or disadvantages of each method and its application were analyzed from the aspects of error accumulation, system construction rigor, operation complexity, demand of precision auxiliary device, and measurement accuracy. The comparative experiments were carried out with three methods with high precision: phase matching calibration method with relatively high accuracy, polynomial calibration method and plane fitting calibration method, and the selection basis of calibration method was obtained based on the synthesis of method characteristics and experimental results: the polynomial fitting method could be selected for high-precision measurement, and the phase matching method could be selected for flexible operation, and the plane one for accuracy and flexibility. It has its application value to select the appropriate method for system calibration of such technology when facing different needs.
Key words 3-D measurement; phase shifting stripe; projector calibration; system calibration; phase-height calibration
0 引言
随着工业和科技的飞速发展,作为结合光学、图像、信号处理等技术的光学三维测量技术,以其非接触、快速测量等优势被广泛应用于各行业[1-2]。按照是否需要向被测物投射光信号[3],光学三维测量技术可分成主动式和被动式2种[4]。被动式的三维测量技术不需要投射结构光,仅利用相机采集被测物不同视角的特征信息来进行形貌测量,但是测量精度一般较低且测量复杂度高。主动式的三维测量技术往往需要投射一定形式的结构光到被测物表面,然后通过相机等图像采集设备获取被测物表面调制后的变形结构光图像,然后对变形图像进行相位解算得到被测物表面的三维数据,方法有:激光扫描法[5]、傅里叶变换轮廓法[6-8]、条纹投影测量法[9-12]、格雷码条纹投影法[13]、格雷码 + 相移条纹测量法[14-15]等。同其他技术相比,条纹投影测量法由于其结构简单、精度和分辨率高、全场测量等突出的优点,被广泛地应用在各种领域,诸如逆向工程、工业质量检测、机器人导航、增强现实等。
1 条纹投影测量技术
条纹投影三维测量系统如图1所示,主要由相机和投影仪组成,投影仪向被测物投射一组条纹图像,条纹受到待测物表面高度变化引起调制,并由相机拍摄调制后的变形条纹;然后,通过相位解算获得待测物表面上各点在投影仪图像坐标系下的像素坐标;最后,按照系统的三角测量原理便可求出被测物表面每个点在世界坐标系下的三维坐标。随着数字投影技术的飞速发展,条纹产生的灵活性大大提升,目前主要有相移正弦条纹、黑白二值条纹[16]、黑白条纹 + 正弦条纹[17]、彩色条纹[18]、三角条纹[19]等。其中,相移正弦条纹法[20-22],简称相移法,由于其高精度、高分辨率等优点成为最广泛使用的条纹测量技术之一。
相移法的基本原理是向被测物投射一组正弦(余弦)条纹图案[23],引入一个已知的相位变化,如图1,通过求解多幅正弦(余弦)条纹图像来求解相位主值。带有相移的光强强度可表示为
[Inx,y=Ax,y+Bx,y?cos?x,y+αn] , (1)
式中:[Ax,y]为背景光的光强强度;[Bx,yAx,y]为条纹对比度;[?x,y]为被物体调制后的相位;[αn]为相移的大小。式中有3个未知数,所以至少要采集3幅条纹图。常用的相移计算方法有标准N步相移法[24]、等间距满周期法[25]和任意等步长相移算法[26]等,其中应用最多的是标准N步相移法,使相移值[αn]在[0,2π]上等间距地变化,步长为2π/N,一般N取值为3~5。以4步相移法为例,各点相位值为
[?x,y=arctanI4-I2I1-I3], (2)
此时由于反三角运算,包裹相位位于?π~π之间,所以需要进行相位展开,也就是将包裹相位恢复成实际的相位分布,目前相位展开方法有空间相位展开方法[27-28]和时间相位展开方法[29-30]。将相位展开后,便得到了变形条纹中每个点的连续的、实际的相位。最后,根据每个点的相位与其三维坐标的已知关系,求出被测物表面所有点的三维信息。
2 条纹投影三维测量系统标定
条纹投影测量技术要想获得物体的三维信息,就需要知道相位与三维坐标的关系,所以系统标定的任务就是准确寻找相位与三维坐标的数学关系[31]。条纹投影测量系统标定主要包括相机标定和投影仪标定。
2.1 相机标定
为了求解采集图像上各像素点的二维坐标与其空间对应点三维坐标存在着固定的几何位置关系,需要确定相机的成像几何模型,而相机标定就是确定成像几何模型中的这些参数[32-36]。相机标定方法目前已较为成熟,现有的相机标定方法可分为3类:传统标定方法[37-41]、基于主动视觉的标定方法[42-45]和相机自标定方法[46-47],其中张正友[39]提出的标定方法只需要打印一张精度较高的棋盘格作为标定物,由于其简单灵活被广泛使用。
2.2 投影仪标定
与相机不同的是投影仪不能拍摄图像,这就无法直接获取投影图像上各点的位置与其在三维空间对应点的关系,使得投影仪的标定技术还在发展。国内外研究工作者对投影仪标定做了大量研究,提出了各种方法,对比总结后可以分为4大类:1)反向投影法,包括逆相机法、相位匹配法和交比不变法,该方法将投影仪看作一个反向的相机来进行标定;2)三角关系建模法,根据测量系统的三角几何关系建立相机、投影仪与被测物点的几何关系,并推导出被测物体的高度与相位的关系来进行标定;3)隐式拟合法,该方法以三角关系建模法为基础,通过对高度和相位关系式进行隐式拟合的方法进行标定。4)神经网络法,该方法通过对采集的样本点进行神经网络学习,学习完成即标定完成。
2.2.1 反向投影法
因为投影仪与相机的模型一致,只是投影仪投射的过程与相机拍摄的过程正好相反,投影仪的光学模型如图2,[Ow-XwYwZw]为世界坐标系、[Op-xpypzp]为投影仪坐标系、以投影光轴与投影图像的交点为原点[O],[O-XY]为图像坐标系,[O-UV]为投影仪像素坐标系,投影仪的镜头存在畸变,所以理想投影点[(X,Y)]实际可能在[(Xd,Yd)]点。
一些学者就提出将投影仪看作一个逆向的相机来进行标定。Falcao等[48]和马晨等[49]首先用标定好的相机计算标定平面在相机坐标系中的方程,得到该标定平面的平面方程,然后使用投影仪投影棋盘格到板上,检测投影的棋盘格角点,如图3所示。通过计算相机光心穿过图像角点和投影棋盘格相交射线的表达式,从而可求得射线和标定板平面的交点坐标。得到了投影角点的二维坐标和投影角点在摄像机坐标系中的三维坐标,便可以使用已有的相机标定方法标定投影仪。由于该方法使用打印的纸张进行标定,无法保证标定板具有足够高的平面度,Zhang[50]提出了一种以液晶显示器面板作为标定对象的方法,可以用更少的图像和更高的精度进行标定,也避免了纸张打印等带来的误差,但是成本也随之提高。Ma等[51]研究了该类方法的投影仪镜头的畸变,王衡等[52]将透视投影畸变矫正方法引入投影仪的标定过程。虽然一定程度提高了精度,但是由于该类方法都依靠相机的标定结果,误差累积使得投影仪标定精度较低。
由于逆相机法的局限性,很多学者就提出了相位匹配法,通过建立投影仪和相机图像坐标的对应关系,实现投影仪标定。陈超[53]和谢丽丽[54]将水平和垂直方向的两组相移条纹投射到标定板上,两组条纹的交点就是投影仪的像素,也是投影仪成像平面与相机成像平面中的匹配点,这样通过匹配每个像素点就可以建立从相机图像像素到投影仪成像平面像素的映射,如图4,从而得到投影仪标定所需的基础数据,然后利用带径向畸变的相机模型对投影仪进行标定。类似的,徐念等[55]采用白色圆标定板求得标志点圆心在投影仪图像上的像素坐标,并利用相位编码法求解絕对相位,减少了投影仪标定过程中投射光栅图的数量,提高了标定效率。彭权等[56]提出通过双阈值的方法[57]来进行解码,从而得到标定板上各角点的相机和投影仪之间的像素映射关系,然后通过局部单应性矩阵将各个角点在相机坐标系下的像素坐标转换到投影仪坐标系下的像素坐标。戴小林[58]提出使用格雷码相移条纹,然后通过相位匹配技术求解得到特征点在投影图像上的虚拟成像,完成投影仪标定,该方法使用格雷码法进行条纹定级,无法求取特征点相位,还需通过相位主值和相位展开的求解计算各特征点的相位值。徐鸣华[59]通过4步相移法和基于多频外差原理的时域相位展开法,实现了条纹既快速又精确的相位解算,提高了标定精度和速度。因为相位法的非正弦性会对测量引入高次谐波误差,李中伟等[60]通过对高次谐波误差进行了补偿,从而提高了标定精度。张翰等[61]基于立体靶标,提出一种利用单应矩阵获取大量标定数据的方法,完成了相机和投影仪的同时标定,简化了标定步骤。
因为相机模型和投影仪模型均为投影透视变换,即在变换中长度之间的比率虽发生了变化,但关于长度的比率之间2个比值具有交比不变性[62]。基于此原理, Huynh[63]和Xu等[64]提出了利用交比不变原理获取标定特征点的方法,在已知标定板上至少3个精确定位的共线特征点条件下,通过图像处理获取投影条纹与共线特征点所在直线的交点坐标,最后利用交比不变原理计算特征点的三维坐标。Zhang[65]和Zhou等[66]基于双重交比不变性原理,进行了标定特征点的获取,但是在求解过程中,多次使用交比不变原理会产生累计误差。许丽[67]在交比不变原理的基础上,提出了基于平面标定板的光平面标定法,该方法使用水平移动台移动标定板,相机获取一系列光平面上的标定特征点,进而求解出系统的各参数,该方法提高了精度,但是随着测量距离的增加,投影和成像系统的非线性误差对测量精度的影响较大。
2.2.2 三角关系建模法
根据系统的三角关系建立相机、投影仪与被测物点的几何关系,可推导被测物表面点高度与相位的数学关系作为标定的数学模型,这类标定方法被称为基于三角关系的建模法。常见的三角关系建模标定法有远心光路系统[68-69]和发散投影系统[70]。
远心光路系统如图5,该方法遵循正投影规律,[P0]为参考面上的等周期分布的正弦条纹周期,[θ]和[θ′]分别表示投影仪投射和相机拍摄的方向,投影仪投射出的条纹等相位面互相平行,并且相邻等相位面间的相位差恒定。根据光学几何关系便可求得被测物表面点[D]的高度[h]为
[h=ACtanθ+tanθ'] 。 (3)
当被测物体尺寸比较小时,θ'≈0,则有
[h=ACtanθ=P0tanθ??CD2π] , (4)
式中,[?CD]为图像平面上同一像素点在放置物体前后测得的相位差。
该方法仅需标定AC和θ这2个参数,且只有一个相机垂直参考面的约束条件,较为简单。但是该标定方法只适用于被测物体较小的情况,缺乏一般适用性。
采用发散光路照明的条纹投影三维测量系统如图6,点E为相机的光心、点B为投影仪的光心,相机与投影仪的光轴成θ角。待测物体表面点D的高度为h,相机光心与投影仪光心的水平距离为d,且两者所在直线与参考面的垂直距离为L,[?CD]为C点和D点的相位差,[P0]为所投影的条纹的周期。通过数学推导可得D点高度h:
[h=P0??CD?L2πd+?CD?P0] 。 (5)
由于在實际测量系统中[d?AC],故式(5)可进一步化简为
[h=P0??CD?L2πd] 。 (6)
该方法相对远心光路投影测量系统可以测量较大体积的物体,且仅需标定L和d这2个参数,但是该方法中相机、投影仪和参考平面有着严格的相对位置约束,这就需要对系统进行预先校准,同时也带来了很多误差。
2.2.3 多项式拟合法
多项式拟合标定法不用标定系统装置的各个参数,只需要拟合出同一点在不同位置的相位和高度差的对应关系即可。主要过程包括系统建模和相对高度的获取。
1)系统建模
Zhang等[71]在发散光路照明的条纹投影三维测量系统的基础上提出了系统结构如图7所示,并根据系统推导出相位和高度映射关系式(7)和拟合多项式(8),其中,拟合系数[a0,a1,…,an-1,an]也可称为系统的隐式参数,z表示深度,[Δ?]表示相位。
[z=L02πL20LcosθP0Δ?x,yL0+xcosθsinθ2-LcosθsinθL0+xcosθsinθ+1], (7)
[zx,y=n=0Nanx,yΔ?x,yn]。 (8)
李万松等[72]提出的系统结构如图8所示,并根据系统推导出相位[Δ?x,y]和高度[hx,y]映射关系式(9),其中,系数[ax,y]、[bx,y]和[cx,y]为系统的结构参数。
[1hx,y=ax,y+bx,yΔ?x,y+cx,y1Δ2?x,y] 。 (9)
安东等[73]在三维坐标系下提出了一种新的系统结构如图9所示,更大程度地还原了系统的原本结构。而且相对之前的传统结构该系统只有一个约束条件,简化了校准过程。根据该模型推导出相位[Δ?]和高度h映射关系为式(10),其中[a1~a8]为系统的结构参数。
[h=a1Δ?+a2xΔ?+a3x2Δ?a4+a5x+a6Δ?+a7xΔ?+a8x2Δ?] 。 (10)
Yue等[74]提出了一种任意摆放的测量系统,结构模型如图10所示,推导出的高度h和相位[Δ?]关系式为10,并用含有3个待标定参数的关系式(11)来进行拟合。[Op]是投影仪的镜头中心,在世界坐标系中,假设点P和[O′P]的坐标分别为:(X,Y,O),(X,Y,h)和[(x0,y0,0)]。假设一条与参考面上的投影条纹垂直的直线l,投影的条纹垂直于直线l,世界坐标系[Xw]轴与直线l的夹角为θ,投影仪光轴与参考平面相交于B点,过B点的投影平面I上的条纹周期为λ0,且与参考面成α角。该系统模型几乎没有几何约束条件,大大方便了系统的搭建和校准。
[h=L-X-x0?cosθ-y0-Y?sinθ2πLsinα+λ0Δ?cos2α?]
[2πL-λ0Δ?sinαcos2α] , (11)
[hx,y=1+a1x,y?Δ?x,ya2x,y+a3x,y?Δ?x,y]。 (12)
2)标定方法及改进
在拟合上一节提出的多项式系数前,需要获得每个点的相位变化值?所对应的相对高度值h。最常用的方法是使用一个精准的位移平台来获取准确的高度值[75-77],如Guo等[75]通过精准的水平移动台实现对高度的标定,将标定板放置在已知高度的不同位置,将其中某个位置的标定板平面作为参考平面,然后求取其余位置的标定板在相机坐标系中的Z坐标,并将求得的Z坐标转换到将参考平面作为XOY平面建立的参考坐标系中,可得到相对高度值,如图11。李万松等[72]通过建立正向和反向高度映射系数,解决了传统相位高度映射方法中相位差较小时高度测量误差较大的问题,但是该方法需要2个参考面,刘柠溢等[78]在此基础上提出增设虚拟的参考面,利用预设高度值计算出虚拟参考面相位,进而按照李万松的方法计算出系统参数。高精准的位移平台行程通常很短,无法应对有高景深要求的场合。安东等[73]利用高度已知但不相同的若干标准块来拟合式(10)的常系数[c1~c8],从而完成系统的标定。根据不考虑相机下球体的方向,球体的轮廓在相机中投影均为椭圆这一特性,Jing[79]提出了一种多球标定方法、通过一个四球平板简化和加速了标定过程。Zhang等[80-81]利用张正友相机标定技术将带有黑色圆环的标定板在相机视场范围内任意摆放几个位置,通过计算每个位置相对于参考面的差值,求得每个位置的相对高度值。Minh等[82]研究了一种针对任意系统结构的相对高度获取方法,方法通过相机标定得到相机坐标系中所有角点的位置,并选择一个平面进行拟合平面方程作为参考面,棋盘上任何其他位置相对于参考平面的每个角点的高度可通过点到平面的距离进行求解。Anchini[83]使用标定板3个位置的相位图,来进行估算其他许多“虚拟平面”的相位图,进行拟合相位到深度的映射关系,原理如图12,这大大简化了标定过程。
2.2.4 神经网络标定法
神经网络可以通过对已知样本进行学习,以强大的函数逼近能力拟合任意有限连续函数,随着人工智能的发展,很多学者对神经网络在条纹投影三维测量技术中的应用进行了研究[84]。该类方法中,训练过程即为神经网络逼近系统模型的过程,训练完成即标定完成[85-89]。李中伟等[87]采用3层BP神经网络训练,采用带有圆形特征点的标定板进行神经网络的样本采集与训练,在准确建立摄像机图像和投影仪图像之间的对应关系的基础上,建立图像坐标与被测物体三维坐标之间的映射关系,如图13所示。齐召帅等[88]也采用了带有圆形特征点的平面标定板,首先通过射影变换及误差补偿方法,建立摄像机图像平面与投影仪图像平面的映射关系,利用该映射关系和标定点的摄像机图像坐标,计算得到相应的投影仪图像坐标。采用3層结构的BP神经网络建立投影仪图像坐标、摄像机图像坐标和对应的三维坐标的映射关系。
安东[89]使用多个高度已知的标定量块进行样本点的采集,每隔5或10个点对每个阶梯面进行采样,如图14所示。利用3层BP神经网络建立了相位差与高度及像素坐标之间的映射关系,然后利用采集到的数据对神经网络进行训练,训练完成则标定结束。
3 标定方法比较
上述几种标定方法的比较如表1所示。纵向对应上文所提到的几种标定方法,横向分别对比是否存在累积误差,实验系统搭建严格程度,是否需要精密仪器辅助,是否考虑了镜头畸变以及测量精度高低等指标。
反向投影法系统搭建简单,且不需要特殊的辅助设备。但是这类方法主要有2个误差源:一是由于对相机标定结果的依赖性而导致的相机的误差累积到最终标定结果中;另一个是投影仪本身畸变也较为复杂,存在误差。传统的逆相机法依赖相机标定的结果,导致投影仪标定精度较差,且该类方法并未考虑镜头畸变带来的影响,所以精度不高。相位匹配法无需利用相机的标定结果,可以实现相机与投影仪的同时标定,所以很大程度的减少了第1类误差,只需对第2类误差进行补偿。但是该方法的精度依赖所建立的对应点(横竖条纹的交点)精度,所以对标定板以及对应点的精度要求较高。利用交比不变性的标定方法同样不需要相机的标定参数,有效地避免了第1类误差,但由于该方法原理基于直线变换,忽略了相机和投影仪镜头畸变,虽然可以通过对数据进行灰度插值和直线拟合,但随着交比使用次数增加,也带来了不能不考虑的累积误差,这就大大限制了该类方法的发展,所以此类方法应用较少。
根据测量系统的三角几何关系建模法中,远心投影条纹三维测量系统结构简单,测量方便,但其原理中投影仪投射的是平行光束,需要镜头尺寸与投影区域相同,所以无法对大尺寸物体进行测量。发散条纹投影三维测量方法系统标定方法系统参数求取简单,但是这是因为该系统中相机和参考平面的相对位置关系有严格的平行度、垂直度和相交性限制要求,而且标定也是在未考虑光学镜头的畸变条件下进行,约束性强和精度低限制了该技术的应用场合和发展。
多项式拟合法基于以三角关系建立或改进的模型,该类方法不需要标定出系统中每个参数的精确值,也无需单独考虑镜头畸变带来的误差。但是在该类方法中,为了保证相对高度值的精确性,往往需要高精度的位移平台或标准量块,这就使得技术只局限于实验室,无法适应现场标定。平面拟合法虽然不再依赖高精度的辅助仪器,但是却对特征点的高精度提取提出了新的要求。此外,该方法的标定范围受标定板摆放位置的限制,标定出的范围有限,如果需要扩大测量视场,则又增加了很多工作量。
基于BP神经网络的方法降低了建模复杂度,简化标定过程。这种方法不需要定义高度和相位之间的映射关系,而是利用神经网络的强大函数逼近能力来估算高度和相位之间的关系,此外,在训练过程中,神经网络会自动考虑镜头畸变对测量结果的影响,所以也不需要单独考虑镜头畸变的影响。但是该方法存在与多项式相同的缺点,就是标定出的范围有限,测量范围一旦超出标定范围,恢复出的三维形貌误差较大。而且神经元和学习速率的确定缺乏有效的选择方法,需要大量试错,这就影响了这种方法的效率。
4 实验示例
条纹投影测量系统如图15所示,主要包括一台笔记本电脑、一台相机和一台投影组成。本文以精度相对较高的相位匹配标定法[48]、多项式标定法[70]和平面拟合标定法[73]3种标定方法为例进行对比实验,采用如图16a)中的棋盘格标定板完成相机标定,每个方格的边长均为15 mm;采用如图16b)中的圆环标定板完成投影仪标定,相邻圆环的圆心间距均为15 mm。
3种标定方法的具体操作流程如下。
1)相位匹配法标定过程:①相机标定由棋盘格标定板完成;②将圆环标定板置于相机视场26个位置,在每个位置处分别投射12幅水平和12幅垂直相移图像,相机采集12幅条纹图和一幅白光下的图,并计算得到水平和垂直方向上的绝对相位图;③通过使用与投影仪像素坐标系相对应的相机像素坐标系中每个点的水平和垂直交点,建立相机像素坐标系与投影仪像素坐标系之间的一一对应关系;④利用相机标定方法来标定投影仪的内参;⑤利用圆环中心点在世界坐标和在相机像素坐标系下的坐标来计算左相机和投影仪间的位置关系,从而得到投影仪外参,完成标定。
2)多项式拟合标定方法的标定过程:①相机标定由棋盘格标定板完成;②将标定板放置相机视场且垂直于相机光轴的26个位置,并且将标定板的某个位置确定为参考平面;③通过相位提取和展开计算出每幅图包含所有像素点的相位值;④通过计算每个位置的高度值与参考平面之间的差值,获得每个位置的相对高度值;⑤求出相位与相对高度关系的拟合系数,完成标定。
3)平面拟合法标定流程:①相机标定由棋盘格标定板完成;②圆环校准板随机放置在摄像机视场内的26个位置,并投射相移图像,每个位置的相位分布由相移法计算得到,并计算相机的外部参数;③计算每个标定板位置处特征點在相机坐标系中的空间坐标,将标定板的一个位置确定为参考平面,并拟合该参考面的平面方程;④使用三维点到平面方程的距离公式,可以计算出其余25个位置的相对高度值;⑤将相位分布和相对高度代入高度相位映射关系式,并通过最小二乘法计算每个像素的参数,并完成系统标定。
采用具有已知高度的台阶验证各标定方法的精度。将所测量台阶平面放置于与垂直相机光轴的相机视场范围,并且投射相移条纹到表面,利用相移法求解台阶的绝对相位图,最后根据相位匹配法标定出的参数,求得台阶的三维坐标,即测得相位匹配标定法标定的三维形貌。多项式标定法和平面拟合标定法也与相位匹配标定法类似,不再赘述。如图17a)、b)和c)为利用3种方法标定完成后测量恢复得到的一组三维形貌图。
将恢复出的5个台阶表面上的点云拟合成平面方程,计算相邻平面方程的距离得到相邻台阶面的测量间距,为了验证多次测量的重复精度,每种方法完成标定实验后,均对台阶进行了3次测量实验,相邻台阶之间的真实值与3种方法恢复的测量值及最大绝对误差如表2所示。由表2可知,相位匹配标定法、多项式拟合标定法和平面拟合标定法对应的最大误差分别为0.065 mm、0.046 mm和0.053 mm,测量误差分别稳定在0.352%、0.261%和0.295%以内。
可见同等条件下多项式拟合标定法和平面拟合标定法的标定精度相差较小,且要高于相位匹配标定法的精度。分析3种标定方法的系统原理,可能造成精度不同的影响为:相位匹配标定法精度相对较低主要是因为该方法依赖所建立的对应点(横竖条纹的交点)精度,由于图案匹配精度有限导致其标定精度相对较低。平面拟合标定法主要基于最小二乘法计算方程的解,而最小二乘法是对所选取的数据进行拟合,其本身就是一种寻找接近的方法,存在一定的误差。
平面拟合标定法与相位匹配标定法相对于多项式拟合标定法简单快速,但是随着标定板相对与相机光轴不垂直度的增加,引入的圆心偏差也会影响平面拟合标定法的结果。因此,理论上精度和操作度都比较好的平面拟合标定法,依然存在着对标定板的要求比较高的缺点。综上可知,如果需要高精度测量,可以选择多项式标定法,如果需要简单快速,优先选择相位匹配标定法,而平面拟合标定法可以被视为是一个操作简单和高精度的折中。
5 结论
本文分析比较了条纹投影三维测量技术中的标定方法与技术,总结了几种常用方法的特点与存在的问题,并选取3种精度较高的标定方法进行对比实验,实验结果表明:需要高精度测量应选择多项式拟合法,需要操作灵活应选择相位匹配法,同时对精度和灵活性有需求,应选择平面拟合标定法。系统标定的精度直接影响了物体三维形貌的重建精度,对工业制造精度和产品质量有着决定性的作用。虽然众多研究者提出或改进了各种标定方法,但是现有的这些方法还是不够成熟,依旧存在着高精度与实用性的矛盾,因此,有必要进一步研究和优化现有的标定方法。
参考文献:
[1] 白雪飞,张宗华. 基于彩色条纹投影术的三维形貌测量[J]. 仪器仪表学报,2017,38(8):1912-1925.
[2] JIANG C F,ZHANG S. Absolute three-dimensional shape measurement with two-frequency square binary patterns[J]. Applied Optics,2017,56(31):8710-8718.
[3] 孙士杰,翟爱平,曹益平. 一种快速获取物体三维形貌和纹理信息的算法[J]. 光学学报,2016,36(3):99-104.
[4] 尚忠义,李伟仙,董明利,等. 基于四步相移光栅投影的三维形貌测量系统[J]. 应用光学,2015,36(4):584-589.
[5] 陈新禹,马孜,陈天飞. 线结构光传感器模型的简易标定[J]. 光学 精密工程,2012,20(11):2345-2352.
[6] 吳双卿,张引,张三元,等. 傅里叶变换轮廓术物体三维形貌测量的系统分析及其坐标校准方法[J]. 光学学报,2009,29(10):2780-2785.
[7] LIU X R,KOFMAN J. Real-time 3D surface-shape measurement using background-modulated modified Fourier transform profilometry with geometry-constraint[J]. Optics and Lasers in Engineering,2019,115:217-224.
[8] 孟晓亮,于晓洋,吴海滨,等. 基于三维傅里叶变换的胸腹表面测量[J]. 光学 精密工程,2018,26(4):778-787.
[9] DAI M L,YANG F J,LIU C,et al. A dual-frequency fringe projection three-dimensional shape measurement system using a DLP 3D projector[J]. Optics Communications,2017,382:294-301.
[10] LI B W,ZHANG S. Microscopic structured light 3D profilometry:binary defocusing technique vs. sinusoidal fringe projection[J]. Optics and Lasers in Engineering,2017,96:117-123.
[11] CHEN K,XI J T,YU Y G,et al. Three-dimensional measurement of object surfaces with complex shape and color distribution based on projection of color fringe patterns[J]. Applied Optics,2013,52(30):7360-7366.
[12] SHEN Q J,CHEN W J,ZHONG M,et al. An improving fringe analysis method based on the accuracy of S-transform profilometry[J]. Optics Communications,2014,322:8-15.
[13] 韦争亮,古耀达,黄志斌,等. 双目立体视觉中特征点三维坐标重构校准研究[J]. 计量学报,2014,35(2):102-107.
[14] ZHANG Q C,SU X Y,XIANG L Q,et al. 3-D shape measurement based on complementary Gray-code light[J]. Optics and Lasers in Engineering,2012,50(4):574-579.
[15] 谢捷如,王震. 运用LCD条纹投影进行光学三维轮廓测量[J]. 计量学报,2008(4):301-304.
[16] DAI J F,ZHANG S. Phase-optimized dithering technique for high-quality 3D shape measurement[J]. Optics and Lasers in Engineering,2013,51(6):790-795.
[17] 于晓洋,吴海滨,尹丽萍,等. 格雷码与相移结合的结构光三维测量技术[J]. 仪器仪表学报,2007,28(12):2152-2157.
[18] CHEN K,XI J T,YU Y G,et al. Three-dimensional measurement of object surfaces with complex shape and color distribution based on projection of color fringe patterns[J]. Applied Optics,2013,52(30):7360-7366.
[19] GENG J. Structured-light 3D surface imaging:atutorial[J]. Advances in Optics and Photonics,2011,3(2):128-160.
[20] 邱磊,钱斌,伏燕军,等. 基于正弦和三角波条纹投影的三维测量方法[J]. 应用光学,2018,39(4):522-527.
[21] 樊玲玲,张旭,屠大维. 基于数字相移条纹投影技术的结构光系统标定[J]. 机械制造,2014,52(10):73-76.
[22] 马孟超,邓华夏,张进,等. 快速离焦投影三维测量技术[J]. 仪器仪表学报,2017,38(10):2564-2572.
[23] 白景湘,曲兴华,冯维,等. 双投影结构光三维测量中重叠相移光栅的分离方法[J]. 光学学报,2018,38(11):150-156.
[24] BRUNING J H,HERRIOTT D R,GALLAGHER J E,et al. Digital wavefront measuring interferometer for testing optical surfaces and lenses[J]. Applied Optics,1974,13(11):2693-2703.
[25] 侯立周,强锡富,孙晓明. 几种任意步距步进相移算法的误差分析与对比[J]. 光学技术,1999,25(5):7-10.
[26] STOILOV G,DRAGOSTINOV T. Phase-stepping interferometry:five-frame algorithm with an arbitrary step[J]. Optics and Lasers in Engineering,1997,28(1):61-69.
[27] ASUNDI A,ZHOU W S. Fast phase-unwrapping algorithm based on a gray-scale mask and flood fill[J]. Applied Optics,1998,37(23):5416-5420.
[28] SU X Y,CHEN W J. Reliability-guided phase unwrapping algorithm:a review[J]. Optics and Lasers in Engineering,2004,42(3):245-261.
[29] HUANG L,ASUNDI A K. Phase invalidity identification framework with the temporal phase unwrapping method[J]. Measurement Science and Technology,2011,22(3):035304.
[30] TIAN J D,PENG X,ZHAO X B. A generalized temporal phase unwrapping algorithm for three-dimensional profilometry[J]. Optics and Lasers in Engineering,2008,46(4):336-342.
[31] 陸鹏,孙长库,王鹏. 条纹投影相位高度转换映射模型及其标定方法[J]. 光学学报,2018,38(2):189-197.
[32] 胡松,王道累. 摄像机标定方法的比较分析[J]. 上海电力学院学报,2018,34(4):366-370.
[33] 王运哲,郑凯. 机器视觉中相机标定方法的研究[J]. 机械管理开发,2019,34(5):81-82.
[34] 游江,唐力伟,邓士杰. 机器视觉空间目标姿态自动测量方法研究[J]. 中国测试,2016,42(11):107-112.
[35] 李丰阳,许其凤,贾学东,等. 相机内参数标定的评价指标研究与实验[J]. 测绘科学技术学报,2017,34(5):519-524.
[36] 王皓,杜向阳,耿英博,等. 基于LabVIEW的相机标定技术研究[J]. 化工自动化及仪表,2017,44(10):944-947.
[37] ABDEL-AZIZ Y I,KARARA H M,HAUCK M. Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry[J]. Photogrammetric Engineering & Remote Sensing,2015,81(2):103-107.
[38] TSAI R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on Robotics and Automation,1987,3(4):323-344.
[39] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.
[40] 崔凌燕,陈婧. 基于两步法的摄像机标定算法[J]. 测试技术学报,2018,32(2):125-130.
[41] 张奎,陈兆学,赵航,等. 基于两组同心圆环点的双目摄像机标定方法研究[J]. 光学技术,2016,42(3):197-202.
[42] 吴福朝,李华,胡占义. 基于主动视觉系统的摄像机自定标方法研究[J]. 自动化学报,2001,27(6):752-762.
[43] 吴福朝,王光辉,胡占义. 由矩形确定摄像机内参数与位置的线性方法[J]. 软件学报,2003,14(3):703-712.
[44] 杨长江,孙凤梅,胡占义. 基于二次曲线的纯旋转摄像机自标定[J]. 自动化学报,2001,27(3):310-317.
[45] 吴福朝,胡占义. 线性确定无穷远平面的单应矩阵和摄象机自标定[J]. 自动化学报,2002,28(4):488-496.
[46] MAYBANK S J,FAUGERAS O D. A theory of self-calibration of a moving camera[J]. International Journal of Computer Vision,1992,8(2):123-151.
[47] TRIGGS B. Autocalibration from planar scenes[C]// BURKHARDT H,NEUMANN B. Computer Vision — ECCV'98. Berlin,Heidelberg:Springer Berlin Heidelberg,1998:89-105.
[48] 馬晨. 基于结构光的三维形貌视觉测量方法研究[D]. 西安:西安理工大学,2018.
[49] FALCAO G,HURTOS N,MASSICH J. Plane-based calibration of a projector-camera system[J]. VIBOT Master,2008,9(1):1-12.
[50] SONG Z,CHUNG R. Use of LCD panel for calibrating structured-light-based range sensing system[J]. IEEE Transactions on Instrumentation and Measurement,2008,57(11):2623-2630.
[51] MA S D,ZHU R H,QUAN C G,et al. Flexible structured-light-based three-dimensional profile reconstruction method considering lens projection-imaging distortion[J]. Applied Optics,2012,51(13):2419-2428.
[52] 王衡,王泽勇,李金龙,等. 一种用于结构光测量系统的投影仪标定技术[J]. 信息技术,2016,40(3):36-40.
[53] 陈超. 基于条纹投影的三维形貌测量技术研究[D]. 天津:河北工业大学,2018.
[54] 谢丽丽. 三维成像系统中投影镜头畸变的标定与修正研究[D]. 天津:河北工业大学,2015.
[55] 徐念,武建伟,魏小保. 光栅投影三维测量系统中标定技术的研究[J]. 激光与光电子学进展,2020,57(1):102-108.
[56] 彭权. 条纹投影三维视觉测量关键技术研究[D]. 合肥:合肥工业大学,2018.
[57] ZHANG S,HUANG P S. Novel method for structured light system calibration[J]. Optical Engineering,2006,45(8):083601.
[58] 戴小林,钟约先,袁朝龙,等. 单摄像机结构光扫描系统中投影仪标定技术[J]. 机械设计与制造,2008(8):194-196.
[59] 徐鸣华,施天敏,王颖,等. 结构光测量系统的投影仪标定方法研究[J]. 测控技术,2016,35(1):127-130.
[60] 李中伟,史玉升,钟凯,等. 结构光测量技术中的投影仪标定算法[J]. 光学学报,2009,29(11):3061-3065.
[61] 张翰,包国琦,刘凯. 一种结构光三维成像系统的简易标定方法[J]. 激光与光电子学进展,2019,56(14):148-156.
[62] SPINHIRNE J D. Micro pulse lidar[J]. IEEE Transactions on Geoscience and Remote Sensing,1993,31(1):48-55.
[63] HUYNH D Q. Calibration of a structured light system:a projective approach[C]// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. June 17-19,1997,San Juan,PR,USA. IEEE,2002:225-230.
[64] 徐光祐,刘立峰,曾建超,等. 一种新的基于结构光的三维视觉系统标定方法[J]. 计算机学报,1995,18(6):450-456.
[65] ZHANG G J,WEI Z Z. A novel calibration approach to structured light 3D vision inspection[J]. Optics & Laser Technology,2002,34(5):373-380.
[66] ZHOU F Q,ZHANG G J,JIANG J. Constructing feature points for calibrating a structured light vision sensor by viewing a plane from unknown orientations[J]. Optics and Lasers in Engineering,2005,43(10):1056-1070.
[67] 许丽,张之江. 基于共面靶标的结构光标定方法[J]. 光电子 激光,2009,20(8):1063-1069.
[68] 毛翠丽,卢荣胜,董敬涛,等. 相移条纹投影三维形貌测量技术综述[J]. 计量学报,2018,39(5):628-640.
[69] 岳慧敏,苏显渝. 复合相位测量轮廓术研究[J]. 激光杂志,2006,27(1):22-23.
[70] 张雷,杨勇,赵星,等. 基于小发散角的投影式集成成像三维显示再现深度的拓展[J]. 光学 精密工程,2012,20(6):1159-1165.
[71] ZHANG Z H,MA H Y,GUO T,et al. Simple,flexible calibration of phase calculation-based three-dimensional imaging system[J]. Optics Letters,2011,36(7):1257-1259.
[72] 李万松,苏礼坤,苏显渝. 相位检测面形术在大尺度三维面形测量中的应用[J]. 光学学报,2000,20(6):792-796.
[73] 安冬,达飞鹏,盖绍彦,等. 新的基于条纹投影轮廓测量的系统标定方法[J]. 应用光学,2014,35(1):81-84.
[74] YUE H M,ZHAO B Y,WU Y X,et al. Flexible global calibration technique for an arbitrarily arranged fringe projection profilometry system[J]. Optical Engineering,2016,55(6):064113.
[75] GUO H W,HE H T,YU Y J,et al. Least-squares calibration method for fringe projection profilometry[J]. Optical Engineering,2005,44(3):033603.
[76] LIU H Y,SU W H,REICHARD K,et al. Calibration-based phase-shifting projected fringe profilometry for accurate absolute 3D surface profile measurement[J]. Optics Communications,2003,216(1/2/3):65-80.
[77] CHEN X B,XI J T,JIN Y,et al. Accurate calibration for a camera-projector measurement system based on structured light projection[J]. Optics and Lasers in Engineering,2009,47(3/4):310-319.
[78] 刘柠溢,刘元坤,李云,等. 基于虚拟参考面的相位高度映射方法[J]. 光电子·激光,2019,30(7):712-718.
[79] XU J,DOUET J,ZHAO J G,et al. A simple calibration method for structured light-based 3D profile measurement[J]. Optics & Laser Technology,2013,48:187-193.
[80] ZHANG Z H,HUANG S J,MENG S S,et al. A simple,flexible and automatic 3D calibration method for a phase calculation-based fringe projection imaging system[J]. Optics Express,2013,21(10):12218-12227.
[81] 安晶晶. 基于相位计算的双视角三维测量系统[D]. 天津:河北工业大学,2017.
[82] VO M,WANG Z Y,HOANG T,et al. Flexible calibration technique for fringe-projection-based three-dimensional imaging[J]. Optics Letters,2010,35(19):3192-3194.
[83] ANCHINI R,DI LEO G,LIGUORI C,et al. A new calibration procedure for 3-D shape measurement system based on phase-shifting projected fringe profilometry[J]. IEEE Transactions on Instrumentation and Measurement,2009,58(5):1291-1298.
[84] YANG X J,ZHANG J L. Artifical neural networks and blind signal processing[M]. Beijing:Tsinghua University Press,2003:31-60.
[85] 劉小娟,李学军,王文韫,等. 基于神经网络的虚拟靶标大视场双目相机标定技术[J]. 光学技术,2017,43(4):314-318.
[86] 唐燕,陈文静,张强,等. 神经网络获取三维面形研究[J]. 光电工程,2007,34(12):61-65.
[87] 李中伟,王从军,秦大辉,等. 基于神经网络的相位-高度映射算法[J]. 光学学报,2009,29(2):412-416.
[88] 齐召帅,王昭,黄军辉,等. 基于神经网络的结构光系统标定[J]. 光子学报,2016,45(5):87-92.
[89] 安冬. 光栅投影三维测量系统的标定方法[D]. 南京:东南大学,2015.
收稿日期:2020-02-06
基金项目:重大科学仪器设备开发重点专项(2017YFF0106404);国家自然科学基金(51675160);河北省应用基础研究计划(15961701D)
第一作者:赵涵卓(1992—),女,硕士研究生。通信作者:高楠(1982—),男,副教授,ngao@hebut.edu.cn。