基于条纹投影的复杂曲面测量技术

于连栋，张炜，罗辉，李维诗，赵会宁

(合肥工业大学 仪器科学与光电工程学院，安徽 合肥 230009)

0　引言

随着科学技术和工业生产的发展，航天、造船、汽车等行业和领域对复杂曲面的快速测量提出迫切的需求。传统的接触式测量方法使用高精度测头按规划路径逐点获取曲面轮廓的三维数据，测量效率较低，难以满足现代工业对复杂曲面的检测要求。复杂自由曲面的高效、精准制造和检测已经成为机械工程学科的攻坚项目[1-5]。

条纹投影轮廓术(Fringe Projection Profilometry，FPP)是基于相移技术的一种非接触式光学三维扫描方法，一次扫描能够重构整个投影面的三维轮廓点云，具有测量速度快、重构点云密集以及对组成装置要求低等特点，广泛应用于文物保护、逆向工程、质量控制等领域[5-10]。将条纹投影测量技术应用于复杂曲面测量领域，可以有效地提高测量效率，实现在线测量。

本文以条纹投影测量技术在复杂曲面测量中的应用为目的，针对该技术中影响测量精度的关键性难题进行研究。主要研究内容包括:①寻求一种高阶多项式系统模型优化方法，解决高阶多项式系统模型稳定性差、标定困难等问题；②为了消除测量装置非线性亮度响应引起的周期相位误差，研究周期相位误差精确补偿方法；③针对投影仪标定精度困难、标定精度低等问题，研究投影仪畸变精确标定方法，消除由投影仪镜头畸变产生的相位误差；④为了识别条纹图像中的有效区域像素，避免阴影区域及背景区域等无效区域点云对叶片测量精度的影响，寻找一种快速、自适应有效点云识别方法。

1　测量原理与系统模型

1.1　测量原理

条纹投影测量系统主要由投影仪、相机和计算机组成，如图1(a)所示。其中，计算机产生条纹图案，由投影仪将条纹图案投射到待测物体表面，相机采集被测物表面变形的条纹图案并送到计算机进行处理。计算机根据采集的条纹图案计算被测物体表面的相位值分布，标定后的系统模型将相位值转换为被测物表面轮廓的三维点云。图1(b)所示为条纹投影轮廓测量技术的扫描结果。

图1　条纹投影测量原理和扫描结果

1.2　测量系统模型

本文采用多项式系统模型建立相位和三维坐标之间的转换关系。与传统的几何结构系统模型相比，多项式系统模型对相机和投影仪的安装位置没有限制[11-13]；此外，多项式系统模型可以更加精确地拟合相位与三维坐标之间的转换关系。其一般形式可以表示为

W=C×Q

(1)

式中：W为世界坐标系下三维坐标向量(Xw,Yw,Zw)T；C为多项式系统模型的系数矩阵；Q为m×1维向量，由三个变量(u，v，Φ)的n阶多项式基组成。

(2)

式中：m为多项式系统模型的系数数量，该数量与模型阶次有关。

(3)

式中：n为多项式系统模型的阶次；(u,v)为相机图像坐标；Φ为在图像坐标(u,v)处的绝对相位值。

以3阶多项式系统模型为例，系统模型的完整形式可以表示为

(4)

2　高阶系统模型简化方法

高阶多项式系统模型能够更好的拟合条纹投影测量系统非线性特性，可以进一步提高条纹投影叶片测量装置的精度。但是高阶多项式系统模型标定困难、模型稳定性差，使得精度较低的三阶多项式系统模型成为常用的条纹投影测量系统模型。为此，本文基于主分量分析(Principal Component Analysis)方法[14]提出一种高阶多项式系统模型简化方法，该简化方法可以在系统测量精度损失很小的情况下，大大提升高阶多项式系统模型的稳定性。

本文提出的高阶多项式系统模型简化方法可以具体分为5个步骤，即计算模型系数、构建分析数据集合、获取主分量、模型组成项重要性分析和模型简化[15]。

1)计算模型系数

标定高阶多项式系统模型，得到理想系数矩阵Co。理想系数矩阵Co可以表示为

(5)

由此可以得到

i=1,2,…,l

(6)

2)构建分析数据集合

使用主分量分析方法是为了确定多项式系统模型各组成项对重构结果的重要程度，本文使用多项式系统模型各组成项与相应系数的乘积，即式(6)右侧多项式方程的组成项，作为主分量分析方法里的原始变量。按三个坐标方向将Co×Q分解，可以得到与三个坐标方向对应的三组变量观测值(Gx，Gy和Gz)，Gx如式(7)所示。

(7)

3)获取主分量

分别对变量观测值Gx，Gy和Gz进行主分量分析，可以得到载荷矩阵Kx，Ky和Kz，以及特征值矩阵Λx，Λy和Λz。与较大特征值对应的主分量包含着Gx，Gy和Gz中的绝大部分信息，可以使用这些主分量来确定模型组成项的重要性。使用累积贡献率(ACR)公式可以计算出这些主分量所包含的信息数量。

4)模型组成项重要性分析

对于每一个主分量，各原始变量在线性组合中的系数代表该原始变量对这个主分量重要性的大小。为此，本文使用载荷矩阵Kx，Ky和Kz中与主分量对应的系数评定高阶多项式模型组成项对重构结果的重要性大小。以载荷矩阵Kx为例，从Kx中提取与主分量对应的系数，提取后的载荷矩阵Kxs可以表示为

(8)

式中：d为选取的主分量数量。Kys，Kzs分别为提取后的载荷矩阵。

5)多项式模型简化

通过寻找载荷矩阵Kxs，Kys和Kzs中的微小系数值，可以认为与该系数对应的模型组成项是微相关项。在高阶多项式系统模型中去除微相关项，可以在测量精度

损失很小的情况下实现系统模型简化。

3　周期相位误差补偿技术

为了实现叶片表面轮廓精确测量，需要对相位误差进行精确标定及补偿。由相机和投影仪非线性亮度响应引起的周期相位误差是相位误差的主要来源，研究如何消除周期相位误差是条纹投影测量技术领域的研究热点之一。

3.1　周期相位误差分析

由于相机和投影仪具有非线性特性，使采集的条纹图像具有复杂的频率成分，即其亮度变化不再是单一频率的正弦波形，如图2(a)所示。

图2　条纹图像亮度变化与周期相位误差

根据傅里叶级数展开原理[16]，在条纹图像上非正弦亮度变化曲线可以看做是一个理想的正弦波形和多个高频谐波分量的组合。

(9)

(10)

由于实际相位值φa(x,y)是由理想相位值φ(x,y)和相位误差值Δφ(x,y)叠加而成。因此，由

条纹投影装置非线性亮度响应引起的相位误差表达公式

(11)

由式(11)可以看出，由条纹投影装置非线性亮度响应引起的相位误差是由多个高频相位误差分量合成。对于N步相移法，高频相位误差分量的频率分别是理想相位频率的kN(k=1,2,…,)倍。图2(b)所示为三步相移法相位误差，可以明显看出3倍频分量的相位误差。

3.2　黑箱相位误差补偿方法

为了提高周期相位误差补偿效果，本文提出一种黑箱相位误差补偿方法[17]。由式(11)所示的周期相位误差公式可以看出，kN倍频周期相位误差的幅值等于条纹图像上(kN+1)倍频谐波和(kN-1)倍频谐波幅值之差。假设条纹图像上(kN-1)倍频谐波的幅值可以调节，并且使调节之后的幅值与(kN+1)倍频谐波的幅值相等，这时周期相位误差可以表示为

(12)

由式(12)可以看出，通过调节采集条纹图像上(kN-1)倍频谐波的幅值，可以完全消除投影测量装置非线性特性引起的kN倍频周期相位误差。根据光波频率不变性原理，这里给出了一种谐波幅值主动调节方法，即在条纹图像上主动加入(kN-1)倍频相位，修改后的条纹图案亮度可以表示为

Iim(x,y)=I′(x,y)+I″(x,y)cos [φ(x,y)+δi]+AkN-1I″(x,y)cos [(kN-1)(φ(x,y)+δi)](k=1,…,)

(13)

式中：Iim(x,y)为修改后的条纹图案亮度；AkN-1为添加相位的幅值。

投射修改后的条纹图案并且采集条纹图像，在条纹图案中添加的(kN-1)倍频波形会在采集的条纹图像中产生额外的(kN-1)倍频谐波以及相应的m(kN-1)倍频谐波。这时，采集的条纹图像亮度Iimc(x,y)可以表示为

(14)

式中：CkN-1为额外(kN-1)倍频谐波的幅值；Dm(kN-1)(m≥2)为m(kN-1)倍频谐波幅值。

令

(15)

式(14)可以重新表示为

(16)

由式(16)可以看出，通过在条纹图案上添加(kN-1)倍频相位，条纹图像上(kN-1)倍频谐波的幅值

(17)

(18)

在本文提出的相位误差补偿方法中，没有特别考虑条纹投影叶片测量装置的具体特性，而是将该装置的整体特性作为“黑箱”看待。理论上，这种方法可以完全消除由投影测量系统非线性特性引起的周期相位误差，补偿效果优于现有的Gamma校正方法[18]。此外，黑箱补偿法属于主动补偿方法，该方法不会增加额外的计算时间，也不会影响装置的测量效率。

在产生的kN(k=1,2,…,)倍频周期相位误差分量中，N倍频和2N倍频相位误差分量是主要部分。因此，利用本文提出的方法进行相位误差补偿时，只需要在条纹图案上添加(N-1)倍频相位和(2N-1)倍频相位。由此，四步相移法时需要在原始条纹图案添加3倍频相位和7倍频相位。

4　投影仪精确标定方法

因为加工误差和装配误差等原因，投影仪和相机都存在镜头畸变。投影仪镜头畸变会在投射的条纹图案上产生畸变误差。为了消除投影仪镜头畸变对测量系统精度的影响，需要精确标定投影仪参数(主要是畸变系数)。由于投影仪不能直接采集图像，投影仪标定过程更加复杂，使得投影仪的标定精度远低于相机标定精度[19-20]。

4.1　现有投影仪标定方法

为了叙述方便，平面靶标上标志点PW在相机图像平面上的映射点称为Pc，在投影仪图像平面上的映射点称为Pp。由于投影仪无法直接采集图像，在投影仪标定过程中需要使用相机采集靶标图像。通过投射横向和纵向两套条纹图案到平面靶标的表面，获取平面靶标上标志点的投影仪图像坐标。

(19)

式中：ΦV和ΦH分别为标志点在纵向绝对相位分布和横向绝对相位分布上的相位值；TV和TH分别为纵向条纹图案和横向条纹图案上以像素为单位的单个条纹宽度。

在式(19)中，标志点的投影仪图像坐标是根据完整图像像素对应的绝对相位值计算得到。根据现有的标志点提取算法，在相机图像上能够得到亚像素精度的标志点相机图像坐标。在利用式(19)计算标志点投影仪图像坐标时，只能先用圆整算法将亚像素精度的标志点相机图像坐标圆整为像素级精度坐标，再根据圆整后的整数图像坐标在横向和纵向相位分布上提取绝对相位值。因此，根据式(19)所示的算法只能得到像素级精度投影仪图像坐标，影响投影仪的标定精度。

为了能够实现亚像素精度的映射关系，Huang等人提出了一种基于最小二乘圆拟合的投影仪图像坐标计算方法[21]。圆形图案的投影存在偏心误差[22]，标定精度不够理想。Zhang等人给出了一种依靠相机与投影仪光轴同轴的投影仪标定方法[20]。但该方法在投影仪标定过程中，很难保证相机和投影仪的光轴同轴。

4.2　投影仪精确标定方法

如图3所示，如果忽略镜头畸变的影响，相机图像平面与投影仪图像平面之间能够构成对同一个平面靶标的射影变换(projective transform)。在射影投影几何中，四个共线点的交比(cross ratio)是惟一的基本不变量[23-24]。在图3中有三条直线，每条直线上都有一组四共线点，分别是(P1,P2,P3,P4)，(Pc1,Pc2,Pc3,Pc4)和(Pp1,Pp2,Pp3,Pp4)。其中，(Pc1,Pc2,Pc3,Pc4)在相机图像平面，(Pp1,Pp2,Pp3,Pp4)在投影仪图像平面，这两组共线点也是射影变换的关系。因此，(P1,P2;P3,P4)=(Pc1,Pc2;Pc3,Pc4)，(P1,P2;P3,P4)=(Pp1,Pp2;Pp3,Pp4)以及(Pc1,Pc2;Pc3,Pc4)=(Pp1,Pp2;Pp3,Pp4)。

图3　条纹投影装置中的射影几何关系

为了确定平面靶标上标志点的投影仪图像坐标，在本文提出的方法中需要使用7个辅助点。如图4(a)所示的相机图像平面，Pc是标志点，Ac～Gc是计算过程中需要用到的7个辅助点。辅助点Ac～Dc是包围标志点Pc的四个最近整数像素点，Ec是直线AcCc和BcDc的交叉点。直线AcCc和BcDc将区域AcBcCcDc划分为四个子区域，即子区域Ⅰ到子区域Ⅳ。假设标志点Pc位于子区域Ⅳ，或者在直线CcDc上，不在直线EcCc及EcDc上。这时，Fc是直线AcCc和BcPc的交点，Gc是直线BcDc和AcPc的交点，Fc和Gc的相机图像坐标可以由此确定。

因为点Ac，Bc，Cc和Dc代表整数像素坐标，可以根据式(19)计算精确的对应投影仪图像坐标。图4(b)所示为Ac～Dc在投影仪图像上的对应点Ap～Dp。因为Ac～Dc代表包围标志点Pc的四个最近整数像素坐标，AcBcCcDc和ApBpCpDp都是非常小的区域。因此，区域ApBpCpDp可以视作区域AcBcCcDc的射影变换区域。同时，Ep在投影仪图像平面上作为直线ApCp和BpDp的交点，也是Ec的对应点。Fp和Gp分别是Fc和Gc在投影仪图像平面上的对应点，并且在直线ApCp和BpDp上可以得到(Ap,Ep;Fp,Cp)=(Ac,Ec;Fc,Cc)和(Bp,Ep;Gp,Dp)=(Bc,Ec;Gc,Dc)。最后，直线ApGp和BpFp的交点Pp可以作为标志点Pc在投影仪图像平面上的对应点。

图4　亚像素对应关系示意图

(20)

式中：ξi(i=1,…,4)和τi(i=1,…,4)为系数常量，且ξ1=0，ξ2=1，τ1=0，τ2=1。

式(20)中，因为投影仪图像坐标Ap～Ep是已知量，由此可以确定系数值ξ4和τ4，可以得到

(21)

因为(Ap,Ep;Fp,Cp)=(Ac,Ec;Fc,Cc)和(Bp,Ep;Gp,Dp)=(Bc,Ec;Gc,Dc)，并且(Ac,Ec;Fc,Cc)和(Bc,Ec;Gc,Dc)已知，根据式(21)可以直接求出系数值ξ3和τ3。因此，将系数值ξ3和τ3代入式(20)可以得到Fp和Gp的投影仪图像坐标Fp和Gp。最后，根据获取的投影仪图像坐标Cp，Dp，Fp和Gp可以确定直线CpGp和DpFp的交点坐标Pp。

如果标志点Pc位于其他子区域(子区域Ⅰ到子区域Ⅲ)，可以用类似的方法确定标志点的投影仪图像坐标。在本文提出的方法中，标志点投影仪图像坐标是根据相机图像上四个整数像素坐标确定，因此该方法确定的投影仪图像坐标具有亚像素级精度。确定准确的标志点投影仪图像坐标之后，可以对投影仪进行精确标定。由于整个计算过程与相机标定参数无关,故本方法的标定精度不受相机标定误差的影响。

5　无效点云快速识别技术

在条纹投影测量装置中，相机和投影仪的光轴之间存在一定角度。因此，采集的条纹图像中经常出现投射光线被遮挡的阴影区域。此外，被测物体表面通常不能占据整个条纹图像，除了物体表面以及阴影区域之外的剩余部分称为背景区域。根据背景区域以及阴影区域相位值转换的三维点云是必须要去除的无效点云。

调制度(Modulation)可以用来识别背景区域和阴影区域[25]，调制度的计算公式为

(22)

设tm是设定的调制度阈值，如果像素点(x,y)的调制度M(x,y)满足M(x,y)

如果设定不合适的调制度阈值，会使无效点云识别错误。为了得到理想的识别效果，在实际应用中需要根据测量情况调整区分阈值。到目前为止，本文没有发现评价调制度阈值是否合适的标准。大多数情况下都是根据经验进行手动设定，存在效率低下和不够精确等缺点。为此，本文提出一种基于调制度直方图和改进的Otsu方法的自适应阈值确定方法，可以在不同物体形状、尺寸及背景等条件下自动获取合适的调制度分割阈值。

Otsu法使用目标和背景之间的最大类间方差作为阈值选取标准，根据图像的一维灰度直方图进行图像分割，具有速度快、分割效果好以及适应范围广等优点[26-28]。但是，对于非明显双峰直方图分布的图像，该算法的分割效果不够理想[29]。本文对原Otsu算法的目标函数进行改进，增加了权重因子。即

(23)

在式(23)中，将调制度出现概率的倒数作为新的权重值，可以在出现概率很小的情况下增强权重值的影响力，有利于获得靠近谷底位置的调制度作为合适的分割阈值。

6　实验与分析

6.1　测量系统构成

本文设计的条纹投影测量装置如图5所示，主要由图像投影设备、图像采集设备以及同步控制设备组成。选用TI公司生产的三维扫描专用数字投影仪(DLP LightCreafter 4500)作为图像投影设备。图像采集设备则选用了德国AVT公司生产的超小型工业数字相机(Guppy PRO F-125B/C)。CCD相机采集的条纹图像经过1394图像采集卡传送到上位机软件中进行图像处理。

图5　条纹投影测量装置硬件组成

6.2　叶片测量实验

为了验证复杂曲面测量精度，本文使用该装置进行叶片测量实验。叶片测量的具体步骤为：首先获取叶片在单个视角下的局部轮廓点云；将叶片转动一定角度，获取其他视角下的叶片局部轮廓点云；在三维点云处理软件(Geomagic Studio)中，采用手动配准的方法将各叶片局部轮廓点云融合到统一的坐标系下，得到完整的叶片轮廓点云。

图6　叶片局部扫描结果

图6(a)、图6(b)分别表示向被测叶片投射低频条纹图案和高频条纹图案。根据条纹图像计算出的未展开相位分布以及展开后的绝对相位分布如图6(c)、图6(d)所示。根据标定后的系统模型计算出叶片局部轮廓的三维坐标，如图6(e)所示。图6(f)为叶片在转动一定角度后得到的三维扫描结果。

本文获得叶片不同部位的局部轮廓点云之后，在三维处理软件中采用手动融合方法将叶片各局部点云拼接成完整的叶片轮廓点云，如图7(a)所示。根据叶片轮廓三维点云生成的叶片轮廓数字模型如图7(b)所示。

图7　完整叶片点云及曲面重建模型

利用叶片型面特征参数可以判断叶片质量是否合格[30-32]，本文根据获取的叶片模型计算了叶片型面特征参数。与StereoScan neo扫描仪的扫描结果相比，本文设计装置的测量偏差最大值不超过0.05 mm。

7　结论

随着现代工业的发展，对复杂曲面测量的需求大大增加，传统的接触式测量方法很难兼顾精度、效率及成本等因素。为了实现复杂曲面快速、精确测量，本文基于条纹投影轮廓测量技术搭建了新型光学三维测量装置。针对影响装置测量精度的关键问题，本文对相位误差标定及补偿、投影仪精确标定、高阶系统模型简化以及有效点云快速识别等方面问题进行了深入的研究，并且给出了相应的解决办法。最后使用设计的条纹投影测量装置进行了航空发动机叶片表面轮廓测量实验，实验结果验证了装置的测量精度。

除了本文研究的内容外，在应用条纹投影测量技术进行复杂曲面测量时，还需要解决以下问题：

1)高反光表面测量。对具有高反光表面的精密加工工件进行测量是条纹投影测量技术目前的技术难点和研究热点之一，现有的解决办法如喷涂粉末、多曝光法[34]和偏振光方法[35]等的测量效果均不够理想。

2)动态测量。为了能够实现高精度、实时测量，需要进一步对测量装置进行改进。技术的关键在于提高条纹图案的投射速度以及条纹图像的采集速度。

3)点云准确拼接。对于体积较大的被测物体，测量装置每次只能得到局部三维点云，将不同视角的局部点云进行融合之后，才能反应被测物体完整的三维信息。点云匹配不准会降低测量系统的精度，如何实现准确的三维点云数据融合将是后续工作的一个主要研究方向。