基于利萨茹椭圆拟合的两步相移轮廓技术*

朱进进 吴雨祥 邵晓鹏

(西安电子科技大学物理与光电工程学院, 西安 710071)

相移轮廓术(phase shifting profilometry, PSP)至少需要三帧条纹图提取物体的相位信息.在动态测量中, 减少条纹数有助于快速测量, 并且可以抑制运动物体存在的相移误差.为了克服上述问题, 本文提出基于利萨茹椭圆拟合(Lissajous ellipse fitting, LEF)的两步相移轮廓术, 针对条纹背景和调制度分布不均匀导致的LEF相位误差, 给出了误差抑制方法.实验实现了基于LEF的两步相移动态场景测量, 与多帧PSP相比,本文所述方法可以减少条纹帧数并且可抑制物体的运动导致的相移误差.

1 引 言

相移轮廓术(phase shifting profilometry, PSP)由于具有非接触、快速和高精度的性能被广泛应用到物体的三维测量中[1−4].同时, 它也被广泛应用到其他领域[5−9], 如在线检测、人脸识别、逆向工程和文物保护.然而, PSP通常需要至少3帧条纹图提取物体的相位, 因此, 该技术会不可避免地降低时间效率.另外, 在实际的PSP系统, 当测量动态物体时, 由于PSP对运动的物体比较敏感, 因此,物体在条纹图中的位置不同将会导致相移误差, 进而影响物体的相位测量精度.

PSP在动态测量中的相位误差问题是近几年PSP领域内的热点问题[10−12], 2018年, Liu等[13]通过利用投影仪的针孔模型, 确定了运动物体引入的相移误差, 并进行补偿以精确的重建物体的三维(three dimensional, 3D)形貌.同年, Wang等[14]建立了相位误差模型, 并应用Hilbert算法对条纹图进行 π /2 相移, 并提取相位以补偿原相位.Feng等[15]推导了物体在条纹图之间的相移量与相位的关系式, 通过3帧条纹图的差分运算以此获得未知相移量, 并应用每秒751帧的相机实现了快速高精度测量.Lu等[16]提出了一种减少平行于成像平面的运动引起的误差的方法, 通过在物体上放置一些标记并分析标记的运动, 进而估计物体的相位分布.Wang和Han[17]利用最小二乘法估计任意相移, 但是该方法仅适用于均匀的背景强度和调制度.以上相位重建方法所采用的多步相移技术仍需要至少3帧或者多帧条纹图, 物体运动导致拍摄的条纹图相移量较设定值发生改变, 最终导致相位误差, 目前的解决策略是采用高速的光源和相机, 降低相机获取3帧条纹图所需要的时间, 使得拍摄图像的时间内物体位置发生的改变可以忽略不计, 然而, 该方法需要昂贵的高速硬件.

利用更少的条纹图可以大大地降低硬件需求、有助于运动物体的快速测量以及减少PSP在动态测量中的相移误差问题.近年来, 许多研究学者提出单帧测量方法, 例如, 傅里叶变换轮廓术[18−21]、小波变换[22]、S变换[23]等, 但是这些算法在对噪声的鲁棒性、相位的细节的保留性能等方面表现较差.

为了减少多帧PSP的条纹帧数及运动物体的相移误差问题, 同时, 避免单帧测量方法的相位细节模糊问题, 本文提出了归一化的LEF方法以克服上述问题.同时, 所提方法抑制了不均匀的背景和调制度对LEF算法的影响, 实现了两步PSP动态测量.仿真和动态实验结果验证了所提方法的有效性.

2 基于利萨茹技术的两步PSP原理

PSP系统主要由CCD相机和数字投影仪组成, 如图1所示.投影仪将计算机生成条纹图投影到被测物体上, 再由CCD相机捕获变形条纹并提取物体的相位信息.

图1 PSP测量系统原理Fig.1.Principle of PSP measurement system.

相机捕获的两帧相移条纹图可表示为

式中, A1(x,y) 和 A2(x,y) 为背景光强度;B1(x,y)和 B2(x,y) 表示调制度; φ (x,y) 为待提取的相位;δ表示两帧相移条纹图的任意相移量.

对条纹图 I1(x,y) 和 I2(x,y) 执行加和减运算,可以获得

其中为了简化公式, 空间坐标 ( x,y) 被省略.对于(3)式和(4)式, 假设 B1−B2的数值非常小, 则可以被视为独立于空间的常数, 因此,(3)式和(4)式可以被重写为

根据(5)式和(6)式, 可得:

由cos2(x)+sin2(x)=1 , 可以获得椭圆的表达式:

最后, 提取的相位分布为

2.1 不均匀的背景强度和调制度对LEF的影响分析

图2 均匀背景强度和调制度下LEF方法的仿真结果 (a) 条纹图; (b) 相位分布; (c) 相位误差Fig.2.Simulation results of LEF method under the uniform background intensity and modulation: (a) The fringe pattern; (b) the phase distribution; (c) the phase error.

由(12)式的推导过程可知, 其成立的前提是假设背景项和调制度与时间和空间无关.然而, 在实际的PSP系统测量中, 投影光源的不均匀性和物体高度的变化将会导致不均匀的背景强度和调制度, 因此, 有必要讨论不均匀的背景强度和调制度对LEF方法的影响.

为了验证不均匀背景强度对LEF方法测量精度的影响, 仿真中生成相位为 φ=(2π/7)×的两帧条纹图, 其大小为401 × 401以及相移量为 π /7.我们设置了三种仿真条件.仿真1: 两帧条纹图之间仅仅存在背景波动, 即 A1=0.45 , A2=0.5 , B1=B2=0.3 ;仿真2: 两帧条纹图的背景强度被设置为不均匀A1=A2=0.003·(x+y)+0.5 , B1=B2=0.3 ; 仿真3: 背景强度与像素空间位置和条纹图的帧数相 关, A1=0.003·(x+y+200) ,A2=0.003·(x+y)+0.5, B1=B2=0.3.

图3为重建的相位结果, 其中, N表示仿真指数, 第一、第二和第三列分别表示两帧条纹图的背景灰度值、计算的相位分布以及相位误差(计算的相位与参考相位的差值).在三种仿真条件下, 相位误差的均方根分别为0.2699, 0.1194和0.6067 rad.由仿真1的结果可知, 当条纹图的背景存在波动时, 重建的相位存在明显的谐波条纹.仿真2中, 两帧条纹图的背景强度随像素位置变化而与时间无关, 由于LEF原理中应用了两帧条纹图的差值运算, 因此, 部分的相位误差可以被补偿, 相位误差的均方根小于仿真1和仿真2.根据仿真3的结果可知, 当背景强度随时间和空间变化时, 产生的相位误差最严重.与图2相比, 图3的仿真结果验证了不均匀的背景强度严重影响着LEF相位测量精度.

图3 不同背景强度下LEF方法的仿真结果Fig.3.Simulation results of LEF method under different background intensities.

为了验证调制度的不均匀性也会对LEF重建的相位造成测量误差, 生成相位为φ=(2π/7)×小为401 × 401以及相移量为 π /7.设置了三种仿真条件, 仿真1: 两帧条纹图的调制度随时间变化,即 B1=0.3 , B2=0.25 , A1=A2=0.5 ; 仿真2: 两帧条纹图的调制度仅随像素位置变化B1=B2=0.015·(φ−0.5)+0.13 , A1=A2=0.5 ; 仿真3: 两帧条纹图的调制度随时间和空间变化,B1=0.015×(φ−0.25)+0.13 , B2=0.07·(φ−0.5)+0.2 ,A1=A2=0.5.

图4 表示重建相位的仿真结果, 其中, N表示两帧条纹图, 其大仿真指数, 第一、第二和第三列分别表示两帧条纹图的背景灰度值、计算的相位分布以及相位误差(计算的相位与参考相位的差值).在仿真1, 2和3中, LEF计算的相位误差的均方根分别为0.1573,0.3301和0.3982 rad.仿真结果表明, 调制度的不均匀性越大, 其相位误差也会越大, 不均匀的调制度对LEF重建的相位也会产生一定的影响.

图4 不同调制度下LEF方法的仿真结果Fig.4.Simulation results of LEF method under different modulation.

2.2 归一化LEF技术

第2.1节通过仿真验证了不均匀的背景和调制度严重影响着LEF相位测量的精度, 为了抑制不均匀的背景和调制度对LEF相位精度的影响, 提出了利用高斯滤波归一化[24]、经验模式分解[25,26](empirical mode decomposition, EMD)归一化、均值和调制度矫正技术, 并分析LEF算法在3种归一化方法下的测量效果.

1) 高斯滤波归一化

为了抑制不均匀的背景强度对LEF相位精度的影响, 应用高斯滤波去除条纹图的背景项, 标准差 σ 取值范围为0.1—0.5.在此基础上, 利用调制度幅值归一化降低不均匀调制度对LEF测量结果的影响, 一般地, 向量 v 的归一化为

式中, v′表示归一化后的向量; 〈 ·,·〉 和 ∥ ·∥ 分别为内积和2范数算子.两帧相移条纹图的调制度幅值被归一化后, 可得

其中k为像素指数; I1k(x,y) 和 I2k(x,y) 分别表示第一帧和第二帧条纹图的向量形式.

2) EMD归一化

EMD是一种自适应信号处理方法, 该方法是将复杂信号分解为有限个本征模函数(intrinsic mode function, IMF), 其中, IMF需要满足两个条件: 1) 极值点个数相等或者最多相差一个; 2) 局部均值为零.对于给定的信号f(t), EMD分解过程如下:

s(x) 是原始信号; s (x)upper_envelope和s(x)lower_envelope分别为三次样条差值的极大值的上包络和极小值的下包络.判断 h (x) 是否是IMF, 如果不是, 则重复(16)式的过程, 若确定为IMF, 记为 c1(t) , 并从s(x) 中减去, 然后残差变成一个新的 s (x) , 继续重复(16)式的过程, 则分解结果可表示为

式中, cn(x) 为第n个IMF; rN(x) 是无法从信号中提取更多IMF的残差, N表示提取的IMF数.标准差 Sd被作为筛选的终止条件, 该标准差由筛选过程的两个连续步骤计算获得

其中 hj−1(x) 和 hj(x) 分别表示两个连续筛选过程的本征函数; ε 为预设值.

所分解出来的每个IMF分量都包含了原信号的不同频率, 按频率从高到底依次排列.通过测量相位误差的RMS值去除背景IMF和噪声IMF,最后重构包含基频分量的条纹图, 在此基础之上,利用调制度幅值归一化抑制不均匀调制度对LEF相位精度的影响.

3) 均值和调制度矫正技术

与滤波方法不同, 均值和调制度矫正技术是矫正不同条纹图的背景, 使得校正后的背景强度相等.对于两帧条纹图, 利用均值矫正方法对第一帧条纹图的背景进行矫正:

由于调制度表示了条纹图的平均值附近强度变化, 振幅越大, 其变化越大.因此, 为了使两帧条纹图的调制度相等, 利用两帧条纹图的均方差, 则校正后的条纹图的强度可表示为

3 基于归一化LEF的两步PSP仿真结果

为了验证高斯滤波归一化、EMD归一化、均值和调制度矫正方法抑制背景强度和调制度的效果以及LEF算法在三种归一化方法下的测量精度, 设置了三种仿真情况.情况1: 两帧条纹图的背景项和调制度随时间变化, 即 A1=0.4 , A2=0.5 ,B1=0.3, B2=0.2 ; 情况2: 两帧条纹图的背景项和调制度随时间和空间变化,A1=0.35+0.04×exp[0.002·(x2+y2)] , A2=0.3+0.2·exp[0.0004×(x2+y2)] , B1=0.2+0.02·exp[0.002·(x2+y2))] ,B2=0.1+0.2·exp[0.0001·(x2+y2)]; 情况3: 在两帧相移条纹图中添加27 dB的随机噪声.φ=(π/7)·sin(x+1)·cos(y+1)被作为参考相位如图5所示, 其大小为401 × 401.两帧条纹图的相移量被任意设置, 在以下仿真中被设置为 δ =π/3.

图5 参考相位Fig.5.Reference phase.

图6 、图7、表1和表2分别为基于归一化LEF的2步PSP重建的相位、相位误差、RMS相位误差以及相移误差值, N表示三种仿真情况的指数.由于三种情况下归一化的LEF重建的相位相似, 为了简化, 故图6仅仅展示了第一种仿真情况下的相位结果.

图6 仿真1下基归一化LEF的两步PSP测量相位分布Fig.6.Phase distribution of two-step PSP based on the normalized LEF in simulation condition 1.

图7 不同情况下基于归一化LEF的2步PSP测量相位误差Fig.7.Phase error results of 2-step PSP based on the normalized LEF under different conditions.

从仿真结果可以看出, 对于仿真1, 即当背景强度和调制度仅随条纹帧数变化时, 高斯滤波归一化、均值和调制度矫正方法能够很好地抑制背景强度和调制度对LEF相位的影响, 在此基础上, LEF计算的相移值等于预设值( π /3 ), 而EMD归一化方法在该情况下的抑制背景强度和调制度性能较弱.对于仿真2和3, 当背景和调制度随时间和空间变化时, EMD归一化方法抑制背景强度和调制度性能最优, 由表1和表2可以看出, 基于EMD归一化的LEF算法计算的RMS相位误差和相移误差也最小, 而基于均值和调制度矫正的LEF算法产生了严重的相位和相移误差.

表1 不同情况下基于LEF的两步PSP方法计算的相位误差均方根Table 1.Root mean square of phase error calculated by two-step PSP based on the normalized LEF under different conditions.

表2 不同情况下基于LEF的两步PSP方法计算的相移误差均方根Table 2.Root mean square of phase-shifting error calculated by two-step PSP based on the normalized LEF under different conditions.

为了更有效地验证本文方法的有效性, 在两帧条纹图中添加27 dB的随机噪声, 对三步相移算法、傅里叶变换轮廓术(Fourier transform profilometry, FTP)和基于EMD归一化的LEF方法进行了仿真测量, 如图8所示, 第一和第二行表示三种方法的计算相位分布和相位误差.三步相移算法、FTP和基于EMD归一化的LEF方法计算的RMS相位误差值分别为0.0546, 0.0735和0.0608 rad,由仿真结果可以看出, 基于EMD归一化的LEF算法的测量精度高于FTP方法; 与3步相移方法相比, 基于EMD归一化的LEF计算的相位误差RMS值较大, 但是本文所述方法减少了PSP的条纹帧数, 更有助于快速三维测量.

图8 随机噪声条件下3步相移方法、FTP和基于归一化LEF的两步PSP的测量结果Fig.8.Measurement results of 3-step phase shift method, FTP and 2-step PSP based on the normalized LEF under random noise.

4 实验结果与分析

4.1 基于归一化LEF的两步PSP静态场景测试实验结果

为了验证所述方法的有效性, 进行了实验分析, 实验系统中投影仪采用型号EPSON CB-X05,其分辨率为1204 × 768; CCD相机采用了MERCURY, 分辨率为1628 × 1236; 待测物体是具有一定细节信息的心形物体如图9(a)所示, 图9(b)为相机获得的条纹图, 采用十步相移方法重建的相位如图9(c)所示, 图9(d)为图9(c)中红色矩形框内的细节相位分布, 并将十步相移方法计算的相位作为参考相位.

图10(a)—(c)分别为傅里叶变换轮廓术(Fourier transform profilometry, FTP)提取的相位分布、相位误差(FTP与十步相移方法计算相位的差值)和图10(a)中红色矩形框内部的相位细节分布, 其中, 由图10(b)计算的RMS相位误差值为0.0732 rad.比较图10(c)与图9(d), 可以看出FTP重建的细节相位非常模糊, 其保留相位细节的性能比较差.

图9 十步相移方法的测量结果 (a) 待测物体; (b) 物体的条纹图; (c) 十步相移方法提取的相位分步; (d) 图(c)中红色方框内的相位细节Fig.9.Measurement results of ten-step phase shifting method: (a) Test object; (b) fringe pattern of the test object; (c) the reference phase distribution based on ten-step phase-shifting method; (d) the enlarged phase details in red rectangular of Fig.(c).

图10 FTP的测量结果 (a) 相位分布; (b) 相位误差; (c) 图(a)中红色框内的相位细节Fig.10.Measurement results of FTP: (a) Phase distribution; (b) phase error distribution; (c) the enlarged phase details in red rectangular of Fig.(a).

图11 为应用高斯滤波归一化、EMD归一化、均值和对比度矫正算法抑制了背景和调制度的影响后, 采用LEF技术计算的相位分布和相位误差(计算的相位与十步相移算法计算的相位的差值).从图11中可以看出, 由基于均值和调制度矫正的LEF算法提取的相位非常不光滑, 因为均值和调制度矫正方法的优势主要体现在对于随时间变化的背景和调制度的矫正效果, 但实际PSP系统中,背景和调制度是随时间和空间变化的.实验结果也验证了EMD归一化可以更有效地抑制不均匀的背景强度和调制度, 所以, 基于EMD归一化的LEF算法重建的相位分布更光滑, 计算的相位误差也最小.利用高斯滤波、EMD与均值和对比度矫正方法去除背景和调制度的影响后, LEF方法计算的RMS相位误差值分别为0.0648, 0.0597和0.1024 rad.另外, 应用高斯滤波、均值和对比度矫正方法两种方法抑制不均匀的背景和调制度后,LEF重建的相位细节有部分丢失, 而基于EMD归一化的LEF算法保留了更多的相位细节.

图11 基于高斯滤波归一化、EMD归一化、均值和对比度矫正的LEF方法重建结果Fig.11.Reconstructed results of LEF method based on Gaussian filter normalization, EMD normalization, mean and contrast correction.

与FTP测量的实验结果相比, 基于高斯滤波归一化或者EMD归一化的LEF算法重建的相位误差更小, 且可以保留更多的相位细节, 尽管基于均值和调制度矫正的LEF算法重建的相位误差较大, 但是保留的相位细节多于FTP算法.实验结果验证了本文所述方法的有效性.

4.2 基于归一化LEF的两步PSP动态场景测试实验结果

为了在动态PSP测量系统中验证本文所提方法的有效性, 对运动的心形物体进行测量.PSP系统中的投影仪采用了型号为SONY-EX573(分辨率为1204 × 768); CCD相机采用了AVT G-50B,其分辨率为2452 × 2056.

应用三步相移算法对运动的心形物体进行测量, 并在不同的位置获取物体的变形条纹图, 其大小为521 × 621.由于物体的运动, 则每帧条纹图中, 物体存在2 mm的位移.第一和第二帧条纹图被用于LEF算法的相位重建.图12(a)为三步相移提取的相位分布, 由图可以看出, 重建的相位表面出现了较多的条纹谐波现象, 主要原因为: PSP通常假设物体是静止的, 并且根据条纹图中预设的相移量重建物体的相位分布, 当物体运动时, 由于物体的运动导致条纹图之间的相移量发生变化进而导致测量的相位出现条纹谐波现象.图12(b)为采用均值和调制度矫正技术处理变形的条纹图后,LEF提取运动物体的相位分布, 其重建效果很不理想, 这主要由于均值和调制度矫正算法仅适合于均匀或随时间变化的背景项和调制度.

图12 运动物体的实验结果 (a) 三步相移方法提取的相位; (b) 基于高斯滤波归一化的两步PSP重建的相位; (c) 基 于EMD归一化的两步PSP重建相位; (d) 基于均值和调制度矫正的两步PSP重建相位Fig.12.Experimental results of moving objects: (a) The extracted phase by three-step phase shifting method; (b) the phase obtained from two-step PSP based on Gaussian filter normalization; (c) the phase estimated from two-step PSP based on EMD normalization; (d) the phase estimated from two-step PSP based on the mean value and modulation.

图12 (c)和图12(d)分别应用高斯滤波归一化、EMD归一化算法抑制背景和调制度后, LEF方法提取的相位分布, 与三步相移方法重建的相位相比, 其重建的相位表面比较光滑, 主要原因为:PSP利用已知的相移量对物体进行测量, 当物体运动时, 由于物体的运动导致条纹图之间的相移量发生变化进而导致测量的相位出现条纹谐波现象.然而, 基于归一化LEF的两步PSP方法测量的相位更光滑, 这主要由于该方法减少了条纹图的帧数, 则运动物体带来的影响也较小.另外, 相移估计的更准.实验结果验证了, 与三步相移PSP算法相比, 应用基于高斯滤波归一化、EMD归一化算法的两步PSP能够比较精确地测量运动的物体.

5 结 论

应用PSP重建物体的相位时, 存在多帧条纹图(至少三帧条纹图)以及动态物体的相移误差问题, 在本文提出了一种基于LEF技术的两步PSP相位估计方法, 并分析了背景强度和调制度对LEF方法的影响, 在此基础上, 提出利用高斯滤波归一化、EMD归一化、均值和调制度矫正技术抑制不均匀背景和调制度对LEF方法的影响, 并对比了不同情况下基于高斯滤波归一化、EMD归一化、均值和调制度矫正技术的LEF重建相位的测量精度.仿真和实验结果表明, 与多帧PSP相比,本文所述方法减少了条纹帧数; 与单帧傅里叶变换轮廓术相比, 基于高斯滤波归一化或EMD归一化的LEF方法可以获得较高的测量精度以及保留更多的相位细节; 在物体的动态测量中, 与三步PSP相比, 基于高斯滤波归一化或EMD归一化的LEF方法重建的相位, 其表面较光滑, 部分谐波被抑制, 仿真和实验结果验证了本文所述方法的有效性.