显微条纹投影小视场三维表面成像技术综述

王永红，张 倩，胡 寅，王欢庆

（合肥工业大学 仪器科学与光电工程学院，安徽 合肥 230009）

1 引 言

随着智能制造技术的不断发展，器件不断向着小型化、精密化、集成化的方向发展，具有代表性的集成电路、微机电系统(Micro-Electro-Mechanical System, MEMS）等得到广泛应用，快速精确地获取微型器件表面信息并进行缺陷检测对于集成电路和MEMS等产业发展具有重要意义。传统的基于一维信号或二维图像的检验方法已经不能满足现代工业测量的要求，快速准确地对3D微结构信息进行定量分析和表征成为工业设计过程中的重要一环。基于光学成像的三维测量技术因具有高鲁棒性、高效率、全场性、非接触、易操作和高精度等优势，普遍应用于逆向工程、医学检测、文物保护、仿生工程、虚拟现实等众多领域[1]。

目前，三维测量技术朝着两个方面发展：一是面向机械装配与制造的大尺寸、超大尺寸的三维形貌测量；另一方面，随着微光学、微流体技术和芯片实验室在内的微系统的发展，工业设计产品更加精确化和小型化。针对测量尺寸在毫米级及以上的微结构物体，研究者们使用了很多无损测量方法，如数字全息照相术[2]，白光干涉法[3]，光纤探针法[4]和共聚焦显微镜干涉法[5]等，可以达到亚微米甚至纳米级别的测量精度，测量范围在亚毫米、微米或亚微米尺度。但是这些方法大多基于光学干涉测量，要求测量系统有稳定的光学结构和高精度的机械部件，且有些方法仅适用于定性观察，不适合于定量评估。基于光学三角法的显微条纹投影轮廓测量技术(Microscopic Fringe Projection Profilometry，MFPP)[6]测量灵活度及效率较高，可以达到微米级测量精度以及毫米级的测量视场，适用于绝大部分工业微型器件的测量。

由于被测物体视场小，与传统的条纹投影测量轮廓术(Fringe Projection Profilometry，FPP)系统相比，MFPP系统的光学结构需要额外的光学设计使视场缩小。通常借助体视显微镜或长工作距镜头（Long Working Distance Lens，LWD）来减小投影和成像的视场。1994年，Leonhardt等[7]借助体视显微镜实现了对微结构物体的成像和定量分析，证明MFPP系统可以成像在体视显微镜中。2001年，Quan等[8]使用两个长工作距离镜头实现投影仪投影视场的缩小和成像光路微结构的放大，并且该装置能够自动校准误差。前期研究工作侧重于系统的构建，包括元件的选取和系统集成等。系统产生条纹图案所使用的元件主要有物理光栅[9]、有机发光二极管(Organic Light-Emitting Diode, OLED)[10]、液晶显示(Liquid Crystal Display, LCD)[11]、硅基液晶(Liquid Crystal on Silicon, LCOS)[9]和数字微镜(Digitial Micromirror Devices, DMD)[12]等。但是物理光栅的制作精度要求较高，且依靠机械运动产生相移容易造成相移误差，系统灵活性被限制；液晶材料易受温度影响，OLED和LCD技术将电压信号转换成数字信号的过程中会导致测量精度的损失；DMD芯片的每个像素通过机械地改变反射镜的角度来打开或关闭，需要精密的光路设计。对于早期的MFPP系统，其光学结构需要加入额外的透镜构建投影缩小光路，因此结构更为复杂，测量灵活性被限制，相应的系统配置和相关的测量理论需要不断改进。

近年来，随着数字光处理(Digital Light Processing, DLP)技术的发展，投影设备更加智能化、小型化，MFPP技术又得到了新的发展。本文分析和综述了基于结构光的MFPP三维测量方法的结构原理及标定技术，详细介绍了两类MFPP系统结构的发展，对于测量过程中由于小视场结构及被测器件特性导致的反光问题做了详细论述，并对MFPP系统在微结构测量领域的未来发展趋势做出展望。

2 条纹投影测量关键技术

2.1 显微条纹投影测量系统

MFPP测量光路采用光学三角法模型，由相机光心、投影仪光心、物体表面待测点构成交叉光轴式结构，通过此结构获取物体的三维信息。投影仪将具有不同频率和相位值的正弦条纹按顺序投影，相机记录被物体表面扭曲的条纹，计算机通过对图像分析得到调制相位。

图1为光学三角法测量原理图，图中被测物置于XOY的参考平面上，Z方向代表物体的高度方向。其中OC、OP分别为相机和投影仪的光心，P为物体表面任意一点，P′为点P在参考面上的投影。d为相机与投影仪光心间的几何距离，L为投影仪光心到参考面的垂直距离。

图1 光学三角法测量原理图Fig. 1 Principle diagram of optical triangulation projection measuring system

假设有一光束投射到被测物表面，由于被测物的存在，在相机的图像中，原本投影在B点的光束移动到了新的位置A点 。AB之间的距离和被测物之间的信息h相关，根据三角形相似的几何关系，有：

其中，p是 条纹间距， φAB包含与被测表面高度相关的相位信息。

相位信息求取常用傅立叶变换轮廓术（Fourier Transform Profilometry，FTP）[13-14]和相移测量轮 廓 术（Phase Shifting Profilometry，PSP）[15-16]等。FTP是动态测量中常用的算法，但是在傅立叶变换过程中缺乏局部分析能力，容易造成频谱混叠、泄漏等问题，影响测量精度，对复杂表面测量效果不理想。PSP由于其具有像素独立的运算性质，更适合于高精度的测量。使用PSP算法，假设Ik(x,y)是 相机采集的第k幅相移图的光强，A(x,y)为 图像背景光强度，B(x,y)为 调制度，φ(x,y)为待求相位函数，用N步移相算法的投影强度可以表示为：

其中，δN=(k·2π)/N，N=3,4,5,···，k=0,1,···,N−1，式中有3个未知数，因此至少需要3个等式才能求解得出Ik(x,y)。常用的相移法有三步、四步和五步相移法，其中，四步相移法应用较为广泛，与三步相移法相比，其能消除高次谐波，与五步及以上相移法相比，其数据采集时间短。使用四步相移法，对于投影出的4幅图形，根据正弦光栅求解出的相位公式如下：

公式（4）获得的是相位分布在( −π,π]之间的截断相位，通过解包裹算法进行相位展开，由此获得被测物体的相位信息。公式（5）中， ϕ(x,y)为展开后的连续相位，n(x,y)为某一点的条纹级次。

2.2 显微条纹投影测量标定技术

三维成像技术的一个重要部分是对系统进行标定，这对建立三维成像系统的测量精度起着至关重要的作用。与宏观上的FPP相比，MFPP系统结构更为复杂，由于光学放大率较大，MFPP装置的视场要小得多，自由度更短，因此其测量范围较小，这对系统的建模和标定校准提出了更高的要求。传统的透镜模型标定技术分为两种：基于立体视觉的标定技术和相位高度转换的标定技术[17]。

立体视觉标定技术基于双目视觉理论，适用于如图2(a)所示的经典透视投影成像模型。该方法将投影仪看作一个伪相机，使用相同的数学模型得到投影仪和相机的内部参数以及两者之间的旋转矩阵、平移向量等。较为常用的是张正友的相机标定法[18]以及张松的投影仪标定法[19]，其标定流程如图3所示。由于此类方法准确性较高，对面外和面内均进行了标定，因此得到广泛应用。对于基于体视显微镜和使用非远心长距离镜头的小视场系统，该方法依然适用，但是需要高精度的小型靶标。若使用一般尺寸的靶标，忽略景深的影响，使用离焦模糊的图像获取特征点的精确位置，能够提升标定的灵活性和适用性，但是对于处理算法的要求较高。

对于使用远心镜头的MFPP系统，由于远心镜头属于仿射投影，其成像模型不再符合经典的透视投影成像模型。如图2(b)所示，将孔径光阑放置于光学系统的像方焦平面上，将沿光轴方向的物方光线汇聚在无限远处，因此远心镜头对于沿光轴的深度变化不敏感。因此，基于立体视觉的系统校准方法不能直接应用于基于远心镜头的MFPP系统。近年来，对于使用远心镜头的MFPP系统的标定大多采用相位高度转换技术[20-21]，结合参考平面对相位—高度映射关系进行一体化标定。由于该类方法相对简单，不需要考虑系统的成像模型，传统FPP系统也适用于该方法[22-23]。但是高精度的位移台或量规块不可避免[24-25]，因此，该方法会受到测量系统体积的限制，且该方法一般只是完成了面外标定，并不能实现面内标定。为了解决该问题，基于正射投影模型结合镜头畸变模型的标定方法相继提出[20,21,25]。Hu等[26]结合了两类方法的优点，使用相位高度转换技术对系统进行面外标定，依据立体视觉的系统校准方法进行面内标定。目前，针对于MFPP系统的标定和校准仍是研究热点。

图2 （a）针孔成像模型及（b）双远心成像模型Fig. 2 (a) Pinhole imaging model and (b) dual-telecentric imaging model

图3 相机与投影仪标定流程Fig. 3 Flow chart of calibration of the camera and projector

3 显微条纹投影技术的最新进展

宏观的FPP系统常采用更稳定和准确的伪双目立体视觉结构，在一些大尺寸测量物体以及复杂表面测量时也会采用多相机多投影的测量系统。但是MFPP系统的搭建受到小视场下成像系统有限空间和有限景深的影响，因此对于其模型结构的探索仍是该方向的主要研究内容。

3.1 基于体式显微镜的MFPP系统

近年来，数字光处理DLP投影技术发展迅速，TI公司基于其开发的DMD技术，推出了一系列适用于实验的投影设备，称为DLP LightCrafter[27]。因此，微型投影技术得到快速发展，使得系统的集成更加简单。如图4所示，每个像素的灰度值取决于时间（1）与非时间（0）的比率。与传统的商用投影仪相比，它具有体积小、可编程性强、易于控制等优点，可以实现高速结构光投影。

图4 (a)一种常用的小型化和通用的DLP LightCrafter[18]和(b)其二元投影机制Fig. 4 (a) A commonly used miniaturized and versatile DLP LightCrafter [18] and (b) its binary projection mechanism

肖萍萍[28]搭建了一个MFPP系统，使用DLP LightCrafter直接将图案投射到体视显微镜的一个目镜中以减小投影放大倍数，类似的结构如图5所示。但是该系统将LightCrafter放置在安装架上，对于不同高度测量样品，投影仪位置需要重新调节，降低了系统测量的灵活度。之后，有学者通过增加中间连接部件，使投影仪和相机固定在显微镜[26,29]上，可以实现整体高度的调节，在测量不同的物体时，不再需要重新校准系统，提高了测量系统的灵活性。Jeught等[29]提出了一种基于数字条纹投影和并行编程的实时显微轮廓测量系统，将LightCrafter和相机固定在显微镜上。Hu等[26]还提出了一种光学结构，将Greenough型立体显微镜应用于MFPP中。由于此类型的显微镜镜头结构为轴对称式，入射光线基本在物镜傍轴附近，因此更容易进行标定，甚至不用考虑畸变。

图5 基于立体显微镜的MFPP系统。 (a)系统测量方案原理图； (b)测量系统实物图Fig. 5 Real-time MFPP system using stereoscopic microscope. (a) Schematic diagram of the system measurement and (b) physical diagram of the measurement system

表1中总结了文中使用体视显微镜系统的特征信息，包含投影技术、系统复杂度、测量视场等。由表1的系统复杂度分析得知，使用单个有源光学组件进行结构光投影，需要额外的精密光源设计光路，系统结构变得复杂。如果使用如数字投影仪等完整紧凑的投影单元，可以提高系统的稳定性和灵活性。通过设计特殊的连接器将投影仪和相机固定在显微镜上，可以提高系统对不同场景的适应性且减少标定次数。

表1 基于体视显微镜的MFPP系统的比较Tab. 1 Comparison of MFPP systems based on off-theshelf microscopes

3.2 基于LWD镜头的MFPP系统

根据不同的成像模型，LWD透镜可分为基于透视成像模型的非远心透镜[18]和基于仿射成像模型的远心透镜[20]，两者均能达到毫米级的测量视场。由于相机与图像在同一侧，所以目前MFPP系统使用的远心透镜大多是物方远心透镜或双远心透镜，这两种远心透镜能在物方一定深度上获得恒定放大率的图像。

基于LWD镜头的相机—投影仪系统与传统的MFPP系统大致相同。Quan等[8]将LWD镜头与LCD投影仪相结合，实现了显微表面轮廓测量。Li等[20]使用双远心镜头的相机和针孔镜头的投影仪，通过分别校准相机和投影仪，建立空间中的三维坐标系。Li等[32]建立了一个系统，其中相机和投影仪都配备了远心透镜。Peng等[33]建立了一个由两个远心透镜组成的系统，并提出了一种畸变校正方法来校正ScheimpFlug远心透镜引起的畸变。

为了减少被测物体导致的遮挡问题，可以构建多相机系统，每个相机局部标定后完成各自世界坐标系下的测量，由于各个相机测量数据不具有统一性，不能对整个被测对象实现一致性描述，因此需要通过标定建立全局坐标系。基于Yin的标定方法[34]，Wang等[35]使用DMD芯片和4个带有LWD镜头的相机构建了一个MFPP系统，可以实现多视图多视角测量。Hu等[36-37]提出了一种新的三维测量显微远心立体视觉系统，可以避免复杂的投影仪校准程序。Zhang等[19]使用双远心镜头的正射投影模型，其低失真、宽景深和恒定放大率有助于系统直接测量得到物体的尺寸，避免了透视误差，使系统更加灵活，精度容易控制，成本更低。

基于LWD镜头的MFPP系统可以实现多相机测量，因此减小了被遮挡区域的测量难度，提高了测量效率。表2中总结了上述系统的投影技术、LWD镜头类型和测量视场方面的信息。

表2 基于LWD镜头的MFPP系统对比Tab. 2 Comparison of MFPP systems based on an LWD lens

使用体视显微镜作为MFPP系统的主体时，可以灵活调整视场，但是系统体积大，特别是在引入额外光学元件的情况下，使得系统结构复杂不稳定。体视显微镜结构本身又是固定的，因此导致系统的搭建灵活性不够，比如不能搭建双相机及多相机3D测量系统等。使用放大率较大的LWD镜头实现显微投影测量，优点在于其投影单元和成像单元相对独立，但是需要更换不同放大倍率的LWD镜头来适应投影和成像视场，选择不同工作距离的LWD镜头调整系统工作距离，以保证系统测量的灵活性。为了直观地观察和比较两MFPP方法的性能，表3对基于体视显微镜和LWD镜头的两类系统的优缺点及适用领域做出比较。

表3 两类MFPP系统对比Tab. 3 Comparison of the two kinds of method for MFPP

4 MFPP在高反光物体测量中的应用

在实际的MFPP系统设计中，由于正弦条纹的周期远大于光学分辨率，且显微投影系统的景深较短，当投影光收敛到小视场时，光能会更加集中，导致条纹亮度超过相机动态范围的极限。此时，黑条纹照射的发亮部分受到白条纹的影响不再能完全以黑色成像。在这种情况下，当使用更高频率的条纹时，更容易出现饱和现象。由于系统采用的是主动光照明方式，对于复杂彩色物体或抛光金属表面、玻璃等反射率大范围变化的物体，结构光投影会产生强烈的反射，视场范围会产生极其明亮的区域或亮斑，影响成像效果及后期的图像处理效果。目前，通过喷涂显影剂可以获取良好的条纹图像，但同时会降低测量效率，影响测量精度，且部分精密器件不允许对表面进行处理。

宏观的高反射率光滑表面物体和镜面物体可以通过条纹反射法[40-42]解决。该方法是将条纹投射到一个散射屏上，或用LCD液晶显示屏把条纹直接显示出来，再将条纹反射到被测物体上。相机采集由光滑表面调制的条纹信息，解算出三维轮廓形貌，王月敏等[43]对基于条纹反射法镜面物体三维测量进行了详细论述。但是这种方法对散射屏和被测物体参考面的几何关系有严格要求，并且难以应用到小视场的测量环境中。针对小视场中的高反光问题，目前常采用高动态范围技术(High-Dynamic Range, HDR)[44]进行解决。由于HDR技术是通过调整相机、投影仪等硬件设备并结合相应算法对高反光表面进行测量的，因此可以应用到微观测量结构中。

对相机成像过程和光线反射模型进行分析，图6为不同曝光时间下相机采集图像，高曝光时间下的灰度值容易达到饱和状态。因此可以通过使用多重曝光法调整相机曝光时间，获取物体区域在最大非饱和强度下的图像信息，将不同曝光时间下拍摄的图片通过算法融合为一幅图像。Jiang等[45]通过选择具有最高条纹调制强度的像素，减少了环境光的影响，但是需要采集至少5倍的条纹图像。为了提高测量速度，Rao等[46]使用条纹调制直方图自动预测未知场景的多个最佳曝光时间，提出了一种全自动多曝光技术，通过多次曝光和掩码图像结合，该方法可以在最多5次曝光的情况下，完成复杂表面的三维重建。Zhang[47]提出一种快速、自动确定所需最佳曝光量的方法，其使用单次曝光捕获的图像来获取全局最优以确定曝光时间，能够实现复杂场景的测量。

图6 不同曝光时间下的条纹图像Fig. 6 Measurement results of captured fringe images under different exposure times

对投影图案进行强度调整也可以减小反光现象，根据物体表面反射率的不同来确定投影图案的强度，结合各个坐标系之间的标定，确定每个像素的最佳投影强度。Chen等[48]根据被测表面的反射特性使用多项式拟合得出最优的投射光强，减少了图像采集数量，具有较高的信噪比。由于白光投影导致高反光现象比较严重，因此使用彩色光投影来获得具有不同亮度的多组条纹序列[49]，并从多组条纹图像中选择最亮但不饱和的相应像素，形成用于3D重建的条纹图像。使用蓝、黄、青、白四色光投影，得到高质量的三维重建图案。Song等[50]根据被测物体的表面反射率，基于相机的强度响应函数生成适用于局部区域的最佳光强的条纹图案，并使用降采样方法对相机的响应函数进行估计，减少了相机响应函数的获取时间。Liu等[51]提出了一种基于自适应投影技术的小视场测量系统高动态范围三维测量方法，使用一组正交条纹图案和两个均匀灰度图案，得到自适应条纹图案，实现了小视场物体的测量。Zhang等[44]利用深度学习技术来消除HDR引起的相位误差，减少了投影条纹图案的数量，提高了测量精度和效率。

根据光与物质的相互作用机理使用偏振滤光片法[52]，将镜面反射分量与总辐射量分开。Riviere[53]在镜头前加3个不同方向的线性偏振滤波器，实现对复杂环境下的高反光表面检测，但这样降低了投影仪的输出光强度和相机的入射光强。Feng等[54]将多重曝光法和偏振滤光片法相结合，通过将两个正交偏振滤光片分别放置在相机和投影仪的前面来测量反射率低的表面。由于金属物体表面反射模型中，p分量始终存在，所以仅使用偏振技术无法完全消除金属表面的反光现象，还需要结合其他技术来进行辅助测量。

除此之外，利用颜色不变量法可以实现对镜面反射分量的分离。Benvenist等[55-57]基于颜色不变性设计并实现了一种基于数字信号处理评估模块的新型结构光扫描仪系统，并消除了测量过程中高光和环境光的影响。光度立体技术可以在不同方向的照明下，通过照明方向和图像明暗之间的关系，在固定视点下获得多个图像重建表面的三维形貌和反射率。Meng等[58]结合此方法构建了一个gonio-plenoptic成像系统，可对表面有小起伏的高反射浮雕表面进行测量。Zhang等[59]利用数字微镜器件获取同一个周期内不同曝光量的条纹图像，可以实现实时测量，且提高了HDR技术的动态测量范围。Hu等[60]使用双相机远心测量系统采集图像信息，通过多频相移方法，由于低频条纹图像周期较大，可以达到不饱和状态，使用低频条纹中检索的相位来填充最终的相位图，以提高测量的完整性。该方法解决了由于密集条纹离焦和复杂表面反射特性造成的强度饱和现象。

为了比较各类方法的优缺点，将常用方法根据上述分类，总结了代表性的HDR技术的优缺点，如表4所示。

表4 HDR 技术中各类方法的优缺点对比Tab. 4 Comparison of typical methods in HDR technology

5 总结与展望

条纹投影三维测量技术已经发展多年，在传统领域内的应用也越来越广泛。本文回顾了基于结构光的MFPP三维测量系统的结构原理、测量方法，分析了不同于传统透射模型的远心透镜系统的标定问题，总结介绍了显微条纹投影系统的结构组成和发展历程，对于因小视场及结构光投影引起的反光问题进行了详细的论述。

目前，MFPP系统已经应用到各个领域，特别是随着当前集成电路的发展，该技术可以快速、精确实现对芯片封装三维缺陷的检测。但是对于微结构物体的测量还面临着一些问题：（1）对于可以在单个视野中测量的小部件，通过缩小视场可以实现测量。但是对于带微细特征的较大零件，其测量精度和速度的要求更高，仅仅通过缩小视场难以实现全场测量。因此需要构建全场测量系统，使其既能够实现细微特征的检测，又能实现全场测量，更加精准地实现对各类微小零件的测量。但是其重构所需的数据量十分庞大，且目前对于快速显微动态全场测量的研究还较少，提高图像采集的速度和图像处理重构的速度是关键性因素。（2）传统光学技术以及接触式测量仪器很难测量出高深宽比的结构，而对于MFPP系统，由于采用结构光投影，也会存在光线遮挡问题。针对类似于MEMS系统的高深宽比结构，实现高度、侧壁角等3D轮廓特征关键尺寸的测量需要进一步探索研究。

从工业4.0到中国制造2025，对于智能制造技术的标准要求越来越高，被测对象的复杂程度也越来越高，对产品质量的检测在整个制造环节中十分重要。三维成像与传感技术作为感知真实三维世界的重要信息获取手段，为重构物体真实几何形貌及后续的三维建模、检测、识别等方面提供数据基础。MFPP是一个极具发展前景的三维图像获取技术，将其应用到机器视觉成像系统中，构建高分辨率、小型化、低廉化、简便化的产品级测量系统，满足智能测量的要求。在未来，显微条纹投影三维成像技术具有进一步探索和应用的潜力。