先验知识辅助的条纹投影动态三维形貌测量

楚冬娅，张广汇，宋仁杰，张晓松，应晓霖，李 勇*

1 浙江师范大学信息光学研究所，浙江 金华 321004；2 浙江省光信息检测与显示技术重点实验室，浙江 金华 321004

1 引言

光学三维形貌测量技术由于其非接触、精度高等优点，在工业检测、安防、医疗、影视娱乐等方面具有广泛的运用，例如工件加工质量检测、物体高速运动中的形变测量、三维人脸识别中的信息获取、离子加速器癌症治疗中人体位姿的监测、影视制作中人脸三维表情的获取等。基于条纹相位测量[1-3]的三维测量技术(如相位测量轮廓术[4]、傅里叶变换轮廓术[5]、小波变换轮廓术[6]等)是其中重要的一类。傅里叶变换轮廓术、小波变换轮廓术等由于测量只需要一幅图像，能够实现动态三维形貌测量，但是测量精度不高。而相位测量轮廓术等需要多幅图像才能测量，在静态或准静态三维形貌测量方面能够获得高精度、高可靠的结果，但是在动态三维形貌测量方面尚存在较多需要改进、提高之处。

相位展开是条纹相位测量中的关键一步。在恢复物体三维形貌前首先要对截断相位进行展开。常见的有空间相位展开法、时间相位展开法和多视角几何约束法等。这些方法在某种程度上很好地解决了相位展开问题，但是它们各自存在局限。空间相位展开[7-8]法着重分析截断相位图空间分布特性来恢复相位的连续性，但是它很难处理空间上不连续或者孤立的区域。而时间相位展开法[9-10]借助额外的图案确定条纹次序，能够处理孤立区域问题，可靠性高，但是测量需要的时间长，相同测量速度情况下对硬件的要求更高。常见的时间相位展开法有双频[11]或多频(多波长)[12]相移技术、编码图案与相移技术结合的方法[13-15]等。多视角几何约束法[16-17]包括增设多个摄像机或者投影仪，提供多角度几何约束来展开相位。该类方法减小了测量区域，同时增加了整个系统的复杂性和成本。An等人[18]提出一种深度约束的方法，通过预先设定已知距离的虚拟参考平面，为截断相位提供级次信息。该方法不需要额外的图案投影，但是无法解决被测物体与参考平面相位差绝对值超过π 的问题。后来Li等人[19]提出一种基于CAD 模型的测量方法，将模型在被测对象深度方向进行分割，产生一系列虚拟参考平面辅助相位展开。但是，该方法的处理过程复杂。他们又提出了改进的方法[20]，通过场景中已知尺寸的物体提供绝对相位展开的线索。基于物体形貌约束，重建其三维形貌，借此创建最小相位平面，用于逐像素展开整个场景的相位。该方法可以实现运动物体的三维测量，但需要一个已知尺寸的物体且其与待测物体的相对位置有限制，造成了实际应用时的极大限制。

上述方法在各自适用场合取得了成功，但是还存在改进提升空间。目前条纹投影三维测量中普遍使用可编程数字投影仪，可以投影多种图案。这样，相同的硬件系统只要改变投影图案和处理算法就可以方便地实现多种测量方案。同时，不少被测物体(如生产线上的工件)是采用CAD 设计的，其标准模型容易获得；另外，物体静态时的三维形貌也可以采用动态三维测量硬件系统，通过高精度、高可靠的测量方案获得。针对上述情况，本文提出了先验知识辅助的方法。这里的先验知识是指待测物体的近似三维形貌(可以通过CAD 模型或预先测量获得)、物体二维图像中的特征点等信息。在不增加系统复杂性及投影图案数的同时，实现了可靠性与时间相位展开法接近的运动物体三维形貌测量。该方法允许测量过程中条纹有不连续或者孤立的部分，同时对物体运动中的形变量也有较大的容限。

2 理论推导

2.1 测量原理

图1 为测量系统结构示意图。系统主要由投影仪和摄像机组成。由投影仪投射正弦条纹到被测物体上，摄像机从另一视角拍摄受高度调制的变形条纹图。对变形条纹进行处理，获得物体三维形貌。

图1 条纹投影三维测量系统构成示意图Fig.1 Schematic diagram of fringe projection 3D measurement system structure

采用整周期等间隔3 步相移法时，该系统拍摄的变形条纹图可以表示为

这里的(u,v)为图像坐标，为背景强度，B(u,v)为条纹幅度，φ(u,v)为条纹相位，

根据式(2)计算的相位值由于反正切函数的性质而被截断在[−π,π)范围内，需要采用式(3)进行相位展开：

其中：k为整数，称为条纹级次。在相位展开后，根据标定[21]的参数，利用相位−坐标映射关系恢复物体三维形貌[22]。

2.2 相位展开原理

当待测物体的近似三维形貌、物体二维图像中的特征点等先验知识及摄像机内参数已知时，结合模型坐标系相对于摄像机坐标系的运动参数，根据测量系统原理对模型进行虚拟测量。通过虚拟测量获得与待测物相同位姿的模型的绝对相位分布。以其为参考，结合实际测量的截断相位求出待测物体的绝对相位。其中的一个关键问题是获得模型相对于摄像机坐标系的运动参数。根据摄像机成像模型，利用模型特征点三维坐标及其在二维图像中对应点的图像坐标能够获得该参数。

图2 为所提方法中模型运动参数估计的原理图，图中a为A的像。采用针孔模型表示摄像机的成像模型，则成像关系表示为

图2 运动参数估计原理Fig.2 Schematic diagram of motion parameter estimation

式中：[XcYcZc]T为物体表面采样点在摄像机坐标系中的坐标，s为比例因子，fu、fv分别是u、v方向上的归一化焦距，M1称为摄像机内参数矩阵。模型与待测物体位姿相同相当于将模型进行旋转、平移，使模型与待测物体重合。可以用下式表示：

式中：R′为旋转矩阵，T′为平移向量，[XMOYMOZMO]T为模型坐标。将式(5)代入式(4)得：

只要图像中三维特征点的像足够多(至少6 个空间点的像)，在摄像机内参数已知的情况下，能够求解旋转矩阵及平移向量。实际应用中，由于二维图像中特征点获取的误差等，直接求解R′和T′误差较大。在得到初始值后，利用Levenberg-Marquardt 方法进行迭代优化获得运动参数最优解。

将投影仪看作是逆向工作的摄像机，则可以使用与摄像机同样的方法处理三维空间到投影仪图像平面的变换关系。在获得运动参数后，我们将预先获得的三维模型数据进行变换使之与待测物体重合，再用摄像机和投影仪对模型成像。模型在投影仪中的像可表示为

式中：(up,vp)为投影仪图像坐标，R和T分别为摄像机坐标系相对于投影仪坐标系的旋转矩阵和平移向量。分别计算出模型上的点成像在摄像机中的坐标(u,v)和投影仪中的坐标(up,vp)。如果摄像机和投影仪是水平摆放，采用竖向条纹，由式(8)得到参考相位图。如果摄像机和投影仪是垂直摆放，采用横向条纹，由式(9)得到参考相位图。

式中：φ0为条纹的初相位，f为条纹的频率。上述根据测量系统结构参数计算物体初始形貌旋转、平移后的相位过程被称为虚拟测量。得到参考相位后，每个像素对应的条纹级次k由式(10)获得：

式中：round[·]表示四舍五入取整。由式(10)可知，只要被测物体与参考模型差异引起的相位变化在(−π,π)内，就能够获得实际测量的绝对相位。这也意味着即使物体在运动中有形变(非刚体运动)，只要形变足够小，提出的方法也适用。

由上述展开相位获取过程可知，提出的方法只要投影3 幅相移条纹就能够进行运动物体三维形貌测量。与时间相位展开法相比，所提方法减少了图案的投影数量，更适合动态物体测量，而测量可靠性与之接近。与空间相位展开法相比，所提方法投影图案数相同，但是可靠性高。只要实际测量物体与虚拟测量物体重合部分差异在允许范围内，即使物体形貌突变造成条纹不连续也能够正确展开相位。提出的方法不要求空间与时间上相位分布满足采样定理，与时空三维相位展开法相比，所提方法对相邻时刻物体位姿变化有较大的容限。

2.3 误差容限分析

为简化分析，采用如图3 所示的测量系统原理示意图。图中P1P2为投影仪光轴，I1I2为摄像机光轴。基于其原理，利用相似三角形ΔADC和ΔP2DI2，即可得到D点的高度h：

图3 测量系统原理示意图Fig.3 Schematic diagram of measurement system

式中：f0为条纹在参考平面上的频率。大多数情况下，因此式(11)可进一步简化为

式中：θ为投影仪与摄像机光轴夹角。只要参考模型与待测物体的相位差在(−π,π)区间内，二者的变形条纹级次相同。由式(12)得：

由式(13)可知，误差容限随条纹频率升高而减小，随光轴夹角增加而减小。假设参考平面上条纹频率f0=1/5 mm−1，光轴夹角θ=30°，则高度误差容限约为±4.3 mm。

3 实验结果

为验证所提方法的可行性，搭建了条纹投影动态三维测量系统。实验系统的硬件配置如下，摄像机(Mars 1300-210uc)的分辨率为1280 pixels×1024 pixels，投影仪(Lightcrafter 4500)的分辨率为1140 pixels×912 pixels。静态测量时采用3 频外差法，动态测量时采用与静态测量时最高频率相同的条纹，条纹频率为32 (参考平面上条纹频率约为1/10 mm−1)，采用整周期等间隔3 步相移测量相位。摄像机帧率为210 f/s，则动态三维数据的采集速度为70 f/s。选择CAD 设计并用3D 打印制作的特征分明的物体验证条纹不连续情况下所提方法的适用性。选择人脸进行非刚体运动物体的三维测量验证。

3.1 测量流程

所提方法的具体流程如下：

1) 采用3 频外差法或从CAD 模型获得待测物体参考模型。确定模型上的特征点并获得其三维坐标；

2) 投影3 步相移条纹并拍摄，获得变形条纹图，计算背景强度图和截断相位图；

3) 获取背景强度图中被测对象的特征点；

4) 根据2D-3D 特征点对应关系，计算出模型的运动参数；

5) 利用变换后模型的三维信息由式(6)～式(10)计算获得条纹级次；

6) 展开截断相位图，恢复三维形貌；

7) 重复2)～6)直到测量结束。

由流程可知，如果无CAD 模型，只在开始时进行一次相对费时的三维扫描(投影、拍摄9 幅条纹图)，在动态过程测量中每投影3 幅条纹就能够获取1 幅三维数据。由于采用了与传统方法相同的条纹及相移法，在保证精度及可靠度的同时，三维采集的速度得到了提高。

3.2 CAD 设计物体测量结果

为了验证所提方法对测量中存在不连续部分的被测对象适用性，对采用CAD 设计的如图4(a)所示的几何体进行了测量。该物体在测量过程中由于遮挡、阴影等，摄像机视角中条纹存在不连续部分。以3 频外差法测量的结果为标准相位进行了比较。由于直角点检测的可靠性和准确性高，有助于提高物体运动参数的估计精度，这里选择它作为特征点。选择的特征点如图4(a)中十字叉所示，对其进行编号并从CAD模型中获得其三维坐标。测量时，从背景图中提取角点，根据对应编号特征点的三维坐标计算运动参数，进行相位展开。图4(b)为截断相位，图4(c)为所提方法展开的相位图，图4(d)为展开相位与标准相位之间的差值，图4(e)为4(d)中红线处的相位差。

图4 展开相位与实际相位对比。(a) 待测物体；(b) 截断相位；(c) 展开相位图；(d) 相位差值图；(e) 图(d)红线处截面图Fig.4 Comparison between unwrapped and standard phase.(a) Object for measurement;(b) Wrapped phase;(c) Unwrapped phase;(d) Phase difference;(e) Cross-sections of red line in (d)

3.3 非刚体运动实际物体测量结果

为验证所提方法对运动中伴随形变的物体测量适用性，对运动中的有表情变化的人脸进行了三维测量。采用3 频外差法进行物体初始形貌测量。采用基于深度学习的人脸关键点检测算法[23]检测的结果作为运动参数估计的特征点。该算法标出了包括五官和外围轮廓的68 个关键点。实际测量时，由于人脸表情变化导致的嘴巴部位关键点移动幅度较大，对于计算运动参数不利，因此嘴部的关键点不予考虑。平移运动几乎不影响特征点检测的准确性，而旋转有较大的影响。因此这里研究转动角度对关键点检测的影响情况。

首先进行了不同姿态准静态人脸三维形貌测量，同样用3 频外差法测量的结果作为标准相位。从左右偏转、俯仰、侧倾这3 个方向转动进行实验。图5(a)为实验过程中某一姿态的一幅变形条纹图，图5(b)为检测出的特征点，图5(c)为标准相位测量结果；图5(d)为本文方法计算的参考相位，图5(e)为参考相位与标准相位的差异图，图5(f)为5(e)图红线部分的截面图。可以看出相位差异远小于π，保证了相位的正确展开。通过实验，得到能够稳定展开相位的三个方向上的转动角度范围分别为：从正脸偏转左右均45°之内，俯仰上下均30°之内，侧倾顺时针逆时针均45°之内。

图5 某一姿态测量数据。(a) 变形条纹；(b) 特征点；(c) 标准相位；(d) 参考相位图；(e) 相位差值图；(f) (e)红线处截面图Fig.5 Measurement data at a certain posture.(a) Deformed fringe;(b) Feature points;(c) Standard phase;(d) Reference phase;(e) Difference between (d) and (c);(f) Cross-sections of red line in (e)

接着对运动过程中伴随大幅度表情变化的人脸进行了测量实验，图6 为部分测量结果。图6(a)为3 频外差法获取的初始三维形貌，图6(b)～6(d)为运动中几个时刻的三维重构结果。可以看出，提出的方法在无姿态约束下，成功实现了对运动中有大幅表情变化的人脸测量。

图6 运动过程中大幅度形变测量结果。(a) 初始三维形貌；(b) 时刻1 形貌；(c) 时刻2 形貌；(d) 时刻3 形貌Fig.6 Measurement results of large deformation during motion.(a) Initial 3D shape;(b) Shape of time 1;(c) Shape of time 2;(d) Shape of time 3

4 数据分析

从图4(b)可以看出，CAD 设计的物体由于正方形平面间距离较大，各平面间的条纹不连续，连接左右两组平行平面的梁上与平面上的条纹也存在不连续之处，无法用空间相位展开法正确展开相位。从图4(e)可以看出，除边界附近存在相位展开错误外，其他地方都能正确展开相位，表明该方法不易受条纹不连续的影响。边界附近的错误主要是由于物体运动参数估计误差、噪音等共同作用造成了条纹级次计算错误。这类错误采用如下方法去除：1) 在虚拟测量相位图中进行边缘检测，得到相位不连续的边缘，并将其膨胀成一定厚度的区域，以将实际测量相位图中的边缘包含在内；2) 在背景强度图中对应的区域内进行边缘检测，并将边缘膨胀成一定厚度的新区域；3) 对展开的相位图操作，在每个对应的新区域中将相位从区域边界向区域中心展开，展到背景强度图中检测出边缘为止。展开过程中根据调制度高低避开区域中可靠度低部分。在非刚体运动物体测量实验中，从图5(c)可以看出参考相位与标准相位的差远远没有达到(−π，π)的边界，能够为展开截断相位图提供正确的条纹级次。从图6 可以看出，提出的算法能够实现运动过程中伴随较大形变的物体三维形貌测量。图6中的三维结构看上去表面比较粗糙，存在空洞。这主要是因为结果没有任何滤波平滑，受摄像机噪音影响，表面法向量随机性较大。在视觉上，加上光照效果后细微的噪音被放大，噪音造成的实际形貌误差在0.2 mm 以下。存在空洞主要是因为该部分反射率太低，如眼珠、头发等位置。

5 结论

本文提出了一种新的基于特征点及粗略模型等先验知识辅助的条纹投影动态三维形貌测量方法。该方法在保证原有测量精度、不增加系统硬件复杂性的情况下，投影最少的图案实现三维测量，并且有较大的误差容限。所提方法能够实现：CAD 设计的物体，如生产线上工件形貌快速测量；运动中伴随形变的物体，如运动中有表情变化的人脸等测量。对于图像中特征信息弱的物体，本文方法将无法测量。