基于十六步相移技术的高精度三维重建系统

王中兴

（浙江理工大学机械与自动控制学院，浙江杭州 310000）

0 引言

随着测量技术的不断发展，传统的二维测量技术难以满足需求，三维精确与快速测量技术在文物数字化、医学诊断、机器视觉、工件在线监测、自然灾害调查以及地图重建等领域［1-5］得到广泛应用。三维测量技术通过对被测物体的外形结构进行精准扫描，获取被测物体三维空间的点坐标，得到被测物体三维模型。三维测量较二维测量更直观且更完善，具有精度高、不与物体表面接触、扫描速度快、景深大以及便于携带等优点，应用价值极高。

常见的三维测量技术按测量方式不同大致分为接触式测量和非接触式测量两类。接触式测量方法对细小、易变形等物体难以测量，应用范围有局限性，而非接触式测量可以弥补这一缺点。非接触式测量原理分为光学与非光学两大类，非光学式测量原理又细分为声学、电磁学等。非接触式测量最大的优势是不与被测物表面接触，具有测量速度快、精度高、易自动化、无损测量等优点，其中光学原理的非接触式测量是研究热点。

钟凯等［6］将面结构光测量与室内GPS 技术相结合，研发出组合式大尺寸空间精密三维测量系统，支持多台设备同时进行测量，效率至少提高3～5 倍；宋丽梅［7］根据二维图像的灰度信息，在已有算法基础上设计出只根据单幅实时图像就能进行三维重建的方法，在工业在线测量领域得到广泛应用；汤兰兰等［8］基于物体的二维信息，利用投影结构光调制信号以及立体视觉法，建立一套具有自主知识产权的建模方法，提出相关创新理论并研发一套光栅投影的三维精密测量系统；Zhang 等［9］对物体表面形状采用条纹投影技术进行光学三维测量系统标定，创新性提出一种简化标定方法，该方法能有效用于高反光物体的三维测量。目前提出的三维测量方法虽在效率上有很大提高，但在测量精度方面还存在不足。

本文采用十六步相移法对被测物进行三维重建。首先通过投射结构光至标定板采集光栅条纹，然后投射结构光至被测物表面，采集受被测物高度调制而产生形变的光栅图。提取获得的相位，由高度与相位的映射关系获取被测物在空间中的三维坐标，利用MATLAB 进行三维重建。

1 系统介绍

1.1 方案选择与硬件选型

目前基于结构光的三维重建方案大致分为单目视觉与双目视觉两种。由于单目方案系统结构简单、测量精度较高，且只需一个相机，因此成本很低。根据本文实验需求，综合考虑后采用单目视觉方案进行设计。本文系统组成如图1 所示。首先在计算机端生成实验所需结构光编码图案，通过投影设备将编码图案按照时间顺序依次投射至被测物表面，投射的编码图案受被测物体表面高度的变化而产生调制发生形变，物体表面的三维坐标信息包含在受调制的条纹图案中。然后由相机拍摄获取每一副被调制的条纹图案，并将这些图片传输到计算机通过程序进行数据处理。提取其中的相位，由相位—高度映射关系获得被测物在空间中的三维坐标，从而对物体形貌进行三维重构。

Fig.1 Composition of monocular structured light three-dimensional measurement system图1 单目结构光三维测量系统组成

系统硬件由CMOS 相机、DLP 投影仪和计算机构成。本设计选用北京闻亭泰科技公司型号为PRO6500 的工业级光学投影模块和大恒图像生产的工业相机进行配套设计，相机型号为MER-301-125U3M/C。为了较好地控制延迟和同步，实验使用相机触发投影仪方式进行。

1.2 三维重建系统数学模型

根据三维成像系统建立光栅投影系统几何数学模型［10］，如图2 所示。OXYZ为参考坐标系，OcXcYcZc、OvX⁃vYvZv分别为相机与投影仪坐标系，其中OXY、OcXcYc、OvXvYv分别为参考面、相机参考面以及投影仪参考面。点F为被测物表面待测点，点Oc和点Ov分别为相机和投影仪的光心，Oc′和Ov′为其在参考面的投影点。

Fig.2 Mathematical model of three-dimensional measurement system图2 三维测量系统数学模型

假使被测物体不在参考面OXY上，从投影仪的光心投射出一条入射光OvF至参考面的M点，则在相机参考面中也对应为M点，此时参考平面中放置被测物，则入射光OvF的投射点将由M 变为投射在被测物表面的F 点。保持相机、投影仪和被测物三者相对位置不变，通过相机采集图片，则此时在相机参考面中所对应的投射点由被测物表面高度从点M平移至点N，点N为点F与Oc成直线的反向延长线与参考平面的相交点。由上述原理可知，从M点位移至N点的长度MN包含了点F对参考面的高度h的信息，那么根据系统模型的几何关系可由MN的位移长度求取图2 中FS高度，即高度h，而位移距离MN的长度又与投射光栅条纹有对应关系，故根据上述条件建立系统几何模型。

由图2 所示，相机到投影仪二者光心间距OcOv的长度为d，OcOc′长度为H，根据三角形相似可知ΔFMN～ΔFOcOv，则可得到h的表达式为：

设参考面上任意一点a的坐标为（x，y），相位为φ，当参考面与投影面相互平行时，投射光栅的相位会沿着参考面X轴发生变化，根据投影光栅的分布特性得到：

联立上式可得：

式（3）是高度和相位映射关系的核心表达式，其中H、λ、d为系统参数，φM为参考面相位，Δφ为M点和N点的相位差，φN为经过调制后的相位。

1.3 系统标定

标定的主要目的是为了获取相机与投影仪内部参数、二者的中心距离以及到参考面的距离，通过这些参数便可建立图像像素点坐标与空间坐标点的映射关系。

1.3.1 相机标定

为求得相机内外参数，首先要了解相机成像原理。相机成像模型其实就是光学模型的一种简化，常用的相机模型有正交投影模型、小孔成像模型以及拟透视投影模型3种［11］，其原理都是利用相机模型采集图像通过图像上的二维信息坐标与空间被测物表面坐标建立联系。小孔成像模型原理简单、精准性高，应用广泛。这种模型主要由光心、光轴以及成像平面3 个部分组成，理想状态光线是沿直线传播，将光心视为小孔，三维空间中的任意一点在经过光心后在成像平面上成倒置像。但实际情况中，相机大多是由透镜组成光学系统，其成像原理与小孔成像模型相似。

成像过程主要涉及世界坐标系、相机坐标系及图像坐标系（物理坐标系和像素坐标系）之间的转换，如图3 所示［12］。

Fig.3 Coordinate transformation relationship in camera linear model图3 相机线性模型中坐标转换关系

（1）从世界坐标系到相机坐标系。由于相机与被测物体是放在空间中的任意位置，要表示相机与被测物体的位置关系，需要在空间建立一个三维坐标系，即世界坐标系。以原点O表示相机的光心，ZC表示光轴，创建直角坐标系为相机坐标系，从世界坐标系到相机坐标系转变由旋转矩阵R和一个平移向量T共同完成，转换过程如下［13］：

式中，T=[T1T2T3]表示一个三维空间中的平移向量，R表示一个3×3 的单位旋转正交矩阵，其矩阵元素满足：

（2）从相机坐标系到图像坐标系。在上述成像模型中，Pu可理解为相机成像与相机光点O和场景物点P的连线之间的交点，称为透视投影。图像坐标是二维坐标，光点是相机光轴与成像面之间的交点，ƒ为相机焦距。根据三角形相似原理可得转换公式［14］：

（3）从图像坐标系到像素坐标系。由相机中图像的存储形式可知，图像像素的坐标系为直角坐标系。取左上角作为图像坐标系原点，u轴和v轴分别与图像坐标系x轴和y轴平行。在坐标系中，任一点坐标（u，v）表示其行数和列数，坐标单位为像素，图像坐标原点就是相机的光轴与成像平面交点。目前相机由于制造技术问题主点会发生偏移而不在图像中心。设图像坐标系中主点的坐标为（x，y），得到图像坐标系与像素坐标之间的转换过程如下：

1.3.2 投影仪标定

本文利用局部单应性矩阵变换求取投影仪中点坐标，找到投影仪像素点与空间中坐标点一一对应关系。首先将标定物放在世界坐标系中，向其投射条纹光栅序列，找到相机点与投影仪点之间一一对应关系；然后通过局部单应性矩阵计算，将相机图像坐标系内的目标角点转移至投影仪的图像坐标系内；最后利用标定相机方法标定投影仪即可。基于这种方法的投影仪标定好处在于标定精度不会受限于相机标定精度影响，可以使用任意相机模型应用在该方法中，标定精度更高。

先使用投影仪投射高频细分的互补格雷码图案至棋盘格标定板中，在相机的像素坐标系中找到正确的棋盘格角点，通过计算以这个棋盘格角点为中心的一定区域内的像素，求得一个局部单应性矩阵［15］：

其中，p是相机中棋盘格图像角点内的坐标点，q是对应投影仪图像的坐标点，为一个3×3 的矩阵。那么对目标角点p′可利用求得的将相机图像坐标内的角点转换到投影仪坐标q′内，转换关系如下：

利用上述原理可将所有的相机图像坐标中的目标角点进行转换，最终得到所有角点在投影仪中所对应的坐标，投影仪便可按相机步骤进行标定。按照系统标定方法可求出相机和投影仪的内参数、畸变参数以及旋转矩阵R和平移矩阵T。该方法比常规方法的重投影误差要小，且只需改变标定板的位置拍摄，标定过程简单，具有更好的鲁棒性，本文后续也采用这种方法进行投影仪标定。

1.3.3 标定结果

基于张正友标定法［16-17］标定出相机与投影仪之间的内外参数，见表1。由于本工作的实验标定没有产生严重畸变，因此径向畸变参数只有两位系数。

Table 1 Calibration results of camera and projector internal parameters表1 相机与投影仪内参标定结果

在完成标定后可得到从世界坐标系到相机坐标系之间的转换关系，即相机的外部参数旋转矩阵R1和平移向量T1，表示为（R1T1）。由此得到相机到投影仪的相对位置，从而通过相对位置的转换关系得到投影仪外部参数（R2T2）。得到的相机与投影仪外部参数分别为：

从表1 可以看出，相机的误差大概在0.048 4 左右，投影仪的误差大概在0.054 1 左右，标定出的平均重投影误差比较理想，其参数精度符合后续三维成像过程的精度需求。

1.4 相位主值获取

在结构光编码技术中，根据编码方式不同分为时域编码和空间邻域编码［18］。时域编码是依次按时间顺序投射一组光栅图像至被测物表面，相机采集后再进行解码。因为光栅图案结构简单、投射数量较多，导致被测物体表面被标记的特征点增多，所以能更好地提高成像分辨率及测量精度。目前时域编码方法大致分为二值法、N 值法以及相移法。空间邻域编码方式仅采用单幅图案，通过相邻像素点之间的颜色信息或灰度不同对区域进行编码，增加了图像编码和解码的复杂程度，在解码识别阶段容易引起误差，导致测量精度不高。但由于此方法只需采用单幅图案，所以适合在线实时测量。目前空间邻域编码方法一般分为非标编码、序列编码以及M 矩阵编码。

由于相位主值是通过一定的计算从变形前以及调制后的条纹图案中得到，所以获取相位主值是最后相位展开的关键所在。相移法测量是通过向被测物体投射一系列条纹图案，通过物体在其中的相位信息来获取相位主值。在相移法投射中需要一组正弦或余弦分布的条纹。设投影空间中存在任意一点(xp,yp)，则其灰度值表达式为［19］：

式（10）中，N 为总的移向步数，n 表示进行了第n 次相移，n=0，1，2，…，N-1，Ap表示为光栅条纹的光强值，Bp表示为调制幅度。假设在理想状态下测量不存在误差，一般取Ap=Bp=0.5。通过投影3 幅以上的一个周期光栅图案（因为至少3 幅图案才能唯一确定一个周期的相位），便可获得投影空间中每一点的相位值，此时被测物体表面的相位分布情况可表示为［20］：

以四步相移法为例，取N=4 时，相移的每次增量为π/2，那么4 幅光栅图案依次相移量为0、π/2、π、3π/2，产生的4 幅光栅条纹图案可表示为：

联立式（11）和式（12）可得相对相位值为：

本文采用十六步相移法包裹相位。由于相移法利用反正切函数获取相位值，而反正切函数是周期函数，因此获得的相位分布φ被截断在（0，2π）的区间范围中，并不是真实的相位。

1.5 相位展开

相位的解包裹是三维重建系统中最为关键的步骤之一，也是目前研究的重难点。在光栅条纹投影阶段中，标准N 步相移法经过反正切函数计算相位分布相位主值φ。由于反正切函数是周期函数，因此获得的相位分布φ被截断在（0，2π）区间范围内，此阶段获得的相位为包裹相位。反正切函数特性使被测物体在图像中的相位分布失去全场唯一性［21］，而要通过相位和高度映射关系计算三维坐标，就必须保持相位分布在截断展开后的唯一性，使其复原成完整相位，称为相位的解包裹即相位展开。

从图4 可以看出，包裹相位图在一个周期内相位主值φ呈现连续分布，而在不连续处（即截断处）相位呈现出周期性不连续分布。只要将沿着相位截断的位置对相位值进行累加就能求解出连续相位值，解包裹算法的基本原理就是比较相邻两点的相位值，如果二者间的相位差小于2π，那么就在后面一点的相位值上加上2π 即可，其表达式如下：

Fig.4 Wrapping phase图4 包裹相位

式（14）中，φ(x,y) 为绝对相位，n为条纹周期数，也称条纹级次，一般n取整数。

要得到完整的二维相位分布，就需要把所有周期内的截断相位都进行解包裹，即求取图中每点的条纹级次。以四步相移法为例，因其存在3 处截断相位，所以对截断相位处增加若干个的整数倍求解绝对相位φ(x,y)，便可得到如图5 所示的解包裹相位图。条纹级次在每个截断相位处依次递增，且图像由周期性不连续分布变为连续上升直线。

Fig.5 Unwrapping phase by four-step phase shift method图5 四步相移法解包裹相位

2 实验结果及分析

本文三维重建实验分为两个部分：①对一个尺寸已知的标准球进行测量，以检验本文三维测量系统精度；②对不规则石膏像进行三维测量。

2.1 标准球测量实验

对一个陶瓷标准球进行三维测量精度对比。陶瓷标准球直径为38.1mm，对标准球进行多次测量，取其一次三维重建后点云结果如图6 所示，将三维点云图通过MAT⁃LAB 程序拟合计算得到其测量值。

Fig.6 Standard sphere object and reconstructed point cloud results图6 标准球实物及重建点云结果

通过多次标准球测量实验可知，系统测量误差约为0.18mm，符合预期结果，说明本文搭建的三维测量系统精度较高，见表2。

Table 2 Measurement results of standard ball experiment表2 标准球实验测量结果

2.2 石膏像测量实验

为直观验证三维重建系统效果，对更为复杂的石膏像进行三维重建，结果如图7 所示。其中图7（a）为石膏像实物图，图7（b）为深度图，其中每个像素点上的值与三维空间中的高度值相对应，图7（c）与图7（d）为重建后的点云结果图。

Fig.7 Plaster objects and reconstructed point cloud results图7 石膏像实物及重建点云结果

经过基本运行及测试后，本系统重建的实验结果如图7（c）和图7（d）所示。从这两张不同角度的石膏像点云图可以看出，本系统能对石膏像三维形貌进行还原，具有较高的精度，证明本文三维测量系统能较好地还原场景中静止的物体表面形貌信息。

3 结语

本文设计了一种基于十六步相移法的高精度三维重建系统。该系统通过相移法获取被测物的包裹相位，并对相位展开，通过相位和高度的映射关系对被测物进行三维重建。实验结果表明，该系统能较好地还原被测物表面的三维形貌，精度可达到微米级。但是，本文在三维重建后获取的是物体某一角度的三维点云，后续要从多个角度对物体进行三维重建，通过点云拼接算法实现物体全貌测量。同时在点云数据处理中，配准速度与精度之间的平衡需作进一步研究。