立体标靶辅助多节点三维形貌测量与恢复技术

王 晨，丁宇航，孟召宗，肖艳军，高 楠，张宗华

（河北工业大学机械工程学院，天津 300401）

0 引言

光学三维测量技术具有快速、非接触、高精度等优点[1-3]，有着广阔的发展前景。为了改善复杂形貌物体自身的遮挡、传统测量系统视场限制造成的信息采集盲区问题[4]，本文采用双相机和单投影仪组成的多节点系统进行测量。利用此系统测量具有复杂形貌目标，可同时得到不同角度的形貌信息。为了在同一个坐标系中显示物体全貌，此时一般采用迭代最近点（Iterative Closest Point，ICP）算法[5]进行对应点匹配，但该算法受到对应点对选取错误的影响，产生错配的现象。因此，专家学者们对其进行了改进。许斌等[6]利用点面距离误差函数，提出一种先集合主曲率相近的点对，再以曲面拟合的平均间距作为域值进行算法优化，但匹配耗时较长；郎萍等[7]基于旋转图像特征描述子进行噪声点剔除，找出2个点云的关键点，分别求解图像特征描述子，通过描述子的相似程度来确定对应点，但算法复杂性导致效率低；刘江等[8]利用k-Dimension tree提高对应点的查找速度，但其匹配精度受到最终节点储存的三位点数影响，不够稳定。针对以上问题，本文研究了改进的ICP算法，通过在迭代过程中不断进行不可见点和噪声点的剔除，提高了算法的稳定性，对于自由形貌的物体测量有一定价值。为了获得更好的匹配效果，在融合之前需要输入初始参数，这就需要标定多节点系统[9-11]。系统标定传统的标定物是平面标靶[12]，但受视角限制，平面标定板在多节点系统标定存在时间长、过程复杂、引入累计误差等问题。针对这些问题，专家们对立体标靶标定技术进行了研究。孙军华等[13]提出了一种柔性立体标靶，将小平面标靶根据相机视场范围摆放并组合，定位各个平面标靶之间的关系，将所有特征点统一到一个坐标系中，形成大范围特征点，经实验验证，精度相比同视场范围的大尺寸平面标靶有所提升，但标靶的标识点提取精度需要进行改善。张翰等[14]研究了一种二面靶标，左右面互相垂直，可提供标定所需的大范围数据点。经实验验证，该标靶可对目标物进行精确测量以及形貌恢复，简化了标定步骤并且降低了标定成本，但在精度方面存在提升空间。针对以上问题，本文构建了两面结构的立体标靶，各个标靶平面上附着规格已知的圆环特征点，二面角可根据系统特点而调整。在多节点系统中，立体标靶可以同时标定系统空间参数，在减少操作复杂度的同时避免累计误差的产生，简化了标定流程，使系统更加快速、精确地进行测量以及数据匹配。根据系统特点，标靶的平面数量可以扩展，以适应不同相机个数的角度需求。基于立体标靶标定法，本文进行了多节点系统标定及测量实验，对得到的不同角度三维数据利用改进ICP算法进行了融合。

1 系统测量及数据拼接原理

1.1 多节点三维测量的原理

为了改善单目系统带来的数据缺失的问题，本文采用多节点三维测量系统进行测量。系统包括一台DLP投影仪，2台CCD相机，2个子系统共用一个投影仪。测量方案示意图如图1所示。

图1 多节点系统测量流程示意图Fig.1 Measurement flow chart of multi-node system

多节点测量系统过程为：计算机产生正弦条纹图，投影到被测物表面；2个摄像机同时采集变形条纹图，将图像输入计算机中进行数据处理；利用相关算法原理进行软件编程，利用相关程序进行相位计算；利用标定实验得到的参数，恢复物体的2 个角度的三维数据；最后将2 组三维数据转换到相同的坐标系中，得到被测物完整的三维形貌。

1.2 改进的ICP 算法融合原理

系统完成标定后，利用多节点系统进行测量，可同时获得2个视角的三维点云数据。理论上通过标定获得的转换系数可将2个点云数据恢复到一个坐标系中，但在实际过程中存在误差，2个点云数据无法正确融合。对此问题，我们一般采用ICP 算法进行对应点匹配。该算法的基本原理是：按照一定的约束条件，在目标点云P中，找到源点云Q中一点的最邻近点(pi,qi)，计算出最优转换关系R、T，使得E(R,t)最小。如式（1）所示：

式中：n为邻近点对的个数；pi为目标点云P中的一点；qi为点云Q中与pi的对应点；R为旋转矩阵；T为平移向量。ICP算法流程如图2所示。通过标定获取迭代初始值，将2个点云进行粗匹配后，进行对应点对的查找，并计算最优转换参数。

图2 ICP 算法流程图Fig.2 Flowchart of ICP algorithm

但噪声点和不可见点使ICP 算法在对应点确定上面临很大困难，导致2 片点云数据无法正确匹配。因此采用改进的ICP 算法进行数据匹配，在迭代过程中不断剔除不可见点和噪声点，使2 组点云数据正确匹配。一组正确的对应点对，应满足4 个条件，如下所示。其中p1是点云1上的点，p2是点云2上与p1对应的点。

1）p1和p2两点的欧氏距离理论上为零。经过课题组大量实验，得到最优参数，可设两点距离为采样距离的2.5倍。

2）p1和p2两点在左右相机的公共视场内，若对应点对中存在一个不可见点（即假设在点云1中可见的点，由于遮挡的原因，在点云2中可能不可见的点），则剔除此点对。

3）p1和p2两点法向量相同。若两点法线之间夹角大于45°，则剔除此点对。

4）p1和p2保证一一对应，即2个点云间保证一一对应。

利用上述4个条件，在ICP算法每一次迭代过程中剔除不满足条件的点对，直到对应点之间距离方差ME小于给定阈值T，即得到2片点云数据最佳转换匹配参数。流程图如图3所示。

图3 改进ICP 算法流程图Fig.3 Flowchart of improved ICP algorithm

2 立体标靶标定系统参数

2.1 立体标靶的构建

在现有的多节点系统标定方法中，基于标靶法是最常见的方法。针对多节点系统关系标定，本文设计了二面结构立体标靶，与平面标靶相比，可实现不同视场角度的多节点系统参数同时标定，减少累计误差的产生。

本文设计的立体标靶是2 个平面组成的立体结构，各个靶标平面上附着规格已知的特征点。图4a）为立体标靶的结构示意图，图4b）是立体标靶实物图，2个平面连接处用特殊图案标识，用于区分左右两面。

图4 两面立体标靶的结构示意图和实物图Fig.4 Schematic diagram of the structure and physical picture of two-sided stereoscopic target

立体标靶的标识点大小以及二面角的确定与圆环中心提取精度有关，利用仿真实验对标识点参数进行确定。

设世界坐标系中圆上一点的齐次坐标为p=[Xw,Yw,Zw,1]T，投影后对应点的齐次坐标为p′=[u,v,1]T。其坐标转换关系如式（2）所示：

式中；αx=（f是摄像机焦距，dx是每一像素在x轴方向上的物理尺寸）；αy=（f是摄像机焦距，dy是每一像素在y轴方向上的物理尺寸）；u0，v0是在图像坐标系中的中心点坐标（即相机光轴与图像平面的交点）；R和T分别为摄像机外部参数。

利用计算机仿真产生椭圆标识点图像。设世界坐标系中物平面上圆环的圆心为(0,0)，αx=1 200，αy=1 200，u0=1 280，v0=960，则相机内参为

相机相对物平面的圆环标识点的位置参数为：围绕x轴的偏转角度为α=，围绕y轴的偏转角为β=-，围绕z轴的偏转角为γ=；沿x、y方向偏移为0，z方向偏移tz=600。在偏转角度存在的情况下，空间同心圆环图像经相机成像模型会变成中心分离的双椭圆图像，利用边缘检测技术及椭圆拟合技术得到内外椭圆的圆心坐标，通过圆环模型计算得到校正的中心坐标。通过计算机仿真，研究当圆环内外半径大小、内外半径之比以及相机光轴与空间圆环标识点所成角度的关系。下文的偏心误差指的是利用校正算法计算得到的中心点与实际中心点之间的实际距离，即欧氏距离。设定外圆半径r1，内圆半径为r2。

设r1取值范围为30～200 pixels，r2=20 pixels，取样间隔为10，则r1r2取值范围为1.5～10。利用圆环偏差校准技术计算离心偏差，实验结果如图5a）所示。随着外圆半径的增加，即外圆半径与内圆半径比越大，偏心误差越大。设定r1r2=2。设r2变化范围为10～65像素，则r1的变化范围为20～130像素。通过校正算法计算实际中心点，计算离心偏差。实验结果如图5b）所示。r1r2=2，即比值一定时，随着外圆与内圆半径的增加，偏心误差越大。即在定制技术能达到的情况下，尽量选择较小的同心圆环。设r2=16 像素，r1=32 像素，相机绕y轴转动角度范围为0～1.4 rad，离心偏差结果如图5c）所示。可以看出，本文算法定位精度随旋转角度的变化而变化。

图5 离心偏差与圆环大小以及偏转角度的关系Fig.5 Relationship between centrifugal deviation and ring size and deflection angle

通过以上仿真实验结果可以看出，圆环中心提取精度与圆环内外圆半径、圆环内外圆半径比以及相机拍摄圆环角度均有关。当圆环内、外圆半径越小，中心定位偏差越小；内外圆环半径比为1.5时，中心定位偏差小；当相机与圆环旋转角度为0时，离心偏差最小。

由以上结论，本文采用的立体标靶由2个平面组成，每个平面由特殊定制的带有9×12个离散黑色圆环标识点的瓷质高精度标定平板构成，定制精度达到2 μm，内外半径分别为1 mm和1.5 mm的圆环作为标识点。两相邻圆环标识点在水平和垂直方向的距离均为7.5 mm，外形尺寸为101.6 mm×101.6 mm。立体标靶左平面由一个旋转台为底座，固定在固定板上，干板夹固定左平面，由螺旋高度调节架链接旋转台；右平面由角度高度均可调的支架连接干板架固定，与左平面同样固定在同一个固定板上。通过移动固定板，可以稳定移动立体标靶。由上可得，立体标靶结构稳定，移动方便，可用于三维系统标定。标靶的左右平面上分布着圆环标识点，利用标识点中心自动提取技术可以计算标定板的空间位置，从而脱离水平移动台的使用，简化实验操作。立体标靶二面角α需要根据两相机的光轴夹角β来决定，角度与光轴夹角互补，如图6所示。

图6 立体标靶二面角与光轴夹角关系示意图Fig.6 Schematic diagram of the relationship between dihedral angle and optical axis angle of stereo target

投影仪与相机的光轴夹角是系统结构设计中一个重要的参数。由文献分析[15]得相机与投影仪光轴夹角越小，测量精度越高。但是系统的测量角度会受到制约，产生遮挡。因此，需要综合考虑夹角对测量结果以及系统视角产生的多重影响。通常测量系统的光轴夹角选择在20～30°之间。根据系统搭建情况本文左右相机夹角45°，即立体标靶二面角设定为135°，立体标靶的构建至此完成。

2.2 立体标靶标定系统参数

通过构建的立体标靶可计算系统参数。通过圆环中心点自动提取技术进行中心点提取。利用标定板提取得到的标识点像素坐标m=[u,v]T，以及已知的世界坐标M=[XW,YW,ZW]T，建立对应关系如式（3）所示：

将坐标带入后，式（3）变形为式（4）所示：

式中，A是已标定的相机内参，由上式可求出外参R,T。其中，立体标靶左面记为平面l，以其所在平面为XOY面，过平面原点垂直于平面的轴为Z轴建立测量坐标系。则可得到左相机外参R,T，同理可得右相机外参R′,T′。设左相机坐标系中一点为X1，左相机坐标系中一点为X2，则相机之间的参数R0,T0为

则可得

3 实验及结果分析

3.1 多节点系统测量实验

为了验证本文提出的方法，构建了多节点三维测量系统，并在立体标靶标定实验完成后进行了测量实验，如图7所示。为了减少外界震动对实验结果的影响，系统搭建在稳定的光学平台上。多节点三维测量系统包括1台DLP投影仪，2台CCD相机，计算机控制左右两台相机和投影仪。将被测物石膏像放置在系统成像范围内，各相机分别采集包含被测物深度信息的变形条纹图。

图7 多节点测量系统实物图Fig.7 Physical diagram of binocular system measurement system

如图8为左相机拍摄的实验及数据处理图像以及恢复的三维形貌图。图9为右相机拍摄的实验及数据处理图像以及恢复的三维形貌图。由恢复的三维形貌可看出，该系统可测量复杂形貌物体。

图8 左相机拍摄的纹理图、条纹图、展开相位图和左相机视角恢复的三维形貌Fig.8 The texture image,the fringe pattern and the unfolded phase diagram taken by the left camera,and the three-dimensional topography restored from the angle of view of the left camera

图9 右相机拍摄的纹理图、条纹图、展开相位图和右相机视角恢复的三维形貌Fig.9 The texture image,the fringe pattern and the unfolded phase diagram taken by the right camera,and the three-dimensional topography restored from the angle of view of the right camera

在进行三维数据匹配之前，要得到系统之间的标定参数，即获得算法迭代初值。利用立体标靶标定相机之间的外参如下所示：

如图10a）和b）所示，分别为左相机视角的三维点云数据、右相机视角的三维点云数据。利用标定好的系统参数以及改进的ICP 算法进行数据匹配，如图10c）所示。对于图10a）和b）石膏像存在盲区的部位进行局部放大，如图11a）和b）所示，匹配后如11c）所示。可见多节点测量系统能够有效解决测量遮挡的问题，同时扩展了测量的角度。左相机系统测量角度为右相机盲区部分角度与公共可见区域角度之和，则双视角系统在此基础上可增加左相机盲区部分测量角度，即多节点系统有效增大了系统测量视场。如图12所示，改进的ICP算法随着迭代次数的增加，均方根误差收敛于较小值。

图10 左右相机视角的三维点云数据和完整点云数据Fig.10 3D point cloud data and complete point cloud data from the perspective of left and right camera

图11 左右相机三维图遮挡部位放大图和匹配后完整点云数据遮挡部位放大图Fig.11 Enlarged view of the occluded area in the 3D image of the left and right cameras,and enlarged view of the occluded area in the matched complete point cloud data

图12 不同迭代次数的误差Fig.12 Errors of different fitting times

3.2 精度评价实验

本文采用间距数据已知的台阶进行精度定量评价，如图13 所示。投影仪投射12 幅条纹到台阶上，计算展开相位图。利用系统参数恢复出台阶的三维形貌，根据三维数据，分别进行相邻两个台阶的平面拟合，得到测量间距，并与标准值相比较。表1 和表2为由左右相机系统测量的台阶结果。由上表得出，台阶深度测量中绝对误差小于0.053 mm，由此可得出本文提出的方法可以实现深度精确测量。

表1 左相机恢复台阶测量结果mmTab.1 Measurement results of steps taken by left camera

表2 右相机恢复台阶测量结果mmTab.2 Measurement results of steps taken by right camera

图13 精度评价台阶实物图Fig.13 Physical drawing of accuracy evaluation steps

4 结论

针对本文构建的多节点测量系统，研究了一种基于立体标靶的测量方法与数据拼接技术。首先构建了一个两面立体标靶，根据数据分析选定相应规格的标识点，根据系统特点选定二面角。为了验证此技术，本文搭建了多节点系统进行实验。经实验验证，本方法可同时完成多节点系统参数标定，减少误差累积。多节点系统一次测量获得不同视角的三维数据，根据立体标靶标定技术可确定迭代初始参数，利用改进的ICP算法，每次迭代过程中剔除噪声点，进行数据匹配，并获得了无遮挡的完整三维形貌。由实验结果可得出，本文提出的方法可以精确进行自由物体测量，实测误差小于0.053 mm。