光栅投影测量中结果可视化显示方法*

陈松林，夏仁波，赵吉宾，胡茂邦，夏中原

(1.中国科学院沈阳自动化研究所 装备制造技术研究室，沈阳 110016；2.中国科学院大学，北京 100049)

光栅投影测量中结果可视化显示方法*

陈松林1,2，夏仁波1，赵吉宾1，胡茂邦1,2，夏中原1,2

(1.中国科学院沈阳自动化研究所 装备制造技术研究室，沈阳 110016；2.中国科学院大学，北京 100049)

光栅投影测量技术作为一种重要的三维测量方法，已在许多领域得到广泛应用，但是均存在测量结果显示不够直观的问题。针对这个问题，提出了一种直接利用光栅投影测量系统中的投影仪将测量结果投影到被测件表面的可视化显示方法，通过对投影仪内参数及其与相机位置关系的标定，可实现投影的测量结果直接和检测区域相对应，因此可大大提高可视化显示的直观性。针对该方法中的核心问题——投影仪标定问题，提出了一种简便的标定方法，可快速完成投影仪参数及其位置关系的标定。实验结果表明，所提标定方法简单有效，标定的平均反投影误差是0.63像素，具有较高的标定精度，采用该标定结果可准确将测量结果投影显示到被测区域，满足可视化显示的要求。

光栅投影测量；可视化显示；投影仪标定

0 引言

光栅投影测量是一种重要的三维测量方法，具有非接触、低成本和高精度等优点，已在工业检测、逆向工程、生物医学、虚拟现实等领域得到广泛的应用[1-3]。在所有这些应用中,检测结果的快速可视化是一项非常重要的步骤。通常情况下，测量仪器将检测结果直接显示在相连的显示器上，在被测件比较大的情况下，如果操作员需要去标记出缺陷区域，那么就必须在屏幕和被测件之间反复来回确认，这将是非常耗时的，并且可能会出错，导致工作效率低下。另外在被测件表面存在许多相似的特征的情况下(例如检测飞机表面铆钉的缺陷)，要将屏幕显示的检测结果与被测件缺陷区域对应起来，将会是非常困难的。针对这些问题，结合光栅投影测量技术所采用的硬件设备，提出一种将检测结果直接投影到被测件表面的可视化显示方法，并且投影的检测结果直接和缺陷区域相对应，避免了操作员需要反复确认的问题，并且结果直观，可大大提高工作效率。该方法的核心是投影仪的标定问题，因此，需要对投影仪的标定方法进行深入研究。

通常情况下，投影仪可看作是“逆向”的相机，借助相机的标定原理来完成投影仪的标定，但是由于投影仪无法“看到”空间标定点，因此，其标定的难点在于怎样获取物平面二维图像坐标和对应的空间点三维世界坐标[4]。国内外许多学者对投影仪标定方法进行了广泛的研究，这些方法主要可分为两大类，一类是已知空间点三维世界坐标，求取物平面二维坐标然后进行标定，这类方法的代表是相位法[5-7]。但是该方法的精度易受投影与采集设备的非线性响应的影响[4,8-10]，因此，在标定投影仪之前，需要先对投影仪与相机的非线性响应进行校正，这无疑增加了相位法进行投影仪标定的复杂度。另一类投影仪标定方法是已知物平面二维坐标，通过求取三维世界点坐标，进行标定。这类方法主要包括交比不变法[11]和反向投影法[4,12-14]。交比不变法通过投影仪向标定板投影预先设计好的标定图案，然后根据交比不变性估算出特征点的三维世界点坐标，然后进行标定，但是由于相机和投影仪镜头存在制造误差，导致得到的图像存在畸变，因此，该方法标定的精度较低。反向投影法与交比不变法类似，亦是通过投影仪向标定板投影预先设计好的标定图案，但是对于三维点的求取方法不同，反向投影法通过标定后的相机求取特征点的三维世界点坐标，由于考虑了相机的畸变，因此求取的三维世界点坐标精度较高，因此，标定精度比交比不变法高。但是，由于该方法需要将标定图案投射到标定板上，因此，需要对相机标定和投影仪标定的图案进行区分。现阶段，多通过设计不同形状的标定图案，或者将投影仪标定图案投射到远离相机标定图案的区域，或者设计不同颜色的标定图案来将两种标定图案区分开来，所有这些方法，均需要重新打印与粘贴相机标定图案，因此，打印与粘贴的精度会对投影仪的标定精度造成影响。在工程应用中，相机的标定多使用高精度的商业标定板，其在制作完成后，表面的标定图案不能再改变，也不允许在其上粘贴标定图案，因此，无法直接采用上述方法对投影仪进行标定。针对这个问题，基于反向投影法，提出一种直接利用高精度的商业标定板进行投影仪参数标定的方法，该方法不受标定板上相机标定图案的影响，因此，具有极强的适应性。

1 可视化显示原理

本文中所采用的光栅投影测量系统如图1所示，由两个CCD相机和一个DLP投影仪构成，测量时通过投影仪向被测件投影一系列光栅图案，然后相机拍摄进行相位求解，将求得的相位作为立体匹配的一个特征量，利用双目立体视觉的方法来求取物体表面的三维点云数据，然后对点云数据中感兴趣的特征区域进行分析，来得到所需要测量的信息。

为了直观地显示测量结果，提高检测效率，可将检测结果通过投影仪直接投影到被测件表面，并且投影信息直接显示在检测区域附近。如图1中需要检测铆钉相对于表面的高低差，检测完成后本文在铆钉表面投射不同的颜色来区别其相对于表面高低差的大小，其中红色表示高低差严重超出范围，蓝色表示稍微超出误差范围，但是仍在容忍的范围之内，绿色表示高低差符合要求，在每一个铆钉区域附近，亦投影出了其实际的高低差数值。通过这种方法，非常直观地将测量结果显示了出来，与直接在显示器上显示测量结果的方法相比，优点非常明显。

本方法中的关键是如何将检测信息准确地投影到检测区域，例如将图1中左上角铆钉的检测信息投影到左上角铆钉上，而不是投影到其它区域。为了阐述可视化显示的原理，以被测件上的点p进行分析，其在左右相机图像中的投影点分别为pl和pr，根据双目标定信息，可以求出其在左相机坐标系下的三维点坐标。将投影仪看作一个逆向的相机，在投影仪上建立与相机坐标系类似的投影仪坐标系，若已知投影仪坐标系与左相机坐标系之间的位置关系，则可将点p在左相机坐标系下的坐标转换到投影仪坐标系下，根据投影仪标定的内参数信息，可以求出该点在投影仪图像平面的投影点pp。如果在pp点设置投影信息，则该信息将会被投影仪投射到被测件上的p点。若已知被测区域的点云数据，根据上述步骤，求出这些点云数据在投影仪图像中的投影坐标，在这些坐标处设置该区域的分析信息，则该信息将会被投射到相对应的检测区域，从而完成检测信息的可视化显示过程。在这个过程中，未知量是投影仪内参数及其与左相机坐标系的位置关系，因此，投影仪参数的标定是本方法的核心问题。

图1 光栅投影测量系统及可视化显示原理

2 投影仪标定

2.1 投影仪标定原理

将投影仪看作一个逆向的相机，其数学模型与相机模型类似，如式(1)所示：

(1)

(2)

A为投影仪的内参数矩阵，R′为3×3的正交矩阵，t′为3×1的平移矩阵，R′与t′表征了空间坐标系与投影仪坐标系之间的变换关系。由于投影仪镜头加工存在误差，导致实际投影过程中会存在畸变，因此，投影仪内参数的标定，即是对A矩阵中ax,ay,u0,v0和其畸变系数进行标定。

如引言所述，投影仪标定的难点在于怎样获取物平面二维图像坐标和对应的空间点三维世界坐标。基于反向投影法的基本思想，建立了如图2所示的投影仪标定系统，首先，通过投影仪向标定板投射预先设计好的标定图案(标定板上红色圆点为投影图案，黑色圆点为标定板原始图案)，即标定图案的物平面坐标是已知的，则标定的重点就在于如何求取投影标定图案的三维空间点坐标。在投影图案时，同时控制相机对标定板进行拍摄，通过图像处理分离出标定板原始图案和投影图案，在标定板上建立如图2所示的世界坐标系OXwYwZw，并结合相机预标定内参数求出相机坐标系OXcYcZc与世界坐标系OXwYwZw之间的转换矩阵。然后从相机图像中提取出投影图案特征点，根据相机数学模型和标定板平面性约束，可求得标定板上投影图案特征点在世界坐标系OXwYwZw下的三维坐标。至此，投影仪标定所需要的物平面坐标和对应的空间点三维坐标均已求出，利用张正友标定法[15]，可对投影仪内参数进行标定。在标定出投影仪内参数后，根据相机坐标系OXcYcZc、投影仪坐标系OXpYpZp与世界坐标系OXwYwZw之间的转换关系，可求得投影仪坐标系OXpYpZp与相机坐标系OXcYcZc之间的转换矩阵。

图2 投影仪标定原理

2.2 投影仪标定步骤

由于需要对相机和投影仪位置进行标定，因此，文中所使用的标定板为双目标定板，如图3所示，两标定圆之间的横纵距离相同，与传统的单目标定板不同，双目标定板中的标志圆是有序的，其顺序通过标定板中央的5个大圆决定。在标定过程中，始终在标定板上建立如图3所示的世界坐标系，坐标原点为左上角标志圆的圆心，xy平面和标定板平面重合，z轴垂直于标定板平面，若两标定圆之间的实际距离为drel，则可将任一圆的圆心在该世界坐标系中表示出来并且所有z坐标值均为0。投影仪投影出来的标定图案与图3所示相同。

图3 双目标定板

投影仪标定的具体步骤如下所示：

(1) 拍摄

由于投影的标定图案与原始标定板图案相同，因此，为了将投影图案与标定板图案区分开，采用连续快速拍摄两幅标定板图像的方法，其中，拍摄第一幅图像的时候，投影仪不投射任何画面，拍摄第二幅图像的时候，投影仪向标定板投射标定图案。在拍摄过程中，要求标定板保持静止不动。拍摄出的图像如图4所示，其中第一幅图像用i1表示，第二幅图像用i2表示。

(a)第一幅图像(i1) (b)第二幅图像(i2)图4 拍摄的图像

(2) 分离标定板图案并进行椭圆提取

由于拍摄过程中标定板静止不动，则i2-i1即为投影出来的标定板图案，用ip表示，如图5a所示，从图中可以看出，分离出来的标定板图案不受原始标定板图案的影响，因此，具有较强的鲁棒性。然后采用椭圆提取的方法，从ip中提取出椭圆，提取结果如图5b中红色部分所示。

(a)标定板图案(ip) (b)提取出的椭圆 图5 分离出的标定板图像

(3) 确定左相机相对于世界坐标系的外部参数

在标定板上建立如图3所示的世界坐标系，对i1中的椭圆进行提取，得到其椭圆圆心图像坐标，并计算标定板上标志圆圆心在世界坐标系中的世界坐标，根据相机标定的内参数与畸变系数，按照文献[15]中的方法，可求出此时世界坐标系相对于相机坐标系的旋转矩阵和平移矩阵。

(4) 计算标定板平面在相机图像中的范围并去除不在范围内的椭圆

从图4b中可以看出，投影仪投影出的图案不一定会完全落在标定板平面上，如果采用不在标定板平面上的点进行标定，将不再满足张正友标定法中平面性约束，标定出的结果将是错误的，因此，必须将不在标定板平面上的投影圆剔除。为了剔除这些投影圆，必须确定出标定板平面在相机图像中的范围，这可通过将标定板上四个边界圆(左上、左下、右上和右下)圆心投影到相机图像平面确定。由于相机的内参数已知，外参数已在上一步中求出，因此，根据式(1)，可求出四个边界圆圆心在相机图像中投影的坐标点，将这四个坐标点依次连接，则围成的四边形内部即为有效的标定板平面，不在该四边形内部的椭圆即视为不在标定平面上，予以剔除。由于实际标定板平面比四个边界圆所围成的区域大，为了充分利用标定板平面，可将四个边界圆圆心坐标稍微向外扩展一点，本文中，将标定板平面上的四个边界圆圆心的世界坐标均向外扩展drel/2，据此，得到的标定板平面在相机图像中的区域如图6a中红色区域所示。移除图5b中不在该区域中的椭圆，得到的结果如图6b所示。

(a)提取出的标定板平面区域 (b)移除不在标定板平面区域内的椭圆图6 标定板区域提取

(5) 计算椭圆圆心在投影仪图像中的图像坐标及其投影点在世界坐标系中的坐标

图6b中所提取的椭圆可能会包含部分错误的椭圆，需要将其去除。另外这些圆心坐标是在相机图像中表示的，需要将其与投影仪图像中的原始标定圆圆心对应起来。由于标定板平面是一个纯平面，因此，该平面诱导了相机图像平面与投影仪图像平面之间的一个单应变换[16]，即：

xp=Hxc

(3)

其中，xp表示投影仪图像坐标的齐次形式，xc是相机图像坐标的齐次形式，H是3×3的可逆矩阵。在标定的过程中，要求投影仪图像中心5个大圆必须投射在标定板平面内，并且在相机图像中被正确的提取与识别出来，由相机图像与投影仪图像中5组大圆圆心的对应性，可求解出H。用Ec表示图6b中提取出的椭圆圆心的集合，根据式(3)，可将Ec转换到投影仪图像中，记转换后的椭圆圆心集合为Ecp，投影仪图像中原始标定圆圆心集合为Ep。在理论情况下，Ecp中的椭圆圆心应该与Ep中的圆心重合，但是由于误差以及Ec中含有错误的椭圆，Ecp中的椭圆圆心与Ep中的圆心并不重合，而是相距一个较小的距离。因此，将Ecp与Ep进行比较，只保留Ecp与Ep中圆心欧式距离小于某一阈值(本文取10个像素)的椭圆，并根据Ecp与Ec的对应性，移除Ec中相对应的椭圆。由于Ec中包含的错误椭圆在投影仪图像中并没有相应的标定圆与其对应，因此，这些错误的椭圆将不会被保留，另外由于Ec中并不包含未被正确投影到标定板平面的标定圆，因此，Ep中与这些相对应的标定圆圆心也会被移除。通过以上这些步骤，使Ec与Ep一一对应起来，并且其中只包含正确的标定圆圆心坐标。至此，标定所需的物平面坐标已经得到。

对式(1)进行化简，得到下式：

(4)

MP=B

(5)

其中，

(6)

(7)

(8)

将Ec中椭圆圆心坐标代入式(5)，可求出其在标定板上对应点的世界坐标，从而得到标定所需的空间三维点坐标。由于相机镜头加工存在误差，实际成像过程中存在畸变，若直接采用式(5)进行空间点计算，则所得到的空间点坐标将会存在较大的误差，用这些点进行投影仪参数标定，则得到的标定结果将是不准确的，因此，首先需要对Ec中图像坐标点进行畸变校正，这里，我们借用Opencv中的undistortPoints函数进行畸变校正。

(6)对投影仪内参数及畸变系数进行标定

移动标定板位置，获得多组投影图案物平面坐标点和三维空间点坐标后，采用张正友标定法对投影仪内参数及畸变系数进行标定。

(7)计算相机坐标系与投影仪坐标系的相对位置关系

在获得投影仪内参数后，对于任意位置的标定板，可计算出左相机坐标系、投影仪坐标系与此时世界坐标系的位置变换关系，分别用Rc,tc与Rp,tp表示，对于任意一点p，如果该点在世界坐标系、左相机坐标系与投影仪坐标系下的非齐次坐标分别为pw,pc与pp，那么有如下关系：

pc=Rcpw+tc

(9)

pp=Rppw+tp

(10)

将上式中pw消去后得到：

(11)

因此，投影仪与相机之间的几何关系可以用以下R和t表示：

(12)

(13)

其中，R表示3×3的旋转矩阵，t为3×1的平移矩阵。

通过以上步骤，即完成了投影仪的标定过程，由于采用了两张图像做差的方法来分离标定板原始图案与投影图案，相比于依靠颜色信息和形状信息来区分的方法，本文方法不用重新设计标定板，标定过程也不受环境光的影响，因此分离过程更加鲁棒，也更加简单；由于在标定过程中去除了未投影到标定平面的标定圆，因此，在标定过程中，标定板可以任意放置，大大简化了标定过程。总体而言，整个标定过程只需人工干涉移动标定板，其它步骤均可自动完成，非常利于在工业检测中使用。

3 实验

为了验证所提标定方法的有效性，采用实验室开发的SIA-SCAN扫描仪(如图7a所示)进行实验测试，其中两相机的分辨率均为1292×964，投影仪的分辨率为1280×800。实验所用的标定板如图7b所示。在实验开始之前，首先需要对两相机内参数及其位置关系进行标定，这里我们采用双目标定法进行标定，标定后的平均重投影误差为0.13像素，满足精度要求。然后基于左相机标定参数，按照上文所提方法，对投影仪内参数及其与左相机位置关系进行了标定，得到投影仪内参数标定的平均重投影误差为0.63像素。投影仪标定精度低于相机的标定精度。由于在投影仪内参数的标定过程中，需要根据相机标定结果求取投影仪空间点的三维坐标，因此，投影仪的标定精度依赖于相机的标定精度。另外，由于在实验过程中采用的是商业投影仪，相对于工业相机，其自身的制造精度是比较低的。以上两个因素的综合影响，造成投影仪的标定精度低于相机的标定精度，但是，由于投影仪标定信息仅仅用于反投影显示，不用于三维重建，因此，该标定精度完全可以满足实际需求。

结合投影仪标定数据，利用前述可视化显示原理，对图8a所示的被测件进行了检测，主要检测内容为铆钉与其周边区域的高低差，并判断检测值是否超出误差范围，超出用红色表示，未超出用绿色表示，并将具体数值投影显示在铆钉旁边。图8b为检测完成后生成的投影仪图像，通过投影仪将该图像投影到被测件表面，则可将检测信息与被测区域对应起来，投影显示的结果如图8c所示，从中可以看出，本文所提方法准确地将检测信息投影到了铆钉区域，并且投影的检测结果直接和缺陷区域相对应，不存在误标记的情况，证明了本文所提反投影显示方法的有效性。该反投影显示方法，避免了操作员需要反复确认的问题，并且结果直观，可大大提高工作效率，在表面检测，视觉辅助装配等领域具有极大的应用价值。

(a)SIA-SCAN三维测量仪 (b)标定板 图7 实验设备

(a)待测件 (b)检测结果投影图像 (c) 检测结果图8 可视化显示结果

4 结论

本文针对光栅投影测量系统结果显示不够直观的问题，提出了一种直接利用该系统中的投影仪将测量结果投影到被测件表面的可视化显示方法，并对可视化显示原理进行了详细的阐述，针对其中涉及的核心问题-投影仪标定问题，提出了一种简便的投影仪标定方法，可快速完成投影仪参数的标定。实验结果表明，该方法可准确地将检测信息投影到被测件表面，显示结果直观，可大大提高检测效率，不需要对原检测系统做任何硬件改动，因此，具有极大的实用价值。

[1] 陈松林, 赵吉宾, 夏仁波. 多频外差原理相位解包裹方法的改进[J]. 光学学报, 2016, 36(4): 147-157.

[2] 陈月玲, 赵吉宾, 齐智峰,等. 管道机器人非接触式自动纠偏方法[J]. 组合机床与自动化加工技术, 2016 (3): 16-19.

[3] 刘江, 梁美芹, 刘晓明. 光栅投影双目立体视觉测量方法的研究[J]. 组合机床与自动化加工技术, 2014(3): 96-100.

[4] 陈会, 密保秀, 高志强. 结构光三维重建系统中投影仪的标定[J]. 科学通报, 2014,59 (12): 1069-1078.

[5] Zhang S, Huang P S. Novel method for structured light system calibration[J]. Optical Engineering, 2006, 45(8): 083601.

[6] 戴小林, 钟约先, 袁朝龙, 等. 单摄像机结构光扫描系统中投影仪标定技术[J]. 机械设计与制造, 2008(8): 194-196.

[7] 韦争亮, 钟约先, 袁朝龙, 等. 单摄像机单投影仪三维测量系统标定技术[J]. 清华大学学报:自然科学版, 2009, 49(2): 202-205.

[8] Pan B, Qian K, Huang L, et al. Phase error analysis and compensation for nonsinusoidal waveforms in phase-shifting digital fringe projection profilometry[J]. Optics Letters, 2009, 34(4): 416-8.

[9] Zhang S, Huang P S. Phase error compensation for a 3-D shape measurement system based on the phase-shifting method[C]. Optics East, 2005.

[10] Zhang S, Yau S T. Generic nonsinusoidal phase error correction for three-dimensional shape measurement using a digital video projector[J]. Applied Optics, 2007, 46(1): 36-43.

[11] 张勇斌, 卢荣胜, 费业泰. 机器视觉中彩色伪随机编码投影系统及标定[J]. 哈尔滨工业大学学报, 2004, 36(1): 59-62.

[12] Fernandez S, Salvi J. Planar-based camera-projector calibration[J]. Image & Signal Processing & Analysis International Symposium on, 2011: 633 - 638.

[13] Kimura M, Mochimaru M, Kanade T. Projector Calibration using Arbitrary Planes and Calibrated Camera[C]. Cvpr, IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2007: 1-2.

[14] 张东, 唐立新. 基于彩色圆形标记投射的投影仪标定方法[J]. 计算机与数字工程, 2011, 39(4): 123-127.

[15] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(11): 1330-1334.

[16] 哈特利. 计算机视觉中的多视图几何[M]. 合肥:安徽大学出版社, 2002.

(编辑李秀敏)

VisualDisplayMethodforGratingProjectionMeasurementSystem

CHEN Song-lin1,2, XIA Ren-bo1, ZHAO Ji-bin1, HU Mao-bang1,2, XIA Zhong-yuan1,2

(1.Equipment Manufacturing Technology Department，Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China;2.University of Chinese Academy of Sciences, Beijing 100049, China)

As an important three-dimensional measurement method, grating projection measurement has been widely used in many fields, but there are problems that the measurement results are not intuitive. Aiming at this problem, a visual display method of projecting the measurement result to the surface of the inspected object is proposed by using the projector in the grating projection measuring system. The measurement result can be directly projected to the corresponding detection area after calibrating the projector's intrinsic parameters and its relationship with the camera position. Thus, there is a large boost in terms of the intuitive display. Aiming at the core problem of this method-projector calibration, a simple calibration method is proposed, which can quickly complete the calibration of projector’s intrinsic parameters and its relationship with the camera position. The experimental results show that the proposed method is simple and effective, and the average re-projection error is 0.63 pixels. Thus it has a high precision and can meet the requirements of visual display.

grating projection measurement; visual display; projector calibration

TH16;TG506

：A

1001-2265(2017)09-0040-05

10.13462/j.cnki.mmtamt.2017.09.011

2016-11-17；

：2016-12-26

国家科技支撑计划资助项目(2015BAF08B01)； 国家自然科学基金项目(51375476)

陈松林(1990—)，男，山西永济人，中国科学院沈阳自动化研究所博士研究生，研究方向为三维测量，(E-mail)chensonglin@sia.cn。