基于投影仪和摄像机的结构光视觉标定方法

刘俸材，李爱迪，马泽忠

1.重庆市国土资源和土地房屋勘测规划院，重庆 400020

2.国家遥感应用工程技术研究中心 重庆研究中心，重庆 400020

基于投影仪和摄像机的结构光视觉标定方法

刘俸材1，2，李爱迪1，2，马泽忠1，2

1.重庆市国土资源和土地房屋勘测规划院，重庆 400020

2.国家遥感应用工程技术研究中心 重庆研究中心，重庆 400020

利用计算机视觉技术实现三维物体的扫描和场景恢复，在产品质量检测、机器人导航、逆向工程、物体识别以及文物保护和修复等方面有着广阔的应用前景[1]。典型的计算机视觉技术有基于双目立体视觉技术的被动视觉测量和基于结构光视觉的主动视觉测量[2]，而双目立体视觉技术存在一个难以克服的问题，就是立体匹配，避免立体匹配的一种有效方法就是采用结构光视觉[3]。

结构光视觉传感器的标定过程包括两部分，一是摄像机内参数的标定，二是结构光参数标定即求取光栅与摄像机之间的相对位置关系[4]。摄像机内参数的标定已经有通用的算法[5]，因此摄像机传感器标定的主要内容就是结构光参数标定。目前，已经有很多学者对结构光参数标定进行了深入的研究，取得了一定的成果。如R. Dewar和K.W.James使用的“拉丝法”[6]、段发阶提出的“锯齿把法”[6]、Reid于1996年提出的一种由已知平面和图像点的匹配直接获得摄像机像平面点与结构光光平面点的转换关系的方法[6]。但是目前，所有的结构光视觉标定算法都只求解摄像机图像平面与特定的结构光平面的位置关系，而一旦光平面的空间位置发生了改变，则需要通过重新标定才能求取新的空间点坐标。

为实现结构光视觉一次性标定后，可以实现任意光平面的三维测量，本文通过求取摄像机光心和投影仪光心之间的相对位置关系，可以确定摄像机图像平面与投影仪投射的任何光平面的空间位置关系，从而实现对投影仪投影的任意光栅位置进行测量。

1 结构光视觉模型

结构光视觉测量原理如图1所示。图中，Oc为摄像机的光心，XcYcZcOc为摄像机坐标系；Op为投影仪的光心，XpYpZpOp为投影仪坐标系。

图1 结构光视觉模型

由于投影仪投影的光平面在投影仪坐标系中的坐标可以通过投影仪的各项参数计算出来，并且投影在被测物体上的光条可以通过摄像机标定确定其在摄像机坐标系中应满足的关系，如果知道摄像机坐标系与投影仪坐标系之间的相对位置关系，则可以求解出被测物体上的光条在摄像机坐标系或者投影仪坐标系中的具体坐标[7]。如何求取摄像机坐标系与投影仪坐标系之间的旋转矩阵R和平移向量T，即摄像机光心和投影仪光心之间的相对位置关系，就是本文要解决的问题。

2 特征点在投影仪坐标系中的坐标

本文利用标定板中的4个角点作为特征点，该4个特征点构成一个长方形，如图2所示。通过计算该四个角点在投影仪坐标系和摄像机坐标系中的坐标，求取投影仪光心和摄像机光心之间的相对位置关系。本文分两步求取特征点在投影仪坐标系中的坐标，即先求取特征点在投影仪坐标系中的XY坐标，然后求取Z坐标。

图2 标定板上的特征点

2.1 特征点在投影仪坐标系中的XY坐标

首先，固定好标定模板并调节投影仪的位置，使投影仪的光轴垂直于模板平面并通过由四个特征点构成的长方形的中心。为实现这个目标，可以通过投影一个十字光栅来检测投影仪的光轴是否通过特征点构成的长方形的中心。为实现投影仪的光轴垂直于标定模板平面，可以通过调节投影仪的位置并检测投影图像是否为完美的长方形。如果投影仪投影的图像为梯形，则投影仪的光轴于模板平面不垂直，可以通过调节投影仪摆放姿态实现投影完美的长方形图像。

不失一般性，将标定板上特征点组成的长方形的中心作为世界坐标系的原点[8]，X轴水平向右，Y轴竖直向下，Z轴指向标定板里面。投影仪坐标系以投影仪光心为原点，三个轴的方向与世界坐标系相同。由于投影仪的光轴垂直于模板平面且穿过世界坐标系的原点，因此投影仪坐标系的XY平面与世界坐标系的XY平面平行，空间点在两个坐标系中的坐标只有Z轴方向存在差异。因此，四个特征点在世界坐标系和投影仪坐标系中具有相同的X、Y坐标，图中标定板每格的大小为30 mm× 30 mm，因此四个角点在世界坐标系中的坐标分别为（－60，－60，0）、（60，－60，0）、（－60，60，0）、（60，60，0），在投影仪中的坐标为（－60，－60，z）、（60，－60，z）、（－60，60，z）、（60，60，z）。这里的z本质上就是世界坐标系和投影仪坐标系在z轴上的距离[9]。

2.2 特征点在投影仪坐标系中的Z坐标

首先，将投影仪调整到一个合适的位置，要求投影仪的光轴垂直于模板平面且通过四个特征点构成的长方形的中心，记录下投影图像在模板平面上的宽度L1。然后将投影仪向后移动一段距离L，并使得移动后的投影仪仍然满足光轴垂直于模板平面且通过四个特征点构成的长方形的中心，记录下投影仪投影图像的宽度L2，两次投影十字光栅校正投影仪位置的图像如图3，图4所示。

图3 初始位置投影“十”字光栅

图4 改变位置后投影“十”字光栅

求取特征点在投影仪坐标系中的z坐标的原理如图5所示。为方便计算，将图5简化如图6所示。

图5 结构光视觉标定原理图

图6 结构光视觉标定原理简化图

在本文实验中，L=244，L1=270 mm，L2=390 mm，则z=793 mm，故标定模板上的四个角点在投影仪坐标系中的坐标分别为：（－60，－60，793）、（60，－60，793）、（－60，60，793）、（60，60，793）。

3 结构光视觉标定

由于摄像机坐标系和投影仪坐标系均为正交坐标系[2，10-11]，故可以用一个3×3的矩阵 R和3×1的向量T来表示上述两个坐标系之间的相对位置关系。设某空间点在投影仪坐标系中的点为(xp，yp，zp)，在摄像机坐标系中的点为(xc，yc，zc)，则有：

由公式（3）可得：

由于投影仪的光轴垂直于标定板并通过四个特征点构成的长方形的中心，故可以用(-x，-y，z)、(x，-y，z)、(-x，y，z)、(x，y，z)来表示四个角点在投影仪坐标系中的坐标。再利用张正友灵活标定算法求取四个特征点在摄像机坐标系中的坐标，并将这四个特征点的坐标值代入式（4）、式（5）便可求解r11，r12，r21，r22，r31，r32。又由于矩阵R是单位正交矩阵[12]，故

最后，结合 r1·r3=0和 r2·r3=0确定 r13、r23、r33的符号，从而计算出r13、r23、r33。再将矩阵 R的相应元素代入公式（3），从而计算出tx、ty、tz。至此，已经成功求取摄像机光心与投影仪光心之间的相对位置关系，即旋转矩阵R和平移向量T。本文实验结果如下：

4 投影任意光栅的三维测量

为计算投影仪投影在被测物体上的任意光栅条纹在投影仪坐标系中的坐标，现将投影仪投影模型简化如图7所示。图中，虚线和实线投影仪分别代表标定阶段移动前和移动后的投影仪位置。假设投影仪的投影夹角为α，则有：

图7 光栅条纹在投影仪坐标系中的坐标计算

现设屏幕图像中心的坐标为(u0，v0)，屏幕图像宽度为2w（单位：像素），横坐标为u的光栅条纹与投影仪主轴的夹角为β，则有：

因此，屏幕图像上的任意光栅平面（假定横坐标为u）在投影仪坐标系中的坐标为：

设被测物体上的光栅点在摄像机坐标系中的坐标为(xcyczc)，在投影仪坐标系中的坐标为(xpypzp)，则有：

上式中，3×3的旋转矩阵R和3×1的平移向量T已通过结构光视觉标定求解。由于光栅在屏幕图像中的横坐标u为已知，且投影仪坐标系中的点满足公式（10），则：

上式中，L1、L2、d为标定过程中的已知量，w为显示器屏幕宽度的一半（单位：像素），u0为屏幕中心像素的横坐标，p为标定系数。

由摄像机成像原理可得，摄像机坐标系中的点(xcyczc)与其在采集得到的图像上的对应点的坐标(ux，vx)满足如下关系：

上式中，M为3×3的摄像机内参数矩阵，已通过第2章摄像机标定求解，c为变量系数。对于摄像机采集得到的图像上的任意点(ux，vx)，根据公式（13）可得：

由公式（14）可得：

现将式（15）中计算所得(xc，yc，zc)代入公式（11）可得：

上式中，c为未知参数，因此要求解(xpypzp)至少需要四个方程，而公式（16）实际上只有三个方程，现结合公式（12）可得：

在公式（17）中，旋转矩阵R和平移向量T已通过结构光视觉标定求解，故公式（16）中，可以通过三个方程求解三个未知数，从而可计算出(xpypzp)及参数c。

由于(ux，vx)为显示屏幕上的任意点的坐标，因此，可以利用该方法求取投影仪投影在物体上的任意光栅条纹在投影仪坐标系或者摄像机坐标系中的坐标，从而实现连续快速的扫描和测量。

5 实验与结论

本实验使用维视MV-1300UM摄像机（分辨率均为640×480，像元尺寸为5.2 μm×5.2 μm）和明基DS550数字投影仪组成结构光视觉系统并进行标定，用标定后的结构光视觉系统测量精度较高的标定板（角点数为15×9，每格的大小为30 mm×30 mm）上各角点之间的距离，并与双目立体视觉系统[13]测量的结果进行比较，测量结果如表1所示。

通过表1的数据可以看出，采用本文算法标定结构光视觉系统的测量精度明显高于双目立体视觉系统，其相对误差小于0.3%，仅为双目立体视觉系统的1/3左右，其绝对误差也小于0.4 mm。实验结果表明该结构光视觉标定算法可以应用于工艺品扫描、文物保护和恢复等领域。由于结构光视觉系统的测量精度主要受系统标定误差、图像特征提取误差、测量物距等因素的影响，可以通过多次标定视觉系统求取平均值、利用亚像素特征提取算法、减小测量物距等方法，进一步提高测量精度。

表1 测量结果

6 结束语

利用数字投影仪和摄像机组成结构光视觉系统，再利用张正友灵活标定算法求取摄像机内参数以及标定板上的四个特征点在摄像机坐标系中的坐标，接着计算四个特征点在投影仪坐标系中的坐标，从而求取摄像机光心与投影仪光心之间的相对位置关系，实现结构光视觉标定。结合投影仪自身的参数，求取投影仪投影的任意光平面与摄像机坐标系之间的空间位置关系，因此可以求解投影仪投影在被测物体上的任意光栅的空间坐标，实现三维测量和扫描。并通过对精度误差为0.05 mm的标定板进行多次测量，实验结果的最大相对误差为0.277%，表明该方法可以应用于标定基于投影仪和摄像机的结构光视觉系统。

[1]Thomas P K，Luc V G.Real-time range acquisition by adaptive structured light[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2006，28（3）：432-445.

[2]陈天飞，马孜，吴翔.基于主动视觉标定线结构光传感器中的光平面[J].光学精密工程，2012，20（2）：256-264.

[3]吴彰良，卢荣胜，宫能刚，等.线结构光视觉传感器结构参数优化分析[J].传感技术学报，2004，8（4）：709-712.

[4]Wang A Q，Shao L T.A simple method of radial distortion correction with center of distortion estimation[J].Journal of Mathematical Imaging and Vision，2009，35：165-172.

[5]孙军华，张广军.结构光视觉传感器通用现场标定方法[J].机械工程学报，2009，45（3）：174-177.

[6]张广军.视觉测量[M].北京：科学出版社，2008：134-148.

[7]Bradski G，Kaebler A.Learning OpenCV[M].Beijing：Tsinghua University Press，2009.

[8]Zhang Zhengyou.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis And Machine Intelligence，2000，22（11）：1330-1334.

[9]周富强，蔡雯华.基于一维靶标的结构光视觉传感器标定[J].机械工程学报，2010，46（18）：7-13.

[10]Zhang G X，Liu S G，Qiu Z R.Non-contact measurement of sculptured surface of rotation[J].Chinese Journal of Mechanical Engineering，2004，17（4）.

[11]David A，Forsyth，Ponce J.Computer vsion—a modern approach[M].Beijing：Tsinghua University Press，2004.

[12]薛婷.三维视觉监测仪器化关键技术研究[D].天津：天津大学，2006.

[13]刘俸材，李爱迪，马泽忠.结构光视觉系统误差分析与参数优化[J].计算机工程与设计，2013，34（2）：757-761.

LIU Fengcai1，2，LI Aidi1，2，MA Zezhong1，2

1.Chongqing Institute of Surveying and Planning for Land Resource and Buildings,Chongqing 400020,China
2.Chongqing Research Center,National Engineering Technology Research Center for Remote Sensing Applications,Chongqing 400020,China

To get continuous scanning of the structured-light vision system which is based on the projector and camera,it is needed to calculate the space position relationship between any light plane of the projector and image plane of the camera. Also the relative position between optical centre of camera and projector requires to be obtained.This paper settles the camera intrinsic parameters.Four corner points in the calibration board are used as characteristic points,also their extrinsic parameters are computed by using the intrinsic parameters of the camera.So coordinates of four characteristic points in the camera coordinate system can be found.The coordinates of the four characteristic points in the projector coordinate system can be computed by using the parameters of the projector itself.Thus,the relative position between optical center of camera and projector is obtained.That’s the process of calibration of structured-light based on camera and projector. The angular distance between corner points on calibration board is measured by structured-light vision system that has been calibrated above.The maximum relative error is 0.277%,which indicates that the calibration algorithm can be used in structure-light vision system based on projector and camera.

structured-light vision；calibration method；camera calibration；3D recovery

为实现基于投影仪和摄像机的结构光视觉系统连续扫描，需要计算投影仪投影的任意光平面与摄像机图像平面的空间位置关系，进而需要求取摄像机光心与投影仪光心之间的相对位置关系。求取摄像机的内参数，在标定板上选取四个角点作为特征点并利用摄像机内参数求取该四个特征点的外参数，从而知道四个特征点在摄像机坐标系中的坐标。利用投影仪自身参数求解特征点在投影仪坐标系中的坐标，从而计算出摄像机光心与投影仪光心之间的相对位置关系，实现结构光视觉标定。利用标定后的视觉系统，对标定板上的角点距离进行测量，最大相对误差为0.277%，表明该标定算法可以应用于基于投影仪和摄像机的结构光视觉系统。

结构光视觉；标定方法；摄像机标定；三维恢复

A

TP212.14

10.3778/j.issn.1002-8331.1303-0421

LIU Fengcai，LI Aidi，MA Zezhong.Method for calibration of structured-light vision based on projector and camera. Computer Engineering and Applications,2014,50（24）：168-172.

刘俸材（1985—），男，硕士，主要研究领域为计算机视觉；李爱迪（1979—），男，高级工程师；马泽忠（1972—），男，土家族，博士后，正研级高级工程师。E-mail：524075200@qq.com

2013-03-27

2013-07-17

1002-8331（2014）24-0168-05

CNKI网络优先出版：2013-08-28，http∶//www.cnki.net/kcms/detail/11.2127.TP.20130828.1540.006.html