稳定高精度的双目立体视觉测量系统标定方法

何万涛,　梁永波,　李景贺

(黑龙江科技大学 现代制造工程中心, 哈尔滨 150022)



稳定高精度的双目立体视觉测量系统标定方法

何万涛,梁永波,李景贺

(黑龙江科技大学 现代制造工程中心, 哈尔滨 150022)

为了提高和稳定双目立体视觉结构光测量系统的精度,提出一种简单有效的标定流程及基于极线几何约束优化双目立体视觉结构光测量系统外部参数的方法。采用平面板标定理论分别标定左右摄像机的内部参数,将标定的内参数作为双目标定的内参数在多视角下标定双目测量系统的外部参数。利用极线几何约束,通过最小化多视角下同一对应点的极线误差，优化计算双目测量系统的外部参数。实验结果表明,该方法计算得到的双目测量系统参数使得测量系统在整个测量空间体积内的测量精度高且稳定,在双目立体视觉测量系统的工业化检测应用中具有重要的意义。

双目立体视觉; 结构光; 测量; 系统标定; 极线几何

0　引　言

近年来,随着计算机和数字图像处理技术的快速发展,结构光双目测量系统,因其非接触、测量速度快、低成本、高精度和结构简单易于实现等优点,在逆向工程、产品检测等领域得到了广泛的应用[1-2]。双目测量系统的标定精度直接影响着零件的最终测量精度,只有十分准确的标定出相机的相对位置关系转换矩阵才能完成高精度的测量[3]。

摄像机标定就是通过拍摄场景中多个不同位置的带有棋盘格或圆点等特定几何图像特征的标定物图像,根据摄像机模型建立标定物特征点的二维图像坐标和三维世界坐标的对应关系,最小化反投影误差来求取摄像机模型内外参数的过程[4]。标定过程中多个位置的不同图像用来计算得到一组摄像机内参数和每个位置的外参数,有多少幅图像参与计算,就可以相应的计算得到多少组外参数。不同标定位置上计算的外参数由于标定物的位姿、清晰度、光照、噪声等因素,精度会有所不同,所以三维点的计算过程中用哪组外参数是双目测量的关键问题[5]。通常的做法,一种是直接取标定过程中的第一幅图像获得的外参数作为双目测量系统的外参数。另一种方法是用不同位置的外参数矩阵计算反投影误差,哪组外参数的反投影误差最小,就用哪组外参数作为双目测量系统的外参去计算三维点。但是这样做的问题是,单个位置的反投影误差只能保证在这个标定物的位置上三维点精度最高,在双目测量系统的测量空间内不同的位置精度差异很大,这对于精密测量是一个致命的问题。文献[6]提出了一种双目视觉的光束平差算法,构建了双目视觉光束法平差方程来优化摄像机的内外参数。光束平差算法是同时优化多位姿下标定特征点反投影误差和摄像机内外参数而获得最优解的方法。但是这种方法的缺点是,在多个视角下的公共标定特征点的数量如果不够多将会优化失败[7]。文献[8]提出了一种同心圆与合成图像匹配的算法,通过定义双目匹配、三维重建得到的点距与点距的真值、双目约束三个目标函数来对系统的内外参数一并优化,测量精度有所提高。但是这种方法定义的目标函数与优化参数多,计算过程容易出现不稳定的问题。

针对双目测量系统外参数不够精确的问题,笔者提出了一种简单有效的标定流程与外部参数优化算法。该方法能够应用标定物所有位姿下的外参数优化估计一个准确的双目系统的外参数,使得双目测量系统在整个测量空间的测量保持高精度与稳定。

1　双目测量系统标定模型

文中提到的双目测量系统由两个相机和一个投影装置组成。

1.1单摄像机模型

三维空间点在摄像机的成像平面上的投影可以由线性模型(理想的针孔成像模型)和非线性模型(带有镜头畸变的模型)组成,成像模型见图1。

图1　单摄像机成像模型

图2　双目立体视觉成像模型

在这个模型中,三维空间点Pw=[X，Y，Z]T经过下列的四步变换转化为图像坐标系下的像素坐标m=[u，v]T。

Step1将三维空间点Pw从世界坐标系转换到摄像机坐标系。

Pc=T(Pw,θ),

(1)

式中的Pc=[x，y，z]T是三维空间点在摄像机坐标下的坐标,θ=[w，φ,K，tx，ty，tz]是刚体变换向量,也就是摄像机的外参数。函数T(·)定义如下:

T(r，θ)=R·r+t,

(2)

式中的r为三维点的列向量,R是3×3的正交单位矩阵,可以用欧拉角ω、φ、K来表示t=[tx，ty，tz]为三维平移向量。

Step2将摄像机坐标系下的三维点坐标通过针孔成像模型透视投影到图像坐标系。

Pi=(f/z)Pc,

(3)

式中的Pi=[xc，yc，f]T为图像坐标系下的坐标,f为光学镜头的焦距。

Step3以畸变补偿模型来校正图像坐标。镜头的畸变模型定义如下:

ad=ac+fd(ac，δ),

(4)

式中的ac=[xc，yc]T为理想的图像坐标,ad=[xd，yd]T为畸变图像坐标,这两个坐标都在图像平面上。

(5)

其中，δ=[k1，k2，k3，p1，p2]为畸变参数,k1、k2、k3为径向畸变参数,p1、p2为切向畸变参数。

Step4将以米为单位的点ad的图像坐标转换为以像素为单的图像坐标m=[u，v]T。

(6)

式中的x0、y0为以像素为单位的图像主点坐标,du、dv分别为摄像机水平和垂直方向的像元尺寸,在使用的摄像机说明书中都能找到这个尺寸的大小。

摄像机坐标系下的空间点Pc的坐标转换为以像素为单位的图像点坐标m的过程还可以表示:

m=g(Pc,θ)。

(7)

式中的θ=[f,u0,v0,δ]称为摄像机的内参数。

1.2双目测量系统模型

文中所描述的双目测量系统由两个摄像机和一个投影装置组成,场景中的物体必须同时被两个相机同时观察到,系统成像的结构模型如图2所示。两个设备之间只相差了一个旋转和平移的刚体变换。在双目测量系中不仅要标定摄像机的内参数,还需要确定他们之间的相对位置和姿态,用Rrtl、trtl分别表示从左摄像机坐标系到右摄像机坐标系的旋转矩阵和平移向量,变换关系如下式:

Pcr=RrtlPcl+trtl，

(8)

式中的Pcr、Pcl分别表示空间点P在右摄像机和左摄像机坐标系下的坐标,Prtl和trtl称为双目测量系统的外部参数。

2　标定流程与外部参数优化算法

2.1标定流程

在双目测量系统中,左、右摄像机在不同时刻分别拍摄的标定图像称为序列图像,左右摄像机同时拍摄的序列图像称为立体图像对序列。系统的标定流程如图3所示,首先用左、右摄像机分别拍摄序列标定图像。具体做法是:用左相机采集标定图像时,右相机处于关闭状态。反之,在右相机采集标定图像时,左相机处于关闭状态。用左、右摄像机获取的各自序列图像分别计算相机的内部参数和在其坐标系下的外部参数,反投影模型点到图像坐标系,计算反投影误差,剔除反投影误差比较大的点,重新计算内部参数。然后,用左、右摄像机同时拍摄一组立体图像对序列,序列图像要保证左右摄像机同时看到,并且保证能覆盖到整个的立体测量空间。具体做法是:在镜头允许的景深范围内在高、中、低三个不同的位置拍摄三组图像对,然后将标定物体的四周倾斜一定的角度拍摄四组立体图像对。

图3　标定流程

2.2外部参数优化算法

双目测量系统标定过程中,标定了一组左右摄像机的内部参数Al、Ar和多组外部参数Rli、tli、Rrt、trt。例如:在标定流程中提到拍摄7组图像用于双目系统的标定,这样将会产生7组对应标定物在不同位姿下的外部参数。在标定计算的过程中由于多幅图像都参与了内部参数的计算,所以,一般情况下内部参数的标定结果是足够准确的,实践过程也证明了这一点。但是,Rli、tli、Rri、tri是由不同位置的标定图像计算得到的,不同位置的图像特征点受提取精度、电子噪声、环境光等因素的影响,有些位姿下的外部参数转换矩阵的精度高于其他的位姿下的精度。这就给三维重建带来了一个棘手的问题。

分别计算左右相机的的反投影误差。

(9)

式中的Pi=A·[Ri|ti]代表左右任意一个相机在第i个位姿下的投影矩阵,xj是该位姿下检测到的图像点坐标,Xj与之相对应的标定物模型点坐标。

选择左右相机反投影误差最小的一组将其外参数转化为双目系统的外参数用来重建三维点。因为反投影误差小就意味着该位姿下的投影矩阵是准确的,所以反投影误差广泛的应用到了摄像机标定精度的评价上。但是,这种方法不能用来评价双目测量系统的外参数的准确度,如图4所示,当标定点D在单相机的i1视角下时,可以通过式(9)计算当前视角下反投影误差来评价外部参数精度,无法将视角i1、i2等联系起来。

图4　多视角标定示意

在双目测量系统中,如果标定点D在i1、i2等多个视角下都能被双相机拍摄到,极线几何告诉我们左图像上的一点必定在右图像的极线上,由极线几何定义的左右图像的极线方程如下:

lr=Fd1,

(10)

ll=FTdr,

(11)

式中dl和dr是空间三维点D分别在左、右图像的图像齐次坐标。F为基本矩阵,F由双目立体视觉测量系统的内部参数Al、Ar和外部结构参数R、t定义,可以表示为

(12)

式中的S为反对称矩阵,由平移向量定义为

(13)

这里的E=[t]xR为本质矩阵,它只与测量系统的结构参数有关。

如果标定数足够准确,那么,左图像上的一点的对应点一定在右图像的极线上。基于上述理论与思考,由点到直线的距离公式定义点到极线误差为

(14)

(15)

应用式(15)对本质矩阵中的双目视觉系统的结构参数R、t进行优化,得到最终的双目视觉系统的结构参数。

3　实　验

3.1系统标定

双目实验系统如图5所示,系统的硬件包括:两个Basler A102f摄像机,CCD靶面尺寸为2/3英寸,每个像元的物理尺寸为 6.45 μm×6.45 μm，分辨率为1 392 pixel×1 040 pixel;日本computar的百万像素光学镜头,标称焦距为16 mm。带有大小不同圆点的11行×9列,共计99个圆形标志点的标定板,如图6所示。标定板上水平和竖直方向的两对大圆标志点之间的距离通过影像测量仪测得精确尺寸分别为105.007和70.005 mm。标定实验采用文中2.1的流程对双目测量系统进行了标定,分别用传统方法计算的双目系统的外参数和文中算法优化获得的外参数对标定位置和空间任意位置的标定特征点进行三维重建,测量两对大点的距离,结果如表1和表2所示。这里所说的传统方法就是用标定出来的多组外参数中的一组计算双目立体视觉测量系统的结构参数,通常做法是取中间位置,正对摄像机平放的那组外参数来计算。

图5　双目测量实验系统

图6　系统实验用标定板

表2　测量空间任意位置三维重建大点间距离误差对比

由表1中数据可知,对多视角标定位置上的标定点进行三维重建,基于传统方法时,该标定位置上的精度比较高,而优化后的结果在7个位置上的精度高且分布均匀。

由表2中的数据可知,传统方法在非标定位置上的重建误差比较大,而文中算法在这些位置上的精度高且稳定。

3.2标准球测量

为了进一步验证双目立体视觉测量系统的标定精度,基于相位结构光对标准球进行测量。如图7所示,标准球规(如图7)的两个球心的距离为D=160.007 mm,两个陶瓷球的直径分别为80.001和79.999。将标准球规放置在双目测量系统的视场范围内,位置示意如图8所示(单位:mm),在测量系统的测量空间范围内水平和垂直各放置三个位置,对每个位置进行测量,测量结果见表3。

图7　陶瓷标准球

图8　测量位置示意

对标准球规进行6次标定,在测量空间的6个位置上分别进行测量,用所有测量点基于最小二乘法原理拟合出球心,测量球心距。从表3可以看出,球心距误差都小于0.04 mm,且在整个测量空间内分布均匀。对标准球的测量精度低于标定点的三维重建精度,这是由于在利用相位找对应点时存在误差造成的。

表3标准球测量结果

Table 3Measurement result of ceramic standard ball

4　结　论

提出了一种简单、易操作的标定流程及基于极线几何约束的双目立体视觉结构光测量系统的外部参数优化算法。以左右相机分别拍摄图像计算各自的内参数,利用计算得到的内参数作为双目系统标定的内参数来标定系统的外参数。由极线几何约束在多视角下构造优化目标函数,采用非线性优化计算得到双目立体视觉结构光系统的外参数。该方法的优点在于目标函数简单,优化参数少,计算稳定。实验结果表明,与传统的基于反投影误差方法计算的外参数比较,标定板和标准球的三维重建的精度在整个测量空间内精度高且稳定。

[1]VO M, WANG Z, PAN B, et al. Hy per-ac curate flexible calibration technique for fringe projection based three dimensional imaging[J]. Optics Express, 2012, 20(15): 16926-16941.

[2]CHEN F, BROWN G M, SONG M. Overview of three-dimensional shape measurement using optical methods[J]. Optical Engineering, 2000, 39(1): 10-22.

[3]BRADLEY D, BOUBERKEUR T, HEIDRICH W. Accurate multi-view reconstruction using robust binocular stereo and surface meshing[C]//Computer Vision and Pattern Recognition. Anchorage, AK: IEEE, 2008: 1-8.

[4]ZHANG Z. A flexible new technique for camera calibration[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2000, 22(11): 1330-1334.

[5]ZAHARESCU A, HORAUD R, RONFARD R, et al. Multiple camera calibration using robust perspective factorization[C]//3D Data Processing, Visualization and Transmission, Third International Symposium on. Chapel Hill, NC: IEEE. 2006: 504-511.[6]薛俊鹏, 苏显渝, 肖永亮, 等. 基于双目视觉的光束法平差新算法[J]. 光电子激光, 2011, 22(6): 888-892.

[7]FURUKAWA Y, PONCE J. Accurate camera calibration from multi-view stereo and bundle adjustment[J]. International Journal of Computer Vision, 2009, 84(3): 257-268.

[8]侯俊捷, 魏新国, 孙军华. 基于同心圆合成图像匹配的双目视觉标定[J]. 光学学报, 2012, 32(3): 148-153.

(编辑晁晓筠)

Accurate and stable calibration technique for binocular stereo measurement system

HEWantao,LIANGYongbo,LIJinghe

(Modern Manufacture Engineering Center, Heilongjiang University of Science & Technology, Harbin 150022, China)

This paper is targeted at improving accuracy and stabilization of binocular stereo measurement system and presents a simple and effective calibration procedure and an external parameter optimizing method based on epipolar geometry. The method consists of calibrating the internal parameter of left and right camera respectively using the planar calibration method, calibrating the external parameter of the binocular stereo measurement system in every view using the parameters as initial value , and computing optimization result by minimizing epipolar line error of the same pair of points in every view. Experimental results that the method could produce binocular measurement system parameters which give the measurement system a higher and more stable precision in the whole measurement space volume and promises to play an important part in industrialized detection and application of the binocular stereo vision measurement system.

binocular stereo; structure light; measurement system calibration; epipolar geometry

2013-05-24

国家科技重大专项项目(2010ZX04016-012);黑龙江省教育厅科学技术研究项目(12531601)

何万涛(1981-),男,黑龙江省哈尔滨人，讲师,博士研究生,研究方向:光学三维测量、机器视觉,E-mail:hewantao1225@163.com。

10.3969/j.issn.1671-0118.2013.05.014

TP391.41

1671-0118(2013)05-0463-06

A