基于面结构光的双目立体匹配算法研究

顾 超，穆平安

(上海理工大学 光电信息与计算机工程学院，上海 200093)

基于面结构光的双目立体匹配算法研究

顾 超，穆平安

(上海理工大学 光电信息与计算机工程学院，上海 200093)

提出一种基于面结构光的四步相移三频外差的双目立体匹配方法。将正弦光栅投射到被测物体上，将左右目CCD采集的光栅图像进行四步相移三频外差算法相位展开，然后在极线准则的条件下，确定左右视角主值相位相等的点完成双目的立体匹配。实验证明，该方法具有实时性强、匹配精度高，在摄像机精度较低的情况下，具有较好的匹配效果。

光栅；四步相移；三频外差；立体匹配

双目视觉法是三维重构中常用的形式之一，而结构光三维重构是一类重要的无接触立体测量方法，其匹配算法应具有较高的准确性和实时性。双目立体匹配的基本原理是从两个视点观察同一物体，匹配出相应像点，从而计算出视差并获得三维信息[1]。

匹配的传统方法是，通过对左右目CCD采集到物体图像表面的幅度特征进行角点检测和角点匹配，从而实现双目立体视觉中的特征点提取和匹配问题。但当重建对象是一些表面光滑且特征不明显的物体时，这种匹配方法就无法达到较好的效果。为解决这一问题，常用的方法是人为地在物体的表面贴标识产生特征点，再根据特征点的属性进行匹配[2]。但存在的缺点是每一次匹配均要对物体进行贴片，效率低下。本文研究对物体投射正弦编码的面结构光，使其表面产生特性点，完成对光滑物体表面相应像点的匹配[2]。相比于传统方法，面结构光投影法在左右目CCD精度不高时也有良好的匹配效果，且这种特征点比无规则的自然特征点更容易匹配。

1 面结构光投影系统

面结构光投影系统的硬件组成[3]如图1所示。由两个负责采集图像的CCD和一个负责投射编码光栅的投影仪组成，要求两个CCD结构和性能相近[4]。

图1 面结构光投影系统

系统工作流程如图2所示。上位机控制投影仪向待测物体投射已编码的光栅图像，两个摄像机同时采集已覆盖光栅的物体图像，最后将采集到的图像传入计算机中进行相位展开、相位解包裹和像点匹配处理，得到匹配点[5]。

图2 系统工作流程图

2 面结构光立体匹配算法研究

本文采用基于四步相移三频外差的相位展开算法，在图像极线约束的前提下，四部相移算法实现了光栅相位在一个周期内的单调，三频外差算法实现了光栅相位在整个测量区域内的单调，最后通过比较左右图像相位相等的点以完成匹配[6]。

2.1 基于图像的极线约束

对CCD采集到的光栅图像先进行预处理，使图像满足极限约束，即空间中一点P，在左成像面上的投影点Pl和在右成像面上的投影点Pr位于一条极线上，这样将两张图像的对应像点限制在了一条直线上[7]。

2.2 光栅相位的展开

一般正弦光栅条纹的光强函数[8]为

I(x,y)=a(x,y)+b(x,y)·cos[2πfx+φ(x,y)]

(1)

I1(x,y)=a(x,y)+b(x,y)·cos[φ(x,y)]=

a(x,y)+b(x,y)·cos[φ(x,y)]

(2)

a(x,y)+b(x,y)·sin[φ(x,y)]

(3)

a(x,y)+b(x,y)·cos[φ(x,y)]

(4)

a(x,y)+b(x,y)·sin[φ(x,y)]

(5)

式(2)与式(4)相减得

I1(x,y)-I3(x,y)=2b(x,y)cosφ(x,y)

(6)

式(5)与式(3)相减得

I4(x,y)-I2(x,y)=2b(x,y)sinφ(x,y)

(7)

式(6)和式(7)，得到解出的相位模型[10]

(8)

图3 解相位图

2.3 相位解包裹技术

相位解包裹技术是将只在一个周期内连续的相位值展开成在整个测量区域内都连续变化的相位展开值。常用的相位解包裹技术存在很多局限，例如：路径相关相位展开方法在遇到截断处时会引起误差传播；路径无关相位展开技术投影的光栅条纹过多，处理速度慢；格雷码编码技术测量精度低，对于表面剧烈变化的部分无法匹配[11]。所以实验采用三频外差技术进行相位解包裹。

三频外差相位展开技术将3种频率的光栅投射至物体表面，通过解包裹算法将四步相移后得到的折叠相位展开为连续相位[12-13]。采用的模型为

(9)

(10)

其中，ψ1和ψ2为折叠相位φ1(x)和φ2(x)的相位展开函数；INT[·]为4舍5入取整，如INT[1.5]=2。实验采用图3解出的折叠相位图进行三频外差的相位展开后结果如图4所示。符合在全部测量区域相位单调的要求。

图4 相位展开图

3 实验与测试

实验硬件平台采用 HD-GY300Y工业摄像机两台，分辨率为1 920×1 440，帧率为13帧/s；INFOCUS IN66型投影仪一台；物体石膏像一个。软件设计采用NI公司的LabVIEW软件、Vision模块和DAQ模块完成。摄像机和上位机通过USB2.0接口实现数据传递。

图5 左视角匹配图

图6 右视角匹配图

左视图标识圆圈的位置表示随机抽取的10个点，由于相位展开后的相位值在整个测试区域是单调的，所以在极线约束的条件下，左图的每一点在右图中有唯一点与之匹配。右视角中的圆圈位置为左视角中对应点的匹配位置。匹配的实验数据如表1所示。

表1 左右视角的匹配结果 /像素

表1中的右像素点是对应于左像素点的匹配点；视差值[14]是右像素点与左像素点的横坐标差值，视差值中包含着高度信息，利用视差解算算法可解算出该点的高度值；误差值是指利用四步相移三频外差[15]的方法测得的匹配点与人为贴明显标识点[16]测得的匹配点之间的相对误差，本方法的误差控制在10个像素以内，精度较高。

4 结束语

基于面结构光的四步相移三频外差的立体匹配方法，实现了在双目立体视觉系统中对左右目CCD采集到的图像对应点的精确匹配。通过实验证实该方法对硬件设备精度要求比较低，匹配精度较高，匹配速度较快，在双目视觉立体匹配系统中达到了理想的效果。

[1] Cyganek B,Siebert J P.三维计算机视觉技术和算法导论[M].北京:国防工业出版社,2014.

[2] 白明,庄严,王伟.双目立体匹配算法的研究与进展[J].控制与决策,2008,23(7):721-729.

[3] 刘江,梁美芹,刘晓明.光栅投影双目立体视觉测量方法的研究[J].组合机床与自动化加工技术,2014(3):96-100.

[4] 张德海,梁晋,唐正宗,等.大型复杂曲面产品近景工业摄影测量系统开发[J].光电工程,2009,36(5):122-128.

[5] 赖小波.机器人双目立体视觉若干关键理论问题及其技术实现研究[D].杭州:浙江大学,2010.

[6] 达飞鹏,盖绍彦.光栅投影三维精密测量[M].北京:科学出版社,2011.

[7] 宋昌江,吴冈,何艳.基于相位编码技术的双目视觉亚像素匹配算法的研究[J].自动化技术与应用,2010,29(9):63-65.

[8] 黄祥岭.基于数字光栅投影的三维形貌技术研究[D].济南:山东大学,2013.

[9] 潘玉玲.相移法三维测量系统[D].重庆:重庆大学,2013.

[10] 潘伟.反向工程中光栅投影测量系统关键技术的研究[D].上海:上海交通大学,2004.

[11] 阳鹏程.基于双目结构光的三维测量技术研究[D].杭州:浙江大学,2014.

[12] 孙学真,苏显渝,邹小平.基于互补型光栅编码的相位展开[J].光学学报,2008,28(10):1947-1950.

[13] 成剑华.基于相位匹配的自由曲面双目视觉测量方法研究[D].武汉:华中科技大学,2012.

[14] 宗晨临.给予双目立体匹配的视差提取算法研究[D].成都:西南交通大学,2013.

[15] 尚忠义,李伟仙,董明利,等.基于四步相移光栅投影的三维形貌测量系统[J].应用光学,2015,36(4):584-588.

[16] 庄严.双目立体视觉中特征点的匹配方法研究[D].沈阳:东北大学,2006.

Binocular Stereo Matching Algorithm Based on Surface Structured Light

GU Chao，MU Pingan

(School of Optical-Electrical and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093, China)

This paper proposes a surface structured light and the binocular stereo matching algorithm based on four-step phase-shifting and tri-band heterodyne algorithm. First, put the sinusoidal gratings onto object. And than, get the image of the CCD on both side and unwrap the phase of the image by using the four-step phase-shifting and tri-band heterodyne algorithm. Finally, complete the binocular stereo matching by finding the equal points in the left and right unfolded phase image. Experiments show that this method has strong real-time, high matching accuracy and has a higher matching accuracy even if the CCD accuracy is low.

grating; four-step phase shift; tri-band heterodyne; stereo matching

2016- 03- 22

顾超(1991-)，男，硕士研究生。研究方向：信号与信息处理与机器视觉。穆平安(1964-)，男，教授，硕士生导师。研究方向：机器视觉与智能检测。

10.16180/j.cnki.issn1007-7820.2017.01.005

TN247

A

1007-7820(2017)01-016-04