单帧编码结构光模式分类及其典型应用

贾小军

(嘉兴学院 数理与信息工程学院,浙江嘉兴314001)

0 引言

三维信息获取技术是计算机视觉技术的一个重要分支,其主要任务是通过信息获取方法和设备,将场景物面转换成离散的三维信息.[1]根据获取方式的不同,又分为接触式和非接触式两种.非接触式的光学获取方法以其高效率、高准确度和易于实现自动化的特点成为其中的研究热点,通常又分为被动式和主动式两大类.被动式三维信息获取技术直接从一个或多个摄像系统获取的二维图像中提取目标的三维信息.主动式光学通过向被测目标投射特制光源,获取目标的精确定位测量信息,主要有飞行时间法、激光扫描法、相位法、光干涉法、结构光法等.[2-3]结构光法用光源代替立体视觉中的一台摄像机,投射一幅或几幅由点、线或复杂结构基元构成的模式,由摄像机获取变形的模式图像,通过分析图像中的畸变模式,利用三角原理,根据图像解码算法计算场景目标的深度信息,有效解决了立体视觉法中的匹配难题.由于投射到场景的光线已被编码,又称为编码结构光,具有快速、高精度、高分辨率、低成本、大视场及实现容易等特点,近年来得到了广泛应用.[4-7]可应用于机器人导航、逆向工程、物体识别、工业自动化、运动跟踪、文化遗产保护和计算机辅助医学等方面.[8-9]

结构光法根据投射生成的检测点多少可分为单点法、单线法和面结构光法.单点法由投射器每次向待测物体表面投射一个点.具有准确度高、可靠性强的优点,但需要二维扫描且速度慢、装置复杂,已不太适用;单线法每次向待测物表面投射一个条纹,精度较高,而且比单点法获取速度及效率有所提高,为目前最为成熟的结构光技术;面结构光法 (分为单帧和多帧模式)通过投射编码图案勿需扫描便可一次投射获取视场中的全部数据,优点明显,为目前结构光三维获取技术的研究热点.[10]单帧模式只向场景目标投射一幅图像,可用于动态场景.

本文根据单帧编码模式设计原理的不同,提出了一种新的分类方法,并分析了他们的技术特点和发展趋势.基于单帧符号的结构光模式因其帧数少、检测点多、分辨率高等特点成为研究的热点.其中,M阵列编码是单帧模式的典型,根据M阵列的特点,设计了一种新颖的单帧符号黑白结构光模式,应用于目标三维重建.重建目标实验表明,利用制定的编码结构光模式,可以获得物体较为光滑、完整的三维形廓,丰富、拓展了单帧结构光技术的应用.

图1 结构光系统检测原理

1 单帧结构光模式分类

面结构光相对于点结构光和单线结构光具有明显的优势,根据构成投射模式图案的不同,面结构光可分为时间、直接和空间编码方法.时间编码的解码速度慢,不适用于动态环境.直接编码的抗干扰小,但解码定位准确度低.空间编码利用编码图像与所用编码方式进行匹配实现解码,投射图案少,解码容易,测量速度快,适合于动态场景.编码光技术逐渐向投射图像少,追求最短检测时间及实时动态获取方向,无疑空间编码的单帧结构光获取方法是目前的研究热点和重点.图1显示了单帧彩色网格结构光系统的检测原理,用一种彩色编码网格投射到场景,其畸变模式被CCD获取.

目前,对于面结构光应用非常广泛,但对于其分类方法的研究还显不足.上述3种分类方法是根据码字分布、连续情况、模式数量、彩色有无等特征来划分的,模式相互之间有交叉,未能反映出不同模式之间的生成机理.通过对投射的单帧面结构光模式进行研究,可以从生成模式的机理方面对这种结构的光模式重新进行分类,从中探索该种结构光模式的发展方向.这种分类方法使这种模式更加简单、直观、生成原理更加清晰,方便大家熟悉及选择.根据模式生成方法的不同,基于单帧模式的结构光技术主要分为5类.

1.1 具有子窗口特性的伪随机序列或De Br uij n序列编码图案

伪随机序列或De Br uij n序列具有良好的可确定性和重复性,而且具有良好的窗口特性.即一定长度的子序列在总序列中具有唯一性.假设构成序列的基本元素有n个,为了保证每一个长度为m的子序列在序列中仅出现一次,则该序列可能的最大长度为nm(伪随机序列长为nm-1).只要在一维空域范围内取出子序列组成元素的属性及其排列顺序,即可确定其在总序列中的位置.根据这个性质,可以生成基于伪随机序列或De Bruij n序列的单帧编码模式.Zhang提出了一种基于De Br uij n的彩色编码条纹模式,条纹数为125,使用了8种不同的颜色,子窗口尺寸为3,其编码图案如图2(a).[11]Pagès生成了一种由128个条纹构成的彩色条纹,子窗体为3,在RGB色彩空间及亮度空间特征明显,其编码图案如图2(b).[12]另外,一些研究者还提出了其他的基于伪随机序列或De Br uijn序列的编码模式,其编码图案如图2(c).[13]

图2 基于伪随机序列或De Br uijn序列的结构光编码模式

1.2 具有子窗体特性的阵列编码图案

阵列是伪随机序列或De Br uij n序列方式的二维扩展,在结构光编码模式中,常用伪随机阵列或M阵列进行构造,这些阵列具有子窗体特性.假设阵列是由k个基本元素构成的尺寸为r×v的矩阵,该矩阵具有子窗体特性,即每一个m×n(m≤r,n≤v)的子矩阵在整个阵列中具有唯一性,那么该矩阵就称为伪随机阵列或M阵列,或者完美映射.如果能正确提取子窗体中元素的排列特性就能获取其位置编码,并且全局唯一,可用各种便于识别的基本元素.例如,不同颜色的细线、方格、圆点或自制的简单几何形状等,构建伪随机阵列或M阵列,形成空域编码图案.该种基于窗口特性的空域编码方法通常都只需投影单幅图案,满足动态场景的需求.Salvi等提出一种由彩色细线构成的编码网格模式,水平线和垂直线分别由3种颜色按De Br uijn序列生成,子窗口为3,共29×29条网格线,如图3(a).[4]Chen等设计了一种由彩色矩形构成的编码模式如图3(b)[14]Maurice等使用四个楔形形状构成一个大小为100×100的伪随机阵列模式,阵列具有3×3的子窗体,符号间的海明间距最小为3个像素,如图3(c).[15]

图3 基于伪随机阵列或M-arrays阵列的结构光编码模式

1.3 光栅合成空间编码图案

将有一定相位差的多幅栅线图合成一幅光栅图案,投射到待测物体表面,光栅图像受到物面高度的调制而发生畸变,通过解调出包含深度信息的相位变化,借助三角原理完成相位与深度信息之间的转换.这种编码方式只需一帧光栅图案就能够重建待测物体表面的三维信息,可用于动态目标,精度较高.文献 [16]和 [17]将几幅 (分别三幅和二幅)具有固定相位差的栅线图在与相位变化垂直的方向上,分别用不同频率的黑白条纹图案进行信号调制,融合成单幅复杂编码图案,如图4所示.采用滤波算法从合成的光栅图像中解调分离出各个栅线图,再通过相移法解相.光栅合成编码方式虽然精度较高,但操作性较低,光栅解码复杂,处理时间长,不适合实时环境的情况.

1.4 直接空间编码图案

直接空间编码方法也是向待测物体表面投射一幅编码图案,但图案中每个像素的编码可直接定义.在彩色直接空间编码中可用色彩值代表任意一个像素的码值,为了提高采样密度需要应用大量的颜色值,这会增加大量噪声.同时,彩色图像不仅依赖投射设备,还受到待测物体色彩干扰.Taji ma等提出了一种向被测物体表面投射彩虹编码图案的方法,该图案由白光穿过一个晶体棱镜来实现.[18]

图4 光栅合成编码模式

图5 其他单帧空间编码模式

1.5 其他空间编码图案

Tho mas等提出了一种单帧空间编码模式,由竖直的黑白条纹加上倾斜的彩色条纹组成.黑白条纹与彩色条纹相交点构成特征点,用于匹配,作者还提出了一种自适应匹配方法来提高匹配准确度,如图5(a)所示.[19]Mario提出一种阵列的单帧模式.生成的阵列由5个字母组成,分别为A、B、C、D和E.以字母A为中心,其余4个字母组合形成一个3×3的子阵列构成整个符号阵列,阵列尺寸为54×36,共18×12个子阵列.利用每个模式符号 (3×3子阵列)的全局唯一性进行定位及解码,符号的拐角成为三维信息的检测点,如图5(b)所示.[20]Xu设计了一种单帧模式,由X形状的符号构成,其方向及形状变化组成了四个符号,符号的交叉点作为检测点,如图5(c)所示.[21]国内关于单帧面结构光编码三维信息获取技术的研究主要集中在高等院校,包括北京航空航天大学、天津大学、哈尔滨理工大学、清华大学等多所大学的研究小组.北京航空航天大学的张广军、周富强、魏振忠等集中研究了多条纹彩色编码结构光模式的检测技术及圆结构光模式的检测方法,对光条纹中心或边界检测方法进行了深入的研究,并对结构光系统及系统标定方法作了全面、细致、深入的探索和研究,在他们发表的一系列研究论文中进行了详细地介绍.[22-24]研究成果可应用于细小物件的质量检测、物件内侧壁的重构以及昆虫仿生.天津大学叶声华院士领导的研究团队对彩色条纹结构光的原理,系统标定方法及应用也作了深入的研究,取得了大量的研究成果.[25]哈尔滨理工大学的于晓洋、吴海滨等对彩色条纹结构光的光条检测技术提出了新的检测方法,提高了检测精度.[26]中国海洋大学的解则晓研究了水下线结构光的应用,为结构光检测技术提供了新的应用领域.[27]清华大学韦争亮等研究了单幅彩色条纹编码光技术,将6色3次伪随机条纹序列的色彩信息溶入亮度呈余弦周期变化的数字栅线图中,构成彩色栅线空域编码图案,在单幅图案内实现了高分辨率的像素级唯一编码,可用于动态场景中的物体三维重建.[28]

2 单帧符号M阵列模式

编码结构光检测技术的效率取决于模式的设计,它对于解码的分辨率、速度起着决定性的作用.M阵列编码模式是单帧结构光模式设计中的典型,根据M阵列生成原理,结合模式设计原则,我们设计了一个基于M阵列的单帧黑白符号编码模式,作为单帧符号结构光模式的典型应用.[29]其模式基元由一个个具有特定检测点的符号构成,每个符号包含6个检测点,由符号轮廓的交叉点构成.整个模式大小为39×29个基元,子窗体尺寸为2×2,如图6所示.

图6 子窗体为2×2的39×29符号阵结构光模式

3 实验结果

为了验证设计的单帧编码结构光模式的可行性,搭建了结构光检测系统,由EPSON EMP-821 LED投影仪和Cool SNAP cf CCD摄像机组成结构光测量系统,其中摄像机和投影仪的分辨率分别为1 040×1 392 pixel(像素尺寸为4.65μm×4.65μm)和1 024×768,系统参数及标定方法见文献 [29-30].测量距离在2 000 mm内,测量范围为50 c m×40 c m×30 c m.利用搭建的系统,由投影仪向场景目标投射结构光模式,由CCD抓拍图像,然后对采集的图像进行解码处理,并在Borland C++Builder 6.0平台下进行了测试.检测对象为石膏头像及嘴唇,如图7 A1、B1所示,具有复杂自由表面的物体,其几何尺寸范围小于300 mm×160 mm×150 mm.它的特点是表面多为复杂无规则的曲面构成,含有大量的纹理细节,三维信息获取过程中容易受到纹理干扰.因此,在物体条纹图像中含有局部不连续区域和暗背景等.图7 A2、B2为获取的畸变模式图像,图7 A3、B3为提取的三维点云数据.

从实验结果分析可以发现,由于受符号阵模式检测点分辨率低的影响,头像的纹理细节信息有些丢失,眉部细节信息丢失,眼部只有大致轮廓,下巴轮廓不明显.但整体三维形廓还保持良好.嘴唇部分由于表面光滑连续,重建效果较为理想.

图7 头像及嘴唇三维信息获取及重建实验

4 结论

基于单帧结构的编码结构光检测技术近年来得到了快速发展,并应用于多个领域.本文对现有的单帧结构光编码技术进行了重新分类,并阐述了单帧结构光的发展趋势.今后,结构光的发展趋势为：设计的模式能够应用于动态场景、模式单一、帧数少、检测点足够多、受环境光影响少且解码迅速,无疑,M阵列编码模式具备这方面的优势.根据模式设计原则及单帧结构光模式的生成原则,设计一种基于符号M阵列的子窗体为2×2的黑白单帧结构光模式,将其应用于目标检测环境,可以重建光滑、清晰的目标对象.但目前该模式的检测点不够多,以致重建目标分辨率较低,今后将研究构建足够多检测点的符号M阵列模式,以改善重建质量.

[1]LEOPOLD J,GUNT HER H,LEOPOLD R.New develop ments in fast 3 D-surface quality contr ol[J].Measurement,2003,33(2)：179-187.

[2]CHEN F,BROWN G M,SONG M.Overview of three-di mensional shape measurement using optical methods.Opt.Eng.2000,39(1)：10-22.

[3]BLAIS F.Review of 20 years of range sensor develop ment[J].J.Electr on Imaging 2004,13(1),231-243.

[4]SALVI J,FERNANDEZ S,PRIBANIC T,et al.A state of the art in str uctured light patter ns f or surface profilo metr y[J].Patter n Recogn.2010(43)：2666-2680.

[5]霍金城,吴庆阳,曾祥军,邓丽.部分编码结构光三维测量技术的研究.光电工程,2012,39(5)：57-62

[6]RIBO M,BRANDNER M.State of t he art on vision-based str uctured light syste ms f or 3d measure ments[C].In IEEE Inter national Wor kshop on Robotic and Sensors Environ ments Ottawa,Canada,2005,2-6.

[7]YOUNG M,BEESON E,DAVIS J,et al.Viewpoint-Coded structured light[C].IEEE Conf.on Comp,Vision and Patter n Recognition(CVPR),2007.

[8]MCPHERRON S P,GERNAT T,HUBLINJJ.Structured light scanning f or high-resolution docu mentation of in situ archaeological finds[J].J.Archaeol.Sci.2009(36)：19-24.

[9]NIVEN L,STEELE T E,FINKE H,et al.Virt ual skelet ons：using a str uctured light scanner to create a 3 Dfaunal co mparative collection[J].J.Archaeol.Sci.2009(36)：2018-2023.

[10]FERNANDEZ S,SALVI J.One-shot absolute pattern f or dense reconstr uction using De Br uijn coding and Windowed Fourier Transfor m.Optics Co mmunications,2013(291)：70-78.

[11]ZHANG L,CURLESS B,SEITZ S M.Rapid shape acquisition using color structured light and multi-pass dynamic programming[C].In：International Sy mposiu m on 3D Data Processing Visualization and Transmission,Padova,Italy,2002：24-36.

[12]PAGE’SJ,SALVI J,COLLEWETB C,et al.Opti mised De Bruijn patterns f or one-shot shape acquisition[J].Image Vision Co mput.2005(23)：707-720.

[13]HU Z Z,GUAN Q,LIU S,et al.Robust 3D Shape Reconstruction fro m a Single Image Based on Color Str uctured Light[C].In：Inter national Conference on Artificial Intelligence and Co mputational Intelligence,2009：168-172.

[14]CHEN S Y,LI Y F,ZHANG J W.Vision pr ocessing f or realti me 3-d data acquisition based on coded str uctured light[J].IEEE T.Image Process.2008,17(2)：167-176.

[15]Maurice X,Graebling P,Doignon C.Real-ti me str uct ured light coding f or adaptive patter ns[J].J.Real-Ti me Image Proc.2011(3)：1-10.

[16]HE Y H,CAO Y P.A composite-structured-light 3D measurement method based on fringe parameter calibration[J].Opt.Lasers in Eng.2011(49)：773-779.

[17]YUE H M,SU X Y,LIU Y Z.Fourier transf or m profilo metry based on composite structured light pattern[J].Opt.Laser Technol.2007(39)：1170-1175.

[18]TAJI MA J,I WAKA WA M.3-D data acquisition by rainbow range finder[C].In：Inter national Conference on Patter n Recognition,1990(12)：309-313.

[19]THOMAS K P,GOOL L V.Real-ti me range acquisition by adaptive str uct ured light[J].IEEE T.Patter n Anal.2006,28(3)：432-445.

[20]MARIO L R,ANTONIO T G.A low-cost 3D reconstr uction syste m using a single-shot pr ojection of a patter n matrix[J].Photogra m.Rec.2011,26(113)：91-110.

[21]XU J,XI N,ZHANG C,et al.Real-ti me 3D shape inspection system of automotive parts based on structured light patter n[J]Opt.Laser Technol.2011(43)：1-8.

[22]张广军,贺俊吉.基于圆结构光的内表面三维视觉检测模型 [J].仪器仪表学报,2004,25(4)：481-484.

[23]周富强,陈强,张广军.结构光光条提取的混合图像处理方法 [J].光电子·激光,2008,19(11)：1534-1537.

[24]WEI Z Z,CAO L J,ZHANG G J.A novel 1Dtarget-based calibration met hod wit h unknown orientation f or str uctured light vision sensor[J].Opt.Laser Technol.2010(42)：570-574.

[25]任永杰,郑继贵,杨学友,等.机器人柔性视觉检测系统现场标定技术 [J].机器人,2009,31(1)：82-87.

[26]于晓洋,关丛荣,曹沈楠,等.彩色编码结构光条纹边缘亚像素检测研究 [J].光电子·激光,2010,21(5)：714-717.

[27]解则晓,李绪勇.辛少辉,等.水下线结构光自扫描三维测量技术 [J].中国激光,2010,37(8)：2010-2014.

[28]韦争亮,钟约先,袁朝龙.彩色栅线动态三维测量中自适应相关匹配技术 [J].光学学报,2009,29(4)：949-954.

[29]JIA X J,ZHANG Z J,CAO F,et al.Model and error analysis for coded structured light measurement system[J].Optical Engineering 2010,49(12),123603：1-9.

[30]贾小军,张之江,曹芳,等.编码结构光系统的模型及误差分析 [J].光学·精密工程,2011,19(4)：717-727.