用于曲面轮廓测量的结构光视觉技术研究

洪华杰,甘子豪,何科延,顾海鹏

(国防科技大学智能科学学院,湖南 长沙 410073)

0 引言

随着现代产业化的不断发展,航空航天、汽车制造、半导体行业、精密仪器制造、模具设计等领域对复杂曲面零件的需求日益增大。 面形测量技术逐渐成为制约这类零件制造性能的关键因素。 光学三维面形测量方法大致可分为接触式和非接触式两类。其中,较为典型的接触式测量方法有三角坐标测量法。 三角坐标测量法通过传感探头在被测物表面扫描得到的各测点空间坐标位置,对坐标位置信息进行计算处理后生成被测物的三维形貌结果。 尽管接触式测量方法能达到较高的精度,但容易造成触头磨损、被测物表面损伤等问题,且测量速度慢、效率低。 非接触式测量方法有零位补偿干涉检测法,即通过一个折射补偿镜或者计算全息图(computergenerated hologram,CGH)将波面干涉仪投射的标准波面转换为与待测曲面匹配的参考波面,从而实现零位干涉测量[1]。 尽管该方法具有很高的测量精度,但由于每个待测曲面需要制作特定的补偿器,大大增加了测量成本,不具备普遍适用性。 结构光法早期由美国南加州大学研究人员提出,之后逐渐开始应用于对目标进行三维测量,属于非接触式测量方法,目前已成为机器视觉测量领域的重要分支。该方法具有测量速度快、视场大、精度高等优势。

本文首先介绍了结构光测量系统的组成及三维测量原理;然后,针对结构光法测量曲面涉及的关键技术问题(包括结构光视角系统设计、结构光编码技术、系统标定方法、曲面轮廓的测量与重构),总结分析了国内外的研究现状;最后,对用于曲面轮廓测量的结构光技术发展趋势进行了展望。

1 结构光测量系统的组成及三维测量原理

结构光测量根据投射光源形式的不同,可分为点结构光、线结构光和面结构光三类。 点结构光测量是通过逐点扫描物体进行测量。 其图像捕获及数据处理时间随被测物体尺寸的增大而急剧增加。 线结构光测量是将线激光投射到被测表面,分析经由被测表面调制得到的变形光条图像,获得被测表面的二维轮廓。为得到三维形貌特征,需配合运动平台完成多组测试数据的采集,再通过拼接算法生成被测轮廓的三维数据[2]。 面结构光测量是采用投影仪将已编码的图形(比如光栅条纹)投射到被测表面上,通过分析由被测表面调制得到的图像,直接得到表面的三维面形。 基于结构光原理的曲面测量系统如图1 所示。

图1 基于结构光原理的曲面测量系统示意图Fig.1 Schematic diagram of curved surface measurement system based on structured light principle

该系统包括机械结构、电气系统和软件系统三个部分。 其中,机械结构的主要组件有结构光投射装置、摄像机、安装支架;电气系统的主要组件有上位机、电源等;软件系统主要包括标定、图像预处理、结构光编码及视觉测量的相关软件。

2 关键技术研究现状

2.1 结构光视觉系统设计

面向工业应用,国内外相关机构开展了针对结构光视觉系统设计的研究工作[3]。 针对不同的照明因素,如阴影模糊、镜面反射、透明等,美国哥伦比亚大学设计了多种不同的结构光投影模式以适应各种环境,并使用数学组合逻辑对所有投影模式处理的结果进行综合运算,以消除各种光照影响。 尽管该系统对某些高反光、透明的测量对象具有很好的效果,但由于需要投影大量不同的图案,增加了测量时间。 之后,诺特丹大学研究团队采用多个摄像与多个投影仪组成三维重构系统,可进行多个视角的测量,最后进行拼接运算。这种方法实现了高精度的三维轮廓识别,但硬件较复杂,不够灵活。 针对大尺寸锻件的质量检测需求,卢布尔雅那大学开发了一套结构光三维在线测量系统。 该系统使用绿色线结构光,能够克服高温状态下工件的辐射光干扰,并根据激光三角坐标测量法原理获得锻件的特征尺寸。

目前,国外相关公司已推出了部分商业产品,欧美国家在该类产品的研发上处于国际领先的地位,代表性的有FARO 公司的Cobalt 3D Imager 和GOM 公司的ATOS 系列。 FARO 公司推出的Cobalt 3D Imager 采用双目结构光形式,测量范围为500 mm×350 mm×300 mm,精度可达0.05 mm,外形小、重量轻,能够完成模具检测、自动质量控制及尺寸分析等作业任务。 ATOS流动式光学扫描仪是由德国GOM 公司开发、生产的,是可用于产品开发、逆向工程、快速成型和质量控制的三维扫描测量设备。 其投影的结构光为矩形光栅,测量时间为8 s/帧,最高测量精度可达±0.02 mm。

在国内,华南理工大学科研团队结合双目视差原理和线结构光三维测量原理,设计了机车闸瓦磨损量的智能化检测系统。 该方法解决了单目单视角的盲区问题,检测精度为±2 mm[4]。 吉林大学研制了一套结构光视觉测量系统。 该系统利用移动平台对轴类零件进行扫描,并根据轴类零件的几何特征,以扫描后的三维数据对其圆柱度误差进行分析。 西南科技大学研究人员设计了一种基于微振镜扫描的结构光投射系统。振镜式结构光投射系统设计方案如图2 所示。 该方案能够快速投射光栅式面结构光,且光栅条纹的空间频率可控。 采用该系统方案定位目标,能够获得0.1 mm的三维重构精度[5]。 此外,华中科技大学、四川大学等单位也相继开展了类似的研究工作。

图2 振镜式结构光投射系统设计方案Fig.2 Design scheme of galvanometric structured light projection system

2.2 结构光编码技术

对结构光进行编码是三维面形测量的关键过程。有效、可靠的编码策略能使相机平面和投影仪平面之间的匹配更加迅速、准确,对系统的测量精度与效率具有重要影响。 根据编码图案,可将结构光编码方法分为时序编码、空间编码、直接编码三大类。

时序编码是通过将多个不同的编码图案按时序先后投射到物体表面,生成相应的编码图像序列。 该编码方案可获取高密度和高精度的点云数据。 在此过程中,需要投影多幅图像。 纽约州立大学布法罗分校学者提出二值编码,采用黑色和白色条纹形成一个序列投射模式,使物体上的每个点拥有一个独特的二进制代码。 其优点是图像分割比较简单、计算量少,缺点是需要投射多张编码图案。 西班牙吉罗纳大学提出了格雷编码方案。 与二值编码相比,该编码方案大大减少了由一个状态到下一个状态的时逻辑混淆。 武汉理工大学的研究人员提出了一种自适应正弦光栅编码图案,能有效提高特定球状物体图案的分辨率和重构覆盖率。相移法通过投影一组具有确定相位差的光栅图案获取相位信息,进而计算得到目标的三维坐标,具有分辨率高、稳定性好等优点。 目前,已开发出包括三相移算法、四相移算法和九相移算法等在内的多种算法[6]。

空间编码使用周期相邻码字共同确定中心码字的位置信息。 该编码方法只需投影一幅编码图像,重构速度快,不足之处在于点云的重构密度和精度以及稳定性较低。 日本鹿儿岛大学基于伪随机序列设计的彩色条纹编码图案,实现了运动物体全表面重构。 德国弗劳恩霍夫研究院提出以彩色高斯条纹作为码字,生成具有高斯特性的编码图案,在干扰环境光照条件下能够保持一定的三维重构精度。 中国科学院先进技术研究院基于M 阵列空间编码,以四种彩色几何菱形作为特征基元生成M 阵列编码图案,并对该编码图案提出了相应的特征基元检测算法,在运动的人脸上实现了较高的重构精度;后来在此编码的基础上又进行了改进,即在原来的基元中加入新的几何特征,通过对包括人脸在内的真实物体的重构,验证了该方法的三维重构质量[7]。 西安交通大学科研团队提出一种两级空时彩色编码方法,提高了结构光系统的测量效率,有效地解决了彩色结构光测量中存在的色串扰和色差问题。

直接编码是对每个像素点指定一个码字。 单一的像素点包含每个点所对应的整个码字,一般使用大量的颜色或者周期性的投射模式。 由于相邻像素的色差十分微小,该方法在实际使用中对各种噪声十分敏感,有一定的局限性。

2.3 系统标定方法

结构光三维成像系统的测量精度依赖于系统参数的标定结果。 因此,快速且精确的标定方法是实现高精度三维面形测量的前提。 近年来,相关学者针对结构光视觉系统的标定技术开展部分研究工作。

在国外,新加坡南洋理工大学以标准量块作为测试对象,提出一种基于最小二乘法的条纹投影测量系统标定方法。 该方法可有效减少摄像机镜头畸变对标定结果的影响。 美国天主教大学使用同心环靶标,结合数字图像相关算法得到靶标圆心的像素坐标,再基于Levenberg-Marquard 算法,实现了三维测量系统的高精度标定。 德国弗朗霍夫应用光学与精密工程研究所分析了三维面结构光扫描设备误差的主要来源,并针对相机标定结果的稳定性问题给出了评估方法。 韩国科学技术院分析了同心圆的几何和代数约束及其在摄像机标定中的应用,给出了其他基于二次曲线的摄像机标定方法的分析,并提出了基于两个半径确定的同心圆标定靶标的摄像机标定方法。 美国匹兹堡大学利用非线性最小二乘法估计出每一幅图像对应的摄像机内参数矩阵,以实现变参数摄像机标定。 西澳大学以空间中非共面的、具有己知三点的四条直线为靶标,利用三标定点与光点间的交比不变性进行光平面的标定。

在国内,空军工程大学研究人员针对相机标定结果易受外界因素干扰的问题展开了研究,指出光源、图片数量和棋盘格尺寸对相机标定准确度的影响较大。西安交通大学科研团队基于射影变换及误差补偿法获得精确的标定点坐标,提出如图3 所示的用于系统标定的神经网络结构。 试验结果表明,该方法能够降低建模的复杂度,并有效提升标定精度[8]。 华中科技大学建立了一种受约束的稀疏光束法平差模型,并根据此模型中雅克比矩阵的结构特点提出了一种新的矩阵分块策略,提高了稀疏线性方程组的求解效率。 北京邮电大学提出一种快速标定法。 该方法需要在一个能自由移动的平面靶标上,根据三个特征点建立透视模型。 这三个特征点相互位置确定且共线,再结合光条纹的成像信息,求出摄像机坐标系下光平面上标定点的坐标。

图3 用于系统标定的神经网络结构Fig.3 Neural network structure for system calibration

2.4 曲面轮廓的测量与重构

针对曲面零件的轮廓测量与重构方法,国内外科研人员已开展了部分研究工作。 日本东京大学科研人员提出了一种基于多线彩色结构光的轮廓测量方法,从多角度采集投射在物体表面的彩色条纹图像,根据获取的图像和投影图案数据库求解匹配问题,再通过激光三角坐标测量原理法重构物体的三维轮廓。 意大利比萨大学提出了一种结合结构光和工业标记检测的三维曲面重构方法。 该方法包括采用结构光立体视觉系统获取点云,以及自动检测相邻点云重叠区域上的标记,通过对比不同形状目标的重构结果与机械探针检测结果,验证了方法的可行性。 美国亚利桑那大学研究团队提出将结构光条纹反射测量方法应用于大口径非球面镜的面形检测。 结构光法应用于抛物面检测如图4所示。 图4 中,被测离轴抛物面的口径为130 mm。

图4 结构光法应用于抛物面检测的示意图Fig.4 Schematic diagram of the application of structured light method to paraboloid detection

在国内,北京大学的研究人员提出采用彩色结构光法表征板、管等结构的形变轮廓,通过对各变形状态对应的采集图像进行彩色条纹识别、解码和三角剖分处理,验证了该方法的可行性。 四川大学利用透射液晶显示器(liquid crystal display,LCD)生成的正弦光栅,由摄像机记录经被测镜面反射产生的光栅变形条纹图,通过被测镜面和理想镜面对应点的横向像素之差获得被测点面形偏差的梯度信息,并通过数据处理完成三维面形的重构。 天津大学将相移条纹图的特点与数字图像处理技术相结合,在重构前从背景中提取被测物体的边界,减少了需要处理的数据量,提高了边界处的重构精度。 中科院光电所科研团队采用结构光条纹反射测量技术实现了对大口径SiC 离轴非球面镜的面形检测,分别采用结构光法和激光三角坐标测量法测量同一镜面,两者数据差值的均方根(root mean square,RMS)为0.419 4 μm[11]。 上海理工大学提出了一种基于结构光的零相位偏折法[12],通过仿真结合试验验证了该方法的有效性。 试验结果表明,该方法的测量误差在微米量级。

3 发展趋势展望

从国内外研究现状来看,目前已有相关学者采用结构光技术实现了对球面、抛物面等三维曲面的轮廓重构,可达微米量级的测量精度。 但该技术仍存在一些尚未解决的技术瓶颈与挑战性问题。 其发展趋势可总结如下。

①目前的测试对象大多为相对简单的规则曲面。然而,对于高陡度非球面、自由曲面等复杂面形零件而言,尚未形成较为完善的结构光测试理论与方法体系。这类问题是当前结构光测量面临的技术挑战,涉及投影设备优化、面形信息提取算法的创新和标定模型的改进等方面。

②航天航空、精密仪器等领域对光学面形精度要求达到了亚微米乃至纳米量级,现阶段结构光检测水平尚无法满足应用需求。 影响测量精度的因素很多,包括系统标定误差、结构光编解码算法等。 将结构光法融合计算光学、深度学习等理论,探索如何进一步提高精度,是未来的研究方向之一。

③基于结构光视觉研究大口径光学曲面的面形检测问题。 大口径光学曲面在工程上的应用越来越广泛。 通过开展结构光三维测量系统的优化研究,在保证精度的前提下,不断增加结构光法可检测的区域范围,可实现大口径光学元件的快速面形测量。

4 结论

由于复杂曲面具有形状的任意性和数学表达的困难性,给实际面形测量与评价带来了极大的技术挑战。结构光法作为一类高精度的非接触式测量方法,能够克服传统激光三角坐标测量法存在的触头易磨损、效率低等问题;单次可投射的结构光覆盖范围大,在测量效率上也具备明显的优势。 与零位补偿干涉测量方法相比,结构光法无需针对每个待测面制作相应的补偿器,可大大减少测量成本,适用性更强。 因此,基于结构光视觉的检测方法在复杂曲面测量领域具有广阔的应用前景。