单双目视觉结合的齿廓倒棱坐标提取方法研究

李帅康,洪荣晶,张 浩,陈 昕

(1.南京工业大学机械与动力工程学院,江苏南京 211816; 2.江苏省工业装备数字制造及控制技术重点实验室,江苏南京 211899)

0 引言

齿轮在制造、自动化等领域应用广泛,在齿轮批量生产过程中,若使用传统方法进行齿廓倒棱,存在加工准备时间长,加工参数调整复杂,自动化程度较低,通用性较差等问题。随着机器视觉技术的快速发展,其在工件测量、缺陷检测和识别定位等领域得到广泛应用。作为智能制造的重要实现方法之一,国外已有机器视觉配合机床或机器人进行数控加工的案例。有效获取齿廓的坐标信息是倒棱加工的重要前提,通过机器视觉方法获得倒棱所需坐标,后续可以进一步转化到机床或者机器人坐标系下,实现倒棱位置的自动化感知,显著增加了其便捷性和通用性[1]。

基于机器视觉的齿廓倒棱坐标提取可以实现在线实时非接触定位,有利于克服传统倒棱加工方式的不足。传统的单目视觉应用较普遍,该方法的优点是结构简单、相机标定容易,但其难以获得准确的深度位置信息[2]。而双目视觉可基于双目视差直接获取目标物体的三维深度信息,具有效率高、精度合适、成本低等优点[3]。为了进一步增加倒棱加工的自动化程度,需要结合单双目视觉,实现齿廓倒棱三维坐标的提取。

图像边缘检测对齿廓倒棱坐标提取至关重要。常用的边缘检测算子包括Canny、Sobel、Roberts、Prewitt、LOG等[4],其定位精度只能达到单个像素,不能满足齿廓高精度定位的要求。因此,有必要研究亚像素边缘检测方法,较常见的有插值法[5]、拟合法[6]和矩方法[7]。另外,齿轮倒角和磨削[8-9]、检测和测量[10-12]等都需要获得齿轮齿廓中心作为基准。在本文研究的齿廓倒棱加工过程中,寻找齿廓中心坐标对应齿轮的找正工艺。常用的基于机器视觉的中心定位方法主要有重心法[13]、最小二乘圆拟合法[14]和Hough圆变换法[15]。双目立体视觉能够基于三角测量的原理计算出目标物体的空间坐标[16],其定位和测距最关键的步骤是立体匹配。常用的立体匹配方法包括全局立体匹配、局部立体匹配和半全局立体匹配算法[17]。对上述关键技术分析研究可知,针对齿廓倒棱三维坐标的提取,需要根据具体工况综合选择和改进相关算法。

由于单目视觉能够准确定位齿廓边缘但不能获取三维深度信息,而双目视觉能够精确获取倒棱平面深度信息,本文提出了一种单双目视觉结合的齿廓倒棱坐标提取方法。基于搭建的齿廓倒棱坐标视觉提取系统,综合选择和改进相关单双目图像处理算法,通过双目视觉获取倒棱平面深度,通过单目视觉获取齿廓边缘和中心的亚像素坐标,并通过相机成像模型将坐标转化到相机坐标系下,从而实现相机坐标系下齿廓倒棱三维坐标的获取。最后通过实验验证齿廓倒棱三维坐标的提取精度。

1 齿廓倒棱坐标视觉提取系统与流程

1.1 齿廓倒棱坐标视觉提取系统

本文搭建的齿廓倒棱坐标视觉提取系统如图1所示。主要包括500万像素CCD工业相机、定焦镜头、相机支架、LED背光源、环形光源、光源控制器、标定板、实验齿轮和计算机。为了最大程度减少双目相机安装带来的误差,本文使用可滑动固定基线距离的单目相机代替传统的双目相机,即当相机处于位置1时作为左位置相机,当相机处于位置2时作为右位置相机(以下文中均简称为左相机和右相机,以左相机为主相机)。由此构成单双目视觉结合的齿廓倒棱坐标提取系统。

当使用双目相机时,关闭背光源,基于左、右相机分别拍摄。当使用单目相机时,打开背光源,基于左相机进行拍摄。另外,本文综合应用OpenCV和MATLAB完成相关图像处理流程。基于上述视觉系统,双目相机拍摄的齿轮原始图像如图2所示,单目左相机拍摄的齿轮原始图像如图3所示。

(b)齿轮右图像

图3 单目左相机拍摄的齿轮原始图像

1.2 齿廓倒棱坐标视觉提取流程

本文提取左相机坐标系下齿廓倒棱三维坐标点并作精度验证,后续与世界坐标系或加工坐标系的转化暂不考虑。提出相机成像模型如图4所示,假设点P(Xc,Yc,Zc)是相机坐标系下的某一点,在图像坐标系下对应点为p(xu,yu),在像素坐标系下对应点为p(u,v)。结合相机成像模型及理论可推知:

(1)

式中M为相机内参矩阵,可由标定获取。

由相机成像模型可知,在已知相机坐标系下物点深度Zc的情况下,像素坐标系下任一像素点坐标(u,v)可以转化到相机坐标系下,从而得到相机坐标系下物点的三维坐标(Xc,Yc,Zc)。

图4 相机成像模型

基于此,提出齿廓倒棱坐标视觉提取流程,如图5所示。首先获取齿轮双目图像,由双目相机标定获取左右相机标定参数。在此基础上,基于立体校正和立体匹配,获取倒棱平面视差图及深度图,并得到倒棱平面三维坐标点。基于获得的三维坐标点拟合倒棱平面,获取倒棱平面深度Zc。然后获取左相机背光源下齿轮图像,通过单目图像处理获取齿廓边缘和中心的亚像素坐标。最后将得到的亚像素坐标转化到相机坐标系下,获取左相机坐标系下齿廓倒棱三维坐标,同理获取齿廓中心三维坐标。

图5 齿廓倒棱坐标视觉提取流程

2 双目视觉倒棱平面深度获取

2.1 双目相机标定与立体校正

为保证左右相机的成像平面处于同一个水平面,需要对双目齿轮图像对进行立体校正。本文通过标定的方法获取立体校正所需的相关参数。

考虑标定精度要求,使用MATLAB R2018b进行双目相机标定。标定板选择12×9的棋盘格标定板,其方格尺寸为10 mm。保持相机焦距及光圈不变,采用环形光源进行适当打光,在相机景深范围内变换标定板位姿和角度,并使用左右相机分别采集28组标定板图片,加载图片进行双目相机标定。剔除其中标定效果较差的3组图片,并重新标定得到最终标定结果。双目标定的重投影误差如图6所示,其平均重投影误差为0.11 pixels,标定效果较好。

图6 双目标定重投影误差

通过标定获得左右相机内参矩阵cameraMatrixL、cameraMatrixR,左右相机畸变矩阵distCoeffL、distCoeffR,右相机相对于左相机的旋转矩阵R和平移矩阵T,在此基础上,本文在OpenCV中基于Bouguet算法[18]进行双目立体校正,该算法能够使左右图像重投影造成的误差最小,左右视图的共同面积最大。

经过上述立体校正后,就可以利用左右齿轮图像匹配点和视差原理计算像素点的三维坐标,即得到对应像素点的深度信息。立体校正后齿轮左右图像如图7所示,可见校正后的齿轮左右图像被重新映射,左右图像平面共面且行对准,此时匹配点所在的极线共线。

图7 立体校正后齿轮左右图像

2.2 立体匹配

立体匹配确定左右图像中的匹配点集合,是双目视觉求取深度信息的关键环节。其主要任务是确定双目图像中对应像素点之间的视差,并由此获得空间点的深度信息。双目齿轮图像对经过立体校正后,就可利用立体匹配算法获取视差和深度信息,得到倒棱平面三维坐标点。

综合对比考虑,本文选用匹配准确率较高的半全局立体匹配SGBM算法,并对其进行针对性优化。该算法基于SAD-BT进行立体匹配,近似于全局二维平滑度约束,算法复杂度相对低,综合性能较好。

该算法的基本步骤如下: 采用水平Sobel算子处理输入图像并将每个像素点映射为新图像,获取图像梯度用于后续代价计算;代价计算:基于采样方法分别得到梯度代价和原图像的SAD代价,上述2个代价均在SAD窗口内计算,最终生成加权融合的SAD-BT代价;动态规划:默认4条规划路径,获取路径累积的代价函数,并对动态规划的相关参数进行针对性设置,最终完成代价聚合和视差计算;基于唯一性检测、左右一致性检测、连通区域检测等方法修正视差。

结合本文实际需要,对SGBM算法进行优化。首先对SGBM算法各项参数进行针对性优化,另外对算法步骤进行一系列优化,主要包括:

(1)亚像素插值:基于二次曲线内插法对视差进行亚像素插值。首先将像素点的所有视差标注出来,找到最优视差点,然后确定该点周围2个视差点,基于三点确定一条二次曲线的原理,得到过这3点的抛物线,该抛物线的顶点对应亚像素视差值。

(2)滤波后处理:在计算像素的视差值时,都是基于小窗口进行的,容易产生噪声,因此在后处理部分加入中值滤波器,消除噪声造成的异常视差,平滑视差图像。

基于左相机,SGBM算法得到的倒棱平面视差图如图8(a)所示,优化SGBM算法得到的倒棱平面视差图如图8(b)所示。对比可知,优化SGBM算法在噪声滤除和成像质量上,均得到了一定的提升。

(a)SGBM算法

(b)优化SGBM算法

在获取视差图的基础上,可进一步创建深度图。视差与深度的转化公式为

(2)

式中:depth为深度,mm;b为基线距离,mm;f为归一化焦距,pixel;d为视差,pixel;Tx为左右两相机投影中心x方向平移,mm。

得到的倒棱平面深度图如图9所示。

图9 倒棱平面深度图

获得高质量视差图及深度图后,基于OpenCV中的reprojectImageTo3D函数构建3D空间,即可实现将像素坐标转换为三维坐标,该函数会返回一个3通道的矩阵,分别存储左相机坐标系下X、Y、Z三维坐标(需乘尺度因子W=16)。由此得到倒棱平面所有三维坐标点。

2.3 倒棱平面拟合

由于事先已对视觉系统工作平台进行水平度校准,齿轮端面自身的平整度较高,且已进行了双目立体校正,故可以认为倒棱平面为一固定深度的水平面(相对于Zc=0平面)。本节首先基于原始三维点坐标拟合该倒棱平面,从而得到倒棱平面深度,后续可将左相机获取的齿廓及中心亚像素坐标转化为左相机坐标系下齿廓及中心三维坐标。

设待拟合的倒棱平面方程为:Z=AX+BY+C。由于已知倒棱平面n个三维点的坐标,所以理想情况下将已知点坐标代入平面方程中可以构建一个方程组,求解该方程组即可。但是由于n个三维点的定位误差,点不一定在平面上,所以上述方程组无解。故采用最小二乘法求解上述线性方程组。

最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配。基于最小二乘法构建倒棱平面方程的目标函数:

(3)

求解系数A、B、C使得损失函数G(A,B,C)最小,对A、B、C分别求偏导,并令其偏导均为0,如下所示:

(4)

将方程组(4)展开、变形,得到一个未知量为A、B、C的线性方程组:

(5)

令上述方程组系数矩阵为H,方程组右边的常数向量为v。由此构建形如H·Coeff(A,B,C)=v的线性方程组,由Coeff(A,B,C)=H-1·v计算得到方程组的解,即确定平面系数,从而确定拟合的倒棱平面。

本文提出的基于最小二乘法的倒棱平面拟合算法具体步骤如下:

(1)设置鼠标回调函数和鼠标响应函数,实现点击齿轮视差图像实时获取对应点三维坐标功能。点击视差图像确定倒棱平面Z坐标大致范围。

(2)以平面Z坐标取值范围为初始条件,在该范围内筛选三维拟合点。基于上述最小二乘法拟合筛选的三维坐标点,得到对应的倒棱平面。

(3)对Z取值范围进一步迭代,并以新的Z取值范围为条件,重新拟合倒棱平面,直至拟合的平面法向量近似等于(0,0,1),即平面方程系数A和B近似于0,以系数C作为该平面的Zc坐标,即获取倒棱平面对应的深度。

基于上述倒棱平面拟合算法,某次拟合的倒棱平面为Z=0.001 732 43X-0.001 408 27Y+394.566。可知,倒棱平面深度为394.566 mm,其具体精度将在后续实验中进行验证。

3 齿廓亚像素边缘检测与中心检测

3.1 畸变校正

相机实际成像过程中,镜头的制造和安装误差会使视觉系统采集的图像发生径向和切向畸变。为了提高视觉系统的定位精度,需要对齿轮原始图像进行畸变校正。

根据第2.1节得到的双目相机的标定结果,获取左相机的内参矩阵cameraMatrixL和畸变矩阵distCoeffL,基于OpenCV中的相关算法函数编写图像畸变校正程序,对齿轮原始图像进行畸变校正,并输出畸变校正后的齿轮图像,如图10所示。

图10 左相机畸变校正后齿轮图像

3.2 图像预处理

在视觉成像系统采集齿轮图像过程中,由于受到现场各种复杂因素的影响,采集的齿轮图像会产生宏观和微观噪声,故需要对原始图像进行滤波去噪预处理。

双边滤波是一种综合考虑滤波器内邻域距离权重和图像像素灰度值相似性的滤波算法,在保留区域信息的基础上实现对噪声的去除、对局部边缘的平滑。因双边滤波在去噪的同时能很好地保留图像边缘特征,本文选用双边滤波处理畸变校正后的图像,双边滤波后齿轮图像如图11所示。

图11 双边滤波后齿轮图像

3.3 齿廓亚像素边缘检测

齿廓倒棱坐标提取最重要的步骤是边缘检测。像素级边缘检测只能定位边缘像素的整数坐标位置,导致视觉系统定位精度有限,因此需要在像素边缘的基础上将图像边缘点定位到亚像素级。

综合对比多种边缘检测算法,本文初步选用综合性能较好的Canny边缘检测算子提取齿廓像素级边缘。Canny算子作为一种混合策略边缘算子,在齿廓边缘检测方面具有一定的优势,但传统的Canny边缘检测算子在实际应用中也存在以下不足:其使用高斯滤波对图像进行滤波去噪,对典型的高斯噪声具有一定滤除作用,但其对边缘的模糊作用较大,不能很好地保护边缘信息,导致边缘定位不准确; Canny算子的高、低双阈值是人为选定的,其分割阈值不一定适合图像,容易造成边缘漏检或者边缘误判;Canny算子提取的边缘可能会存在一些较小的图像区域或孔洞,而这些区域并不是本文关注区域。

针对Canny算子上述不足,本文提出了改进的Canny算子提取齿廓像素边缘,具体步骤如下:

(1)使用双边滤波代替高斯滤波对图像进行滤波去噪,在滤波的同时能够较好地保存边缘,本文直接使用双边滤波后的图像进行边缘检测。

(2)基于3阶Sobel算子模板(图12)分别求解图像在X方向和Y方向的梯度,从而获得图像梯度幅值(2-范数)和梯度方向,并将梯度方向近似到0°、45°、90°和135°4个方向。

(3)对于步骤2得到的梯度图像可能出现的宽边缘或者伪边缘,需要进行非极大值抑制操作。非极大值抑制的过程同Canny算子,如果一个像素点与其梯度方向前后两个像素点相比有最大的梯度幅值,则保留该像素点,否则剔除。

(4)采用OTSU方法自适应获取高低阈值来检测和连接边缘。基于OTSU方法获取高阈值,并保持高低阈值比为2∶1,可得到低阈值。使用高、低双阈值进行滞后阈值处理,对强、弱边缘进行筛选和处理,并进行边缘连接等过程同Canny算子。

(5)对于提取得到的单像素边缘,基于区域生长法,通过设置区域面积阈值,采用八邻域探测,去除小区域或孔洞,最终得到本文所需的齿廓边缘。

图13为改进Canny算子提取的去除内孔的齿廓边缘(基于步骤5去除孔洞)。分析图像可知,本文改进Canny算子得到的是窄而连续的单像素边缘,定位精度较高,且抗噪声性能较好。

图13 改进Canny算子提取的去除内孔的齿廓边缘

在获取齿廓像素级边缘的基础上,本文使用改进的Zernike矩方法定位齿廓亚像素级边缘,Zernike矩可以通过模板与图像的卷积得到。Ghosal等[19]的算法选取5×5的模板获得Zernike矩,在实际坐标提取中,其亚像素定位精度受到限制。鉴于其不足,本文选取7×7模板。针对Z11和Z202个Zernike矩,构造相应的模板M11和M20。通过构造的模板与图像卷积可求得Z11和Z20,进一步计算每个齿廓边缘点的亚像素坐标(xs,ys),得到齿廓亚像素边缘如图14所示。

图14 齿廓亚像素边缘

为清晰表示亚像素边缘点,将通过OpenCV获取的亚像素坐标点转化到MATLAB图像坐标系中(在OpenCV中第一个索引为(0,0),而在MATLAB中第一个索引为(1,1),故横、纵像素坐标需要分别加1,仅用于显示)。如图15和图16所示,基于MATLAB分别在像素级边缘和双边滤波后齿轮图像上标记出亚像素坐标点(单位pixel)。分析图可知,改进Zernike矩算法提取的齿廓亚像素边缘定位精度较高,较好地反映了实际的齿廓边缘。

图15 像素级边缘上标记的亚像素坐标点

图16 双边滤波后齿轮图像上标记的亚像素坐标点

3.4 齿廓中心坐标检测

齿轮自身旋转对称,结合实际工况,本文采用重心法检测齿廓中心坐标。重心法计算的时间复杂度仅为O(n),运算速度快,且有研究显示其结果的误差远小于1 pixel[13]。传统重心法以整个齿轮区域像素点计算中心坐标,而本文基于精定位后的齿廓边缘点亚像素坐标(xs,ys)计算齿廓中心坐标。

将齿廓边缘每个亚像素坐标点的横坐标累加到集合xs(i)中,将其纵坐标累加到集合ys(i)中,对两坐标集合分别求均值即可得到齿廓中心亚像素坐标(x0,y0)。其具体计算公式如下:

(6)

式中n为齿廓亚像素边缘点的数量。

图17为齿廓中心坐标检测图像,使用十字标记出齿廓中心,检测出的齿廓中心亚像素坐标为(1 477.93,1 025.86)。

图17 齿廓中心坐标检测图像

4 齿廓及中心三维坐标提取

已知倒棱平面深度Zc后,将齿廓边缘点的亚像素坐标(xs,ys)和Zc代入式(1)即可转化为左相机坐标系下齿廓三维坐标(Xc,Yc,Zc),同理也可以将齿廓中心亚像素坐标(x0,y0)转化为左相机坐标系下齿廓中心三维坐标(X0,Y0,Z0)。至此,得到齿廓倒棱三维坐标。

为清晰表示获取的齿廓三维坐标,存储齿廓三维坐标并基于MATLAB绘制三维坐标点。图18所示为MATLAB表示的齿廓三维坐标点,此外也对齿廓中心进行了标记。观察图18可知,本文较好地实现了齿廓三维点的提取,齿廓三维点的具体提取精度将在后续实验中进行验证。

图18 MATLAB表示的齿廓及中心三维坐标点

5 实验验证

本节实验主要验证齿廓三维坐标提取方法的可行性,以及齿廓三维坐标提取精度是否满足倒棱加工需求。为综合验证本文齿廓三维坐标提取精度,使用一个标准渐开线直齿圆柱齿轮进行相关实验,分别验证了深度Z方向精度和平面X/Y方向精度。

本文单双目视觉结合的齿廓倒棱坐标提取的实验对象是一个标准渐开线直齿圆柱齿轮,其标准参数如表1所示,压力角α=20°,无变位。经评定其精度等级为GB6级,且齿轮端面具有较高的平整度。本文坐标视觉提取实验设备与第1.1节中描述的一致。

表1 齿轮标准参数

清理视觉系统关键部件和待测齿轮,并对视觉系统工作平台进行水平度校准。使用视觉系统采集本文所需单目及双目齿轮原始图像,然后基于上述算法和流程完成相关图像处理,获取实验所需数据。

实验中,由于坐标系不一致,很难直接对比相机坐标系下齿廓三维坐标点的真实定位精度,即不能直接验证齿廓三维坐标的提取精度。故本文的实验方案是采用间接验证的方式,分2个方面验证齿廓三维坐标提取精度:验证Z方向精度;验证X/Y方向精度。

5.1 深度Z方向精度验证

如图19所示,在原始齿轮上放置一个4 mm标准1级量块,通过本文算法和流程完成立体校正和立体匹配,得到如图20所示的带量块的齿轮双目视差图,然后基于第2.3节算法拟合量块上平面,由于前文已经拟合了倒棱平面,通过求解两平面之间深度差值即可获得量块高度,和量块高度标准值对比,间接验证Z方向的精度。

图20 带量块的齿轮双目视差图

经过上述流程,得到平面深度及量块高度测量结果如表2所示,量块的标准高度为4 mm,测量定位误差为0.022 mm。即随着实际距离减少4 mm,测量距离也随之近似减少4 mm,说明本文单双目结合的视觉系统能够较精准地检测到Z方向的变化,Z方向精度较高,测量定位误差在合理范围内,且定位较稳定。

表2 平面深度及量块高度测量结果 mm

5.2 平面X/Y方向精度验证

基于得到的齿廓三维坐标测量出齿轮齿顶圆半径ra和齿根圆半径rf,和标准参考值作对比,从而间接验证平面X/Y方向精度。

通过本文算法及流程可以得到左相机坐标系下齿廓三维坐标(Xc,Yc,Zc),左相机坐标系下齿廓中心三维坐标(X0,Y0,Z0)。在本文拟合的倒棱平面上,齿廓边缘点的平面坐标为(Xc,Yc),齿廓中心的平面坐标为(X0,Y0)。采用式(7)计算齿廓每个边缘点到齿廓中心的距离d(i)。

(7)

式中:i=1,2,3,…,n;n为齿廓边缘点的数量。

基于得到的所有距离值d(i),绘制如图21所示的齿廓边缘到中心距离值条形图。由图21可以明显看出,距离在最大值和最小值之间呈现稳定的周期性波动,由齿形理论可知,理论上最大值对应的是齿顶圆,最小值对应的是齿根圆,但由于齿廓中心定位误差和齿廓边缘定位误差,齿顶圆和齿根圆上的点并不完全在同一距离上。

图21 齿廓边缘到中心距离值条形图

故本文基于对最大距离和最小距离求平均值的方法求解得到齿顶圆和齿根圆。首先对所有距离值进行排序,考虑到实验齿轮齿顶圆轮廓点的数目远大于齿根圆,并考虑到距离最大值和最小值的周向分布,选取距离最大的前900个值,求其平均值得到齿顶圆半径ra,选取距离最小的前300个值,求其平均值得到齿根圆半径rf。

上述ra和rf的测量结果如表3所示,得到的齿顶圆半径ra的测量误差为0.03 mm,得到的齿根圆半径rf的测量误差为0.04 mm。综合认为,其测量定位误差为0.04 mm。在倒棱加工定位误差允许范围内,平面X/Y方向精度较高,提取出的齿廓坐标能够精确地反映真实齿廓。

表3 齿轮参数测量结果 mm

一般而言,齿廓倒棱加工X、Y和Z3个方向上定位精度需要达到0.1 mm,而经过实验验证,本文单双目视觉结合的齿廓倒棱坐标提取系统和方法提取得到的齿廓三维坐标具有较高精度,满足齿廓倒棱加工需求。

6 结束语

本文提出的单双目视觉结合的齿廓倒棱坐标提取系统和方法可以在线采集齿轮图像,结合具体工况,综合选择和改进相关单双目图像处理算法,准确获取相机坐标系下齿廓倒棱所需的三维坐标。经实验验证,4 mm范围内深度Z方向精度为0.022 mm,齿顶圆半径64.85 mm范围内平面X/Y方向精度为0.04 mm,满足齿廓倒棱加工需求,有效提升了齿廓倒棱加工的自动化程度,克服传统倒棱加工方式的不足。后续的研究可以进一步将三维坐标转化到机床或机器人坐标系下,验证真实倒棱加工的精度。同时,本文实验部分也提供了一种单双目视觉结合的齿轮参数测量新思路。