张怀涛,张 刚,张玉雷,卫 兵,刘洪彬
(1.信发集团,茌平 252100;2.北京机械工业自动化研究所有限公司,北京 100120;3.山东建筑大学,250101)
随着国民经济的大幅提升,汽车已经成为人们生活中的重要交通工具。轮胎作为车辆主要的零部件之一,如果存在凹坑、裂缝等质量问题,会直接影响车辆的行驶安全,甚至引发一系列交通事故。因此,轮胎的生产过程与质量把控,是汽车制造厂商重点关注的环节。同时,人工智能、虚拟现实、云计算等技术的飞速发展,促使传统工业发生巨大变革。智能生产制造面临解决系统精准估计产品尺寸参数,并建立尺寸变化和工艺参数之间映射关系的重大挑战,其中构建三维图像(或称为三维重构)技术正是完成这项任务的有效手段之一[1]。
近年来,三维重构技术在智能制造、智慧建筑、智慧城市等领域得到了广泛应用。林祥国等[2,3]提出了一种基于架空输电线走廊机载LiDAR点云的电力线三维重建方法,可以完成自动化、高精度的长距离架空输电线的三维重建任务。文献[4]基于地面激光雷达点云数据,提出一种重建森林场景三维模型的方法,可有效表达亚热带山区森林样地的真实形态。工业部件的三维重构也受到了更多的关注,对轮胎的三维重构,能够通过准确估计工艺参数,确保产品的尺寸质量,并可以进一步通过深度学习等算法[5]实现轮胎缺陷检测等功能,提高轮胎生产质量。
当前,国内外学者利用机器视觉技术对轮胎图像识别、缺陷检测等内容进行了很多研究。国外研究机构主要集中在机器视觉检测元件和系统的供应商中[6]。如美国的Allen-Bradley公司将其研制的视觉传感器应用于轮胎生产数据采集和闭环控制中[7]。普利司通轮胎公司设计了一种面向轮胎内部缺陷的检测方法[8]。另外,德国的西克(SICK)、美国的康耐视(COGNEX)、日本的基恩士(KEYENCE)等也开发了轮胎数据采集、缺陷检测等相关设备。国内也开展了一系列立足于轮胎行业的机器视觉技术研究。文献[9]采用计算机视觉研究了一种航空轮胎表面缺陷识别系统,基于分时和同步两种方式实现了对航空轮胎表面缺陷的在线检测,为复杂的轮胎测量提供实时、有效的测量途径。王国林等[10]应用线结构光视觉法,设计了一种基于计算机视觉的轮胎轮廓测量系统,通过对成品轮胎的实验检测,验证了系统具有非接触、无磨损和高效率的优点。文献[11]利用激光传感器的测距原理设计了轮胎外形轮廓测量系统,实现了对轮胎的自动输送、精确定位、外形轮廓数据自动采集等功能。文献[12]提出了一种轮胎内部缺陷X光图像检测算法,对轮胎气泡等缺陷的检测进行了分析和改进。张岩[13]采集轮胎激光剪切散斑图像及X光图像,研究轮胎缺陷检测和识别系列方法,构建了轮胎缺陷自动无损检测系统的理论框架和体系结构。
当前机器视觉技术在轮胎行业应用研究,主要集中于轮胎图像检测、识别和分析处理研究,对于轮胎三维图像显示大多采用3dmax等软件,需要人工参与,这样不利于自动获取轮胎尺寸参数、缺陷特征等重要信息。因此,本文研究轮胎三维图像重构技术,获得轮胎原始尺寸测量参数,构建便于自动完成质量监控和轮胎缺陷检测任务的三维图像,提出一种基于几何坐标变换的轮胎三维图像构建方法。首先采集轮胎3D点云数据,然后采用几何坐标变换方法,将轮胎三维矩形图像转换为三维圆形图像,最后通过图像拼接技术构建轮胎3D模型。实验表明,本文方法能够有效实现轮胎三维圆形图像转换、构建轮胎三维图像等内容。
本文所提出基于几何坐标变换的轮胎三维图像构建方法总体框图,如图1所示。首先,采集轮胎3D点云数据,并分别获取上胎侧、胎冠、下胎侧的三维矩形图像;其次,采用几何坐标变换方法将三维矩形图像转换为三维圆形图像,并去除噪声区域;最后,将上胎侧、胎冠、下胎侧的三维圆形图像进行拼接,得到重构后的轮胎三维图像。本节通过采集轮胎3D点云数据、几何坐标变换、图像拼接三部分内容,介绍轮胎三维图像重构方法原理。
轮胎在传送带上到达指定位置时,机械臂根据轮胎二维码中提供的参数首先将轮胎固定,并移动到检测区。轮胎定位后,轴承带动轮胎以圆心为中心进行旋转,支架上固定的3个轮廓仪分别获取上胎侧、胎冠及下胎侧的3D点云数据。采集轮胎3D点云数据的装置,如图2所示。
图2 轮胎3D点云数据采集装置
轮廓仪采集数据完成后,获得上胎侧、胎冠、下胎侧的3D点云数据矩阵,分别表示为Au、Ag、Ad。图3给出了矩阵Au的示例,Au由M行N列元素组成,每个元素的行号和列号为像素的x、y值,元素值为像素的z值,这些x、y、z值就组成了点云数据点的三维坐标。比如,图3中Au(m,n)=(xm,n,ym,n,zm,n)表示矩阵Au中第xm,n行、第ym,n列元素值为zm,n,其中xm,n=4,ym,n=3,zm,n为第4行、第3列的元素值。那么,Au(m,n)=(xm,n,ym,n,zm,n)的坐标值即为Au(4,3)=(4,3,z4,3),从而可以根据该坐标值描述三维空间中的一个点。
图3 轮胎3D点云数据图像和矩阵
轮廓仪采集到的原始轮胎3D点云数据图像是矩形的,如图3所示。然而,轮胎三维图像要求显示为圆形图像。因此,本文提出利用几何坐标变换的方法,将轮胎的矩形图像转换为圆形图像,所提出方法的原理图,如图4所示。
为了便于演示轮胎矩形图像转换为圆形图像的过程,图4中假设轮胎3D点云数据矩阵以大小为16行6列,并将矩阵的每一列看作一条直线,那么该矩阵可简化为6条直线。本文以第6列元素,即第6条直线(最右侧直线)为例,阐述几何坐标变换的原理。
图4 矩形转换圆形原理图
假设几何坐标变换前,直线中点的坐标为(xm,ym),直线上半段和下半段分别有两个随机点坐标分别为(xi,yi)和(xj,yj);直线变换为圆形后,直线中点所对应的坐标变为(xm,ym),两个随机点所对应的坐标变为(xi,yi)和(xj,yj)。那么,在二维直角坐标系中,直线转换为圆的几何坐标变换公式可以表达为:
其中,式(1)为上半圆几何坐标变换公式,式(2)为下半圆几何坐标变换公式,d1为点(xm,ym)与(xi,yi)连接所形成弦的长度,d2为点(xm,ym)与(xj,yj)连接所形成弦的长度,θ1、θ2分别为弦d1、d2与半径之间的夹角。
针对式(1),求解(xi,yi)的过程如下。根据轮胎3D点云数据矩阵大小,可知矩阵简化后的直线长度(将该长度表示为L,比如图4中L=16),那么直线中点和第i点的坐标(Xm,Ym)与(xi,yi),均可根据L值设定为xy直角坐标系中的已知点。那么,只需求取d1、cosθ1、sinθ1,即可由式(1)解得(xi,yi)坐标值。如图4所示,cosθ1、sinθ1可利用弦长d1和半径R表示为:
弦长d1、圆心角α与弦所对应圆弧长度l之间的关系为:
利用式(5)和式(6),可以推导得出:
将式(3)、式(4)、式(7)代入式(1),可得:
经过几何坐标变换,上胎侧、胎冠、下胎侧的3D点云数据矩阵Au、Ag、Ad所描述的三维图像,会由矩形变为圆形。假设上胎侧矩阵Au转换后的数据矩阵变为Xu、Yu、Zu,胎冠矩阵Ag转换后的数据矩阵变为Xg、Yg、Zg,下胎侧矩阵Ad转换后的数据矩阵变为Xd、Yd、Zd。此处,几何坐标变换前后数据矩阵由1个变为3个是因为:轮廓仪采集的原始3D点云数据矩阵中,行号和列号代表数据点的xy坐标值,元素值代表z坐标值;然而,几何坐标变换后,xy坐标值变为非整数,不能继续用行号和列号表达,因此将xyz坐标值分为3个矩阵存储。
为了实现图像拼接,需要寻找拼接边界。本文将三维数据矩阵中全零区域的边界作为拼接边界,同时切割全零区域保留轮胎图像区域,实现图像去噪,从而上胎侧、胎冠、下胎侧切割后的三维圆形图像数据矩阵。最终,将该三种数据矩阵按列的顺序串行排列,即可实现轮胎三维图像拼接,图像拼接后的数据矩阵表示为
本文首先利用德国西克(SICK)轮廓仪采集轮胎上胎侧、胎冠、下胎侧的3D点云数据,并显示轮胎矩形图像,然后采用几何坐标变换将3D点云数据矩形图像转换为圆形图像,最后将上胎侧、胎冠、下胎侧的图像进行拼接,获得轮胎三维图像。实验基于MATLAB平台实现,CPU处理器为Intel(R) Core(TM) i7 2.3GHZ,内存16GB。
利用上胎侧3D点云数据,截取2701行3200列数据矩阵,显示为二维灰度图像,结果如图5(a)所示;显示为二维亮度图(二值化图),结果如图5(b)所示。图像两侧的全黑区域为元素值为0的点,用于保证扫描轮胎区域的完整性。
图5 上胎侧二维灰度和亮度图
采用MATLAB平台中的surf函数绘制轮胎三维矩形图像,图6给出了上胎侧的不同视点角度的三维矩形图像。实验结果表明,所采集的轮胎3D点云数据可以有效显示轮胎三维矩形图像。通过对比图6(d)的俯视图和图6(a)中的二维灰度图可知,所显示的三维矩形图像与二维灰度图像内容具有一致性。
图6 不同视点情况下轮胎三维矩形图像
为了验证轮胎三维矩形图像转换成三维圆形图像的效果。图7给出了上胎侧转换完成后的三维圆形图像,图像已将全零区域切割,只保留了轮胎区域。图7(a)为三维俯视图,结果表明几何坐标变换方法可以有效地将三维矩形图像转换为三维圆形图像;图7(b)为不同视点下的三维圆形图像,可以显示轮胎花纹的不同高度,便于测量轮胎纹路宽度、深度等尺寸参数信息。
图7 轮胎三维圆形图像
将上胎侧、胎冠、下胎侧的三维圆形图像进行拼接,获得整体轮胎三维图像,结果如图8所示。实验结果表明,本文方法可以有效实现轮胎三维图像重构技术。
图8 整体轮胎三维图像
本文提出一种基于几何坐标变换的轮胎三维图像重构方法,首先利用轮廓仪采集轮胎3D点云数据,读取轮胎三维矩形图像,然后采用一种几何坐标变换方法将三维矩形图像转换为圆形图像,最后将上胎侧、胎冠和下胎侧的三维圆形图像拼接,实现轮胎三维图像重构。实验结果表明,本文方法能够有效实现轮胎三维圆形图像转换、轮胎三维图像重构等技术。