基于三维激光成像技术的扣件缺损自动检测

李明森,李 林,张 超,刘光东,罗文婷

(1.福建农林大学交通与土木工程学院,福建 福州 350100；2.福建省高速技术咨询有限责任公司,福建 福州 350001)

1 引 言

随着中国铁路网规模的扩大,铁路检测的快速化与智能化要求越来越高。轨道扣件作为铁路沿线设备的重要组成部分,具有固定轨道、绝缘减震、轨距与水平调整等重要作用[1],其维护的重要性逐渐显现。现阶段铁路检测主要是人工检测,不仅准确率较低、速度慢,而且存在错检、漏检等问题[2]。为了提升速度,也有通过检测车拍照再经由工作人员通过照片来确定扣件状态的检测方法,这种方法确实降低了工人的工作强度,提高了巡检的安全性,但是仍然属于人工检测,并没有从根本上解决问题[3],准确度方面无法保证。为了满足铁路巡检的自动化与智能化的要求,国内外都做了较多的研究,大部分是通过基于数字图像的深度学习技术,通过模型训练得到相应的约束条件,然后判断采集得到的图片是否存在模型中的病害,如郑丹阳等人基于深度学习方法搭建HED网络提取轨道扣件的深度边缘特征,利用得到的特征图与分类器最终实现扣件病害检测[4]；侯云等人引入代价敏感策略对卷积神经网络算法进行改进,依据模型错误率调整样本分配权重,最终提升扣件检测速率[5]。针对扣件区域提取特征的检测算法无法避免背景信息对特征稳定性的影响,只能通过融合扣件的结构特征进行改善[6],无法得到更加详细的三维高度信息,准确度有所缺失,并且在此之前需要采集大量数据进行训练,比较费时费力,而现在扣件使用的种类繁多,每种扣件都需要其专属模型,适用性较弱。因环境因素等影响,基于二维图像很难提取出形状复杂的扣件,尤其是在扣件种类愈加繁多的情况下,但结合扣件轮廓和高度信息,三维图像检测算法能有效分离扣件与环境背景[7]。

本文通过自行搭建三维成像平台,通过提升装置高度以扩大其检测范围,之后使用亚像素精度中心提取法得到点云数据,再使用OpenGL渲染点云数据,以直观显示采集数据,然后通过扣件实际高度设置阈值,使得到三维图像,最后用聚类法分辨扣件病害。技术路线图所图1所示。

图1 技术路线图Fig.1 Technology Roadmap

2 三维激光采集系统搭建

2.1 三维激光成像原理及传感器集成

在构造上,采用垂直入射式构造,如图2所示,这样可以节省更多空间以及简化计算,根据几何三角关系,只要知道入射光线AB任意一点在相机成像平面上的成像位置与基准像点F位置偏差,就可以推出该点与平面B点之间的高度差[8-9]。

(1)

其中,AB为被测物体的高度；BO为参考平面与相机镜头的距离；OF为像距,FD为成像高度；α为相机视线与激光线夹角；β为相机与成像底面所成夹角。

在硬件采集方面,采集小车通过车轮转动带动光电编码器(DMI)转动,向相机传递脉冲信号,与相机采集结合,实现小车运动与相机采集同步运行,如图3所示；而在相机采集部分,整体构造如图4所示。通过亚像素中心线提取得到三维深度图,再经由OpenGL三维渲染接口渲染得到三维数据,直观显示采集对象的高低起伏情况,可以清晰地观察到扣件本身是否缺损以及表面是否存在异物等,对于铁轨的检修等具有重要意义。

图4 三维采集箱Fig.4 3D acquisition box

2.2 激光条纹提取

激光条纹提取主要步骤为激光条纹滤波以及激光条纹中心提取法。在理想情况下,激光条纹的亮度呈高斯分布[10],但是由于外界光照因素的影响以及不同材料的反光程度的不同,对激光条纹光强存在干扰,难以获取理论情况下的激光条纹,因此需要对图片进行滤波处理；其次需要对激光中心条纹细化提取,将精度提升至亚像素精度。

2.2.1 激光条纹滤波

使用中值滤波或者高斯滤波都可以在一定程度上减少噪声干扰,但是这些滤波方式都会使激光中心线失去详细信息,在亚像素提取方法下这种影响很明显。但是可以使用OpenCV中的双边滤波函数可以在消除噪声干扰的同时保留激光中心线强度信息,而采用的核为3×3,空间域参数与像素域参数均为10的双边滤波器效果最好。图5为激光线水泥块上的显示效果以及不同滤波方式对激光线条纹的影响。

图5 激光条纹原图及处理图像Fig.5 Laser fringe pattern and image processing

2.2.2 激光条纹中心提取法

由于激光光条存在宽度,只有将激光线条纹细化并提取中心线后才可以详细得到采集对象的更加精确的高度信息。而由于反射噪声的存在,以及激光线中心部位饱和,激光条纹中心类似于高斯分布,故使用高斯拟合法对所提取的条纹中心的准确性有一定影响,而采用灰度提取法对于本文宽度较大的ROI区域而言,其准确性会大打折扣[11-13]。本文通过结合高斯拟合法、灰度重心法以及激光条纹中心的饱和值,通过改变其影响参数,提出改进的中心线提取法:

(2)

其中,Iy为提取的中心线坐标;I(x,y)为初始激光条纹中心灰度值;ya为初始条纹中心坐标;a为影响参数,随着饱和值的改变而改变;i为激光条纹宽度的一半。

(3)

故除了使用R2表示各个采集精度外,还使用标准差σ来表示各个激光中心提取法的精度。由于极值法精度只到像素精度,使用R2看不出有何不同,但是使用标准差会使数据增大,进而看不出本文方法与灰度重心法的区别之处,故未展示极值法标准差。

将三种方法的条纹提取结果进行直线拟合,结果见表1与图6。

表1 中心拟合直线Tab.1 Center fitting line

图6 中心提取法两组数据标准差对比图Fig.6 Comparison of standard deviation of two groups of data by center extraction method

通过DMI(光电编码器)将采集小车运动与相机采集同步,可以得到一张完整的三维激光扫描点云数据,再经过OpenGL进行渲染,最终点云数据的三维渲染图,如图7所示。

图7 点云渲染图Fig.7 Point cloud rendering

由于沥青试块表面纹理较复杂,越精准的中心提取法就可以越精确的提取沥青试块表面纹理,可以通过三种方法对沥青试块表面纹理的提取效果以直观地显示三种方法的优劣情况。图8显示的是使用极值法采集数据经渲染后的三维图像,图9显示的是使用灰度重心法采集数据渲染后的三维图像,图10是使用本文方法采集数据后渲染得到的三维图像。

图8 极值法Fig.8 Extreme value method

图9 灰度重心法Fig.9 Gray centroid method

图10 本文改进方法Fig.10 This paper improves the method

从采集结果中可以直观看出本文的改进方法在对沥青纹理的采集精度上、对采集对象表面细节方面比极值法与传统的灰度重心法两种方法要好上很多,并且采集速度方面完全可以与小车同步。

3 轨道扣件的病害采集与处理

铁路扣件是维系铁路运输安全的重要部件,扣件缺失断裂,会使轨道松动,很有可能造成列车脱轨等重大事故。因此,铁路设施的检测与养护异常重要,而目前我国主要依靠人工沿线排查,而人工检测准确度低、容易漏检并且速度慢[18-19]；尤其在我国铁路规模逐渐增长的情况下,扣件的自动化探测是发展铁路事业必须要面对的问题[20]。本文通过提出一种新的结构光中心线提取法,得到铁路扣件的深度信息,根据扣件在不同高度占有的像素数,不仅可以快速定位扣件位置,还可以准确地确定扣件缺失情况以及扣件上存在的异物情况,使用本文方法识别扣件病害效果如图11所示。

图11 三维点云渲染图扣件识别Fig.11 Fastener recognition of 3D point cloud rendering

3.1 扣件病害采集算法

聚类是数据挖掘[21]的一个重要手段,K均值聚类算法是一种广泛运用的聚类算法,该算法操作及原理简单、快速[22],其基本原理如下:

已知一个数据集含有的数据对象数量为n,将其分为固定K个类别,并令初始聚类中心为任意选取的K个数据对象,按照相似度[23]最近原则,将其他数据分别分至与之相似度最高的聚类中,并按照当前聚类结果,采用已有聚类质心完成界定,新的聚类中心即为得到的K个质心,再重新聚类数据集,持续迭代处理直至满足预期要求。其标准为界定的准则函数与已知数值相近或逐渐收敛。采用下列公式界定误差平方和准则函数:

(4)

式中,全部样本误差平方和为Je;空间数据对象为p;簇均值为ui。

由于现在铁路扣件种类较多,不可能一一实验,所以在扣件选择放慢选择了应用最广泛的“W”型扣件,与铁轨一起按实际情况摆放在室内进行采集。采集系统在采集轨道扣件三维图像的时候,首先需要对扣件进行定位,现根据采集得到的三维深度图提出一种根据深度值定位方法。如图10所示,轨道与扣件的高度信息经过OpenGL渲染后可以直观的显示出来。通过设置合适的阈值,就可以提取相应高度的扣件位置,再统计该部位扣件占据的像素数量,便可以分辨该处扣件病害。如图12所示,扣件表面高于钢轨底部和承轨台。据此利用阈值分割法可将扣件深度图像中的扣件部分提取出来,即:

图12 实验室轨道采集横剖线Fig.12 Laboratory track acquisition cross section line

(5)

其中,I(x,y)表示是点(x,y)的高度值;V1表示阈值下限;V2表示阈值上限。

由横剖线可确定扣件阈值为30～80,低于此阈值的认为是路面、枕木,高于此阈值的认为是铁轨。为了详细检测某一个扣件是否存在缺失、异物等病害,将整幅深度图按照四个扣件的分布分为左上、右上、左下以及右下部分。若是扣件出现扣件缺失,则其扣件在其阈值内所占像素数会明显少于正常情况下所占像素数；同理,若是扣件出现扣件上异物病害,则在其阈值内所占像素数会明显多余正常情况下所占像素数。根据以上描述,本文分别对缺失、正常、异物三种情况采集了三组图片,以判断本文提出方法的准确性与快速性。

3.2 扣件数据采集及处理

在实验室条件下,通过人为拆除一些扣件或者抽开弹条,在扣件上放置异物等以模拟扣件缺失和扣件异物,分别统计正常情况下、扣件缺失情况下以及存在异物情况下的阈值内所占像素数,如图13所示。

图13 三维信息中不同扣件病害情况Fig.13 Diseases of different fasteners in 3D information

从数据中可以看出当扣件断裂缺失时,占据像素数明显少于正常扣件,扣件上存在异物时,其占据像素数明显多于正常扣件,所以完全可以根据阈值内占据像素数来判断扣件病害情况。

通过测试,可根据下列公式计算出实际异物或扣件缺失面积:

T=(T测-T完整)×a

(5)

其中,T指的是实际测得的异物或者缺失物体表面横截面积,若为正,则表示存在异物；若为负,则表示存在扣件缺失；T测表示测量得到的扣件所占像素数,可能存在缺失或者异物；T完整表示测得的完整扣件所占像素数,不同扣件有不同取值；其中a为像素与实际面积之比,在本文测量系统下,比值取0.803。

之后采集100张图片,里面包含有100个残缺扣件,200个正常扣件,100个扣件异物,即将数据分为3个类别,且很容易得到3个簇的中心值,之后对采集数据通过聚类法进行判别,结果如表2所示。

表2 扣件病害判别结果Tab.2 Fastener disease discrimination results

由数据可以看出,通过该方法可以对本文中的残缺扣件有100 %的识别度,对扣件异物也有98 %的识别率,能够准确的识别扣件异物与扣件缺失病害。

由于铁路扣件弹条与挡板座在实际铁路上是在固定位置固定轨枕,故当测量小车沿着铁轨线路检测时,轨道扣件与轨枕均在图片固定位置上,在这种情况下,可以确保检测的扣件位置始终保持在图片左右位置不改变,在图片的上下不同位置出现扣件时,经检测,仍能准确识别出扣件缺失以及异物病害,检测结果如图14所示。

图14 扣件病害检测结果Fig.14 Testing results of defective fasteners

本文中测试时使用的是现在铁路使用最广的弹条Ⅰ型扣件,如图15所示,这种扣件主要是利用压力固定轨枕,其他扣件只要是相同原理下,理论上均可以检测出缺失以及异物等病害。

图15 完整扣件与缺损扣件对比Fig.15 Comparison between complete fastener and defective fastener

由图13可以看出不同病害的扣件得到的测量值是不同的,由于缺失扣件是占完整扣件的3/4;由于固定螺丝本身会遮蔽一部分的扣件影像,故检测时会将固定扣件的螺丝一并检测,故图中的比例不为理论上的3/4,之后根据实际关系可测得螺丝占据的像素数为3453.9；最后,只需由测量结果减去螺丝所占像素数就可以得到单纯扣件所占的像素数。

图16分别是缺失1/2以及1/4的扣件测量图,以及不同异物大小的测量图像,异物选择的是标准金属块,分别使用是横截面为51 mm×51 mm以及51 mm×12.8 mm横街面的金属块。测量效果如图16所示。

图16 不同严重程度下的扣件病害Fig.16 Fastener diseases under different severity

4 结 论

三维激光成像技术的关键就是激光条纹中心提取法。本文通过分析图像灰度值分布,提出一种改进的灰度权重模型方法提取激光条纹中心线,使其精度达到亚像素精度。首先,通过双边滤波去除外界噪声影响,获取初始的激光条纹区域；其次,通过选取有效的图像ROI区域,以去除采集图片的内部影响,得到一条可用于快速提取的激光条纹区域；最后,结合灰度重心法和高斯拟合法,引入影响参数,提出改进的灰度权重模型,具有很好的稳定性与鲁棒性。具体通过采集同一块沥青试块,对比不同中心线提取法,本文方法不仅精度比灰度重心法等方法要高,而且处理速度与灰度重心法相比也毫不逊色；在轨道扣件采集方面,本文方法可以精确的采集到扣件,扣件是否损坏、缺失以及异物等信息均可采集。这些信息对于后期扣件检测、维护等都具有重要意义。另外,虽然在实验室内测试情况正确率较高,但是还有很多情况没有考虑,如测量小车本身的颠簸会导致数据误差、扣件潮湿时难以检测等情况。