双目结构光的钢轨表面缺陷检测系统设计

张　华，赵碧霞，刘桂华，王静强，王　姮

(西南科技大学信息工程学院，四川 绵阳 621000)

0　引言

目前，钢轨探伤领域采用的主要技术有超声探伤技术、人工目视法、磁场法和电涡流法等。周鹏等[1]提出基于多激光线的钢轨表面缺陷检测方法。该方法主要通过向钢轨表面投射多激光线，根据相机采集到的图像进行激光中心线提取等二维图像处理，虽可以较好地解决由于钢轨跳动造成的“误检”问题，但是不能对细小的钢轨裂纹进行提取，无法得到钢轨缺陷的深度信息。Canan Tas timur等[2]研究的基于形态特征的实时视频缺陷检测方法，采用形态学操作提取特征，并可识别缺陷区域。该方法在不同方向和照明条件下均有较高的识别率。Lin C等[3]提出了基于局部邻域的表面缺陷检测方法，利用局部邻域窗口在整个检查图像上滑动，将变异系数用于均匀性度量。由于无缺陷区域产生的变异系数值比缺陷区域更小，故用阈值法提取和分割缺陷区域，以提高计算效率。但该算法仅用于检测一个单独的特征，不具有普遍适用性。采用以上方法得到的均为有缺陷的二维信息，而非三维信息。所以，针对裂纹等缺陷，通过上述方法并不能很好地求解深度信息。

本文提出了基于多摄像机的钢轨表面三维检测方法。通过结合多对双目相机组成的多摄像机系统与线结构光，根据图像预处理、高斯拟合和极线约束等方法，重建钢轨样品的表面轮廓信息，可直观地获得钢轨长度方向上的全貌信息以及缺陷的轮廓和深度信息。

1　相关原理

1.1　单目相机标定

本文采用张正友平面标定方法[4]求解摄像机内外参数。该方法具有较高的精度和鲁棒性。其基本原理为：在摄像机视场范围内，采集标定板的多幅图像。设Z=0，K为3×3的摄像机内参数矩阵，M=(XYZ)T为标定板平面上点的齐次坐标，m=(uv1)T为标定板平面上的点投影到图像平面上的对应点齐次坐标，R=[r1r2r3]和T=[tXtVtZ]T分别为标定板相对于摄像机坐标系中的旋转矩阵和平移向量，λ为常数因子，则有：

(1)

当且仅当靶标平面拍摄的图片数大于3时，可唯一确定摄像机内参数矩阵R。根据摄像机内外参数矩阵的关系，便可求出摄像机的外参数矩阵。

1.2　多目相机标定

多目标定除了要求出各相机的内外参数[5-6]，还要求出各相机之间的相对位置关系。以三目相机为例，设Ck、Cp为相机之间位置关系的矩阵，其中k、p分别为1、2、3，则相机的位置关系可以表示为：

Ck=RckpCp+tckp

(2)

式中：Rckp为相机p到相机k的旋转矩阵；tckp为相机p到相机k的平移向量。

将世界坐标系作为中间变量，便可得到相机的位置关系：

(3)

(4)

式中：Rp为单目相机在相同世界坐标系下的旋转矩阵；tp为平移向量。

则对于不同位置n幅标定板图片计算得到的Rckp和tckp，根据非线性最小二乘(levenberg marquardt，LM)算法，优化方程如下：

Rckp,tckp=minJ

(5)

式中：minJ为优化目标；J=J1+J2+J3。

3台相机的约束关系如下：

(6)

(7)

(8)

1.3　光条中心提取算法

线激光的光强分布近似高斯分布。本文采用高斯拟合方式提取激光中心线[7-8]。由于图像是由大量的水平线(横截面)组成的，故以具有不同期望和方差的高斯信号作为基础，最大程度拟合激光条纹图像的横截面。当找到最佳拟合结果时，根据每个高斯信号的对称中心来实现激光条中心的最佳估计。

假设采集的图像为Mi,j(其中，i、j为图像的像素坐标值)。对于共有N行像素值的图像，MN(j)为该横截面图像中编号为j的像素值序列。将序列号作为时间，则MN(t)成立。将经过3次插值采样的结果设为输入信号mN(t)，内插间隔为t=nTs和Ts。利用阈值法计算中心点和线宽，令u0为第一级高斯信号的初始能量中心，并令ui=u0+si(s为偏移量)；设z为1个高斯信号的可延展度，z=2σ2。其中，σ为线宽，可获得第一级高斯分布的可延展信号z1。高斯信号序列为g(t)：

(9)

式中：g(t)为叠加而成的人工信号，该信号被称为基本高斯信号。

(10)

式(10)用于计算每个基本高斯信号和输入信号之间的相似性。此时，设第一层基本高斯信号的偏移量为0，且令g(t)=gz1,u0(t)，添加高斯信号的下一层，并计算人工信号g(t)。改变之前设定的基本高斯信号的偏移si，并利用式(11)计算人工信号和输入信号之间的相关度。

(11)

找到相关度最大的偏移量si，则人工信号和输入信号具有更高的相似性。重复多次计算，直到获取最优的基本高斯信号。通过每一个高斯信号能量中心的偏移量s1,s2,…,sm以及总偏移量T，得到当rf(τ)最大时，人工信号与输入信号非常相似，由此可以得到中心点的最佳估计。

(12)

式中：λi为不同能量中心的权重；ri为每个基本高斯函数和输入信号之间的相似度。ri越高，表明输入信号包括更多可扩展尺度为zi的高斯信号。此外，η为每个高斯信号能量中心的影响程度的修正比例因子。

1.4　特征点匹配算法

为了重建激光扫描数据[9-14]，需要对2台相机提取到的激光条纹进行匹配，在不同视点下投影图像中，寻找1条激光线在像素间的对应关系。本文采用极线约束的方法，对于1幅图像上的每一个像素点，它所对应的另一幅图像上的像素点一定在1条特定的极线上。同时，它又在这条激光条纹上，则这条极线和激光线的交点就是所求的匹配点。

(13)

式中：u1=(xi1,yi1,1)T；u2=(xi1,yi1,1)T。

对获得的匹配点进行对称性测试，将从左图像到右图像的极限约束算法重新应用于右图像到左图像，并去除只有1个方向满足或者2个方向都不满足的约束关系的匹配，即可得到正确的匹配特征点，用于后续计算。

2　试验验证

2.1　系统结构

本系统分为运动控制模块、图像采集模块和软件处理模块。运动控制模块主要控制钢轨样品在水平方向上的运动，包括传送带、编码器及钢轨样品。图像采集模块主要包括多对双目相机、线激光发射器等。软件处理模块主要包括图像处理设备、图像显示设备、I/O设备等。将钢轨样品置于传送带上，通过运动控制模块的编码器控制其进行单向运动。编码器通过获取移动的距离信息，触发图像采集模块的多目摄像机拍照。摄像机将采集到的带有激光线的图像经数据线传送到计算机控制模块，进行相应的三维视觉处理。如果钢轨样品表面不存在缺陷，且不考虑钢轨端面形状的误差与钢轨的摆动、扭动等因素，则激光光带在钢轨表面的投影是固定的。如果钢轨表面存在缺陷，则激光光带在钢轨表面缺陷处发生变化。通过激光光带坐标的变化情况，可获得钢轨表面缺陷的三维信息。将重建得到的钢轨三维轮廓信息与标准钢轨轮廓信息作对比，判断是否存在缺陷。若存在缺陷，即返回缺陷的深度。

测量系统硬件结构如图1所示。

图1　系统硬件结构图Fig.1　System hardware structure

为了全面重建钢轨的轮廓，本文设计并构建了图像采集模块，如图2所示。

图2　图像采集模块Fig.2　Image acquisition module

该模块共包括5台摄像机、4台线性激光发射器。由相邻的2台相机组成一对双目系统。每台激光器位于两个相机之间，成30°～45°角。

本文使用分辨率为640 dpi×480 dpi的彩色工业相机，采用线宽为650 nm可调的红色线激光器。传送带速度为1 m/s。传送带每运动1 mm，编码器触发一次摄像机采集1次图像。中央处理器主频为2.13 GHz，内存容量为4 GB。系统搭建环境为Win7操作系统，编程开发环境为Visual Studio 2010。

2.2　试验结果

通过软件设计界面控制相机拍摄棋盘格标定板的图片，并利用相机单目、多目标定得到相机的旋转矩阵和平移矩阵。将红色线激光投射至钢轨样品表面，由相机采集带有线激光的图片，经过预处理、高斯拟合及特征点匹配算法后获得匹配点。对获得的匹配点与相机的旋转矩阵和平移矩阵进行变换，得到三维坐标信息。图3为重建得到的三维点云图。

图3　三维点云图Fig.3　3D cloud map

在标准钢轨样品的结构重建过程中，获得的部分点云图如图3(a)所示，经过点云拼接得到的完整的点云图如图3(b)所示。存在缺陷的钢轨样品的结构重建过程中，获得的部分点云图如图3(c)所示，经过点云拼接得到的完整的点云图如图3(d)所示。对比两种样品的点云图，可以清晰地看到图3(c)浅色部分即为缺陷，可据此对钢轨样品进行判定。系统测得缺陷的深度为0.49 mm，已知缺陷的深度为0.51 mm，则测量误差为4%。

3　结束语

本文提出了一种基于多目立体视觉的钢轨表面轮廓三维重建方法。与传统钢轨表面缺陷检测方法相比，该方法能够全面重建钢轨的轮廓并获得三维信息。本文详细介绍了系统方案，着重论述了三维重建的原理，设计了基于Visual Stdio 2010的钢轨三维实时重建和缺陷检测软件系统，并对该方案进行了基于试验平台的验证。根据试验数据可知，该系统可以有效地检测出钢轨表面的一些缺陷深度信息，达到实时在线检测的目的。

目前，该检测系统仍存在一些不足，即没有对二维和三维的图像信息进行共同检测。对于一些深度缺陷较小的区域，例如裂纹等，利用线结构光无法重建过小区域的三维轮廓。下一步需要将二维图像处理和线结构光三维重建相结合，以检测钢轨表面的缺陷。

参考文献:

[1] 周鹏,徐科,张春阳,等.基于多激光线的钢轨表面缺陷在线检测方法[J].北京科技大学学报,2015(s1):18-23.

[3] 马颂德,张正友.计算机视觉:计算理论与算法基础[M].北京：科学出版社,1998.

[4] 李孟,周波,孟正大,等.三目立体相机的标定研究[J].计算机技术与发展,2015(2):69-73.

[5] 杨振先.多摄像机标定技术研究及其应用[D].长沙：湖南大学,2011.

[6] FASOGBON P,DUVIEUBOURG L,MACAIRE L.Fast laser stripe extraction for 3D metallic object measurement[C]//Industrial Electronics Society,IECON 2016-42nd Annual Conference of the IEEE.IEEE,2016:923-927.

[7] LI C,YE X,GONG Y,et al.A center-line extraction algorithm of laser stripes based on multi-gaussian signals fitting[C]//2016 IEEE International Conference on Information and Automation (ICIA).IEEE,2016:189-194.

[8] 陈仲铭,彭凌西.线式激光中心二次通道提取算法[J].计算机工程与设计,2016,37(9):2464-2468.

[9] PAN Z.Research of target positioning technology in 3D digital photography[C]//International Conference on Smart Grid and Electrical Automation (ICSGEA).IEEE,2016:187-190.

[10]余乐文,张达,张元生.基于线结构光的三维测量系统关键技术研究[J].光电子·激光,2016(2):156-161.

[11]毛佳红,娄小平,李伟仙,等.基于线结构光的双目三维体积测量系统[J].光学技术,2016,42(1):10-15.

[12]卜燕,王姮,张华,等.一种室内障碍物与地面分割的快速方法[J].自动化仪表,2016,37(10):13-15.

[13]HASHMI M F,KESKAR A G.Computer-vision based visual inspection and crack detection of railroad tracks[C]//Recent Advances in Electrical and Computer Engineering,2014:102-110.

[14]TENG Z,LIU F,ZHANG B.Visual railway detection by superpixel based intracellular decisions[M].NewYork:Kluwer Academic Publishers,2016.