基于视觉的钢轨表面缺陷识别方法综述

张博 刘秀波 赵志荣 陈茁

（1.中国铁道科学研究院集团有限公司基础设施检测研究所，北京 100081；2.朔黄铁路发展有限责任公司，河北沧州 062350）

钢轨运输、铺设及运营过程中，钢轨表面会出现不同程度的伤损［1］，主要伤损类型有轨头磨耗、波浪磨耗、轨头压溃和局部压陷、轮轨接触疲劳裂纹、压陷和掉块、钢轨表面纵向裂纹、钢轨外伤（擦伤、压痕、磨痕等）、钢轨锈蚀等，几种常见的钢轨表面缺陷伤损如图1所示。钢轨缺陷影响列车运行安全，须及时识别缺陷类型并进行维护，以保障铁路运输安全［2］。

图1 几种常见的钢轨表面缺陷

在钢轨表面缺陷中，钢轨擦伤、压陷、剥离掉块、波形磨耗、表面裂纹、锈蚀等具有相应的颜色、形状及纹理特征，可以用视觉方法识别［3-5］。传统的钢轨表面缺陷主要依靠人工巡检，效率低下，很难满足铁路运营维护要求。基于计算机视觉技术的钢轨表面缺陷视觉检测法具有非接触、准确性高、无遗漏、快速、高效等优点［6］，被越来越多的研究者关注并提出了多种表面缺陷识别方法。文献［7］采用动态阈值分割法进行阈值分割，提取钢轨表面缺陷区域。文献［8］在对图像滤波后，采用背景建模差分的方法分割出缺陷区域。文献［9］采用组合逻辑的方法提取钢轨表面缺陷后，利用BP神经网络实现对缺陷的分类。

这些研究利用图像处理和智能算法识别钢轨表面缺陷并对缺陷进行分类。为了掌握基于视觉的钢轨表面缺陷识别方法，本文对该领域的研究方法和成果进行综述。首先对钢轨表面图像预处理和轨面区域的提取方法进行了概述，然后对基于机器学习和深度学习的钢轨表面缺陷识别、分类的方法进行了分析，最后对未来研究的发展趋势给出了建议。

1 钢轨表面图像预处理

在钢轨表面图像采集过程中，设备及环境因素可能会导致采集的图片质量不佳，因此要进行图像预处理，在保留有效信息的同时过滤噪声干扰。钢轨表面图像的预处理一般包括图像去噪和增强。由于处理彩色图像的算法复杂度高，计算较为费时，钢轨表面图像常采用灰度图像或转化为灰度图像［10］。

1.1 图像去噪

钢轨表面图像的去噪通常使用滤波的方法，通过图像的平滑处理消除钢轨表面图像的噪声，提升图像质量，且该方法运算速度快。文献［6，11］对钢轨表面图像进行了中值滤波，以孤立噪声点并使图像边缘平滑，减少噪声对图像质量的影响（图2）。文献［12］利用高斯滤波进行图像的平滑处理，滤除钢轨表面的细小突变。

图2 图像中值滤波去噪

1.2 图像增强

图像增强技术即通过提高图像的对比度改善图像质量［13］。文献［4，14］利用直方图均衡化算法，对钢轨表面图像中过于集中的像素点，应用点变换的方法使其均匀分布在各区间上，增强钢轨表面图像的对比度。文献［15-16］引入灰度对比图算法，将钢轨表面灰度图转化为灰度对比图，处理后的钢轨表面图像灰度值呈均匀分布，抑制了过度光亮部分。经过图像增强处理后，钢轨表面图像的对比度得到提高（图3），在后续处理中可以更好地区分钢轨表面和非钢轨表面。

图3 图像增强处理

2 轨面区域提取

现场采集的图片中除了钢轨部分，还包含了非钢轨区域。非钢轨区域的图像信息对后续的缺陷检测会产生干扰，并且直接对整个采集图像进行缺陷识别会耗费大量的内存并增加处理时间。因此，需要提取出钢轨的轨面区域［17］。

灰度水平投影法［9，18-19］是轨面区域定位的主要方法。车轮与钢轨表面由于长期摩擦而造成轨面亮度较高，利用这一特点绘制轨道图像的灰度水平投影曲线，根据钢轨与非钢轨区域的像素灰度分布来区别并分割出轨面区域，如图4 所示。该方法提取轨面区域的准确度高，计算速度快，但需要合理选取阈值。

图4 灰度水平投影法的轨面区域提取

文献［20］采用基于霍夫变换的方法检测钢轨表面边缘线，两边缘线之间即钢轨表面，其准确性容易受钢轨下边缘干扰。文献［21］采用轨道色相特征分析模型，利用钢轨与道砟交界处色相值的突变确定钢轨边缘，该方法需要输入RGB图像进行处理，计算量大。

3 基于机器学习的钢轨表面缺陷识别

提取出轨面区域后，即可对钢轨表面缺陷进行识别。缺陷识别属于图像识别范畴，常采用机器学习的方法来识别分类。利用图像处理算法将缺陷区域提取出来，选取缺陷的特征向量输入机器学习分类器，训练分类器实现缺陷的分类［22］。

3.1 缺陷提取

钢轨表面缺陷提取就是利用图像分割技术将缺陷部分和图像背景进行分割，提取出缺陷部分的图像信息［23］。主要方法有边缘检测法和阈值分割法。

边缘检测法［14，24-25］是利用边缘检测算子，通过搜寻钢轨缺陷区域与背景区域边界的有阶跃变化或屋顶状灰度变化的像素集合，确定图像中的缺陷区域的轮廓，如图5 所示。定位边缘后通常需要结合形态学运算［26］，将检测到的边缘连接成缺陷区域的完整轮廓。该方法计算量大，缺陷提取速度较慢，当目标图像很大时很难满足高效分割处理的要求。

图5 边缘检测法

基于阈值分割的方法［7-8，15］通过建立图像背景与轨面图像做差分，再设定阈值为分割标准，将缺陷区域从钢轨表面图像中分割提取出来，如图6 所示。该类方法的效率高、运算速度快，尤其是针对缺陷与背景对比度较高的图像。但是对于复杂的图像，其缺陷提取的精确度很大程度上受阈值选择的影响，需要引入复杂的算法来确定阈值［27］。

图6 阈值分割法

3.2 缺陷特征描述

完成钢轨表面缺陷的提取后，要对缺陷进行特征描述，计算出缺陷的特征向量。描述钢轨表面缺陷的特征包括灰度、几何、形状特征［24］。

钢轨表面缺陷的灰度特征不易受图像的方向和尺寸影响，但对目标的局部细节不能细致描述［28］。几何特征是钢轨表面缺陷的几何度量，包括区域面积和周长［29］。区域面积就是缺陷边界包围的面积，用来衡量缺陷区域的大小；区域周长可以用构成区域边界的像素点的个数总和来表示［7］。钢轨表面缺陷如疤痕和裂纹等在形状上有很大区别，一般用长短轴、离心率、矩形度、致密度等来描述缺陷的形状特征［22］。

由于钢轨表面缺陷形态复杂多变、分布不一，单一的特征参数无法准确全面地描述缺陷，通常结合多种特征参数来对缺陷类型进行检测［30］。选取的缺陷特征不宜过多也不宜过少［22］，过多会增加缺陷分类器的计算复杂度，过少会影响缺陷的完整描述而导致分类器的识别准确度降低。

3.3 缺陷分类

缺陷分类的基本做法是设计机器学习分类器，利用选取的特征向量学习一个从输入样本到输出类别的判别函数，把被识别的缺陷归为某一类别［13］。

常用的机器学习分类器有决策树、神经网络、支持向量机等［3］。文献［31］利用支持向量机构造分类器实现对钢轨表面疤痕分类识别，总体识别率达到75%。文献［3，9，13］设计了包括输入层、隐含层和输出层的3层BP 神经网络结构，输入矩形度、致密度、长宽比、灰度均值、方差等特征向量，对钢轨表面缺陷进行识别分类，其中文献［9］对疤痕和波纹擦伤缺陷的分类正确率达到95%。文献［32-33］采用弱分类器集合的思想对钢轨表面缺陷进行识别分类，以决策树C4.5 算法作为基本分类器，通过AdaBoost 算法对其识别性能进行提升，对常见钢轨表面缺陷的识别平均正确率为97.02%。

利用机器学习算法对钢轨表面缺陷进行识别、分类可以得到良好的分类效果，但需要先将缺陷区域提取出来并计算缺陷的特征向量，需要设计相应的算法来实现。由于缺陷形态复杂多变且在钢轨表面分布不一，缺陷区域提取的准确性和特征向量的合理选择都将对缺陷识别分类的准确率产生重要影响［33］。

4 基于深度学习的钢轨表面缺陷识别

深度学习是模式识别领域近年来快速发展起来的一种高效的识别分类方法，被广泛应用到图像的识别中［34］。深度学习算法利用卷积神经网络结构，从大量图像数据中自动学习图像的分层特征表达。图7为一个典型的卷积神经网络结构。

图7 典型的卷积神经网络结构［5］

文献［35］提出基于卷积神经网络的算法，采用2层卷积层+最大池化层的结构进行缺陷分类。将图像分为3 类，其中无缺陷样本8 000 张，裂纹和疤痕缺陷样本各6 000 张。该模型对钢轨表面缺陷的综合检测精度达到70%以上，对疤痕的检测精度达到83.72%。文献［5］设计了3层卷积层+最大池化层的卷积神经网络结构，利用22 400 张钢轨图像对卷积神经网络结构进行训练，模型区分正常和有表面缺陷的钢轨的准确率可达到92.00%。文献［36］采用基于Inception-v3结构的卷积神经网络区分正常和有缺陷的钢轨图像，利用8 069 张钢轨表面图像进行模型训练验证，在测试集上实现了92.08%的识别准确率。

深度学习算法实现了很好的钢轨表面缺陷识别效果。该算法直接输入原始图像训练神经网络自动学习图像的特征表达，实现图像的识别分类，不需要人工设计算法进行缺陷的提取和特征向量描述。但是，深度学习算法需要大量的样本数据对网络结构参数进行训练，而且对大量数据的训练要求计算机平台具有很高的的运算能力［34］。

5 发展趋势

研究者对基于机器视觉的表面缺陷识别已经做了很多工作，但仍存在很多难点：①钢轨表面缺陷的形状大小不一且方向各异，可供识别的特征信息只有灰度和梯度，传统的基于纹理形状分析的算法难以实现对各种钢轨表面缺陷的有效识别；②不同时刻的光照变化、轨头表面反射不均等干扰因素增加了识别的难度。

结合当前研究的现状和难点，未来的研究方向包括以下几个方面。

1）图像的优化预处理

图像预处理可以过滤钢轨表面图像的噪声，而图像去噪的操作会在一定程度上造成图像的细节模糊，这些细节往往与表面缺陷元素有关。因此，需要设计有效的滤波方法在滤除噪声的同时最大程度地保留图像细节。针对实际应用时的复杂背景，设计基于中值滤波、高斯滤波等多种滤波方法的滤波器组去噪会成为未来的研究方向。

2）钢轨表面缺陷的快速准确提取

钢轨表面缺陷提取是利用机器学习实现缺陷识别分类的关键环节。现有的基于边缘检测的方法需要结合形态学运算提取缺陷区域的完整轮廓，计算量大且速度较慢。基于阈值分割的方法运算速度快，但其缺陷提取的精确度很大程度上受阈值选择的影响。实际应用中的图像背景复杂，阈值选择的准则较难确定。因此，如何实现钢轨表面缺陷的快速准确提取将是未来研究的重要内容，对现有基于边缘检测方法的改进和引入优化算法以实现阈值分割等都是未来的研究方向。

3）对基于深度学习的缺陷识别方法的深化完善

应用深度学习进行钢轨表面缺陷识别时不需要进行缺陷提取和缺陷的特征向量描述，简化了人工设计的处理步骤。基于深度学习的缺陷识别将是未来的热门研究方向。但是深度学习算法需要大量的样本数据对网络结构参数进行训练以实现较好的识别效果，而对样本数量的要求可达百万以上。同时，对大量数据的训练也带来了很大的运算量。因此需要研究者在收集大量图像样本的基础上，找到适合钢轨表面缺陷识别的深度学习网络架构，提出系统的网络结构参数优化方法，以达到满意的识别效果。

6 结语

为保障铁路运输的安全，需要及时发现钢轨的表面缺陷并进行维护。由于具有非接触、快速、准确等优点，基于机器视觉的识别方法得到了研究者越来越多的关注。本文综述了利用机器视觉进行钢轨表面缺陷识别这一领域的研究方法和成果，阐述了实现图像质量优化的图像预处理技术并总结了提取轨面区域的方法，对使用机器学习和深度学习的2 类缺陷识别方法进行了梳理和分析，并基于目前的研究成果和难点对未来研究的发展趋势进行了探究。