铁路桥梁裂缝位置识别与目标检测方法探讨

马成贤 游雅辰

(1. 中国铁道学会,北京 100844;2. 北京交通大学,北京 100044)

桥梁裂缝对结构整体服役情况具有很大的影响,裂缝检测已成为日常桥梁安全检查的主要任务之一。在过去的几十年中,桥梁裂缝依赖于表观检查,主观因素大,耗时长且效率低下。 随着光学技术及自动化裂缝识别算法研究的进步,数字化图像自动识别技术在桥梁安全检测中被逐步应用。 传统图像处理技术需对图像进行预处理,例如采用灰度化及二值化等方法增强目标与背景的对比度,再结合边缘检测算子或形态学的腐蚀及膨胀技术对裂缝边缘及骨架进行提取,其算法冗杂,易受光线与阴影等噪声的影响,且图像采集对设备要求较高[1]。 一些研究人员提出了阈值算法,即通过在图像局部区域设置阈值来发现裂缝的位置[23],但其在光照强度分布不均匀的图像上识别精度不高,仅适用于较小区域。 也有学者重点分析了分块区域的局部特征,例如采用小区域直方图与周围的区域块进行分析或比较,以识别裂缝位置[47],但由于识别不是在像素层面上完成,在准确度上具有局限性。也有一些研究人员通过边缘探测器信号强度的剧烈变化来识别桥面裂缝的边缘[811],但其无法识别完整的裂缝轮廓。 为此,有人还引入了滤波器算法来转换原始数据,以寻找具有预期响应的裂缝[1213],但无法检测到对预先设计的滤波器具有弱响应的裂缝。 在此基础之上,有学者开发了利用小波变换将原始数据分解成不同频率子带的方法(基于裂缝主要保留在高频子带中的假设),使得裂缝识别更为简单[1415],但这种将原始数据分解到频域中的方法会使识别出的裂缝存在中断的现象。 2011 年,Li 等提出了一种F*Seedgrowing 新方法,即获取裂缝目标点作为种子点,将种子点连接以得到裂缝,该方法假设裂缝为颜色较深的部分,对于背景复杂、阴影较多的图像容易出现裂缝的漏检和误检。

随着第四次工业革命的到来,以人工神经网络和支持向量机为代表的机器学习智能算法被用于混凝土的裂缝识别,这类算法可以在较光滑的混凝土表面上达到较高的识别精度,但在复杂粗糙的表面上,易将纹理误识别为裂缝,导致精确度不高,在匹配滤波算法和3D 阴影建模[26]中也发现了同样的问题。 这就说明尽管机器学习算法在速度及效率等方面优于传统人工表观检查,但无法充分考虑桥梁混凝土表面具有不同复杂纹理的特点,只适用于干扰因素较少桥梁的裂缝识别。 近年来,深度学习及目标检测模型已被广泛用于图像识别领域,并在图像的特征识别中展现出了很高的精度。 桥梁裂缝识别的本质就是从含有裂缝的图像中识别出裂缝位置,可考虑采用目标检测模型来实现桥梁裂缝位置的快速识别。 将目标检测模型应用于桥梁裂缝识别领域的优点主要有:①以采集图像直接作为输入数据输入至模型中,可避免图像的预处理;②目标检测模型中的卷积神经网络具备对背景噪声进行滤波以及对图像几何形状进行缩放、旋转等功能。Detectron 是Facebook 推出的开源目标检测平台,可将设计好的目标检测模型在此平台上用于训练、验证及测试,为实现桥梁裂缝智能化识别提供了新的发展平台。

针对数字化图像识别存在的问题,提出了基于Detectron 平台的桥梁裂缝位置识别目标检测模型,通过图像分割及特征标定的方法建立带有裂缝位置标签的数据集,设计卷积神经网络结构,研究学习率与模型误差值的关系,确定学习率,将训练集与验证集供模型学习与参数调整,将未被模型学习的测试集用于评估模型的准确性,最后将模型与传统图像处理识别技术做不同层面的对比分析,说明模型在特征识别上的优劣性。

1 数据集的建立与裂缝位置标签

1.1 数据集的建立

为了充分考虑桥梁裂缝图像的复杂性和多样性,需要大量的桥梁裂缝图片用于构建模型训练、验证与测试的数据集。 对采用人工拍照及无人机拍摄等方法获取的150 张原始裂缝图片进行图像分割,分割成10 494张32 像素×32 像素的图片,如图1 所示。 将这10 494张图片作为模型的数据集,按照8 ∶1 ∶1 的比例建立模型训练集、验证集与测试集。 其中,包含8 395张图的训练集用于对裂缝位置特征的学习,包含1 050张图的验证集用于模型参数的调整,包含1 049张图的测试集用于模型的性能评估。

图1 图像分割示例

1.2 裂缝位置标签

为了给模型提供尽可能细致的特征描述,可以采用多标注框密集标注一条裂缝,如图2 所示。

2 模型结构设计与学习率的选取

基于Detectron 平台的目标检测模型可以从大量带有裂缝位置标签的图像中学习并提取目标特征,从而具备准确识别裂缝位置的能力,模型的两个基本组成是数据集及网络层次结构。 网络层次结构的主体由卷积层(Conv)和池化层(Max-pooling)组成,其中卷积层用于局部特征提取,池化层用于特征降维、减小过拟合、压缩数据、减少参数数量,以及提高模型的容错性。经研究发现,以卷积层和池化层的组合作为结构的最基本单元,可有效地降低模型学习参数的数量,提高运算速度。

图2 裂缝标记

2.1 网络结构设计

为了同时考虑特征提取的完整性和检测效率,卷积核选用3×3 维度,每一个卷积层(Conv)后均设3×3 维度的池化层(Max-pooling),以减少参数并保证清晰度。 如图3 所示,所提出的卷积神经网络由4 个卷积层(Conv)、4 个池化层(Max-pooling)和1 个完全连接层(FC)组成,且4 个卷积层分别有64 个、128 个、256 个、512 个卷积核。 在最后一个卷积层之后加设ReLu 函数,以解决非线性问题,再与全连接层(FC)连接,用Sigmoid 激活函数来激活整个学习网络。 如表3 所示,所提出的卷积神经网络(CNN)包含922,368 个参数。

由表1 可知,目标检测模型中的卷积神经网络学习参数众多,卷积层可细化特征提取,在保证清晰度的条件下,池化层可有效降低训练参数的数量。 全连接层不改变参数数量,只确定输出形式。

图3 卷积神经网络结构

表1 网络结构参数

2.2 学习率的选取

目标检测模型通过梯度下降算法来更新参数,学习率就是对原迭代步长做调整,学习率过大,会导致丢失很多有用信息,模型难以找到较优解;学习率过小,则会降低模型的训练效率,图4 显示了学习率与模型的误差值的关系。 该模型的学习率设为0.001,即调整的步长为0.001 梯度。

图4 学习率与模型误差

确定学习率后,模型将对图像进行特征细化,进而学习目标特征。 基于Detectron 平台的目标检测模型泛化性较好,具有良好的鲁棒性和较好的特征识别能力及背景噪声滤波能力。 如图5,以训练集中的某张裂缝图片为例,展示模型滤波细化裂缝的效果。

图5 滤波细化效果

由图5 可以直观地看出,卷积层(Conv1-Conv4)使裂缝逐渐清晰,与背景形成良好的对比度,且图像非裂缝目标的干扰点被逐渐弱化,池化层(Max-pooling)只起到对图像降维的作用(不对裂缝目标进行特征强化),体现了网络识别特征目标的学习能力与排除背景噪声的滤波能力。

3 验证结果与分析

3.1 模型准确率及裂缝位置识别可视化

采用基于Detectron 平台的目标检测模型,通过模型中的卷积神经网络提取特征,实现对桥梁裂缝位置的识别。 模型对输入的训练集图像进行目标学习,对输入的验证集进行模型参数调整,识别后输出与输入标签文件相同的数据类型,通过对比模型结果与标签文件,评价模型在多次学习迭代过程中的准确率,在未被模型学习及参数调整的测试集中的准确率评价也采用上述方法。 经过对训练集与验证集的反复卷积与池化操作,模型已对裂缝位置特征有了一定的学习与提取能力,在测试集中的准确率结果表明,模型在识别裂缝位置上具有良好的准确性,如图6 所示。

图6 模型准确率

在多次训练的迭代过程中,由于小批量数据迭代中误差值的逐步降低使得识别准确率逐步提高,表明模型已具备良好的学习能力。 由图6 可知,模型在训练集上识别精度最优值为92.64%,验证集与测试集上的识别精度曲线拟合大体相同,在验证集与测试集上的精度最优值分别是88.98%和90.43%。 由于验证集涉及调整模型过拟合的过程,所以准确率曲线会有所变化。 图7 是一个目标检测模型对测试集中的裂缝位置进行识别的例子。

图7 识别过程可视化

3.2 目标检测模型与传统图像识别技术的对比

基于传统数字化图像的裂缝识别技术包含多种图像预处理算法及边缘检测算法,可实现对裂缝图像的处理和识别,其缺点是信息易丢失、计算量大、耗时长、抗噪声能力差、目标边缘定位不佳、算法运行速度慢等,而基于Detectron 平台的目标检测模型可以规避这些弊端,但其对图像的质量与数量要求、运行速度及裂缝特征处理等方面与传统图像识别技术有很大的不同,如表2。

表2 传统图像处理识别技术与模型对比

由表2 可知,传统图像处理识别技术依赖于较多的图像处理算法,需对裂缝图像进行预处理,以显示清晰的裂缝条纹,例如采用灰度化、二值化等图像分割技术形成目标与背景的强对比度,进而采用边缘检测算子及形态学中的腐蚀及膨胀技术对裂缝边缘骨架进行提取及描述,从而识别出裂缝位置。 基于Detectron 平台的目标检测模型则通过学习带有裂缝位置标签的数据集,由学习点的低级特征到学习线的高级特征,进而识别裂缝位置。 该模型无需对输入的图片进行预处理,处理速度快,识别准确率较高,在大数据情况下,目标检测模型的整体性能优于传统图像处理识别技术。

4 建议与对策

(1)基于Detectron 平台的目标检测模型中的卷积神经网络可有效地提取目标特征,实现桥梁裂缝位置的识别。 所提出的卷积神经网络(CNN)由4 个卷积层(Conv),4 个池化层(Max-pooling)和1 个全连接层(FC)组成,卷积层(Conv)用于特征提取,池化层(Max-pooling)和ReLu 函数用于降低参数数量和非线性变换。

(2)该模型具备较强的背景噪声滤波能力,无需辅助操作即可提取裂缝位置的特征信息,具有良好的鲁棒性和特征识别效果,可直接将桥梁裂缝图像作为输入数据,不需进行图像预处理,提高了识别效率。

(3)训练集与验证集分别用于模型的学习和参数调整,未被模型学习与调整参数的测试集则用于模型准确率性能评估。 据分析,模型在训练集与验证集上识别精度最优值分别为92.64%和88.98%,测试集上精度最优值为90.43%,由于验证集有调整模型过拟合问题的作用,所以准确率较训练集会有所变化。

(4)该模型无需图像的预处理环节,大大提高了裂缝图像的处理速度及识别效率,对带有大量裂缝标签的数据集进行多次训练,可使模型具有准确识别裂缝位置的能力,在大数据条件下,模型的整体性能优于传统图像处理识别技术。

(5)本文仅对桥梁裂缝这一病害进行了位置识别的研究,且用于训练的裂缝图像有限,数据集越多,模型的学习能力才会越强,今后应开展更多桥梁病害方面目标检测模型的研究。 未来有望引入三维目标检测模型,以期为铁路桥梁健康检测及维护保养提供更有力的方法及全面的数据支持。