铁路混凝土结构物图像裂缝亚像素级宽度提取技术

茅宇琳 柴雪松 张中坡 李健超 凌烈鹏

1.中国铁道科学研究院集团有限公司铁道建筑研究所，北京 100081；2.中铁科学技术开发有限公司，北京 100081；3.中国铁路北京局集团有限公司工务部，北京 100038

随着服役时间的增长，部分线路混凝土结构物出现了不同程度的伤损或劣化，其中裂缝是最常见的病害之一。混凝土结构开裂会导致保护层对内部钢筋的保护失效，引起钢筋锈胀，诱发更多开裂并降低结构耐久性。受力裂缝威胁结构安全，快速发展的受力裂缝往往是结构失效、倒塌的先兆［1］。因此，定期对混凝土结构物进行检测，尽早发现裂缝位置，并对其进行评估分析，对于保障铁路安全具有重大的意义。

人工裂缝检测具有成本高、效率低、主观性较强、遗漏较多等缺点，因此出现了基于数字图像的结构物表面裂缝分割方法。常用的裂缝分割方法主要包括基于阈值、边缘、区域、匹配的传统方法［2］以及基于计算机视觉领域的深度学习方法。相比传统方法，基于深度学习的图像分割方法可以有效消除结构表面的噪声与干扰，通过学习裂缝特征可以实现自动识别及提取，识别结果也更为精确。朱苏雅等［3］利用轻量级的U-Net卷积网络对桥梁表观裂缝进行了识别检测。翁飘等［4］对全卷积神经网络进行改进，并基于改进的模型从路面图像中分割出裂缝区域。上述应用均取得了良好的分割效果。

在识别出裂缝区域的基础上，其定量参数信息也引起关注。其中宽度是分析裂缝状态、发展及评估结构安全性的重要参数之一。叶贵如等［5］运用了局部平均裂缝宽度法，即选定一个裂缝区域，用该区域面积除以长度从而得到裂缝局部平均宽度。杨美玲［6］利用基于轮廓跟踪的连通区域扩展方法对裂缝进行提取，再通过直线拟合的方法计算出裂缝的宽度。

上述裂缝宽度的计算方法均取得了不错的效果，但在实际应用中仍存在一些难点，主要包括两方面。①最小可识别裂缝宽度有待提升。数字图像法最小可识别裂缝宽度等精度指标是由成像模型、识别算法与硬件设备参数决定的。一般相机距离待测物体表面越近，相机焦距越长，可识别的裂缝越精细。但实际采集时由于设备、环境等因素导致拍摄图像的精度无法达到预期标准，使得运用常规方法计算的裂缝宽度受限于单位像素点的尺寸，对于细小裂缝的计算误差较大。因此需要探究一种突破单位像素的亚像素级的裂缝宽度计算方法，提升最小可识别裂缝宽度，获得更准确的检测结果。②宽度定义不明确。数字图像法提取裂缝最大、最小及平均宽度并没有统一定义，缺乏对应的计算方法，因此裂缝宽度计算结果难以标准化、规范化。

为实现裂缝宽度的精细计算，本文在运用深度学习方法从图像中分割出裂缝像素区域的基础上，将通过三次Cardinal样条插值拟合出的亚像素边缘运用于基于中轴线垂线的裂缝宽度法中，计算出更精确的裂缝宽度。将复杂裂缝的主裂缝平均宽度定义为该裂缝的平均宽度，使实际应用时有统一的衡量标准。

1 裂缝提取流程及方法

1.1 裂缝提取流程

裂缝提取是利用采集拍摄得到的混凝土结构物图像，经过图像预处理、裂缝分割、裂缝参数计算等步骤，完成裂缝识别结果的输出及表示的过程。裂缝提取流程如图1所示。

图1 裂缝提取流程

1）图像预处理：主要包括图像尺寸切分及图像增强。由于相机捕获的结构物混凝土图像分辨率过高，在有限的物理显存下将大尺寸的图像输入卷积网络，运行时间会大大增加，因此需要将原始的高分辨率图像进行固定尺寸切分。经过试验及分析后确定切分的基础尺寸为1 024×1 024，该尺寸能够更好地利用图像全局信息，同时保证较高的运行效率。

本文运用深度学习图像分割网络进行裂缝识别，在模型训练时需要大量的图像数据。数据量越大，分割网络的泛化能力越好。为扩充数据量，在预处理阶段引入数据增强。通过翻转、缩放、亮度调节、添加随机噪声等图像变换方式，训练数据量得到明显提升。

2）裂缝分割：从图像中提取裂缝区域，完成裂缝与背景噪声的分割。常用的分割方法主要包括传统的图像处理方法和基于深度学习的图像分割方法。

3）参数计算：对提取出的裂缝进行宽度、长度等参数的计算分析。

4）结果输出：通过裂缝识别图像，配合定量的参数数据及分析输出提取结果。

1.2 裂缝分割网络

本文计算裂缝宽度是基于深度学习图像分割网络的自动识别结果展开的，即已知裂缝在图像中的具体像素点位置。通过试验探究，选取残差网络ResNet进行图像特征提取（编码网络），结合金字塔池模型（Pyramid Pooling Module，PPM）（解码网络）预测图像中的裂缝区域。利用上述编码-解码的网络结构可以提取出像素级别的分割区域，满足裂缝宽度计算的需求。具体的网络结构［7］如图2所示。图中ResNet为残差网络；POOL为池化层；CONV为卷积层；UPSAMPLE为上采样；CONCAT为特征融合张量拼接。

图2 裂缝分割网络结构

CONV

CONCAT

1.2.1 编码网络

特征提取网络的作用是对输入图像进行卷积操作降低图像维度的同时提取图像特征，最终输出特征图（Feature Map），卷积核也在不断迭代过程中无限逼近最优解。为了平衡精度和效率，选取ResNet-50作为语义分割模型的编码结构。

尺寸为1 024×1 024的输入图片经过conv2_x、conv3_x、conv4_x、conv5_x四个卷积模块（Block）进行下采样，每个Block含有数量不等的单元（Unit），分别为3、4、6、3个。以conv2_x为例，每个Unit的内部结构如图3所示。

图3 Unit内部结构

ResNet-50内部Unit采用了Shortcut Connection（捷径连接）的连接方式，有效防止了梯度消失的问题。随着网络层数的加深，特征提取性能可以不断提升。

结构设计采用了瓶颈设计（Bottleneck Design），通过第一个1×1的卷积核将256维通道降为64维，最后再通过一个1×1的卷积核进行恢复。这种设计结构有效降低了网络参数数量及计算量，运算效率得到明显提升。

1.2.2 解码网络

解码网络的作用是运用编码网络提取的特征生成目标分割结果，并输出与输入图像尺寸相同的概率图像。选取分割效果良好的PPM网络作为语义分割模型的解码结构。

PPM解码网络首先对特征图进行池化（参见图2），采用1×1、2×2、3×3和6×6四种不同尺寸的Pooling操作得到多个尺寸的特征图，并将得到的特征图分别输入1×1的卷积层以减少通道数。然后采用双线性插值进行上采样来获得与池化前相同尺寸的特征图，并在通道上进行拼接，得到融合上下文信息的更强大的特征图表示，对于尺寸多样的裂缝能够获得更好的识别效果。

2 复杂裂缝体分解

结构表面裂缝的形态复杂。原始裂缝随着时间的推移会延伸开裂产生新的分支，最终可能会形成复杂的树状裂缝或网状裂缝。为了方便裂缝宽度的计算，需要对复杂裂缝体进行分解，并提取主裂缝。

2.1 关键点提取

图像中每个像素以自身为中心时，周围邻接8个像素点。判断2个像素点是否属于同一连通区域时，根据邻接关系，常用两种判定方法：4邻域连通和8邻域连通。4邻域连通只考虑上、下、左、右4个邻接像素。设目标像素点位置为（x，y），则其4个邻接像素位置为（x+1，y）、（x-1，y）、（x，y+1），（x，y-1）。8邻域连通考虑8个邻接像素，包括上、下、左、右及对角线位置的像素点，其位置分布为（x+1，y）、（x-1，y）、（x+1，y+1）、（x+1，y-1）、（x-1，y-1）、（x-1，y+1）、（x，y+1）、（x，y-1）。连续裂缝须在二值图像中满足8连通要求，每个连续裂缝作为一个单独的裂缝体进行计算。

为提取主裂缝，首先需要提取出裂缝体的各端点及相交点。如图4所示，1#、4#、5#、6#为该裂缝体的端点；2#、3#为该裂缝体的相交点。在相交点处进行分离，可将一个裂缝体分解为多条单独的裂缝。

图4 裂缝体分解及主裂缝提取

应用中根据需求，可将分解的单条裂缝作为多个独立裂缝分别进行宽度的计算及分析，也可视整个裂缝体为独立裂缝计算宽度。本文选取后者，以裂缝体为单位提取最大、最小及平均宽度。

2.2 主裂缝提取

主裂缝是构件的主要受力裂缝，是多条相交裂缝中长度相对较长、宽度相对较大的裂缝。Payab等［8］认为裂缝体可以视为由一条主裂缝和与其相连的若干条分支裂缝构成，并提出了基于多叉树理论的方法来提取裂缝体中的主裂缝。如图5所示，将裂缝体的端点和相交点视为多叉树的节点，将节点间相连的裂缝视为边。指定某一根节点后，即生成多叉树结构。从深度最大子节点回溯至根节点所经过的裂缝连接即形成主裂缝，如图5红色节点的回溯过程。

图5 基于多叉树理论提取主裂缝

在实际裂缝中的提取过程参见图4，由1#-2#-3#-6#节点连接形成的裂缝即该裂缝体的主裂缝，其余部分为分支裂缝，这种组合描述方式展示了裂缝的形成过程，更好地反映了裂缝的本质。

一个裂缝体中大部分分支裂缝宽度相对主裂缝小很多，计算平均宽度时若考虑分支裂缝的影响，会使计算出的平均宽度偏小，无法真实反映该裂缝主要受力部分的实际开裂程度。因此，宜以复杂裂缝体主裂缝的平均宽度作为该裂缝体平均宽度。

在实际提取主裂缝时，选取不同的根节点可能会提取出不同的主裂缝。混凝土结构物裂缝按形态分为横向裂缝、纵向裂缝、斜向裂缝和网状裂缝［9］，其中网状裂缝的关注重点为面积参量，另外三种裂缝应选取不同的根节点来提取主裂缝。本文以裂缝体横坐标最小的像素点作为横向及斜向裂缝的根节点，以纵坐标最小的像素点作为纵向裂缝的根节点，由此提取出的主裂缝能够更好地反映裂缝形态。

3 数字图像法计算裂缝宽度

计算裂缝宽度时应结合应用场景和需求选择合适的宽度定义。依据中国工程建设标准化协会拟定的《工程结构数字图像法检测技术规程（征求意见稿）》，常用的裂缝宽度定义包括基于中轴线垂线的裂缝宽度、基于边缘线最小距离的裂缝宽度、局部平均裂缝宽度、基于灰度的裂缝宽度等。基于不同的裂缝宽度定义，所用的计算方法也不同。

3.1 基于中轴线垂线的裂缝宽度计算方法

基于裂缝两条边缘线与一条中轴线，经过裂缝中轴线上待求宽度的某点，作通过该点的中轴线垂线，该垂线与两条边缘线的交点之间的距离即为该点的裂缝宽度［8，10］。具体的操作过程：①提取单独裂缝的两条边缘线与一条中轴线；②确定中轴线上待求宽度的测点；③连接测点前后两个相邻的中轴线点，作为该点的切线方向，并经过该测点作连接线的垂线，即该点的中轴线垂线；④提取该中轴线垂线与两条边缘线的交点；⑤计算两个交点之间的距离。

3.2 基于边缘线最小距离的裂缝宽度计算方法

计算过程［11］：①提取单独裂缝的两条边缘线与一条中轴线；②确定中轴线上待求宽度的测点；③经过该测点作任意直线与两条边缘线相交；④搜索所有直线与边缘线两个交点间的最小距离，即为该点的裂缝宽度。

3.3 局部平均裂缝宽度计算方法

局部平均裂缝宽度是通过某段裂缝闭合面积除以该段裂缝中轴线长度计算得出的［12］。由于计算的是局部平均值，因此得到的结果较为稳定。局部平均裂缝宽度Wa的计算式为

式中：Sa为某段裂缝的局部面积；La为该段裂缝中轴线的长度。

3.4 基于灰度的裂缝宽度计算方法

该方法是根据裂缝局部的灰度浓度来评估裂缝宽度［13］。对细小裂缝图片进行分析，可以发现不同宽度的裂缝局部灰度不同。宽度小的裂缝区域的平均灰度明显低于宽度大的裂缝区域。整理试验数据，建立裂缝周围平均灰度与裂缝宽度的对应关系，从而通过灰度推算出裂缝的实际宽度。该方法突破了像素点的制约，识别更为精细，但裂缝宽度与平均灰度的对应关系依赖于试验数据的统计分析，理论性相对欠缺。

上述四种裂缝宽度计算方法在计算结果与精度上均有所差异。前两种是精确定点计算方法，可识别裂缝上任意点的宽度；后两种计算的是裂缝局部区域平均宽度，由于进行了平均化处理，可识别的裂缝宽度精度有所提升。为确保对裂缝宽度的精确计算，本文选择以基于中轴线的裂缝宽度为定义进行计算。但试验发现该方法的识别精度受限于图像的精度，即最小识别裂缝宽度不会小于1个像素点，因此在计算细小裂缝宽度时误差较大，识别精度与准确度较低。为解决此问题，从突破像素点的限制角度考虑，以基于中轴线的裂缝宽度计算方法为基础，探索更精确的亚像素计算方法来提取裂缝宽度。

4 精确计算裂缝宽度

4.1 基于三次Cardinal样条插值提取亚像素宽度

裂缝边缘处的灰度变化率最大。利用这一特性，在法向模拟灰度变化近似曲线，导数最大处即为裂缝边缘的精确位置。据此，基于三次Cardinal样条插值法拟合出近似曲线，对亚像素精度的混凝土裂缝边缘进行检测。裂缝边界点的拟合过程如下（图6）。

图6 裂缝边界点拟合过程

1）裂缝中轴线上某一处法线方向上的一组点X(i)l定义为

式中：c(i)为该处中轴线上的点；kl为按升序排列的一系列整数，0＜kl≤2|r~(i)-c(i)|；r~(i)为该处右边界点；表示方向。

5）同理，通过步骤（1）—步骤（4）可得裂缝亚像素级别的左边界s~(i)。

6）利用左右边界计算裂缝精确的宽度D(i)，即

4.2 试验验证

为了验证上述方法的有效性，运用手推运行式巡检平台在无砟道床上进行混凝土结构物图像的实地采集。巡检平台参数见表1，采集图像的精度（即单位像素尺寸）为0.1 mm。然后将预处理后的图像数据输入已训练完成的图像分割模型中，从而自动识别并提取出裂缝区域。在此基础上利用精度为0.01 mm的裂缝测宽仪进行人工测量，得到裂缝各处的真实宽度，作为验证试验的参考值。

表1 巡检平台参数

选取如图7所示的包含清晰裂缝的图像来验证宽度计算方法的效果。在图像中选取11个具有代表性的裂缝宽度测点，通过人工测量已知各测点实际宽度，并且通过分割网络的输出获取裂缝在图像中所占的像素点区域（以图像左上角为坐标原点）。

图7 裂缝宽度测点

运用基于中轴线垂线的裂缝宽度的像素级计算方法和本文提出的结合三次Cardinal样条插值拟合裂缝边缘的亚像素级计算方法对裂缝宽度进行计算，并分别算出两种方法的计算值与测量值的误差和相对误差。计算结果见表2。

表2 两种方法的裂缝宽度计算结果

从表2可以看出，像素级方法得到的裂缝宽度误差较大，而亚像素级方法得到的结果误差较小，平均误差为0.015 mm，最大误差仅0.03 mm，计算精度得到了明显提升。

《工程结构数字图像法检测技术规程（征求意见稿）》中规定，裂缝宽度计算的相对误差不宜大于20%。考虑系统的检测精度要求为0.1 mm，将表2中人工测量宽度小于0.1 mm的测点（编号为1、2、7、8）予以剔除，其余各点的亚像素级方法得出的裂缝宽度最大相对误差为16.7%，满足要求。

为了进一步验证该方法的泛化能力，另外选取了9张典型裂缝图像进行试验。已知图像中裂缝某一点的人工测量宽度，利用亚像素级方法算出该点的宽度，并与测量值进行对比，结果见表3。

表3 9张典型裂缝图像宽度的亚像素级方法计算结果

从表3可以看出，本文提出的宽度计算方法针对不同类型、不同宽度的裂缝均能够得到较精确的计算结果，符合行业标准，该方法具有良好的泛化性能。

5 结语

本文针对混凝土结构物表面裂缝宽度计算进行了深入探究。由于混凝土结构物裂缝平均宽度的定义不明确导致计算结果难以标准化，因此定义复杂裂缝体的平均宽度为其主裂缝平均宽度。为减小宽度提取误差，提升最小可识别裂缝宽度，基于中轴线垂线的裂缝宽度计算方法，通过三次Cardinal样条插值拟合出裂缝的亚像素边缘，计算出突破像素单位限制的更加精确的裂缝宽度。通过试验验证，利用本文提出的方法计算得到的裂缝宽度平均误差为0.015 mm，最大误差仅为0.03 mm，且针对不同类型、不同宽度的裂缝均能够得到较精确的计算结果，符合行业标准，验证了该方法的有效性。

后续还需进一步增加试验样本，以测试论文算法在应用场景中的计算效果。