基于空间拓扑的路面裂缝连续性提取方法

贾国辉,马俊涛,张文东,梁洪音,马榕辰

(辽宁科技学院 资源与土木工程学院,辽宁 本溪 117004)

0 引言

路面病害检测是道路智能养护决策中的重要组成部分,作为路面病害的主导类型,路面裂缝自动提取具有重要的现实意义[1]。由于裂缝的不均匀性强、拓扑复杂性高以及与裂缝纹理相似噪声大等问题,使得完成裂缝自动提取具有非常大的挑战[2]。近期的研究工作表明,通过学习大量裂缝样本,采用深度卷积神经网络(Deep Convolutional Neural Network,DCNN)可以通过连续交替的卷积层和池化层自动学习目标特征,不需要手动设计特征和分类器[3]。这为端到端的裂缝自动提取提供了新的方法,提高了裂缝自动检测性能。如文献[4]基于SegNet[5]的编码器-解码器体系构建了DeepCrack网络,通过融合编码器和解码器网络中产生的卷积特征完成裂缝检测。文献[6]通过建立多尺度扩张卷积模块在多个尺度下捕获裂缝上下文信息,采用注意力机制进一步细化裂缝特征,构造的多尺度注意力模块在复杂背景下学习到的裂缝特征具有更强判别力和鲁棒性。

以上方法能够在像素级别检测到路面裂缝,使得每个像素都被单独标记为裂缝目标或其他类别,采用DCNN自动提取路面裂缝的精度得到了较大提高。然而,这些方法都没有考虑路面裂缝提取的连续性。这个问题是由于传统方法中使用了基于像素分类的损失函数,如均方误差(Mean Square Error,MSE)或Dice损失函数[7],这些损失函数只关注像素分类精度而无法保持裂缝自动提取的连续性。如果将连续裂缝识别为断裂裂缝,则该模型会误判实际路面的破损状况,在路面技术状况评估时,这些检测到的断裂裂缝会严重影响评价裂缝分布的结果,导致路面技术状况评价和决策错误,因此保持裂缝检测的连续性非常重要。

针对以上问题,首先,基于全卷积神经网络训练深度卷积裂缝提取模型,通过学习多尺度下的丰富特征实现裂缝像素级自动提取;其次,利用空间拓扑损失函数、MSE、Dice损失的组合方法来提升裂缝提取的连续性。实验结果表明,本文方法能够同时保持裂缝提取的精度和连续性。

1 网络结构

给定输入路面裂缝图像,首先采用VGG16预训练模型来提取裂缝特征。在传统的DCNN网络结构中,卷积层和下采样层可以增加特征中元素的感受野,同时减少计算参数的数量。但是连续的卷积操作会降低图像特征的空间分辨率,使得最后的特征图尺寸越来越小,不利于恢复分割目标的细节。文章采用的路面裂缝提取网络是以U-Net[8]为基础框架实现的路面裂缝自动提取。U-Net是一种完全基于卷积网络的DCNN架构,能够通过拼接特征的方式实现不同级特征融合。研究表明,U-Net可以用更少的训练数据处理更准确地分割[9]。

U-Net网络由一个提取图像上下文信息的收缩路径(编码阶段)和一个用于精确定位的扩展路径(解码阶段)组成。编码阶段采用交替的卷积层和池化操作作为特征提取网络,逐层向下采样特征图的同时增加每层的特征图数量,该阶段主要完成路面裂缝的高级语义特征提取。解码阶段对提取的特征图进行上采样,然后进行卷积操作。因此,解码阶段增加了输出的分辨率,将特征图恢复到原始输入尺寸大小。为了提升上采样阶段的特征定位能力,解码阶段通过拼接操作将深层的低分辨率特征与编码阶段的高分辨率特征相结合,使深层和浅层的信息有效融合。融合后的特征通过sigmoid函数输出得到每个裂缝像素的分类结果。

2 损失函数

(1)

(2)

其中:损失函数L是均方误差LMSE和拓扑误差LTOPO的和;α是根据经验设置的参数,用于平衡损失函数比例;LMSE是一个回归损失,主要用于训练网络以预测每个像素到最近裂缝中心的距离;LMSE相比用于分类问题的交叉熵损失能够更有效地惩罚预测裂缝中心与其注释真值位置之间的偏差;LTOPO能够在LMSE基础上提升裂缝提取的连续性。

2.1 裂缝像素分类损失函数

(3)

其中:I是输入图像中的像素索引集合;p是图像中的像素。

另一个用于二分类的损失函数是二进制交叉熵损失(Binary Cross Entropy Loss):

(4)

LMSE和LBCE可以单独用于训练U-Net网络,这两种损失函数在像素分类精度方面具有较好的结果,但是预测的裂缝结果中会出现较多的断裂。为了提升裂缝提取的连续性,在以上像素分类损失函数的基础上引入空间拓扑损失。

2.2 裂缝连续性损失函数

(5)

其中:β是损失函数的参数,增加β会减少假阳性裂缝的出现。

2.2.1 连续性损失

为了阻止预测裂缝出现异常中断,首先识别裂缝在样本真值中分离的所有背景区域对,当预测的裂缝提取结果出现中断时,原本分离的背景区域会被连接到一起,因此在预测距离图中惩罚这些区域之间的连接,可以提升裂缝的连续性。强制连通性损失定义为:

(6)

2.2.2 错误连接损失

将LTOPO简化为LD会导致路面图像中出现很多假阳性裂缝,在公式(2)中仅通过系数α平衡回归损失LMSE和连接损失LD很难抵消这种情况。为了解决这个问题,采用另一个损失项以加强背景区域的连通性,以防止假阳性裂缝的出现,定义为:

(7)

其中:vp计算方法与wp类似;yD[p]是像素p处的标签真实值。

3 实验结果

表1展示了本文方法在Crack500数据集上的实验结果。该数据集包含500张分辨率为2 000×1 500像素的路面裂缝图像[11],每幅裂缝图像都以像素级别进行标注。由于大尺寸图像无法直接放入GPU中计算,因此将每幅图像裁剪成16张较小尺寸的图像,每张图像的最终分辨率为640×320像素。最终数据集由1 896张图像的训练集、348张图像的验证集和1 124幅图像的测试集构成,文章首先在训练集和验证集中训练不同损失函数下的裂缝提取网络。在测试集中,将不同损失函数下的裂缝提取结果进行比较,评价指标主要有F-1、MIoU和裂缝连续指标(Cracks Per Patch,CPP)。F-1和MIoU专注于评估DCNN在像素分类中的性能,不能评价预测裂缝和裂缝标记样本之间的拓扑差异。为此通过比较样本注记中的裂缝数量Nl和预测结果中的裂缝数量Np得到CPP如下:

表1 不同提取方法在裂缝测试集上对比结果

CPP=|Nl-Np|

(8)

如表1中所示,就F-1指标而言,采用DICE损失函数的表现优于其他方法,其次是MSE和MSE+TOPO。相比之下,针对裂缝连续性指标CPP,采用MSE+TOPO方法取得了最低的误差,表明该组合损失函数在裂缝连续性提取上优于其他方法。在观察图2中的定性结果后,F-1与CPP的这种不一致是由于MSE+TOPO产生了连续的裂缝预测,这些预测结果往往比裂缝标记样本更宽所导致的不一致性。这是因为LTOPO专注于防止裂缝错误中断,不能提升裂缝像素分类的准确性。

图2 裂缝提取结果

图2中展示了路面裂缝提取结果,由上到下分别为原始裂缝图像、裂缝真值、MSE、DICE、TOPO、DICE+TOPO和MSE+TOPO的提取结果。由输入裂缝原始图像(a1)-(a3)可知,同一张图像中包含的裂缝具有较复杂的拓扑关系。采用MSE损失对裂缝提取结果中,由于该网络不具备获取裂缝拓扑结构的上下文信息,在图2中(c1)-(c3)裂缝宽度变化位置出现了明显的断裂情况,说明该方法对裂缝连续性提取能力较弱。由图2中(d1)-(d3)可以看出,采用DICE提取的结果比MSE有所提升,但是裂缝中断情况仍然较多, 无法保证裂缝提取的连续性。采用TOPO损失函数在检测裂缝连续性方面表现良好,能够消除大部分裂缝断裂,但由于其只采用拓扑损失导致产生较低的裂缝像素提取精度,使得裂缝信息的丢失。如图2中(f1)-(f3),将DICE和TOPO组合的损失函数在裂缝提取连续性上有所提升,但是出现了较多的误提取。如图2中(g1)-(g3)所示,采用MSE+TOPO方法提取结果具有更少的误提取和裂缝断裂,表明该方法在裂缝像素分类和连续性提取方面具有更强的鲁棒性,由于该损失函数结合了空间拓扑损失与均方误差的优势,这种组合的性能优于使用其他损失函数训练的路面裂缝提取网络。本文方法在获取丰富的语义信息基础上,利用空间拓扑信息提升裂缝的连续性,能够更加准确地提取复杂拓扑下的裂缝信息。

4 结论

基于DCNN的传统U-Net网络能够准确分割路面裂缝,但是不能够保持裂缝提取的连续性。本文通过组合均方误差和空间拓扑损失函数以提高U-Net网络在裂缝连续性提取方面的性能。实验结果表明,本文提出的裂缝提取方法相比其他损失函数取得了最优的效果,同时保留裂缝提取的精度和连续性。在未来的研究工作中,重点提升裂缝像素分类的精度,进一步提升路面裂缝自动提取性能。