基于深度学习的较复杂背景下桥梁裂缝检测

杨杰文，章光，陈西江，班亚

基于深度学习的较复杂背景下桥梁裂缝检测

杨杰文1，章光1，陈西江1，班亚2

(1. 武汉理工大学 安全与应急管理学院，湖北 武汉 430079；2. 重庆市计量质量检测研究院，重庆 404100)

桥梁的定期裂缝检测对于确保桥梁的安全运行至关重要，而目前的人工检测方法不仅耗时费力，还存在诸多不安全因素。而桥梁裂缝还具有多种噪声模式，因此，针对桥梁裂缝的高效检测成为了桥梁健康检测的研究热点和难点。为了实现对较复杂背景下的桥梁裂缝的精确和高效的识别，提出一种结合U-net和Haar-like算法的卷积神经网络的深度学习算法。通过与DenseNet，ResNet，GoogleNet和VGGNet网络的比较，证明了该算法的有效性。同时，该算法还可以对裂缝的面积、长度和平均宽度进行定量计算，检测精度高于97%。研究结果表明：该算法适用于桥梁裂缝图像的高效检测。

桥梁安全；裂缝检测；较复杂背景下；卷积神经网络；深度学习；定量计算

目前，我国桥梁建设的水平已达顶尖层次，但桥梁的安全检测技术却比较落后。当前我国主要的裂缝检测方法还是以人工检测为主，这样不仅不能保证检测的效率，还容易引发安全问题。因此，如何耗费最少的成本对桥梁进行连续自动的检测已成为重要的研究方向。2017年，ZHANG等[1]建立了一种基于卷积神经网络(CNN)的有效架构，可以在像素级检测3D沥青表面裂缝，但它没有轮询层。苑玮琦等[2]采用灰度值阈值分割法并结合基于二值图与灰度图结合的干扰剔除对裂隙进行识别，但不适合于裂缝与背景差异不明显的情况。阮小丽等[3]则引入了将裂缝区域当作连通区域来对待的思想，根据裂缝的特征参数过滤掉非裂缝，能识别较小裂缝的宽度，但仍受限于灰度差异。而CHA等[4]建立的裂缝识别卷积网络只能用于裂缝分类，不能用于裂缝分割。2018年，YANG等[5]引入了全卷积网络(FCN)来同时解决识别和测量不同的裂缝问题，但是测量误差较大。王森等[6]构建了一种新型的Crack FCN模型，实现了较复杂背景下的裂缝的高精检测及降低错误标记，但是处理效率仍不够高。2019年，周颖等[7]将裂缝碎片拼接和图像处理方法相结合，实现了对裂缝宽度的高精度测量，但是针对更复杂背景下的裂缝的识别有待提升。基于以上方法，本文结合U-net[8]和Haar-like[9]，提出了一种融合的UH-Net深度学习网络，它可以更准确，更快速地从背景中分割裂缝，并能实现对较复杂背景下的桥梁裂缝的有效语义分割。

1 UH-Net总体架构

本文提出的UH-Net网络模型总体框架图如图1所示，该框架由收缩路径和扩展路径(如U-net)组成。在U-net的基础上，提出的模型使用特征提取块(Feature extraction block)代替普通的卷积层，并减少了下采样操作的数量。提出的框架的3个主要组成部分是特征提取块，向下过渡层和向上过渡层。鉴于裂缝的边缘和线段特征在复杂背景的情况下，所以每个特征提取块采用Haar-like提取算法，其中Haar-like算法自身特征模板只有黑色和白色2种矩形，和裂缝实际采集的图片特征相符合。利用Haar-like的线性特征和边缘特征这两属性对输入图像进行图像特征提取，网络中有2个向下过渡层和2个向上过渡层，最后一层的输出大小与输入图像相同。在上采样路径中，每个块输出的特征不仅会传输到下一层，而且还会保留用于对称下采样过程中的特征融合，从而获得更好的预测结果和特征提取效果，其中各层参数如表1所示。

图1 UH-Net总体框架图

表1 参数详情

在计算Haar特征值时，每次都遍历矩形特征区域，将会造成大量重复计算，严重浪费时间。而积分图正是一种快速计算矩形特征的方法，其主要思想是将图像起始像素点到每一个像素点之间所形成的矩形区域的像素值的和，作为一个元素保存下来，也就是将原始图像转换为积分图(或者求和图)，这样在求某一矩形区域的像素和时，只需索引矩形区域4个角点在积分图中的取值，进行普通的加减运算，即可求得Haar特征值，整个过程只需遍历一次图像，计算特征的时间复杂度为常数，因此可以大大提升计算效率。

构建好积分图后，图像中任何矩形区域的像素值累加和都可以通过简单的加减运算快速得到。而为了降低计算Haar-Like特征的计算成本同时提高算法的性能，引入2种积分图像来快速计算特征。对于水平的矩形，其积分图像素总和积分公式如式(1)所示。

而对于倾斜45°的矩形，其积分图(如图2所示)像素总和积分公式如式(2)所示。

(2)

2 数据集制作

本文构建了如图3所示的裂缝采集机制获得裂缝图片及其原始尺寸以制作数据集。利用无人机搭载的CCD工业相机(Basler aca1300-30gm)采集200张原始图像，其中大多以较复杂背景下的裂缝图片(例如带粗糙面、青苔、凸起、凹陷和污渍等的裂缝图片)为主，每张图像由于拍摄条件的不同，均有所差异。收集的原始图像大小为4 896×3 672像素，太大而无法直接输入，所以以248为步长将其切割为512×512的子图像，将200张原始图像分割为46 000个子图像。同时为了更有效地检测出裂缝并消除噪声，对一些子图像采取旋转操作，最终的数据集包含58 000个子图像，其中48 000个用于训练，10 000个用于测试和验证网络的有效性。

图3 裂缝采集机制

3 性能评价指标

对于语义分割，有3种最常用的评价指标[10]：像素精度(PA)、平均像素精度(MPA)和平均相交度(MIoU)，其中像素精度为标记正确的像素占总像素的比例，平均像素精度为每个类内被正确分类像素数的比例再求得的所有类的平均，平均相交度为真实值和预测值2个集合的交集和并集之比。而针对机器学习，还常用到另外3种指标[11]精度(Precision)、召回率(Recall)和F1值，其中精度代表实际裂缝像素在预测裂缝像素中的比例，召回率代表正确预测的裂缝像素在真实裂缝像素中的比例，F1值同时考虑了精度和召回率，可以将其视为精度和召回率的加权平均值。各指标表达示如下：

式中： 真正值(TP)是被正确识别为裂缝的像素数；假正值(FP)表示被错误识别为裂缝的像素数；假负值(FN)是被错误识别为非裂缝的像素数；真负值(TN)是正确识别为无裂缝的像素数。

4 实验结果

4.1 算法性能对比

基于本文的数据集进行算法性能测试，将UH-Net与性能较好且近年来热点使用的DenseNet[12]，ResNet[13]，GoogleNet[14]和VGGNet[15]4种算法进行性能对比，表2列出了这5种算法的各项性能指标。由表2可知，DenseNet，ResNet和GoogleNet各指标均在90%以上，而VGGNet的性能则稍差，F1值仅为0.893 8；而UH-Net的各指标均不低于90%的同时，一直保持高于其他四类算法。因此，在基于本文的数据集的基础上，UH-Net的算法性能要优于上述4种算法。

表2 5种算法性能对比

4.2 算法识别效果对比

基于本文采集的较复杂背景下的裂缝图像，抽取部分裂缝图片作为示例，将以上4种算法中评价指标较高的DenseNet和ResNet与UH-Net进行识别效果对比，对比效果如表4所示。

由表4可知，针对示例中带有青苔、粗糙面和凸起的裂缝图片，DenseNet和ResNet虽然均能识别并分割裂缝，但是噪声去除效果远不如UH-Net；而UH-Net则能够较好地去除噪声并且完整且精确地识别并分割出裂缝骨架。

4.3 裂缝量化识别

为了对裂缝图像进行定量计算，需要对其进行标识。因此，基于本文数据集，选取部分裂缝作为原图像进行标识流程实例，如表4所示。

再结合公式(7)即可实现对裂缝的物理尺寸的换算。

式中：P为裂缝的实际物理尺寸，单位为mm2；P为裂缝的像素尺寸，单位为pixel2；为裂缝在图像中的缩放比例，单位为mm2/pixel2。

表3 3种算法效果对比

而为了更加精确地对本文方法的精度进行验证，从数据集中随机抽取部分图像，将这部分图像分成10类，每一类选取一幅具有代表性得图像，如图4所示。对这10幅裂缝图像进行标识以及量化识别的结果进行统计，并与裂缝测量仪所测平均宽度、整体长度和面积进行对比，其统计以及对比结果如表5所示，精度直方图如图5所示。

表4 标识示例

图4 用于量化计算的裂缝原始图像

表5 统计结果对比

50.780.800.02200.65205.024.37206.40202.623.78 60.810.800.01210.60207.682.92212.11208.193.92 70.760.780.02204.19200.343.85201.96197.934.03 80.800.780.02197.57201.223.65195.80199.023.22 90.800.820.02207.03210.753.72217.81213.784.03 100.910.930.02247.73243.684.05279.35284.485.13

图5 统计结果精度对比

由图5可知，基于与裂缝测量仪测得的裂缝平均宽度(Average width)，总长度(Overall length)和面积(Area)的对比，本文提出的量化识别方法检测精度极高，最低均不低于97%，最高趋近于99%。

5 工程应用价值

本文裂缝识别的总体框架：由搭载工业级照相机的无人机组成的图像采集系统，以及基于UH-Net的裂缝图像处理系统。在无人机的辅助下，检测人员可以大量采集桥梁底部的裂缝图像，然后将采集到的图像上传到电脑，通过裂缝图像处理系统，完成对桥梁裂缝缺陷的检测、统计和分析。

具体工程意义：针对人工检测需要近距离采集，且存在危险因素、检测费时和费力的弊端，本文提出的方法只需检测人员远程操控无人机对桥梁结构上的裂缝进行采集，然后将采集到的图像上传到电脑，通过裂缝图像处理系统就可实现对裂缝图像的高效分割和量化识别，最终得到误差极小的被测裂缝的相关数据。

6 结论

1) 融合了U-net和Haar-like算法，并且采用了积分图对特征进行快速提取，构建了能够对桥梁裂缝进精确识别的UH-Net裂缝识别卷积神经网络。

2) 基于本文数据集，将UH-Net与DenseNet，ResNet，GoogleNet和VGGNet 4种算法进行了对比，证明了UH-Net具有更好的去噪能力和裂缝骨架提取能力。

3) 基于UH-Net，结合裂缝物理尺寸转换公式，实现了对桥梁裂缝的量化识别，并且将量化识别结果与裂缝测量仪测量结果进行了对比，得出本文识别方法的识别精度不低于97%，能够实现较复杂背景下的桥梁裂缝的有效检测。

[1] ZHANG A, WANG K C P, LI B X, et al. Automated pixel-level pavement crack detection on 3D asphalt surfaces using a deep-learning network[J]. Computer- aided Civil and Infrastructure Engineering, 2017, 32(10): 805-819.

[2] 苑玮琦, 薛丹. 基于机器视觉的隧道衬砌裂缝检测算法综述[J]. 仪器仪表学报, 2017, 38 (12): 3100-3111. YUAN Weiqi, XUE Dan. Overview of detection algorithms for tunnel lining cracks based on machine vision[J]. Journal of Instrumentation, 2017, 38(12): 3100-3111.

[3] 阮小丽, 王波, 荆国强, 等. 桥梁混凝土结构表面裂缝自动识别技术研究[J]. 世界桥梁, 2017, 45(6): 55-59. RUAN Xiaoli, WANG Bo, JING Guoqiang, et al. Research on automatic identification technology of surface cracks in bridge concrete structures[J]. World Bridge, 2017, 45(6): 55-59.

[4] CHA Y J, CHOI W. Deep learning-based crack damage detection using convolutional neural networks[J]. Computer-Aided Civil & Infrastructure Engineering, 2017, 32(5): 361-378.

[5] YANG X C, LI H, YU Y T, et al. Automatic pixel-level crack detection and measurement using fully convolutional network[J]. Computer-Aided Civil and Infrastructure Engineering, 2018, 33(12): 1090-1109.

[6] 王森, 伍星, 张印辉, 等. 基于深度学习的全卷积网络图像裂缝检测[J]. 计算机辅助设计与图形学学报, 2018, 30(5): 859-867. WANG Sen, WU Xing, ZHANG Yinhui, et al. Image crack detection in full convolution network based on deep learning[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(5): 859-867.

[7] 周颖, 刘彤. 基于计算机视觉的混凝土裂缝识别[J]. 同济大学学报(自然科学版), 2019, 47(9): 1277-1285. ZHOU Ying, LIU Tong. Recognition of concrete cracks based on computer vision[J]. Journal of Tongji University (Natural Science), 2019, 47(9): 1277-1285.

[8] FAN C J, WANG Z J, LI G, et al. A novel 3D U-net deep network with paralleling structure for stroke lesion image segmentation[J]. Journal of Medical Imaging and Health Informatics, 2020, 10(3): 724-730.

[9] 罗瑞奇, 钟忺, 钟珞, 等. 一种改进Haar-like特征的车辆识别算法[J]. 武汉大学学报(理学版), 2018, 64(3): 244-248. LUO Ruiqi, ZHONG Xian, ZHONG Luo, et al. An improved vehicle recognition algorithm with Haar-like features[J]. Journal of Wuhan University (Science Edition), 2018, 64(3): 244-248.

[10] Garcia G A, Orts E S, Oprea S, et al. A survey on deep learning techniques for image and video semantic segmentation[J]. Asian Pacific Journal of Cancer Prevention, 2017(70): 41-65.

[11] Geetha V, Aprameya K S, Hinduja D M. Dental caries diagnosis in digital radiographs using back- propagation neural network[J]. Biomedical Signal Processing and Control, 2020, 8(1): 8.

[12] Khaled S, Mohammed H, Saeid N. Spatio-temporal denseNet for real-time intent prediction of pedestrians in urban traffic environments[J]. Neurocomputing, 2019(386): 317-324.

[13] Ayad S A, Hakan K. Automatic identification for field butterflies by convolutional neural networks[J]. Engineering Science and Technology, an International Journal, 2020, 23(1): 189-195 .

[14] Kim J H, Seo S Y, SONG C G, et al. Assessment of electrocardiogram rhythms by googleNet deep neural network architecture[J]. Journal of Healthcare Engineering, 2019, 3(1):1-8.

[15] LIU K H, ZHONG P S, ZHENG Y, et al. P_VggNet: A convolutional neural network (CNN) with pixel-based attention map[J]. PloS One, 2018, 13(12):13-19.

Research on bridge crack detection based on deep learning under complex background

YANG Jiewen1, ZHANG Guang1, CHEN Xijiang1, BAN Ya2

(1. School of Safety & Emergency Management, Wuhan University of Technology, Wuhan 430079, China;2. Chongqing Measurement Quality Examination Research Institute, Chongqing 404100, China)

The regular crack detection of bridges is very important to ensure the safe operation of the bridge, and the current manual detection methods not only are time consuming and need great effort but also are not very safe. And bridge cracks have multiple noise modes, so the effective detection of bridge cracks is becoming a hot and difficult research topic in bridge health maintenance. In order to achieve accurate and efficient identification of bridge cracks in more complex backgrounds, a deep learning algorithm combined with U-net and Haar-like algorithm was proposed. The comparison with DenseNet, ResNet, GoogleNet and VGGNet proves the effectiveness of the kind of algorithm. The algorithm can also achieve quantitative calculation of the area, length and average width of cracks, and detection accuracy maintains 97%. The results show that the algorithm is suitable for efficient detection of bridge crack images.

bridge safety; crack detection; under complex background; convolutional neural network; deep learning; quantitative calculation

X947

A

1672 - 7029(2020)11 - 2722 - 07

10.19713/j.cnki.43-1423/u.T20200107

2020-02-13

国家自然基金青年科学基金资助项目(41501502)；重庆市质量技术监督局科研计划项目(CQZJKY2018004)；重庆市技术创新与应用发展专项面上项目(cstc2019jscx-msxmX0051)；长江科学院开放研究基金资助项目(CKWV2019758/KY)

陈西江(1985-)，男，安徽淮南人，副教授，博士，从事点云数据和目标识别方面的研究；E-mail：cxj_Q421@163.com

(编辑 蒋学东)