基于Mask R-CNN和迁移学习的混凝土道路裂缝智能识别研究

刘智勇

（广州地铁集团有限公司 广州510335）

0 引言

混凝土结构在服役或施工过程中常会产生不同程度和大小的裂缝等表观病害［1］，如果混凝土表面裂缝没有及时查明或进行修补，将会影响结构的耐久性及使用寿命［2］。为满足我国公路运输发展的需求，我国建设了大量的混凝土道路，在长期服役过程中，受车辆的挤压作用，混凝土的强度性能也会发生变化，从而出现大规模表观裂缝，对公路运输产生重大安全隐患［3-4］。因此，有必要对混凝土道路定期进行检测维护［5］。通过裂缝的形态特征及表观特征，可以推断裂缝劣化的潜在原因，为我国公路结构的健康检测和诊断提供依据［6］。

国内大量学者在裂缝的识别及定位上提出了思路和方法［7-9］，但目前为止，针对公路混凝土表面裂缝的有效识别方面仍没有得出较好的结果。因此，本文在已有的研究基础上，提开发一种基于Mask R-CNN的混凝土道路智能识别算法，首先对小样本数据集进行增广，然后用Mask R-CNN深度卷积神经网络对COCO数据集进行迁移学习，最终实现混凝土道路裂缝的智能识别。

1 数据集制作

1.1 数据增广

试验数据来源于广东省某混凝土路面的实地拍摄，通过无人机、高精度数码相机等设备采集了710张复杂背景下的道路裂缝图片，对其中环境干扰较大、影响深度学习结果的图像进行剔除，最终选取330张作为数据集，所选样本数据包含不同光照强度、不同拍摄角度、不同裂缝数量的图像，部分裂缝样本数据如图1所示。

图1 裂缝样本图像Fig.1 Fracture Sample Image

由于深度卷积神经网络的识别精度对样本数据集有极高的要求，330张裂缝数据集图像不能够支撑网络训练。因此本文通过对裂缝图像进行垂直翻转90°、水平翻转90°、逆时针旋转45°、顺时针旋转45°以及图像扩大1.5倍的方法进行样本数据增广，如图2所示，剔除环境影响较大的图像，数据增广后的裂缝数据集共1 960张。按照60%、20%、20%的比例对训练集、验证集、测试集进行划分，最终得到训练图片1 176张，验证图片392张、测试图片392张。

图2 数据扩展后的裂缝图像Fig.2 Fracture Image after Data Expansion

通过有监督深度学习的方式对深度卷积神经网络进行学习，通过Labelling程序对制作的裂缝数据集进行标记，标记后按照裂缝图像的轮廓创建目标区域，标注裂缝面积，由于本文只识别裂缝一个类别，因此统一采用裂缝的英文crack作为识别裂缝的标签名称。

1.2 迁移学习

由于目标区域有标签及掩码的真实样本数量相对较少，对于单标签数据集及小样本数据集，在深度卷积神经网络计算过程中，容易出现模型的过度拟合问题，在本文的研究中，除对样本进行数据增广外，还使用了COCO数据集进行迁移学习，通过应用COCO数据集的训练权重进行迁移学习，并冻结了1～4层骨干网络的训练权重，如图3所示。

图3 迁移学习过程中进行特征值融合Fig.3 Eigenvalue Fusion is Carried out in the Process of Transfer Learning

在进行迁移学习后，首先可以使Mask R-CNN神经网络学习到新的特征信息，其次可以通过调节全连接层的权值文件，并剔除原始神经网络中的特征信息，可较好地解决模型的过度拟合问题，直到神经网络训练结束，模型的准确率仍处于稳定状态，最终获得可识别混凝土道路裂缝的权值文件。

2 Mask R-CNN目标检测原理

Mask R-CNN是一种在Faster R-CNN基础上改进而来的深度卷积神经网络（CNN），Mask R-CNN改进了Faster R-CNN的缺陷，取消了原始Faster R-CNN神经网络中感兴趣区域池化技术，创新了感兴趣区域对齐技术（RoIAlign），并增加了掩码预测技术，如图4所示，既可以对复杂环境下目标进行精准识别，并且可以对目标识别物体进行实例分割，在混凝土表面裂缝检测中，有良好的应用前景。

图4 Mask R-CNN深度卷积神经网络框架Fig.4 Mask R-CNN Deep Convolutional Neural Network Framework

2.1 FPN

传统的Faster R-CNN对特征区域进行选取主要是通过深度卷积神经网络来实现，通过提取最后一层图片的特征信息，输入到区域候选网络中，但由于传统的深度卷积神经网络会将小目标特征自动识别为随机噪声进行过滤，因此对裂缝的识别并效果并不理想。

为解决传统CNN网络带来的问题，本文选取Mask R-CNN神经网络，并引入FPN算法，FPN使用自上而下的体系结构，如图5所示，可对特征区域更好的提取语言信息及图片信息，在准确率及计算速度上也可以得到很好地提升。基于此，本文通过使用ResNet与FPN相结合的主干网络对裂缝图像进行训练，可在保证计算精度的同时，大幅度提升计算速度。

图5 特征信息提取的FPN网络结构［10］Fig.5 FPN Network Structure for Feature Information Extraction［10］

2.2 RPN

区域候选网络（RPN）通常在Faster R-CNN网络中被用来提取目标检测标记框，在Mask R-CNN中的RPN结构与Faster R-CNN。区域候选网络通过将图片分割成若干个窗口，在每个候选框内产生标记点，对检测区域进行标定，在本文选用的Mask R-CNN神经网络中通过神经元卷积，对得到的标记点机械能排除和过滤，最后通过NMS抑制算法，提取出建议候选区，最终选取真实裂缝位置的区域，如图6所示。

图6 RPN神经网路结构［11］Fig.6 RPN Neural Network Structure［11］

2.3 RoIAlign

感兴趣区域对齐技术（RoI Align）改进了传统CNN网络中感兴趣区域池化技术的不足，消除了量化操作，通过双线性插值的方法计算像素值，可较好地解决边界不匹配的问题（见图7）。通过对特征图上距离较近的像素得到整体像素值，最后的感兴趣区域对齐结果就是对每个单元格内的采样点进行最大池化。在RoIAlign的过程中可以进行反向传播计算，即可得到实例分割区域（即本文裂缝区域）的图像。

图7 RoI Align算法双线性插值［12］Fig.7 The Roi Align algorithm is Bilinear Interpolation［12］

3 结果与分析

3.1 实验环境

基于Mask R-CNN神经网络和迁移学习算法，本文将目前应用较为普遍的SSD算法和Yolov3算法应用在混凝土路面的识别检测中，比较Mask R-CNN算法与SSD算法、Yolov3算法在裂缝识别检测中方面的优势。本文试验在64位Win10操作系统进行，集成开发环境选用spyder，具体计算机配置如下：Window 10操作系统，32 G内存，CPU为Inter Cor i7-7500u，6 GB显存，GPU为NVIDA GeForce RTX 1660 Super。

3.2 识别方法比较

首先将训练测试机输入到Mask R-CNN算法中，训练得到混凝土路面裂缝神经网络模型，目标检测及实例分割效果如图8所示，可以发现，通过Mask RCNN神经网络进行训练，可以准确地对混凝土表面的裂缝进行识别，并对裂缝面积通过实例分割进行表征，且整体识别率较高。

图8 Mask R-CNN神经网络识别效果Fig.8 Mask R-CNN Neural Network Recognition Renderings

根据训练过程中得到的召回率（Recall）和精准度（Precision）计算不同神经网络得到的平均精度值（mAP），对深度卷积神经网络的性能进行评价，精准度、召回率以及平均精度值的计算公式分别为：

式中：FP为裂缝被误检为其他对象的数量；TP为正确检测出裂缝的数量；FN为其他对象被错误检测成裂缝的数量；Precision为精确度；Nc为含有裂缝图片的数量；N为数据集图片的总数。

为研究Mask R-CNN神经网络目标检测模型与其他主流神经网络相比的优势，将SSD算法、Yolov3算法的检测结果与Mask R-CNN的检测效果进行对比，具体结果如表1所示。

表1 不同神经网络模型的测试结果Tab.1 Test Results of Different Neural Network Models

从表1中可以看出，本文提出的Mask R-CNN算法的召回率、准确率及mAP均好于传统的SSD、Yolov3目标检测算法，SSD算法在裂缝图像检测中的检测效果很难让人满意，Yolov3算法虽然准确率较高，但mAP值较低，从图8⒝中也可以看出，本文提出的Mask R-CNN算法在实例分割中也得到了较好的效果，可在检测同时估算裂缝的面积，在其他传统检测模型中并不能做到实例分割的效果。

3.3 图像增广方法比较

本文在数据集制作中选用了图像增广，为验证数据增广对裂缝图像减少模型过度拟合的效果，本文通过对比试验进行研究，选取未进行数据增广的图像进行训练，对比试验结果如表2所示。

由表2可知，数据增广对Mask R-CNN神经网络的训练结果有显著影响，且未进行数据增广的数据集在训练过程中有较高的过度拟合效应，使得模型在训练结果过程中表现较不稳定，因此在混凝土表面裂缝数据集不足的情况下，可以使用本文提出数据增广手段对数据集进行扩增，提高模型的检测效果。

表2 数据集增广对比试验结果Tab.2 Experimental Results of Augmented Data Set

4 结论

本文通过选取Mask R-CNN深度卷积神经网络并进行迁移学习对混凝土路面表观裂缝进行检测，得到以下结论：

⑴本文研究的Mask R-CNN算法应用于混凝土表面裂缝检测总体准确率和召回率均达到了98.12%和96.31%，取得了较好的检测效果与分割效果，为混凝土裂缝智能检测和识别提供了一种快速、高效的解决方案。

⑵使用数据增广和COCO数据集进行迁移学习可以有效解决Mask R-CNN算法在识别裂缝过程中易出现的过度拟合问题，可得到较好的检测效果。

⑶与传统的Yolov3、SSD目标检测算法相比，本文提出的Mask R-CNN目标检测算法有较高的准确性，并可在目标检测的同时对裂缝面积进行分割，更加高效地对公路路面混凝土裂缝进行检测。