Mask RCNN 模型在路面缺陷检测中的应用

李 画 李明晶* 李 凯 赵雪竹

（长春大学 电子信息工程学院，吉林 长春130022）

1 概述

公路路面在运营过程中，由于温度、水分、风化以及荷载等多重因素的影响，路面结构强度会逐渐降低，最终导致道路表面产生多种病害特征(如裂缝、坑槽、修补等)，极大地降低了路面的使用性能，也带来巨大的经济损失和事故风险。在目前主流的维护流程中，对路面修补的检测及路面质量的统计通常是由人工方式完成的。不仅需要耗费大量的时间和精力，而且工作效率又不高，还会引起在城市快速路、主干路和高速公路等交通道路网络的堵塞进而影响人们正常的交通运行。

近年来在目标检测与识别领域，提出了基于区域选择网络(Region Proposal Network，RPN)的目标检测与识别算法。本文对Mask RCNN 算法在路面缺陷检测中的应用进行了研究，主要检测的路面缺陷包括：横向裂缝、纵向裂缝、块状裂缝、坑槽、块状修补、灌缝修补。

2 基于区域选择的目标检测算法

2.1 经典目标检测算法

目前主流的目标检测与识别框架是基于区域选择的目标检测算法来实现的，它将原来复杂的检测过程转化为简单的分类任务，并通过深度学习的方法以提高检测精度与有效性，其中具有代表性的目标检测算法为RCNN、Fast RCNN 以及Faster RCNN。RCNN 利用了启发式的区域提取即选择性搜索(Selective Search)提取目标候选区域，在候选区域中利用CNN 网络提取特征，并通过训练支持向量机 (SVM)或Softmax 等分类器，对特征进行分类。相较于RCNN 模型，Fast RCNN 提出了感兴趣区域池化(Region of interest pooling，ROI Pooling) 的网络层，对每个区域都提取一个固定维度的特征表示，从而提高了模型的检测精度及效率。在Fast RCNN 基础上提出了Faster RCNN 算法，Faster RCNN 提出的区域选择网络, 使得目标检测算法速度进入的一个新的阶段。

2.2 Mask RCNN 算法

Mask RCNN 是在Faster RCNN 的基础上用ROI Align 代替ROI Pooling，并且增加全卷积网络(Fully Convolutional Network,FCN)来产生对应的mask 分支。Mask RCNN 包含分类(class)预测和掩码(mask) 预测为两个分支，其中class 预测分支过程与Faster RCNN 一致，即对ROI 给出预测，产生相应的类别标签以及矩形框的输出边界，而mask 预测分支产生的每个二值掩码依赖分类预测结果，基于当前分隔出物体类别。Mask RCNN 对于每个class 类别均独立地对应一个mask 类别，有效的避免类间的竞争，提升了模型的性能。

ROI Align 是一种区域特征聚集方式, 很好地解决了ROI Pooling 操作中两次量化造成的区域不匹配(mis-alignment)的问题。ROI Align 取消量化操作，使用双线性插值的方法，充分利用原图中的虚拟像素值，相比于ROI Pooling 没有引入任何量化操作，即原图中的像素和特征图中的像素是完全对齐的，克服了ROI Pooling 量化误差过大的缺点，不仅会提高检测的精度，同时也会有利于实例分割。

3 实验过程与分析

本次实验使用的路面缺陷数据来自于GoPro 相机的现场采集，整个数据集共包含5000 多张图片，每个类别样本约为830张。训练集、验证集和测试集按着80%-10%-10%比例来划分，本次实验采用Labelme 开源标注工具作为标注软件，标注后生成的json 文件相比于xml 文件跟容易处理。在人工进行标注缺陷后，将标注样本数据集转化为二值掩码标签的格式进行训练。本次实验通过python 编程语言在Tensorflow深度学习框架下进行，最终结果由多次实验结果综合得到。为了衡量Mask RCNN算法模型在路面缺陷检测中的准确性与有效性，本次实验采用平均准确率均值（mean Average Precison，mAP）来作评价标准。

3.1 不同特征提取网络下的检测效果

将标注好的路面缺陷数据集放入Mask RCNN 模型中进行迭代训练。在不同深度的残差网络下，随着迭代次数的变化，其平均准确率均值见表1。

表1 不同深度残差网络下的检测效果

由表1 得出，ResNet101 相较于ResNet50 网络，在测试集中其mAP 值平均提高了3.8%左右，从而可以得出残差网络ResNet101 在路面缺陷检测中的性能优于ResNet50。ResNet50与ResNet101 准确度差不多，但是计算量只有后者的一半，因此在本次路面缺陷检测的实验过程中，选择采用Mask RCNN与ResNet50 相结合的方法。

图1 Mask RCNN+ResNet50 模型的部分检测结果图

3.2 实验结果

实验中采用原图压缩1/2+ ResNet50 模型训练得到的部分检测结果如图1 所示。在图1 中，框选区域代表各种路面缺陷所对应的位置，框选区域的左上方显示了该模型对于框选区域目标的分类类别及其类别预测的概率值。本实验为不同的路面缺陷设置了不同颜色的矩形框以便于区分。图1（a）中坑槽的概率值为1.00，图1（b）块状修补概率值为0.98；图1（c）纵向裂缝的概率值为0.97，图1（d）中块状裂缝的概率值为0.93。

4 结论

研究采用Mask RCNN 算法分别与不同深度的残差网络相结合的方法进行路面缺陷检测，可用于检测多种不同类型的路面缺陷。通过实验验证，ResNet101 相较于ResNet50 能够取得更好的识别检测效果。实验结果表明，Mask RCNN 与ResNet50 或ResNet101 相结合的方法，能够实现自动提取并识别路面缺陷特征，预测路面缺陷类别及类别概率值，可以应用于多种路面缺陷检测，检测准确率高达92.1%，当模型迭代次数达到数万级别时，检测准确率可以达到99.4%，可以满足工程的实际需求。但是，由于ResNet101 的网络层数较深，导致对于单张图像的检测时间稳定在0.6S 左右，而网络层数较潜ResNet50 对于单张图像的检测时间稳定在0.4S 左右，实时性有待提高。