基于LeNet卷积神经网络的路面病害自动检测方法

杨依霖，黄 浩，胡永明，王德志，李岳彬

（湖北大学 物理与电子科学学院，湖北 武汉 430062）

0 引 言

随着车辆数量和公路运输量的迅猛增长，车辆大型化趋势明显，超限、超载车辆不断增多，大多数路面暴露出承载能力不足的问题，严重影响了现有公路的使用寿命周期和结构安全，公路养护管理难度和成本逐年加大[1]。截至2019年，中国公路总里程已达484.65万千米，高速公路达14.26万千米；《中国公路运输大数据报告》显示中国公路运输的市场规模超过6万亿，随着公路事业和运输业的发展，路面承受的压力也越来越大，对公路路面的质量和维护要求也越来越高[2]。目前大部分地区的道路养护检测仍然以人工现场调查为主，由巡查人员驾驶车辆对路面进行观察和记录。这种方式工作效率低下，投入时间和人力物力成本过大，且结果受主观因素影响较大[2]。人工巡检方式已无法满足日趋常态化的道路检测工作，智能化监测迫在眉睫。

目前，许多国家陆续建立的道路养护管理系统大多依赖于丰富的硬件设备，大量设备在使用时费时、费力，且对交通影响较大，有些甚至破坏了路面结构的完整性[3-4]。

路面病害识别问题属于图像识别技术的典型应用[5]。随着图像识别技术的发展和计算机视觉技术的兴起，卷积神经网络在图像识别领域有着不俗的表现[3,5]。本文将计算机视觉技术以及卷积神经网络引入路面病害识别领域，提出一种基于LeNet卷积神经网络的路面病害自动检测方法，可有效监测路面缺陷，更加贴近实际。此举可有效替代人工进行高速可靠的检测工作，减轻人力、物力、财力压力，使检测工作更加智能化、自动化。

1 方法介绍

1.1 功能介绍

传统的路面检测方法为随机选点及人工检测等。常规方法存在很大的局限性：随机选择被测点往往会使得检测结果缺乏代表性[6-7]；人工检测需要投入大量的人力和时间。

本文提出一种基于LeNet卷积神经网络的路面病害自动检测方法，可自动识别路面图像的损害程度，相比当前人工检测方法，其具备安全性高、效率高、成本低等优点。本方法可用于检测路面破损信息，极大地提升公路日常养护巡检的工作效率和安全性。计算机识别可以取代类似人工路面巡查等低效、低安全性的工作方式，大幅降低检测成本。

1.2 检测流程

本文提出的路面病害检测方法包括病害数据采集、病害的检测分析和识别等。基于图像分析的路面病害检测流程：首先获取路面图像，然后进行图像预处理，最后进行病害检测。检测流程如图1所示。

图1 检测流程

在实际生活中，路面图像数据通过摄像机拍摄获得，但由于光线、路面状况的复杂性，以及路面杂物等环境因素的影响，这些不利因素会给后续模型检测带来困难[8]。因此，本文提出的方法首先需要做一些预处理工作，通过采用一些图像预处理方法从一定程度上提高图像质量，减少不利因素的影响，使得路面图像光照均匀，并增强病害目标，以便进一步处理。

2 方法设计及原理

2.1 路面图像获取

路面图像数据采集于合徐高速北上行路段，由已校准的高精度摄像头获取，图片分辨率统一为1 920×1 080像素。

2.2 路面图像预处理

有效的图像预处理可以大大提升后续检测的准确率。本文提出的图像预处理方法主要包括图像去噪、图像锐化及图像分割。图像预处理流程如图2所示。

图2 图像预处理流程

在进行图像去噪处理时，可以对路面图像进行滤波处理。本文利用中值滤波法对路面图像进行滤波处理，选取一定尺寸的滤波窗口后，将其在滤波初始位置处的灰度值由所设滤波窗口邻域的中值替代，使得滤波窗口周围的像素值更加接近真实值，以消除孤立的噪声点。

中值滤波的本质是将一个图像矩阵中的像素进行排序后，将矩阵的中心点赋值为矩阵中所有像素的中值，以达到平滑图像的目的。

在一个3×3矩阵中，中值滤波的公式如下：

在进行图像锐化处理时，通过调整滤波后的路面图像的对比度，来扩大坏损区域和路面特征之间的差异，以便后续处理和坏损判断[8]。将原始RGB路面图像分别转换到HSV颜色空间，相对于RGB颜色空间，HSV空间能够非常直观地表达色彩的明暗、色调以及鲜艳程度，便于对比。

将图像从RGB空间转换到HSV空间的方法：（r，g，b）分别是颜色的红、绿、蓝坐标，值为0到1之间的实数，max和min分别为r，g，b三者中的最大值和最小值。

利用直方图均衡化对滤波后路面图像中像素个数多的灰度级进行展宽，对像素个数少的灰度级进行缩减，像素集中后，灰度范围变大，对比度变大，清晰度变高，可有效增强图像[9]。

直方图均衡化处理流程如图3所示。

图3 直方图均衡化处理流程

直方图均衡化映射方法的函数如下：

式中：n表示所有像素点的个数；nj表示灰度值为j的像素的个数；Sk为得到的新的灰度级。

将优化后的路面图像进行网络模型检测之前，在图像预处理时将优化后的路面图像再次进行图像分割处理，生成多个路面像素块。其中，路面像素块标记有位置标识，位置标识为路面像素块在优化后的路面图像中的位置。

2.3 网络模型及检测

本文使用基于卷积神经网络的技术对公路路面病害进行分类检测。

卷积神经网络是一种前馈神经网络。卷积神经网络的三个重要特点是局部感受野、权值共享和下采样。局部感受野可以发现图像的局部特征，例如一个角或者是一个弧，将局部信息综合到全局信息；权值共享可以有效减少参数；下采样保证了局部不变性。这些特点使得在进行大型图像识别时，卷积神经网络可以有非常出色的表现[10]。

本文提出的方法基于LeNet网络架构，其采用一个相对较小的CNN网络，由4个具有交替卷积和最大池层的块和2个完全连接层构成。LeNet网络结构如图4所示。

本文采用的卷积神经网络共16层：

（1）第1层为卷积核大小为5×5的卷积层，卷积核个数为32；

（2）第2层为池化区域为2×2的池化层；

西洋哲学-讲师为肥罗诺萨。使用华莱士(译者注：William Wallace)的英译本，讲授自康德哲学至黑格尔哲学的展开，以及黑格尔的论理学。

（3）第3层为系数为0.3的dropout层；

（4）第4层为卷积核大小为5×5的卷积层，卷积核个数为64；

（5）第5层为池化区域为2×2的池化层；

（6）第6层为系数为0.3的dropout层；

（7）第7层为卷积核大小为5×5的卷积层，卷积核个数为128；

（8）第8层为池化区域为2×2的池化层；

（9）第9层为系数为0.5的dropout层；

（10）第10层为卷积核大小为5×5的卷积层，卷积核个数为256；

（11）第11层为池化区域为2×2的池化层；

（13）第13层为Flatten层，将多维数据一维化，用在卷积层到全连接层的过渡中；

（14）第14层为全连接层；

（15）第15层为系数为0.5的dropout层；

（16）第16层为全连接层。

图4 LeNet网络结构

通过卷积和池化，得到了模型的众多特征，全连接层的每一个节点都与这些特征节点相连构成一个性能良好的检测网络。

LeNet模型中，每个卷积层和最大池化层的叠加通过卷积运算使原信号特征增强，并降低噪音，通过池化操作降低网络训练参数以及模型的过拟合参数。

为降低过拟合，加入dropout正则化，dropout会遍历网络的每一层，并设置消除神经网络中节点的概率。本文提出的方法中，dropout概率为0.3和0.5。每个节点得以保留和消除的概率均为0.3或0.5，随机消除一些节点后，得到一个节点更少、规模更小的网络，可有效提高模型的泛化能力[11]。

本文提出的方法模型可以对路面像素块中是否存在损坏区域进行判断，如果有，则标记出损坏对应的区域。模型输出的是一系列跟病害有关的点的坐标，将点存在一个数组中。创建一个与原图同尺寸的黑色背景图，将病害点标注在背景图中，再将背景图与原图混合，即可在原图中显示出损坏部分的对应区域。

3 结果验证

3.1 检测线状裂缝

当测试样张中有明显线状裂缝时，本方法可完全检测出测试图像中的线状裂缝。检测线状裂缝效果如图5所示。

图5 检测线状裂缝效果

3.2 检测网状裂缝

针对有明显网状裂缝病害的图片，本方法能够准确识别。检测网状裂缝效果如图6所示。

图6 检测网状裂缝效果

3.3 检测网状裂缝及沉降

针对不止有一种病害的测试图片，如同时存在网状裂缝与沉降斑点时，本方法可以准确识别。检测网状裂缝及沉降效果如图7所示。

图7 检测网状裂缝及沉降效果

3.4 检测网状裂缝及坑洞

针对具有坑洞和网状裂缝的路面，本方法可以完全检测出测试图像中的坑洞以及周围出现的网状裂缝。检测网状裂缝及坑洞效果如图8所示。

图8 检测网状裂缝及坑洞效果

3.5 检测补丁及裂缝

当测试图像中有路面补丁与裂缝时，本方法可以完全检测出测试图像中的补丁与裂缝。检测补丁及裂缝效果如图9所示。

图9 检测补丁及裂缝效果

本文提出的方法基于Python语言实现，为了方便测试，利用PyQt编写了一个用户友好的检测界面，如图10所示。

图10 检测界面

将本文提出的人工智能检测方法与现有的几种路面检测技术进行比较，发现传统方式在评价路面破损状况时，技术人员常用人工方式对路面图像进行评价，产生定量或者定性指标[12-14]。传统方式得到的结果受主观因素影响较大，且效率低下。

本文提出的方法与现有技术的对比见表1所列。

表1 技术对比

4 结 语

随着人工智能技术的基础理论及应用日益成熟，本文将人工智能技术方法应用到传统的路面检测中。通过预训练模型的自动检测，可以快速准确地识别路面病害。基于LeNet卷积神经网络的路面病害自动检测方法可以大大降低路面病害识别成本。同时该方法能够方便道路路面养护管理部门及时了解路面状态，并对其进行有效养护，提高路面的质量，确保道路的使用寿命和良好的使用性，减少交通事故的发生，为群众出行安全提供有效保障。