陈满军,张 萌,刘泽锋,韩 豫,顾 盛
(1.昆山市建设工程质量检测中心,江苏 昆山 215337;2.江苏大学 土木工程与力学学院,江苏 镇江 212013)
近年来,我国道路建设取得了辉煌成就,总里程不断增长。与此同时,越来越多的建成道路进入运维阶段,我国也正在从建路时代向养路时代过渡[1]。道路作为国家重要基础设施,其路面质量对于交通出行和行车安全具有重要影响。但传统的路面病害检测主要还是采用人工检测的方法,检测时效性和安全性难以满足日益增长的检测需求。
伴随着新一代信息技术的应用,路面病害检测研究开始向着智能化方向发展。以三维激光技术为技术支撑,国内外科研机构开发了 LCMS 多功能检测车[2]、JG-1 型激光三维路面状况智能检测车[3]、CiCS-Ⅰ中公高科道路检测车等一系列智能化路面检测设备,但因其庞大的体型,复杂的运行流程,难以应用于狭窄路面。与此同时,数字图像和深度学习[4]等新兴技术快速发展,为路面病害检测提供了新手段。因其高效的特征提取能力和检测效率被广泛应用于路面病害检测领域,借助采集的路面图像即可实现路面病害的自动识别[5-9]。但已有的方法检测模式相对单一,难以实现多路面病害协调检测。
为此,在新型基础设施建设的时代背景下,本研究结合深度学习技术,以轻量化便携式设备搭建检测平台,设计一种路面智能检测系统。与现有检测手段相比,检测设备轻量、便携,检测方法高效、便利。系统将人工智能技术应用到路面检测和维养领域,具备成本低、操作强等优势。
由于路面类型的多样性、路面病害的复杂性以及检测设备的冗重性,致使路面检测难度显著提升。通过对路面检测机构的调研,发现路面检测系统的应用需求如下。
1)检测设备轻便。现有路面检测车辆体型大,检测设备冗重,难以胜任狭窄路面的连续检测任务,且易造成交通拥堵。因此,需要轻量便携的路面检测设备,满足“即拿即用”的检测需求。
2)路面种类划分。路面种类多样,常见的路面包括沥青路面和水泥混凝土路面。不同的路面对应的路面病害也不相同。因此,路面检测需要先划分具体的路面种类。
3)路面病害识别。路面病害类型繁多,包括裂缝、坑槽、车辙、松散、啃边、断角等各种类型。不同的路面病害有其特定的特征属性。因此,需要依据不同的病害特征实现路面病害识别。
4)路面病害评估。路面病害按照评定标准可分为轻度病害和重度病害。重度病害对应区域的路面结构已产生破坏,存在较大安全隐患,应该优先维养。因此,需要对路面病害进行评估,确定重度病害区域。
路面病害智能检测系统包含一系列运行过程,需要实现路面图像的高质量采集、实时传输和高效处理,具体包含如下核心技术。
1)图像采集——三轴防抖云台技术。系统在图像采集设备中加装了减震云台,减震云台采用了三轴稳定原理,云台分别设置水平电机、俯仰电机和滚转电机,电机内搭陀螺仪,在算法的运行下进行位移补偿,满足图像采集稳定防抖要求。系统利用三轴防抖云台技术实现行车环境下高质量图像的采集。
2)图像传输——5G 数据传输技术。5G 技术为新一代移动通信技术,具备增强移动宽带、超高可靠低延时通信和海量机器类通信 3 大核心应用场景,能够实现海量数据的低延时、高速度、大连接传输。系统结合 5G 数据传输技术完成路面图像的实时传输。
3)图像处理——深度学习技术。深度学习技术研究源于人工神经网络,利用多隐层的多层感知器结构提取底层特征,并实现高层特征的抽象表达。其具体包含图像分类技术、目标检测技术和语义分割技术。
图像分类技术的核心流程是分析一个输入图像并返回一个分类标签,从而实现图像特定种类分类。本系统通过图像分类技术完成路面种类划分的任务。
目标检测技术是图像识别和定位技术的结合,即识别出图像的物体种类,并框选出其在图像中的具体位置。本系统通过目标检测技术识别具体的路面病害类型。
图像语义分割技术就是计算机自动分割目标区域并识别目标内容,其通过像素密集预测、标签推断和细粒度推理,将每个像素标记为封闭对象区域的类别。本系统通过语义分割技术分割具体的路面病害区域,以进行路面损坏评估。
基于路面检测流程和需求,结合深度学习技术特征,设计的路面智能检测系统包括数据感知模块、信息学习模块、图像处理模块和智能评估模块。路面智能检测系统组成如图 1 所示,各模块功能说明如表 1 所示。
图1 系统组成
表1 模块功能说明
数据采集功能主要通过数据采集车实现,数据采集车包括行车装置和数据采集装置。行车装置为板式折叠车,满足轻量、便携的要求,板式折叠车设置三挡调速模式,满足不同行车环境下数据采集。数据采集装置主要由云台稳定器和手机构成,实现与行车装置的稳固连接。整体模块用于采集行车环境下的高质量路面图像。
信息学习模块通过显卡 GPU 加速,利用深度学习算法对图像数据集进行训练,提取目标特征,生成各路面检测算法模型。
图像处理模块通过内存条存储路面检测算法模型和图像处理算法,图像处理算法对获取的图像进行预处理。
智能评估模块通过计算机工作站调用图像处理模块的算法模型,依次对采集的图像进行路面种类划分、路面病害检测和路面损坏评估,生成并导出检测结果报告。
结合实际路面的检测流程,路面检测系统的运行流程主要包括路面图像信息的采集和路面病害的检测等流程,具体运行流程如图 2 所示。
1)路面图像采集。首先,依据不同的路面环境制定图像采集方案,并完成硬件设备组接与功能参数设定;接着进行路面图像预采集工作,待图像质量符合要求后采集待检路面的整体图像信息。在图像采集过程中尽量避免路面杂物的干扰。
2)路面病害检测。先对采集的图像进行去噪预处理,以提高图像质量;将处理好的图像载入智能评估模块先进行路面种类划分,具体划分为沥青路面和水泥混凝土路面;将划分的不同种类路面导入其对应的特定模型中进行路面病害识别和病害区域分割,沥青路面具体分为裂缝、坑槽、车辙和松散四类病害,水泥混凝土路面分为裂缝、坑槽、啃边和断角四类病害。最后统计生成并输出所检路面的结果检测报告。
图2 系统运行流程图
1)图像采集平台设计与实现。系统图像采集平台满足轻量便携式要求,以折叠式数据采集车为图像采集设备。行车端通过板式折叠车实现,板式折叠车可随意折叠,体积小、易便携,能够在狭窄路面正常行驶、使用。装置连接端为保证在行车环境下获取高质量的路面图像,在行车装置与图像采集装置间加装减震云台,结合三轴防抖云台技术,满足图像采集稳固防抖要求。图像采集端主要通过减震云台连接手机实现,方便数据同步回传并记录地理位置信息,利于后期路面病害定位。整体设备装置方便获取,符合经济性、便利性设计原则。
2)图像处理平台设计与实现。系统以计算机工作站为图像处理平台,计算机工作站使用 Windows10 64 位操作系统,内存为 16 G,配备 NVIDIA GeForce RTX 3060Ti 显卡和 ADM R7 处理器。为提升系统的运行速度,安装 CUDA 和 cuDNN 以实现 GPU 加速。同时,系统检测模型以 P y thon 为基础语言,以 Tensorflow 及 Keras 为开源平台,内置大量图像处理的通用算法,基于 Pycharm 软件平台实现算法模型的编译、搭建和运行,能够实现路面病害的高效检测。
综合考虑,本系统能够实现效率与投入的平衡性,整体系统硬件设备总价在 3 万元左右,相较于市面主流道路检测车经济效益更高,便于复现与推广。
为验证系统用于路面病害检测的可行性和实用性,对系统进行实际路面测试。选取不同种类(沥青路面和水泥混凝土路面)的待测路面,每种路面各采集图像 1 000 余张,并筛选其中 800 张(有无病害图像各 400 张,每类病害 100 张)高质量图像进行测试。图像采集过程如图 3 所示。
图3 多种类路面图像采集
表2 路面种类划分结果统计表
3.2.1 路面种类划分任务测试
将处理后的图像导入自主开发的路面类型划分算法模型,分类结果如表 2 所示。测试和分析发现:对应路面种类划分任务,系统所使用的分类方法较好,图像分类平均准确率为 98.69 %,出现误检的情况较少,且不存在漏检的情况,可满足实际路面检测的要求。
3.2.2 路面病害识别任务测试
将分好种类的路面图像导入其对应的路面病害识别算法模型中,对不同路面的不同病害进行识别。测试和分析发现:对于路面病害检测任务,系统所使用的检测方法效果较好,图像识别平均准确率可达到 88.50 %,平均误检率为 7.25 %,漏检率为 4.25 %。虽然相较于图像分类方法平均准确率有所降低,但误检和漏检图像个数较少,也可用于实际路面检测。部分病害图像的识别效果如图 4 所示。
图4 路面病害识别结果示意图
3.2.3 路面损坏评估任务测试
将路面病害图像导入路面病害分割算法模型,分割出各类型病害区域,并测算出区域像素面积进行面积换算。统一选取损坏面积为评判指标进行损坏评估。测试和分析发现:对于路面损害评估任务,系统所使用的评估方法可有效分割出路面病害区域,图像面积测算误差在 0.006~0.085 m2,基本满足各类型病害的测量要求,相较于人工面积测量方法更加方便快捷,可用于实际路面损坏评估。部分图像的分割效果如图 5 所示。
图5 路面病害分割结果示意图
表4 路面病害区域面积换算结果统计表
依据实际路面检测效果,分析路面病害智能检测系统的优势与不足,以进一步完善系统。
路面病害硬件系统由板式折叠车、减震云台、云台连接支架、手机、微型计算机等设备组成,各设备均具备轻量化的特性,方便携带至各待检路面使用。后续的研究中可以考虑开发一体式折叠检测车,将计算机嵌入行车装置中,进一步为设备“减重”。
数据采集设备由行车装置和数据采集装置组接而成,装置借鉴无人机云台防抖原理,加装减震云台,可在行车环境下进行路面图像采集。但测试中也发现:各装置间平衡机能不够紧密,导致采集的图像偶尔会出现质量不佳的状况。所以,在后期的研究中要进一步对设备连接方式进行研究,以保证各装置稳固连接,实现高质量数据的采集。
系统操作流程简单,在检测之前只需组接好数据感知装置,设置设备功能参数,并打开计算机工作站的检测模型。检测时驱车进行图像采集,计算机后台接收并完成路面病害检测,整个系统运行流程简洁,设备使用方便,具备操作便捷性特点。同样的,后续开发一体式检测车,进一步简化系统运行流程。
经测试,本系统能够实现路面种类划分、路面病害识别和路面损坏评估。但对于不同路面环境,系统的适应性会存在差别,当有光照和路面杂物影响时,会影响系统的使用效果。此外,对于小目标路面病害,系统可能会出现漏检现象。因此,在后期的研究中进一步扩大不同环境、不同尺寸的图像数据集用于算法训练,以提高各系统的检测精度与通用性。
系统软硬件协同配合,运行效率高,所需硬件设备成本低、易获取,所需软件易安装、便操作。能够实现路面种类划分、路面病害识别和路面损坏评估的全方面检测需求,具备较高的性价比,后续可开发专业化软硬件平台,进一步提升经济效益。
系统当前的主要功能是实现路面病害的检测,可进一步拓展应用功能。考虑到当前路面病害检测缺乏直观可视的检测结果,后续可将系统与地理位置信息系统相结合,绘制待检道路的可视化地图,实现路面病害的精准定位。
基于深度学习技术的轻量化便携式路面智能检测系统,主要包括数据感知、信息学习、图像处理、智能评估四大功能模块,能够满足路面种类划分、路面病害识别和路面损坏评估的全方面检测要求。相较于传统人工检测方法和现有道路检测设备,系统具备轻量性、便携性、精准性和综合性,可应用于多种类狭窄路面检测,为道路维养提供依据。考虑到道路环境的复杂性与路面病害的多样性,系统后续仍需完善升级,以进一步提高其轻量化、智能化、精准化程度。Q