基于无人机的道路裂缝量化评估系统的设计

朱鲁晓，宋晓炜,2，陈曦

(1.中原工学院电子信息学院，河南郑州 450007；2.开封大学，河南开封 475004)

0 引言

随着我国基础建设的快速发展，交通设施的质量评估一直是研究人员关注的热点话题，道路表面的损害检测和防治工作备受交通管理部门的关注。根据潜在破坏的早期迹象来判断基础设施损坏程度，裂缝是一个关键因素，直接影响基础设施的使用能力。混凝土路面在大型车辆经过或长时间自然损耗后，容易出现不同程度的裂缝损坏，而且这种情况会随着时间的推移逐渐恶化，甚至交通安全构成威胁。尤其是在经受7·20郑州特大暴雨的恶劣天气影响后，城市出现多处地面塌陷、桥梁坍塌的情况，这为人们敲响了警钟。道路巡检要成为常态，保养维修要及时[1]。

科学技术的飞速发展，掀起了人工智能的浪潮。开发智慧城市，自动评估现有基础设施系统状况的需求正在迅速增长。若要分析道路裂缝的损伤情况，需要能够对裂缝进行定位与评估[2]。在现有的裂缝检测中，Yu等[3]提出了一种两阶段分割模型，它是基于FCN设计的。在第一阶段，采用轻量级的FCN来获取缺陷的大概区域；在第二阶段，使用不同于第一阶段的FCN 来进一步精细分割。Huang 等[4]使用MCue-Push UNet 模型来检测瓷砖表面的缺陷。该模型的特点是由MCue模块生成的一个显著性图像和两个原始图像。Li 等[5]使用Dense Block 改进的编码器，并将UNet网络跳转层原始的Concat换成逐像素求和，改进网络进行混凝土缺陷检测。Zou 等[6]构建DeepCrack检测地面裂缝，将多层次、多尺度的深度卷积特征进行融合，以捕捉精细裂缝。但这些网络在裂缝分割方面分割精度不佳，并且无法进行裂缝分割后的后期量化，再针对人工检测存在的效率低下、易漏检、检测费时费力、存在安全隐患等问题，本文设计了一种基于无人机的道路裂缝量化评估系统，将无人机作为载体，与NVIDIA Jetson Xavier NX[7]作为主微控制器的地面边缘设备结合，实现无人机代替人工进行道路裂缝巡检与评估工作[8]，致力于建设智慧化城市。

1 总体设计

基于无人机的道路裂缝量化评估系统主要包含硬件和软件两个方面。总体设计框架如图1所示。

图1 总体设计框图

硬件方面，无人机能够实现高清视频实时传输、红外避障、GPS 定位飞行、一键返航[9]等功能。通过GPS 定位无人机，无人机可实时返回定位信息，飞行过程中无人机将摄像头模块所捕捉到的图像实时传输到地面工作站，与此同时通过红外避障功能躲避障碍物。系统可以实时控制无人机的运动状态。无人机配置的无线通信图传模块Skydroid将所采集的图像信息通过发送端实时的传输到接收端，实现远程视频传输功能。软件方面，通过改进的ECA-UNet 深度神经网络训练大量的裂缝数据，选取最优的裂缝分割模型，并将其与配有定位巡线功能、图像视频传输功能的无人机相结合，实现了无人机定点巡线拍摄道路裂缝，并回传高清视频至地面边缘设备进行裂缝的实时分割，同时，将训练SENet[10]分类网络得到的裂缝分类模型划分裂缝类别[11]，并对分割分类后的裂缝图像进行像素占比的量化，即对裂缝的轻中重的等级进行划分[12]，从而实现基于无人机的道路裂缝量化评估系统。本系统不仅实现了裂缝的分割目标，还按照国家标准，对裂缝的轻重等级做了相应的量化评估。

1.1 硬件设计与分析

本设计以NVIDIA Jetson Xavier NX 为核心，连接无人机搭载的图传模块，其中飞行控制器，采用了pixhawk2.4.8飞控。有了这个核心部件，无人机能够以稳定的姿态飞行。图传设计采用无线通信图传模块Skydroid，无人机端的摄像头通过图传发射端与地面边缘设备的图传接收端建立连接，并通过传输信号将道路路面视频传输给地面边缘设备，无人机Skydroid图传模块支持长达2公里距离的图像传输；可以在飞控的基础下进行图传，支持多种方式图传显示，将图像数据实时传送至地面站。M8NGPS 定位模块是一款专为无人机设计的GPS 模块，具有即插即用的特点，可提供精确定位、自动返航和智能方向控制等多种功能。即使在恶劣环境下，如大风天气，M8NGPS模块仍能够在GPS模式下精确锁定经纬度和高度，实现高精度的悬停效果。无人机全貌如图2所示。

图2 无人机全貌

地面边缘设备处理器主要是NVIDIA Jetson Xavier NX，Jetson Xavier NX开发人员套件利用紧凑型的Jetson Xavier NX模块，将超级计算机的高性能带到边缘领域，为AI边缘设备提供了强大的支持。

1.2 软件设计与流程

为了控制时延，减轻机载计算机的算力负担，本系统将裂缝分割量化评估算法运行在地面站计算机上，其余算法流程运行于无人机之上。整体的目标量化评估架构如图3 所示。首先针对无人机回传的道路路面图像，对其第K 帧图像进行裂缝分割后，调用训练好的分类网络模型，对分割后的图像进行分类，同时计算裂缝所占图像像素比例，后跳转至评估函数中，判断该裂缝的类别和损伤等级。

图3 目标量化评估架构

根据软件部分设计，首先对于无人机传输过来的视频，利用分割网络进行图像分割处理，将每一帧图像分割为二值化图。UNet 是比较著名的可以应用于医学影像分割的图像分割网络，而裂缝纵横交错的特征与医学影像中的血管等十分相似，考虑将适用于医学影像分割的算法引用在裂缝分割当中。对于裂缝分割算法常见的还有FCN、SegNet。FCN 得到固定长度的特征向量进行分类主要是使用全连接层，采样得到的结果整体比较粗糙。SegNet 图像分割采用先编码再解码的方式。编码是用VGG16的网络模型，对目标的特征信息进行编码。解码则对采集到的特征转换为图像形式，将像素直接分割成对应的类别。因为它是像素处理级的网络，相较于其他网络，需要更高配置的计算机来平衡这一计算量。与SegNet 一样，UNet 同样采用编码器-解码器结构，但其特征提取部分需要在尺度融合前将它们拼接在一起。本文中使用的是对UNet改进的ECA-UNet算法，在裂缝分割的精度上有更好的表现。

首先本文对想要使用的主体网络进行了选择。如表1 示，可知对于裂缝分割这一任务，UNet 总体有着出色的表现，本文使用了常用的网络评价指标，数据集是CFD数据集与Crack 200道路裂缝数据集的合并，在网络对比中，除了网络结构不同外，其他参数均保持一致的情况下，可知UNet 的全局准确率(G)、平均交并比(mIOU)、精确率(P)、F1_score值(F)都达到了三者之中的最佳值，因此尝试使用UNet 作为我们的主体网络。

表1 主体网络性能对比

对于裂缝分割，期望获得更好的裂缝分割效果。注意力机制在通道或者是空间方向，提取目标特征，并为其添加一定的权重，得到优质的分割效果。SE模块将通道注意力机制引入卷积块中，使得网络能够更好地聚焦于目标区域。然而，为了降低计算成本，采用降维操作可能会对通道注意力的预测产生不良影响，并且获取依赖关系的效率较低且不必要。ECA注意力机制的出现很好地解决了这个问题。在ECA中，注意力权重是一种可学习的参数，通过反向传播算法，网络可以自动调整注意力权重，以适应不同的任务和数据集。假设输入特征图为H×W×C，其中C表示通道数，H和W分别表示特征图的高度和宽度。ECA模块首先沿着高度和宽度维度进行平均池化，从而得到通道维度上的平均值。接着，对该平均值进行一维卷积操作并经过Sigmoid激活函数，最终得到各个通道的注意力权重ω，其公式如(1)所示：其中C1D代表一维卷积，k为卷积核大小，σ为Sigmoid激活函数。

通过将得到的注意力权重与原始输入特征图的对应元素相乘，可以得到最终的输出特征图。图4为ECA注意力模块的示意图。

图4 ECA注意力机制

该注意力机制对网络处理速度的影响又最小，尝试将ECA注意力模块对UNet中的部分基础块进行改进，但是注意力机制的具体添加位置并没有一个准确的说法。因此尝试消融实验，多次实验结果表明，将ECA 注意力机制添加在UNet 左侧编码部分有较好的效果，部分数据如表2所示（注：Li代表添加在UNet的左侧第i层)。

表2 UNet不同层添加注意力机制性能对比

由实验得知，注意力机制模块的叠加并不一定能够获得更好的结果，但ECA 注意力模块添加在左侧第二层能够获得更好的效果。其中mIOU值达到最高值84.84，相较于UNet 提升了1.51 个百分点，F1-score值达到82.82，相较于UNet提升了2.04个百分点。

在分类方面，VGG、ResNet、DenseNet 等分类网络的发展常常对其他计算机视觉任务有着重要的作用。而SENet 主要是对无用的信息加以抑制，对有用的信息增加权重来实现目标类的分类。SENet是2017竞赛Image Classification 任务的冠军，对于此次设计所进行的裂缝分类，只将裂缝划分为单向裂缝、块状裂缝与龟裂，是简单的分类，使用SENet 训练精度达到95%，可用来进行裂缝分类。联合裂缝比例计算，针对不同的裂缝分类所应划分等级的区间，进行损伤等级的评定，如图5是SENet针对裂缝分类量化评估的过程。

图5 裂缝分类量化评估

2 实验与结果分析

在实验测试过程中，首先是对无人机进行解锁，通过遥控无人机起飞，待无人机飞行稳定后，采用定高飞行模式。主要原因是为了保证我们采集的路面大小是基本相同的，这样计算的比例才是有效且准确的。当确定了定高飞行实际所拍摄的道路面积，开始对路面图像进行采集。调试无人机，保证无人机电量充足，无人机起飞，到达测试区域后，查看实时回传画面，操控无人机正常飞行的同时，对道路裂缝进行拍摄，如图6 所示，无人机按GPS 指定的定位航点轨迹巡检道路，视频实时传输到地面工作站进行裂缝的分割工作，并对当前裂缝损伤水平进行评估。其中，class 为分割类别，主要将其划分为单向裂缝、块状裂缝和龟裂，pix为分割出的裂缝所占地面的像素比例，evaluation 即评估等级，主要分类为轻度、中度和重度裂缝。

图6 无人机拍摄画面与量化评估画面

3 结论

本设计中无人机主要实现红外避障、GPS定位巡检道路以及实时回传高清视频的功能，地面边缘设备利用改进的ECA-UNet神经网络深度学习网络通过训练自建网络数据集所获得的最佳模型，在将其全局精度达到99.02%后，通过SENet分类网络对裂缝类型进行分类以及计算分割帧的像素占比，对裂缝的轻重等级做了量化评估。该系统可对多种交通设施进行巡检，不仅限于道路。对桥梁等不易巡检的交通设施，无人机这样的硬件设备可以不受阻挡，更方便快捷地获取裂缝损害的真实情况。该系统适用于道路养护部门，减轻了道路巡检人员的工作压力，提高了工作效率，为促进智慧化城市的发展贡献一份自己的力量。