基于改进YOLOv5s的桥墩缺陷检测ROV设计应用

齐晓轩, 陶九明, 陈 鉴, 何至诚, 袁鹏达

(沈阳大学 a. 应用技术学院, b. 信息工程学院, c. 统战部, 辽宁 沈阳, 110044)

近年来,暴雨、洪水、地震等自然灾害频发,导致部分道路、桥梁等基础水工设施产生不同程度损坏,敲响了桥梁安全问题的警钟。因实际环境限制,现有的水下墩桩结构检测方式受到很大制约,市面上传统的水下作业主要依靠人工肉眼观察或探摸,费用高、周期长,且过深水下环境不仅对潜水员的生命健康造成威胁,也会降低检测任务的实时性。随着水下机器人科技的发展,具有恶劣水下环境检测与作业能力的机器人逐渐展现出了很高的性价比优势。

2018年, 高娟[1]在关于桥梁裂缝智能检测机器人的研究中提出履带吸盘爬壁机器人, 通过爬行吸附机构可保证机器人在复杂水流环境下稳定运行; 同年,Sakagami等[2]在负压效应板大坝检测机器人的研制中提出水下机器人和大坝表面之间产生拉力的新装置, 该装置由常规推进器和盘板组成, 依靠盘板扩大推进器吸附力进行机器人吸附运动; 2019年,Hirai等[3]发表大坝检测水下机器人的研究, 采用地面站加ROV的人机协同模式进行大坝检测任务; 2020年,Le等[4]提供了一种创新且实用的解决方案(SPIR), 是世界上第一个用于水下结构清洁和检查的自主机器人系统。 由上述研究可知,水下机器人完全可代替潜水员进行桥墩水下检测任务。 桥墩附近水流流速较大, 可达2 m·s-1以上, 易产生乱流现象, 相比于浮游式及涡流吸附式结构, 抱臂式结构明显更加适合进行水下检测。 缺陷图像采集一般通过搭载的声纳、无损检测仪、水下相机等设备实现, 近年来随着深度学习模型在水下图像检测的应用与发展[5-10], 提高检测精度的同时只需配合水下相机就可以完成实时检测, 极大地降低了检测成本。

本文针对桥梁水下基础结构检测与修复的现状,从实际工作需要出发,设计了一款基于改进YOLOv5s的桥墩缺陷检测ROV,具有深水作业功能、浮游和抱臂爬行复合运动功能、水中缺陷自主识别与定位功能、抗水流干扰的全方位灵活运动功能。所提及的缺陷检测系统输出图像在21帧率左右情况下准确率可达90%以上。ROV进行真实水域测试结果显示,完全符合检测预期,可实现替代人工检测目的。

1 系统总览

自主研发设计ROV整体采用开架式结构,主体分为上下2个部分,分别为ROV本体结构和抱臂夹持机构,采用了模块化安装方式,设备整体重量轻、强度高,方便快捷回收和释放,可实现浮游状态下的全向自由航行以及爬行状态下的绕桥墩表面运动,通过遥控操作,可对作业区进行定点精细检测。其整体机械结构如图1所示。根据桥墩缺陷检测实际任务需求,考虑到ROV需要从岸基点浮游到桥墩附近,期间受桥墩附近乱流影响严重,设计具有8个推进器成矢量分布的本体动力结构,可实现ROV浮游状态下的全向运动;考虑到桥墩表面青苔等苔藓植物覆盖有天然润滑的作用,使得ROV难以吸附,设计绳传动的抱臂夹持机构为ROV稳定检测工作提供了可靠平台。

图1 ROV整机机械结构Fig.1 Mechanical structure of ROV machine

ROV本体结构组件包括推进器、水下电子舱、浮力材料、框架、脐带缆、摄像头、可选配部件声呐等,见图2。考虑到ROV受力均衡问题,设计ROV左右、前后、上下均对称的本体框架;考虑到传感器元件、控制器元件及其元器件水下工作的遇水导电性,设计密封电子舱,为控制系统提供防水空间。

图2 ROV本体结构Fig.2 Mechanical structure of ROV

抱臂夹持机构组件包括机械臂驱动电机、机械臂、张紧机构等,其具体组成如图3所示。夹持机构由一台内置200 W电机的电动推杆通过齿轮组之间相互咬合驱动,其驱动轴由联轴器将其与电机连接在一起,外置输出轴直连抱臂,抱臂由钢丝绳带动,左右抱臂保持同步移动。设置压力传感器检测机臂压力,当超过压力限定,机臂停止收缩并保持当前状态直至接收到下一次任务指令。

图3 抱臂夹持机构Fig.3 Arm holding mechanism

考虑到检测作业需要较高精度与检测范围,整体控制系统采用了机箱式上位机加ROV水下执行系统的分布式结构控制方式,如图4所示。上位机及其遥控装置负责指令的发布,同时通过上位机对ROV进行检测图像及各传感器参数界面监控,以便应对各种突发情况,水下执行系统设置Arduino单片机作为水下直接控制单元,协同各传感器进行ROV运动状态数据采集,另外设计岸基供电箱加机载电源的供电单元、推进器加电动推杆的驱动执行单元、水下相机加补光灯的检测单元等。继而通过含有光纤结构的脐带缆单元实现主副控制器耦合、水上水下系统通讯。

图4 硬件控制系统结构Fig.4 Hardware control system structure

检测单元为水下相机加补光灯的视觉检测模块, 将桥墩表面实时录制图像通过脐带缆上传至上位机, 配合相关视觉检测算法对视频中图像进行增强、缺陷识别、语义分割等; 驱动执行机构主要包括支持ROV运动及姿态变换的多推进器和支持ROV抱臂爬行的电动推杆直流电机; 水下辅助控制单元采用Arduino系列单片机, 主要用于ROV搭载传感器的数据采集, 分担上位机运行负荷同时以便于上位机更好的监控ROV运行状态; 通过姿态解算,配合自主设计控制算法, 实现ROV水巡航检测任务。

2 缺陷检测

桥墩缺陷检测ROV的功能是检测桥墩表面是否存在腐蚀、裂纹等缺陷。考虑到水下缺陷图片的搜集比较困难,数据集量小从而导致神经网络在进行识别时准确率不高,采用CycleGAN网络[11]的改进版SESS-CycleGAN生成水下裂缝缺陷的图片用于扩建图像数据集,送入水下白平衡算法增强,进而用于接下来的神经网络训练,考虑到水下作业的高要求与实时性,缺陷检测采用基于注意力机制改进的YOLOv5s网络,相比于YOLOv5s原检测网络[12],将原Backbone主干网络中的池化金字塔结构(spatial pyramid pooling, SPP)替换为空洞空间卷积池化金字塔(atrous spatial pyramid pooling, ASPP),并在Neck网络后添加改进的自适应注意模块(improved adaptive attention module, IAAM)结构,继承了原检测算法更换数据集自动确定初始锚框大小带来的多数据集适应性等优点,使得检测速度与精度有一定的提升,最后采用PSP-Net语义分割识别算法对水下目标进行缺陷精确分割与预估。改进的YOLOv5s网络模型架构如图5所示。

图5 改进的YOLOv5s网络模型Fig.5 Improved YOLOv5s network model

2.1 空洞空间卷积池化金字塔模块

空洞空间卷积池化金字塔模块(ASPP),内置4个不同采样率的空洞卷积层及一个池化层并行[13-14]。可以将给定特征分别以其对应采样率通道单独处理,提取不同尺度下的特征,最终融合生成所需特征结果。优势为其空洞卷积的添加相比于SPP在无需减小图像大小,即不丢失分辨率情况下以指数形式扩大卷积核感受野,空洞池化层的添加使得给定特征可自适应均值池化,具体结构如图6所示。

图6 ASPP模块结构Fig.6 ASPP module structure

2.2 改进的注意力机制

考虑到缺陷的形状不一,且有些缺陷的形状细长,存在尺度变化,对于YOLOv5s主干网络的特征层加入如图7的AAM结构,并将图7虚线框内所描述颈部结构替换为轻量型的高效通道注意力模块(effificient channel attention, ECA),提高了网络对于缺陷自适应检测模型效率与计算效果。

ECA模块作为SE-Net的改进,避免了通道降维,增加了一维卷积核的自适应选择,用以确定局部跨通道覆盖率,适当捕获了局部跨通道信息交互,从而实现了检测性能的提优[15]。

网络结构融合后的IAAM模块通过自适应池化层获得不同尺度的语义特征,接着对每个上下文特征进行1×1卷积,以获得相同的通道维数。利用双线性插值进行尺度归一化处理;之后进入ECA模块处理,将给定特征值通过GAP全局平均池化得到聚合特征;继而通过内核大小为K的一维卷积实现局部跨信道信息交互,快速生成通道权重;然后特征图经过sigmoid激活层和一维卷积归一化相对应权值,生成的权值映射和合并通道后的特征映射经过Hadamard乘积操作,将其分离并添加到输入特征映射中,再次对上下文特征进行聚合得到最终特征图,从而在降低网络复杂度的同时完成了所需桥墩缺陷图像检测识别。

3 试 验

3.1 视觉试验环境

本文设计的裂纹目标检测模型在深度学习服务器下进行,使用Python 3.7.0和PyTorch 1.2.0进行搭建,编程开发工具使用PyChram2021。模型训练在Ubuntu 18.04操作系统下进行,GPU为NVIDIA Tesla v100 32GB,CUDA版本为10.0.130。本章试验训练、测试均使用相同的参数配置,输入图像为 640×640、训练采用YOLOv5s的预训练权重,总训练轮次为100、优化器选择SGD、学习率初始为0.002、batch size设置为8。

3.2 视觉试验结果分析

为验证所改进算法的优越性,对比其他3种常见的目标检测算法Fast R-CNN[16]、YOLOv4+SE和YOLOv4-tiny+ASPP。试验证明了改进后的YOLOv5s在各项指标上均优于其他算法,证明了检测算法的有效性。

3.3 真实水域试验

为了验证整套桥梁缺陷检测系统是否到性能指标的要求,我们进行了室内试验和实桥试验,对整套设备的性能指标、使用效率进行验证和评价,室内试验是通过制作模拟测量桥墩缺陷(裂缝、剥落掉角)的标定物,来确定整个系统精度是否达到设计要求;实桥试验是通过桥梁检测人员现场使用,来对整个缺陷检测系统的操作流程、使用效率及缺陷检测系统的缺陷识别率进行判断和评价。

表1 目标检测对比Table 1 Target detection comparison

室内试验采用水池固定白桶测试,搭建模拟环境对设备的各个功能进行了验证。首先对ROV进行特制浮力块精确配比,浮力块采用聚胺酯闭孔发泡材料,密度为0.15～0.25 kg·L-1,外涂胶衣,材料无毒,用来调整浮游装置的整体浮力和重力平衡,其受到的浮力近于用于中和推进器在水中的重力,配比完成后为设备通电,用以对设备的整体电气状态及各模块进行检测,通电后各模块电气状态良好,各模块的工作状态功能也全部正常。驱动ROV测试运动能力,当接触到白桶,夹持装置开始收缩,直至压力传感器达到设定阈值,并没有出现过分收紧导致ROV不能转动的情况,可见ROV抱臂系统工作正常,压力传感器设置阈值可以正常使用,实验中同时验证了相机使用情况,如图8可以看出,水下相机所拍摄图像基本清晰。

(a) 外部观测图(b) 上位机监控界面

外场试验选定的是辽宁省沈阳市新开河联合路段的一座桥的桥墩,该桥墩直径约为95 cm,桥下水深约为140 cm。按照桥墩检测需求进行了ROV水下检测试验,包括上下检测、绕桥墩表面左右旋转检测。

从水下相机实时检测视频中截取部分图像如图9所示。

(a) 作业实况(b) 桥墩表面

检测到实时水速0.771～1.028 m·s-1,桥墩底部由砾石和鹅卵石组成,以当时水平面为界0.85 m以下,桥墩表面局部覆盖2.54～5.08 cm厚水生生物生长层,检查结果显示,混凝土完好,未发现任何重大缺陷。

经桥墩缺陷检测ROV水域测试后,通过具体实验情况分析ROV各项性能指标,如表2所示。

表2 ROV性能指标Table 2 Performance indicators of ROV

为验证视觉检测效果,对桥墩附底部基桩表面混凝土结构进行检测,机箱视觉系统在Windows 10操作系统下,使用PyQt作为系统开发框架,GPU为NVIDIA GTX 1060 Max-Q,内存16G。将水下相机实时录制的图像上传至上位机,同步到深度学习服务器进行水下图像实时增强与缺陷检测。

视觉检测分2步进行,首先,利用相机对水下表观图像进行采集,其次,将采集视频导入缺陷视觉检测系统进行图像分析。自主设计的缺陷视觉检测系统对真实水域相机实时拍摄图像进行浑水成像、图像增强、缺陷检测、语义分割等方面处理,最终检测结果如图10所示。

4 结 论

本文所设计的桥墩缺陷检测ROV已在沈阳市新开河联合路段完成桥墩检测任务,检测指标均达到桥墩检测标准,通过ROV执行水下检测任务的完整性与时效性,验证了本文所设计桥墩缺陷检测ROV能够达到预期目标,所搭载硬件系统和驱动软件能够给ROV的上层控制软件提供一个稳定基础。加入改进YOLOv5s方案的缺陷检测系统使得检测精度有较大提升,降低了检测所需成本,具有实用价值,可为桥梁的后期养护管理工作提供详实的数据,未来可推广至水工设施检测、海工、军工等市场。