斜拉索检测机器人的智能表观检测研究

余朝阳

(广东承信公路工程检验有限公司， 广州 511400)

斜拉桥作为一种以拉索体系为主要传力部件的桥型，相比于梁式桥具有跨越能力更大、造型更美观等诸多优点，在世界各地得到广泛应用。斜拉桥主要是由桥塔、斜拉索和主梁3部分组成，斜拉索作为重要的受力构件之一，其健康状况影响整个结构的稳定性和桥梁的使用寿命[1]。桥梁的斜拉索在运输和安装的过程中，其聚乙烯(Polyethylene，PE)护套与各种施工工具及建筑体易产生摩擦和碰撞, 而这些都会对PE护套造成一定程度的划伤甚至破裂，从而削弱拉索的防腐体系。桥梁在服役过程中, 拉索长期暴露在自然环境中，受雨水、日光、风雪、雾、霜等侵蚀，容易产生如PE护套开裂、断裂、鼓胀、变形及索丝锈蚀断裂等拉索病害[2]，直接影响斜拉桥的安全使用。四川宜宾南门大桥因桥梁拉索严重锈蚀致使桥梁倒塌，重庆嘉陵江石门大桥也曾因拉索系统严重腐蚀于2005年耗资700余万元对其中36根拉索实施更换，后又因腐蚀严重，迫于2008年10月对180根斜拉索实施换索工程。因此，对拉索定期检查，以便早期预防，十分必要。

目前，我国对拉索的检测主要有人工目测法、搭设支架法、卷扬机探伤法、吊篮检测维护法等多种方法，但均面临检测效率低、费时费力费钱，且检查人员存在安全隐患等问题[3]。近年来，随着智能科技的发展，人们开始研究运用机器人及各类爬升装置对拉索进行检测和维护，其自动化作业可显著提高工作质量和效率，降低工作风险。吴中鑫等[4]介绍了检索机器人的工作原理、检测范围和工程应用实例。徐懋刚[5]介绍了一种斜拉索自爬行机器人的设计思路、工作原理及应用的工程实例。Ho等[6]讨论了攀岩机器人对斜拉索的缺陷识别，引入了一种有效的基于图像的损伤检测系统，该系统可通过图像处理技术和模式识别来自动识别电缆表面的损坏。

本文提出一种斜拉索检测机器人和智能检测技术相结合的斜拉索外表检测方法。该方法是利用机器人在斜拉索上爬升过程中采集斜拉索外表的图像，然后利用卷积神经网络深度学习算法与目标检测算法对图像进行识别，按照不同的缺陷状况进行分类，并将缺陷区域标注出来，最后推算出缺陷位置在斜拉索上的精确位置。

1 检测机器人及智能检测技术

1.1 检测机器人

1) 组成结构

该检测机器人由我公司自主研制成功，其结构如图1所示，设计参数见表1。机器人由1台主动小车和2台从动小车组成，采用三边夹紧的方式夹紧斜拉索。机器人上装有3块固定板，其中间安装有2个直线轴承座。轮子支架装有轮子与电机，且与活动底板连接，轮子材料是聚氨酯，具有高强的弹性和耐磨性。通过连接设置在固定板上的电动推杆可方便调节机器人中心的直径大小(能检测50 mm～300 mm缆索直径)。通过拔出一边的固定销打开机器人，方便安装在桥梁缆索上。固定板的上下端装有工业级超声波传感器作为防撞装置。固定板的上端装有高清摄像头，用于采集缆索表观图像信息。

图1 斜拉索检测机器人

表1 斜拉索检测机器人的主要参数

2) 工作原理

为了检测拉索表面保护层的破损情况，机器人设计了视觉检测系统，其硬件系统由3台摄像机、主控制器和数据存储器组成，如图2所示。其工作方式是当机器人在拉索上爬升时，控制器以循环的方式将3台摄像机图像分时传输给数据存储器，以实现对拉索表面保护层全方位图像的存储，并将3路视频通过无线传输子系统传输到地面监控系统的PC机上。

图2 斜拉索检测机器人工作原理

1.2 智能检测技术

智能算法的发展给斜拉索的检测提供了更加便捷的方法。为了提高检测的效率及准确度，检测机器人利用卷积神经网络对斜拉索进行缺陷检测，并利用目标检测技术实现缺陷区域检测定位。

1) 卷积神经网络

人工神经网络是一个拥有强大信息处理能力的数学模型，具备高度非线性和复杂逻辑的表示能力。随着经典的BP神经网络反向传播算法的应用[7]，使人工神经网络在训练过程中能够自动修正内部参数，在大量的训练样本中学习到统计规律，从而预测未知事件。BP神经网络的一个经典结构如图3所示。研究发现，这种网络结构存在计算效率低、收敛速度慢等问题。为了克服上述方法的缺陷，研究人员开展了卷积神经网络算法的研究。

图3 BP神经网络结构示意

卷积神经网络由LeCun教授在1989年提出，一般由输入层、卷积层、池化层、全连接层和输出层组成[8]。使用卷积层与池化层替代了部分全连接层形成多层神经网络，以部分连接的方式替代全连接，提高了网络的鲁棒性、计算速度以及收敛性，有效防止了过拟合现象的发生。卷积神经网络通过逐层特征提取由低层特征形成更加抽象的高层特征，实现复杂非线性函数的逼近，最后所有特征映射到图像的类别。一个4×4的输入样本在一个2×2的卷积核下的卷积运算过程及极大值池化过程如图4所示，公式如下：

(1)

式中：S是输入数据；K是卷积核；Vk是卷积区域内元素个数；i表示移动步数。

图4 卷积和池化操作原理

依靠神经网络的分类能力，将输入的图像所包含的各种缺陷状况进行分类，从而进行缆索缺陷的图像识别。整个过程包括网络的训练阶段和测试阶段。

训练阶段，神经网络的输入为机器采集到的缆索表面图像，输出则是每张图像对应的一种已知缺陷状况的标签。根据工程实际将缺陷状况划分为无缺陷、凹痕、剥落、刮痕、破损和损坏6种拉索表面状态的标签。

测试阶段，将新采集的图像输入到网络中，借此预测该图像的缺陷情况。

对于分类，先用Softmax层得到网络输出的概率分布，后通过分类层得到识别(预测)的事物类别。具体流程是：(1) 原始数据先经过若干个卷积层、池化层得到若干个特征矩阵(值)；(2) 通过全连接层将特征矩阵(值)映射到若干个特征值，并将此作为Softmax层的输入；(3) 利用损失函数计算Softmax层的输出与目标输出的交叉熵损失；(4) 通过损失的反向传播来调节网络权值[9]。将Softmax函数应用到卷积神经网络中，主要是用于数据多分类问题，对于给定的输入x和网络参数w，可通过Softmax层计算出结果概率分布，函数将输出一个k维向量，向量元素的和为1。函数表达式如下：

(2)

交叉熵损失[9]反映了目标输出与预测输出的相似程度，交叉熵越低，说明算法得出预测概率分布越接近真实概率分布，其表达式为：

(3)

式中：N为样本数；K为类别数；tij为样本i属于j类的概率；yij为模型对样本i属于类别j的输出概率，即是Softmax函数的输出值。

为实现目标检测(目标定位)，先需要得到一个预训练网络。为了减少计算量并且获得较好的图像识别能力，采用一个经典的卷积神经网络模型(AlexNet网络)作为预训练网络，其中有5个卷积层、3个池化层及3个全连接层组成，其运行过程如图5所示。网络的输入为一张图片，原始尺寸为227×227×3的矩阵，经过被第一层卷积逐层传递卷积后，成为一个55×66×96的矩阵，再经过逐层传递，成为一个6×6×256的矩阵，将该矩阵展开(1×9 216)进入全连接层，最后通过Softmax层计算所属类别的概率。

图5 AlexNet网络结构

2) 目标检测器

目标检测是用于识别图像中目标位置的技术，或称为目标定位[10]；目标检测器通常是由网络预训练与检测器训练2个过程得到[11]。

(1) 网络预训练

将含有大量样本的图像集(ImageNet数据集)通过训练的卷积神经网络来解决新分类或检测任务，由于预训练网络已有强大的图像特征提取能力，然后在该网络的基础上进行迁移学习[12]，提取图像的特征。迁移学习过程是将上述具有图像识别功能的网络应用到目标检测任务中，只需输入少量与目标检测任务有关的样本，权值进行很小的调整，即可用于图像的目标识别任务。

(2) 目标检测器训练

该训练用来实现目标的识别和定位，该部分的实现包括目标物的图像输入、目标物所在图像的区域及类别输出，预训练的网络模型(AlexNet)和检测器的训练参数(学习次数、图像尺寸等)。训练功能会自动将原始的AlexNet网络模型(将图像分为M类)修改为可以将图像分为N类(取决于新任务的样本类别)的网络。

本文采用ImageNet数据集进行预训练的网络模型(AlexNet)，将此网络迁移到斜拉索表面检测的缺陷定位任务中。

2 斜拉索外表检测流程

机器人图像采集的方法及缺陷识别的过程主要分为以下8个步骤：

1) 将机器人平放在要检测的斜拉索附近，随后开启机器人电源、无线控制器电源、无线录像机电源。

2) 使用无线控制器操作机器人各部分运动，观看无线录像机画面，查看各部分功能是否正常运作。

3) 按下机器人黄色按钮，如图6所示，使机器人夹紧中心变大，略比要检测的斜拉索直径大便可。

4) 取下机器人中一边的固定销使机器人张开，然后套上斜拉索后装回固定销。

5) 按下机器人蓝色按钮，如图6所示，使机器人夹紧中心变小，使其夹紧斜拉索，等看到避震弹簧往回缩便可。

6) 使用无线控制器数据导出画面，按下删除历史记录按钮，切换到操作画面设置好速度，按下上升自锁按钮便可开展检测工作，机器人工作示意如图7所示。

7) 将采集到的部分斜拉索表面图像及标注信息导入到智能检测系统中，调节网络的训练参数，即可开始网络的训练过程。

采用Faster-RCNN模型作为缺陷识别的算法，训练过程如图8所示。(1) 通过预训练网络(AlexNet)

(a) 机器人控制按钮

(b) 机器人电源开关

图7 机器人工作示意

图8 Faster-RCNN网络的训练过程

提取缺陷特征，利用区域生成网络(RPN)形成候选区域；(2) 通过池化层将候选区域变成大小相同的尺寸；(3) 输入到回归层(缺陷的定位)和分类层(缺陷的类别)，以此完成缺陷的位置及类型识别。其训练集采用无缺陷、凹痕、剥落、刮痕、破损和损坏6种拉索表面状态的图像，每种缺陷选择140张照片，尺寸为2 048×2 048，格式为RGB，数量共800余张。首先将它们输入检测器，并进行标注，检测器输出文件为矩形框标注缺陷的区域，并注释缺陷类型，然后将图片和标注信息输入到检测目标检测算法中进行训练，随着训练时间的增加，识别的正确率不断提高，待正确率稳定后即完成网络训练，最后将训练完成的网络用于新采集的斜拉索表面缺陷的检测任务中，训练完成的网络可以保存起来，下一次检测不需要再次训练即可实现检测任务。

8) 待训练完毕，将采集的其他没有标记的图像输入到系统中，系统自动识别出缺陷的区域与距离地面端的距离，最后记录下来形成检测报告，报告主要包括病害统计表、病害情况描述、病害结果汇总等内容。

3 工程应用实例

3.1 工程概况

广东番禺大桥有244根斜拉索，按空间双索面布置，塔上标准索距为1.3 m，梁上标准索距为6.0 m，拉索采用Φ7镀锌高强钢丝，钢丝数在121至367之间变化。对244根斜拉索中的部分拉索进行表面缺陷检测并对其编号。

3.2 机器人检测结果

将机器人采集的图片通过神经网络和目标检测技术进行智能分类及定位，最终的检测结果见表2，XLS-2斜拉索的部分病害检测结果如图9所示，病害位置被准确标记出。

表2 斜拉索病害分类结果

(a) 破损

(b) 凹痕

(c) 刮痕

(d) 剥落

(e) 损坏

(f) 无病害

3.3 自动化检测报告

本次机器人对番禺大桥CX-1斜拉索进行了外观检测，斜拉索护套整体情况基本良好，发现的病害如下：刮伤2处、刮痕30处、孔洞0处、翘皮0处、挤压0处、污渍0处、开裂0处等。病害共32处，病害位置及情况描述如图10所示。

该桥斜拉索的检测病害以刮痕为主，主要因斜拉索吊装时产生；破损、剥落、凹痕、损坏等病害则因斜拉索常年的风吹雨淋老化引起。总体来看，病害多在表面，对缆索内部影响较小，不影响结构的正常使用。

(a) 病害统计表

(b) 病害情况描述

(c) 病害检测结果汇总

本文提出的智能检测技术比传统斜拉索检测效率提高了300%。经测试10 min的检测视频，人工检测缺陷、整理缺陷和编写报告共需要40 min；而智能检测技术只需要10 min就能自动生成定性、定量、定位的缺陷报告。

智能检测技术降低了传统人工检测在复杂环境下的风险，提高了检测精度。例如，传统方法每检测一条斜拉索都需检查员坐在卷扬机上沿着斜拉索向上移动，通过检测员肉眼观察的方式去检测斜拉索的缺陷，当卷扬机上升到较高处的时候，高处风大易使卷扬机晃动，可能危及检查员的生命安全。

4 结论

1) 机器人在斜拉索图像采集中具有巨大的优势，显著提高了工作效率和安全性。

2) 卷积神经网络算法与目标检测结合的智能检测技术，不仅能够准确识别出缺陷的类型，而且能定位出缺陷的区域，节省了大量的人力资源及时间，在工程中具有重要广泛的应用前景。

3) 通过应用实证，基于智能算法和缆索机器人的斜拉索联合检测系统能够有效、快速、安全地完成斜拉索外表的检测任务。