桥梁快速建模及病害识别技术应用研究

元 松，王晓佳

（上海市市政公路工程检测有限公司，上海市 201108）

0 引言

桥梁外观往往反映了其结构的健康状况[1]。近年来，我国对桥梁检测进行了大量研究，积累了许多经验，但仍然存在一定的问题，如：（1）落后的检测手段，较低的机动性；（2）昂贵的检测费用；（3）较高的作业危险系数；（4）不全面的检测范围；（5）低效率检测导致交通不便。

随着桥梁多种病害的突发，日常运营维护工作迫在眉睫。运用人工智能方法，夯实桥梁数字化运维基础，将有利于桥梁的维护，及时发现并有效修复病害，提高路桥养护效率，实现养护管理精细化、数字化和网格化。国内外虽然有采用摄影技术对桥梁进行建模的研究及应用，但还没实现在模型上进行构件自动划分和外观病害的自动识别输出。

本文基于Lensphoto 近景摄影测量技术，对桥梁进行三维快速建模，并采用深度学习神经网络，对模型上的病害图像进行自动识别，以期实现定量、快速、自动化的检测，提高桥梁检测评估的效率。

1 基本原理

1.1 近景摄影测量技术

Lensphoto 近景摄影测量系统具有3 大特点：（1）全新的多片影像立体匹配算法，具备自动空中等角测量及区域网平差、自动生成等值线、自动密集点云生成、自动构网、建模、纹理映射等功能；（2）可处理旋转多基线摄影近景影像数据或者平行摄影近景影像数据；（3）相对测量精度达1/10 000[2]。

旋转多基线交向摄影示意图见图1。

图1 旋转多基线交向摄影示意图

由图1 可知，通过4 个摄站，每个摄站拍摄至少3 张影像，即可覆盖整个被摄物体，按区域对所摄对象进行整体处理，经过自检校区域网平差，获取密集点云。

1.2 多点配准及自动纹理映射技术

多点配准映射技术流程见图2。

图2 多点配准映射技术流程

多点配准及自动纹理映射技术主要是通过计算影像在激光点云坐标系中的外方位元素，使激光点云与影像在几何上精密地联系在一起，实现影像与激光点云的配准，从而达到点云构网、三维建模与纹理映射全部自动化，生成具有高度逼真的三维模型[3]。

1.3 YOLOv4 深度学习神经网络

YOLOv4 深度学习神经网络模型见图3。

图3 YOLOv4 深度学习神经网络模型

YOLOv4 模型结构由输入层、主干网络、混合和组合图像特征的网络层、预测层4 部分组成[4]。其中：CBM 由Conv+Bn+Mish 这3 个激活函数组成；CBL由Conv+Bn+Leaky_relu 这3 个激活函数组成；CSPX 结构借鉴CSPNet 网络结构，由卷积层和X 个Res_unit 残差单元张量拼接组成；SPP 采用1×1、5×5、9×9、13×13 最大池化的方式，进行多尺度融合。

2 桥梁三维快速建模技术

根据Lensphoto 获取桥梁表观图像和三维建模的方法，通过图像解析计算得到高精度点云，在此基础上通过自动纹理映射，得到高精度、目视化的桥梁三维模型，可直观应用于桥梁表观病害自动识别及桥梁技术状况评估。

2.1 无人机摄影平台

无人机摄影平台见图4。

图4 无人机摄影平台

无人机用于桥梁检测具有很多优势[5]，但由于当前无人机几乎没有向上拍摄的功能，为了实现对桥梁结构表观状况的全方位、全覆盖拍摄，需要在现有无人机的基础上增加云台和向上拍摄的相机。为了保证三维模型效果，需要确保检测部位在照片上无遗漏和无死角，以实现双目立体前方交会，并同步记录对应的GPS 数据[6]。

选择常用的物种多样性测度指标，如物种丰富度指数、物种多样性指数、物种优势度以及物种均匀度指数等［3］。

2.2 桥梁三维模型构件自动划分

2.2.1 方案设计

通过无人机对桥梁表观影像进行采集，运用Lensphoto 近景摄影测量技术对所采集的影像进行高精度建模；再通过深度学习神经网络对桥梁各构件类型进行训练，提取桥梁的各种构件特征，实现对桥梁三维模型进行构件自动划分。桥梁构件划分流程见图5。

图5 桥梁构件划分流程

2.2.2 桥梁构件样本标注

按桥梁部位将桥梁分为桥面系、上部结构和下部结构3 部分。以梁式桥为例，桥面系按组成部分主要划分为桥面铺装、伸缩缝、防撞护栏等部件；上部结构按组成部分划分为主梁、湿接缝、横隔板、支座等部件；下部结构按组成部分划分为桥墩、桥台、墩台基础等部件[7]。

为了对上述构件进行自动识别划分，首先应对各类构件图像进行标注，标注数量不少于2 000 张；再将这些标注完成的影像导入深度学习神经网络进行训练，提取各类构件的特征信息。

桥梁构件标记见图6。

图6 桥梁构件标记

2.2.3 三维建模实体应用

将无人机所拍摄的影像信息导入识别系统中，选择建模方式，点击“开始处理”，建立所拍摄桥梁的三维模型，同时模型数据在病害检测和构件划分界面进行显示；点击“构件识别”，即可进行构件的自动识别和划分；最后是成果输出。以上海市颛桥镇北横泾斜拉桥为例，其建模效果见图7。

图7 上海市颛桥镇北横泾桥三维模型

3 桥梁表观病害自动识别技术

3.1 方案设计

桥梁表观病害检测系统设计方案见图8。

图8 桥梁表观病害检测系统设计方案

桥梁表观病害自动识别系统由图像导入、三维重建、构件和病害识别、成果输出4 大模块组成。

3.2 桥梁病害的样本

根据桥梁结构，将桥梁表观病害分为混凝土结构病害、钢结构病害、桥面铺装病害3 大类。其中：（1）混凝土结构病害主要包括：裂缝、蜂窝麻面、剥落掉角、空洞孔洞、钢筋裸露锈蚀等；（2）钢结构病害主要包括：涂层起皮剥落、钢结构锈蚀等；（3）桥面铺装病害主要包括：沥青路面铺装层裂缝、坑槽等。

桥梁结构病害类别标注见图9。

图9 桥梁结构病害类别标注

图像标注与训练样本选择：为减小干扰因素影响，首先应对训练图像中的病害信息进行分类标注和命名[8]，每类病害图像标注数量不少于2 000 张。

3.3 病害识别准确率

从总体样本中选取80%为训练集，对各类病害进行特征提取、训练和识别后，选取剩余20%病害样本为验证集，以检验识别模型的准确率。表1 为各类病害识别准确率。

表1 各类病害识别准确率

由表1 可知，各类病害的识别准确率可以达到70%以上，基本满足工程需求。为方便工程应用，同样以上海市颛桥镇北横泾斜拉桥为例，其病害图像识别结果和数据导出如图10 所示。经过现场检测，病害识别类型和大小基本符合实际，识别精度可达厘米级。

图10 上海市颛桥镇北横泾桥病害自动识别结果

4 结 语

将近景摄影测量技术用于桥梁检测行业，实现了无人机影像数据的快速实景建模，提高了后期三维模型的生成效率，可构建高精度、高清晰的纹理模型；同时运用深度学习神经网络方法对采集的桥梁构件进行训练，开发出自动识别划分软件；最后在可视化桥梁表观三维模型的基础上，实现桥梁结构病害图像的自动识别和定量评价。

目前，桥梁结构病害特征图像样本数量有限，随着数据库的不断增加，其识别精度也会逐步提高，基于深度学习神经网络的桥梁三维快速建模及病害自动识别技术势必会得到更加广泛可靠的应用。