基于图像三维建模技术的桥梁病害巡检定位技术

陈国强

（杭州市公路管理局，浙江 杭州 310004）

0 引言

随着大规模公路设施，尤其是桥梁隧道等结构物从建设期过渡到运营期，公路资产面临着日益严峻的养护任务，设施损坏状况的精准检查与定位是科学合理的养护决策与执行的前提[1]。公路养护技术标准JTG H10—2018规定[2]桥梁检查分为经常性检查、定期检查和特殊检查。日常巡检主要服务于设施的养护以及结构损坏和安全问题的发现。日常巡检是检测环节中最为日常琐碎且高频率的检测项目，其检测内容最为复杂，但是其检测数据却无法被有效的保存和分析并服务于后续的工作[3]。国内外养护管理现状对比发现国内养护管理的问题主要是现行的“重建轻养”、“事后养护型”管理模式、落后的桥梁养护技术和缺少养护专业队伍[4]。

对桥梁结构状况的准确判断离不开历史损坏数据的积累与跟踪[5]。影像三维建模技术在建筑及测绘领域的应用逐渐证明了其应用于空间建模的可行性[6]。方留杨等人提出了一种基于无人机三维建模技术的桥梁检测方法[7]，然而，由于控制难度、续航及价格等原因，此方法不适用于网级桥梁管理。因此，该研究探索日常手机、普通相机如何应用于巡检管理。即二维序列影像数据应用于桥梁结构三维建模及表观病害巡检的可行性，包括应用于桥梁三维模型构建的二维图像采集方法、三维建模、巡检贴图以及示例工程巡检数据匹配与分析。

1 巡检逻辑与数据设计

1.1 流程设计

具体流程设计见图1。包括研究用于建立桥梁三维信息模型所需要的桥梁二维图像采集方法、二维图像解析建模并建立三维模型空间、巡检图像三维空间匹配、病害识别定位4个部分。

图1 巡检流程设计

全景影像量测的目的是在全景影像中点击物体的表面，获取长度、面积、坡度等信息，从而将拍摄的序列制作成360°的全景影像。制作一张完美的360°全景影像是一个很复杂的过程，包括图像投影、影像匹配、特征点提取、图像变换、色彩融合等内容，限于篇幅，本文简要介绍制作全景影像过程中用到的主要方法。以全景二维影像为基础，基于OpenGL将做好的全景影像投影到一个球体上。

1.2 图像采集

选用专用3D罗盘搭载数码相机（见图2），罗盘用于辅助摄影测绘的高精度定位、定向、定姿。通过拍照时的闪光灯热靴触发信号获取拍照瞬时的定位坐标、方位角、倾斜角、翻滚角、海拔高程等信息并显示在机器屏幕上，同时存入本机闪存。采取高精度差分修正的方法修正坐标信息，将坐标信息写入照片文件。根据该动态采集系统记录的采集信息，对数据进行分组分站等归类操作。

图2 数码单反相机搭载3D罗盘

已建成的桥梁在桥梁的两边拍摄，对于在江面上的桥梁部分可以通过无人机拍摄和通过桥检车，对桥梁底部进行拍摄影像，见图3。

图3 桥梁图像采集方案

选择了3座桥梁作为代表桥梁：（1）江东大桥以3跨连续箱梁（长约115 m）为试验对象，采用全景云台、影像RTK进行数据采集。影像RTK摄站22个，采集数据22张；全景云台摄站21个，采集影像468张。（2）东吴大桥以预应力连续箱梁（68 m+120 m+68 m）段中跨为试验对象。采用全景云台进行数据采集，共布置摄站148个，采集影像1280张。（3）道冠山大桥选取2跨作为本次试验对象，长约40 m。采用全景云台进行数据采集，共布置摄站53个，采集影像793张。布设方案示例见图4。

图4 东吴大桥布设方案

1.3 三维建模

（1）影像预处理

原始拍摄影像存在很多问题，诸如失真变形、色彩不均匀等，同一物体因为在不同角度拍摄，造成在不同影像中的视觉不一致性，因此需要找到不同图像的同名点并计算出转换矩阵，但是仅仅转换到同一矩阵后是无法完全吻合的，需要做图像变换处理。鉴于相机摄站的规则排列，影像之间的相对关系可以预先测定出，投影到以立体相机为中心的柱面上会保证视觉上的一致性。

（2）影像匹配

影像匹配的目的在于在两张不同的影像之间通过每个点的特征找出特征点最相似的两个点，即寻找同名点，根据的是点的相似度，可以利用周边点的信息，通常称为影像窗口，在另一影像中开辟同大小的窗口进行相似度匹配。一般利用灰度、梯度等信息进行匹配。

（3）特征提取

特征提取，在图像处理领域是一种最常用的手段，从数学的角度讲是将图像中的每个点独有的特征信息表示出来，将高维度的信息降维到低维度来表示一个点的信息，理论上每个点在不同图像上特征是相同的。通俗地讲就是人们“感兴趣”的点。因为存在各式各样的相机，从不同角度、不同位置拍摄影像，因此要求这个点的特征需要有不随平移、缩放、旋转而改变的特点。

（4）参考面选取

参考平面选择的好坏会严重影响捆绑调整的质量，如果只是随机的选择输入图像中的一幅作为参考平面，那么很有可能会因为累计误差过大而造成捆绑调整的失败。从输入图像中选取初始参考平面应考虑以下三个因素的影响：

a.与该图像重叠的图像的数量；

b.与该图像重叠区域的大小和特征匹配特征点对的数量；

c.所有待拼图像与该图像的变换矩阵级联次数。

综合上述因素，需用下式计算每幅图像的影响值：

式中：Ei表示图像参考面选取中的影像因子；ki表示第i个图像与其他图像有所重叠的影像数量；Tij表示图像i和j之间影像匹配中的特征点对数；λTij表示两张影像i和j重叠面积区域的大小（重叠面积比例的十倍，如1/2比例的重叠，为5）；I（n）表示需要拼接的原始影像；Dip表示两张影像之间坐标变化所需要的迭代次数。

λD是一个调节参数，其目的在于将放大，一般取得最大值。综合考虑了各方面的影响因子，ki考虑了重叠的影像数量的作用考虑了两张影像匹配点数量的影响则将变换矩阵的迭代次数纳入考虑范围，因此其可以代表作为参考面影像的影响因子，取max（Ei）最大值作为参考平面。

（5）全景影像拼接

以上步骤根据影像匹配求出不同影像之间的同名点，并由序列影像中Ei的最大值作为图像参考面的初始面进行拼接，求出序列影像中两两的变换矩阵即可将序列影像转换到同一坐标系下。拼接处理包括以下两部分：

a.根据模板匹配的方式，可得到图片见的平移（或者包括缩放）参数，继而根据参数进行图像拼接操作；

到了定远县城，蒋海峰在宾馆安置下来，先独自一人前往水仙芝家里。他进屋拜见伯母，嘘寒问暖，特地给她带来一个景泰蓝花瓶、两盒燕窝。

b.根据特征点匹配的方式，则利用这些匹配的点来估算“单应矩阵”，也就是把其中一张通过个关联性和另一张匹配的方法。单应矩阵H（Homography Estimation）效果如下：

通过单应矩阵即可将序列影像转换到同一坐标系下，变换后的影像统一输出即为拼接好的全景影像，可直接用于存储，变换，管理。

（6）图像融合

因为在特征点提取，左边变换中总会出现像素坐标的非整数化，因此会难免造成图像重叠区拼接出现接缝、色彩模糊等问题。因此图像融合技术显得至关重要，使接缝处过渡更加自然，色彩更加均衡。图像融合技术主要分为像素级、特征级和决策级3种层次，基于像素级的图像融合技术在三者中具有最优的性能。研究者们在研究像素级融合技术的过程中，提出了线性加权法、小波变换法、彩色空间法、主成分分析法等图像融合的技术方法来减少明显的接缝。

多通道融合相对于线性融合，其优势在于将图像进行分层处理，通过建立图像金字塔，将图像分为轮廓信息，一级细节信息，二级细节信息等多层次的方式，在不同层上采用针对不同细节程度的融合步长以及融合方法，来提高最终的拼接效果。例如，在轮廓区域，采用线性融合的方式，这样能够最大程度的保留图像的轮廓信息，同时保证图像主要轮廓信息的自然过渡，而在图像的细节信息上，改用改进的线性融合方式，针对图像的位置，对像素差异大的图像进行取舍，从而既能够保证图像全景影像的平滑过渡，又保证在细节处基本不出现重影，能够大大提高图像的最终拼接效果。在建立高斯金字塔的过程中，多通道融合算法与SIFT算法相同，首先利用DOG对图像进行不同分辨率信息的分层，而对于每一个分辨率层，利用DOG算子对图像的细节信息进行分离。最终得到一组关于图像轮廓和细节信息的高斯金字塔。对于相同分辨率的图像，将得到相同规模的高斯金字塔，且金字塔中的图像位置而是一一对应的，对于每一幅分图像进行单独的融合之后，将得到一组新的高斯金字塔，通过高斯金字塔的反运算重新叠加即能够得到融合后的完整图像。多通道融合算法在由于需要针对每幅图像建立单独的图像金字塔，且需要对每幅金字塔中的图像都金融图像融合，因此其计算量从建立的过程来看，是非常大，而对于鱼眼图像等像素值较高的图像来说，其计算速度较慢。

1.4 巡检图像检索与定位

首先采用SIFT算子提取影像特征点的描述子，然后采用K-means聚类算法生成视觉单词并构建词汇树，最后通过改进TF-IDF方法对视觉单词进行加权并检索相似影像。

检索出与巡检影像相重叠的图像后，与其进行相对定向就可以求得影像间的相对位置，恢复影像位姿，因为检索出的影像在建模过程中的位置和姿态已经解算完成，根据其在数据库中的位姿，就可以将破损影像进行图像转换，使其与系统中的基础坐标系一致，从而解算其三维坐标。在递增式重建过程中，初始影像姿态的精度影响整个重建三维模型的精度。为了逐步剔除粗差，采用自适应RANSAC算法与五点法相结合来恢复图像的相对位姿。

1.5 病害识别与跟踪

（1）病害定位

桥梁结构作为一个相对复杂的空间结构，往往根据部件、构件进行管理及评价。复杂的空间结构对于巡检人员确定桥梁结构构件编号及损坏所在位置做成了一定的难度。基于三维空间系统，本研究采用图形匹配的方式可以确定病害图片的空间位置，进而匹配其所在构件，具体到每一片梁上的具体位置。其病害位置匹配流程见图5：首先，在初始检测阶段利用实际拍摄机位作为参考信息以提高识别效率；其次，通过病害图像匹配确定所述构件及病害图像与构件展开平面的坐标关系；最后，将病害在图像中的坐标换算为实际构件上的坐标，见图 6，将像素坐标（i，j）换算为空间平面坐标（x，y），图 7为病害定位识别结果。

图5 基于构件的桥梁病害坐标计算流程

图6 害像素坐标与实际构件平面坐标换算示意

图7 破损影像裂缝三维坐标展示

（2）病害跟踪

通常来讲，巡检所拍摄病害图像往往缺乏参照及尺度信息，除非额外辅助测量工具。本系统设计通过病害图像的定位及姿态校准，将不同拍摄角度的图像校准到同一视角，并进行病害严重程度在时间上的比较，从而跟踪病害的发展，见图8。

图8 检测结果多期数据对比

2 结果分析

对3座示例桥梁进行建模解析，其数据采集方式、建模情况的对比见表1及图9，解析时间对比见表2。

表1 三维建模情况对比

图9 三维模型对比

表2 三维建模解算时间对比

通过模型可以看出，江东大桥自动匹配建模效果较差。经分析，失败原因主要有：本次试验中，由于管理单位对江东大桥混凝土表面做了涂装，混凝土表面光滑，无明显特征点，导致在计算机自动建模过程中，数据匹配失败；拍摄距离远，无法将细微病害拍摄清楚，缺少可识别特征信息。

本次试验自动建模结果表明：

光滑涂装表面不适用采用一般桥梁的拍摄及自动拼接方法，需要更为近距离的数据支撑；

RTK影像采集技术在桥梁及隧道中的应用受到限制；

全景云台摄站间距设置为3m较为合理，由此采集的数据生成的三维模型效果较好。

建模解析时间的对比表明：

建模时间受到采集数据的来源影像，单一设备建模速度更快；

图像解算分析时间同图片数量正相关，有GPS数据辅助的情况下解算效率更高；

数据质量及解析效果受到拍摄环境及设施结构复杂性影像，针对具体设施应设置不同的数据采集要求，一般中型梁桥平均0.6 m一个拍摄站，每站拍摄16张照片可以满足高精度建模需求。

选择建模较好的东吴大桥进行巡检，对比东吴大桥损坏识别和人工调查结果见表3和图10，对比道冠山大桥损坏识别和人工调查结果见表4和图11。

表3 东吴大桥巡检损坏识别与定位对比表

通过位置的对比分析可以看出，巡检匹配的方式所获得的位置信息基本满足要求。

3 结论

本文研究分析了图像三维建模技术应用于桥梁病害巡检定位的具体办法，确定了用于建立桥梁三维信息模型所需要的桥梁二维图像采集方法，包括设备选择、设站、拍摄距离、拍摄密度；形成了二维图像解析建模并建立三维模型空间的成套算法；确定了巡检图像三维空间匹配及病害识别定位的方法，并进行了验证。研究表明，序列图像三维建模技术应用于桥梁日常巡检是可行的。此外，本研究还确定了一般巡检图像的多期数据对比用于桥梁表观病害的跟踪方法的有效性。

图10 损坏位置对比关系图（人工与系统）

表4 道冠山大桥部分病害检查明细表

图11 损坏位置对比图