基于影像数据的桥梁全息动位移测量方法研究

杜鹏，邵帅，周志祥, 2，邓国军，简传熠

基于影像数据的桥梁全息动位移测量方法研究

杜鹏1，邵帅1，周志祥1, 2，邓国军1，简传熠1

(1. 重庆交通大学 土木工程学院，重庆 400074；2. 深圳大学 土木交通工程学院，广东 深圳 518061)

为了克服传统桥梁结构检测与监测周期长、费用高、数据离散等问题，基于影像灰度值容差理论和分层优化理论建立一套对目标对象由粗略到精细逐渐过渡的搜索机制，用以获取桥梁结构动态位移响应，并以室内超大跨自锚式悬索桥为研究对象，依次开展小车行驶激励和主跨中部单点激励2类试验。试验结果表明：分层优化算法打破了一般算法只能逐像素匹配的局限性，在保证计算精度的前提下能显著降低计算耗时，可为后续获取结构全息几何变形和通过结构全息影像序列数据进行智能化损伤识别奠定理论基础。

桥梁工程；图像匹配；分层优化；动态位移响应；结构频率

桥梁结构是现代交通体系的重要组成部分，在其整个寿命期存在材料自身老化、混凝土收缩、徐变等内部因素，还不可避免地遭受撞击荷载、地震荷载、汽车荷载等外部因素，这些内外因素都将对结构造成不同程度的损伤，导致其安全性降低和使用寿命缩短[1−2]。因此，寻找一套高效的、可靠的、经济的方法实时监测桥梁结构健康状态，保证结构安全使用并延长其使用寿命显得尤为重要。结构几何变形与结构应变有直接关系，且在特定的外部荷载作用下结构的几何变形也可以反映结构的刚度变化。因此，结构变形是评价桥梁结构健康状态的重要指标[3]。但常规的接触式位移传感器只能获取结构有限截面的位移信息，难以准确表征整个结构的健康状态，往往不能及时发现结构存在的安全隐患，从而导致不可挽回的人员伤亡和经济损失[4−5]。由于现代高速摄像机和计算机处理技术的快速发展，已有许多研究者在非接触测量领域做了相应的研究：ZHAO等[6]研究了利用红外线发射装置和智能手机获取结构位移响应的基本方法。LEI等[7−8]研究了利用高速摄像机提取结构振动信息，包括目标追踪、亚像素处理技术等。XU等[9]讨论了目标追踪、坐标系转换、位移获取方法等，并在一座人行斜拉桥做了相关试验，验证了通过高速摄像机获取结构位移响应的可行性。邵帅等[10]研究了利用非接触影像序列数据构建结构全息性态变形，用以桥梁结构长期性健康检测与监测。基于以上研究，本文提出一种无须在结构表面安装物理靶点的影像灰度值容差算法(LGVT)获取结构位移时程响应。首先对算法的理论可行性进行分析，并进一步提出利用结构自身尺寸属性的像素标定方法；提出基于自适应匹配步长与匹配模板的分层优化理论将算法进一步优化，可显著提高其计算效率，并讨论了不同目标对象尺寸对匹配计算精度与效率的影响；最后以实验室内超大跨自锚式悬索桥[11]为对象，依次开展小车行驶激励和跨中单点激励两类试验，用以验证其实际运用的可行性。本文算法能高效、便利、经济的获取结构变形特性、振动特性等，克服了常规桥梁检测与监测周期长、费用高、设备难以布置等问题。利用本文算法获取桥梁结构变形、振动等信息，是对现有测量方法的补充与提升，也为进一步利用全息影像序列数据进行结构智能化损伤识别奠定了基础。

1 结构全息影像监测系统

目前，对于大跨径桥梁结构的健康监测与检测一般仅在结构关键截面或节点布置有限数量的传统接触式传感器，仅能获取有限且离散测点的监测数据，且传感器需定期标定。这种桥梁健康监测与检测方式效率低、费用高，而且只能获取结构局部的性能参数，难以对整个结构健康状态进行准确判断。基于此，本文提出利用桥梁结构附近已有的摄像头建立一套完整的、实时的桥梁健康监测系统，用以获取结构全息性态变形特征。全息性态特征反应了结构在受载下真实的几何变形，其包含了截面与截面、点与点之间的相关性，避免了关键数据丢失，保证了数据的连续性，能更真实、准确地表征结构的健康状态。

图1 全息影像采集设备

结合课题研究的实际需求，将照相机、摄像机、自动巡航云台进行自主组装、改进、调试形成全息影像采集设备，最终实现对桥梁结构全方位的影像采集，如图1所示。影像采集主要使用具有较大光学变焦能力的索尼FDR-AX700民用摄像机，焦距范围24～200 mm，帧速率为100 fps，图像分辨率为1080P；佳能5DSR相机辅助采集关键时刻的影像数据，其配有佳能EF 24-70 mm f/4L IS USM镜头，支持全画幅拍摄、自动对焦、IS防抖；亚安SD3051自动巡航云台能以0.1～40 (°)/s的旋转速度实现水平360°，竖直180°无死角旋转，保证在同一点测点尽可能多地获取结构原始影像数据。自动巡航云台具有预置位和自动守望功能，预先设置需采集的目标对象以及影像数据采集时间，云台能自动旋转到相应位置进行影像数据采集。利用USB3.0接头将数据导入Win10系统的联想笔记本电脑，并在其安装MATLAB R2016a程序作为影像分析处理平台。本文工作环境及计算资源：Intel(R) Core(TM) i5-7300HQ CPU@2.5Hz处理器、8.00 GB运行内存。

2 灰度值容差算法理论

2.1 全息目标对象追踪

分析上式可知：在理想情况下，若当前匹配区域与目标对象区域重合，则归一化灰度值矩阵为单位阵，则当前匹配系数为1，便可得到目标对象在整体区域的最佳匹配坐标。由于结构所处的环境存在一定的连续性，从目标对象向外扩展区域的灰度值变化是一个逐渐的过程，据此可推断：越靠近目标区域匹配系数越接近于1，越偏离目标区域匹配系数越接近于0。

为了验证本文算法的可行性，选用Lena图像(300×300 px)作为匹配模板，在整体像素坐标(140,140)处截取(50×50 px)区域作为目标对象，再分别采用LVGT算法和常规的SSD算法、NCC算法、SATD算法进行目标对象的定位计算，试验匹配结果如图2所示，匹配位置及耗时见表1所示。

(a) 源图像；(b) 目标对象；(c) LVGT；(d) SSD；(e) NCC；(f) SATD

表1 不同算法的匹配结果

由表1可知，LVGT算法、SSD算法、NCC算法以及SATD算法都能准确获取目标对象在整个视域内的坐标位置，但本文LVGT算法计算耗时更短，效率更高。

2.2 像素标定

对当前视域下的像素进行标定，得到单个像素所代表的实际位移值(标定因子)，才能获取结构的真实位移响应。在特定的拍摄设备、拍摄距离、拍摄角度和特定的区域下标定因子相同的。目前常用的像素标定主要是借助于各种型号的物理标定靶，物理标定靶的实际物理尺寸已知，只需获取在当前视域下物理标定靶的像素尺寸，便可计算当前情况下的标定因子。但针对大型桥梁结构，直接拍摄的影像信息不可避免的存在一定的畸变效应[14]，若仅仅以单个物理标定靶的标定结果去推算各个特征点的位移响应，会存在较大的测量误差。

考虑到桥梁结构本身具有物理尺寸属性，本文以被测截面的竖向高度为标定基准，通过获取被测截面在高度方向的像素尺寸计算当前位置的标定因子。利用结构自身尺寸对像素标定主要有以下几个优点：1) 无须借助其他物理标定设备，能减少工作量，节约经费支出；2) 无须在结构外表面安装物理标定靶，克服了在某些情况下安装难的问题，使其能适应各种测量场合，更能凸显非接触测量的实际意义；3) 利用各被测截面本身尺寸作为标定基准，更能真实地反映当前位置像素与实际位移之间的转化关系，从而减小测量误差。

3 分层优化算法

针对桥梁等大尺度结构，要使非接触视觉测量具有较高的精度，必须提高影像采集设备的分辨率或进入亚像素分析，以降低单个像素所代表得实际位移值，但无论选择何种方法都将造成图像处理的计算量急剧增加。本文结合高分辨率图像在最佳匹配点附近的匹配系数较大，远离最佳匹配点的匹配系数较小，且相邻位置的匹配系数差异不大，符合连续性变化规律，提出对单张影像进行多次不同匹配模板、不同匹配步长的分层计算，根据当前匹配模板大小自适应选择合适的匹配步长，打破了逐像素匹配的限制，最终减小了匹配计算量。

(a) 第1层计算；(b) 第2层计算；(c) 第1层计算；(d) 第4层计算

图4 4层优化算法流程图

3.1 分层优化算法的性能分析

为了验证分层匹配算法的精度和效率，本文开展了2种不同分辨率图像的匹配计算试验：1) 以上文中Lena图像(300×300 px)作为源图像，在整体像素坐标(140,140)处截取(20×20 px)部分区域作为目标对象；2) 以试验相机拍摄的桥梁结构图像(1 920×1 080 px)作为源图像，在整体像素坐标(540,930)处截取(50×50 px)部分区域作为目标对象。分别进行1层，2层，3层和4层优化计算，计算结果见表2所示。

由表2分析可知：采用分层优化算法能精确定位目标对象的位置，且计算耗时随着分层数量增多而缩短。2层优化算法相对于原始算法计算耗时大量缩短，而3层、4层优化算法能在2层优化算法的基础上进一步缩短计算耗时，但效果不是特别显著。对比2组不同分辨率的图像匹配试验可知，图像的分辨率越高，分层优化算法降低计算耗时的效果越显著。利用分层优化的思想，可以显著提高影像处理效率，推动了利用桥梁面相学理论进行结构全息形态监测的发展，是实现对远距离、大尺度结构进行实时健康监测的重要理论基础。

3.2 目标对象对匹配精度及效率的影响

为了研究目标对象尺寸对匹配精度和效率的影响，本文选用试验相机拍摄的桥梁结构图像(1 920×1 080 px)作为源图像，在整体像素坐标(500,900)处分别截取5个不同大小的目标对象进行4分层优化LVGT匹配计算，计算时采用相同的匹配步长和辐射距离，计算结果见表3所示。

分析表3可知，选取的目标对象大小对匹配精度和计算耗时都有较大的影响，选取的目标对象越小计算耗时越短，但若选取的目标对象过小，可能会造成计算出错，最终无法得到正确的匹配结果。因此，在实际运用时，需考虑选取的目标对象大小与计算耗时二者的平衡关系。

表2 分层匹配计算结果

表3 不同目标对象匹配结果

相对于常规目标对象匹配算法从桥梁结构振动视频中分析结构位移信息而言，本文非接触位移测量方法能极大地降低目标对象匹配过程中匹配系数的计算量。因此，本文方法对计算机性能要求低，对数据的处理效率更高，能更快地输出位移测量结果，能使有关部门及时地掌握桥梁结构的基本状况，及时对桥梁结构的健康状态做出合理的判断并采取相应的处理措施，避免灾害事故的发生。

4 桥梁全息动位移测量试验

为了验证分层优化算法的精度和工程实用性，在已有研究的基础上[15−16]，文中以实验室内超大跨自锚式悬索桥为依托，依次开展了2类不同类型的试验工况：1) 小车行驶激励，用以模拟桥梁结构在正常服役状态下的位移响应；2) 主跨中部单点激励，用以模拟桥梁结构在服役过程中受到撞击、地震等偶然荷载作用下的位移响应。试验中除了采集结构影像信息，还在桥梁主跨的/4, 3/8,/2,5/8和3/4处安装有常规接触式位移传感器和振动传感器，用于采集结构的位移和振动信息。将影像分析处理结果与接触式传感器实际测量结果对比分析，以讨论本文算法的精度、效率以及实用性。

本次试验对象是某超大跨自锚式悬索桥按1:30的缩尺比例制作的试验模型桥，试验中使用的加载小车及其驱动装置和行驶轨道、单点激励作用位置、常规接触式传感器布置位置，如图5和图6 所示。

图5 试验设备布置

图6 测点布置图

4.1 小车行驶激励试验

设置小车行驶激励试验的主要目的是，验证本文算法在实际运用中能否准确获取桥梁结构的几何变形，并分析其在实际运用时的精度与效率。本次试验使用的小车驱动系统，能使小车在负载 50 kg，100 kg时以0.5～1.5 m/s的速度行驶。

试验开始前应保证摄像机、位移传感器等设备能正常工作，然后使桥梁结构静止5 min，以减小环境激励引起的误差。在试验时，首先应采集桥梁结构当前的影像信息，将其作为后期分析的基准位置；然后打开小车驱动装置，当小车行驶至主跨中部时，同时开始结构影像采集和位移传感器数据采集。利用优化算法计算5个测点的位移值、位移传感器实测值见表4所示。

由表4可知，本文分层优化算法测量结果与常规接触式传感器测量结果误差在5%以内，本次试验的最大误差为50 kg工况下3/4位置处，其最大误差为3.8%。结果表明，本文分层优化算法能满足工程实践的一般要求，具有较好的普适性。相对于常规接触式位移测量，本文非接触视觉测量方法能更便利、经济、高效地获取结构的变形信息，解决了在某些情况下因常规接触式传感器无法安装而不能测量结构位移的难题。

表4 算法与位移传感器测量结果

利用本文方法分析桥梁结构的影像数据，能获取该视域内任意特征点的位移信息，获取的信息更全面，且人工干预少。而传统接触式测量需要人为主观选定有限被测截面的位置，人为主观因素影响较大，选择的被测截面可能未包含结构已损伤区段，因而不能及地发现结构已存在的损伤，不能及时采取应有的维修加固措施，从而任由结构损伤进一步发展。

4.2 单点激励试验

在小车行驶激励试验已验证本文算法能准确获取结构位移信息的基础上，为了进一步研究LVGT算法能否获取结构的频率响应等特性，本文在主跨中部开展了单点瞬时激励试验。

试验开始前，应保证所有设备能正常使用并采集结构静止后的单张影像；试验开始后，同时开始摄像机和振动传感器数据采集，大约5 s后对主跨中部位置进行单次瞬时锤击加载，再观察振动传感器数据实时采集情况，直至振动衰减为0 s，10 s后同时停止2种数据采集。

在试验开始前采集的影像中处截取(30×30 px)作为目标对象，再对视频中每一帧图像进行分层优化匹配计算，得到目标对象在每一帧图像的像素绝对坐标，将每一帧的像素绝对坐标相减，便可获取目标对象在在和2个方向的位移值，文中只讨论竖向的位移。通过上述计算可获得单点激励下截面的位移时程曲线，再对其频谱分析，并绘制相应的频谱图，如图7所示。振动传感器实测结果与本文算法计算结果，见表5所示。

由表5可知，本文算法获取的桥梁1阶频率、2阶频率与振动传感器实测值的误差在5%以内，满足一般工程技术要求。试验表明，本文分层优化算法获取的结构位移时程响应保留了结构的频率信息，但目前只能提取结构的低阶频率，还有待进一步研究以获取结构的高阶频率，从而进一步判断结构是否存在损伤。

表5 算法与振动传感器测量结果

(a) 第1次激励位移信息；(b) 第1次激励频率信息；(c) 第2激励次位移信息；(d) 第2次激励频率信息

5 结论

1) 影像灰度值容差算法结合自适应匹配步长与匹配模板的分层优化理论，能快速、准确地定位桥梁结构任意特征点的位置，相对于目前常用的结构几何变形监测方法其效率更高，能极大地缩短计算耗时，且图像分辨率越大，本文分层优化理论降低计算耗时的效果越显著。

2) 利用桥梁结构自身已知的物理尺寸属性进行像素标定，计算任意特征点特有的标定因子，能减小测量误差，真实地反应当前特征点的几何变形及振动情况。

3) 通过对室内自锚式悬索桥的试验研究，证明了本文方法能准确测量结构上任意特征点的位移响应，并能进一步分析获得结构的固有频率，测量结果与接触式传感器实测结果误差在5%以内，精度满足工程实践要求。

[1] 《中国公路学报》编辑部. 中国桥梁工程学术研究综述•2014[J]. 中国公路学报, 2014, 27(5): 1−96. Editorial Department of China Journal of Highway and Transport. Review on China’s bridge engineering research: 2014[J]. China Journal of Highway and Transport, 2014, 27(5): 1−96.

[2] 李惠, 鲍跃全, 李顺龙, 等. 结构健康监测数据科学与工程[J]. 工程力学, 2015 32(8): 9−15. LI Hui, BAO Yuequan, LI Shunlong, et al. Date science engineering for structural health monitoring[J]. Engineering Mechanics, 2015(8): 9−15.

[3] Yoon H, Elanwar H, Choi H, et al. Target-free approach for vision-based structural system identification using consumer-grade cameras[J]. Structural Control and Health Monitoring, 2016, 23: 1405−1416.

[4] 贺拴海, 赵祥模, 马建, 等. 公路桥梁检测及评价技术综述[J]. 中国公路学报, 2017, 30(11): 63−80. HE Suanhai, ZHAO Xiangmo, MA Jian, et al. Review of highway bridge inspection and condition assessment[J]. China Journal of Highway and Transport, 2017, 30(11): 63−80.

[5] 刘智, 张宿峰, 蔡曙日, 等. 大坡度高落差桥梁挠度监测方案试验研究[J]. 公路交通科技, 2015, 32(11): 88− 93. LIU Zhi, ZHANG Sufeng, CAI Shuri, et al. Experimental study on deflection monitoring scheme of steep gradient and high drop bridge[J]. Journal of Highway and Transportation Research and Development, 2015, 32(11): 88−93.

[6] ZHAO X, Asce A M, ZHAO Q, et al. Distributed displacement response investigation technique for bridge structures using smartphones[J]. Journal of Performance of Constructed Facilities, 2017, 31(24): 1-13.

[7] LEI X, JIN Y, GUO J, et al. Vibration extraction based on fast NCC algorithm and high-speed camera[J]. Applied Optics, 2015, 54(27): 81−98.

[8] GUO J, ZHU C. Dynamic displacement measurement of large-scale structures based on the Lucas–Kanade template tracking algorithm[J]. Mechanical Systems and Signal Processing, 2016, 66(67): 425−436.

[9] XU Y, Brownjohn J, Kong D. A non-contact vision-based system for multipoint displacement monitoring in a cable- stayed footbridge[J]. Structural Control and Health Monitoring, 2018, 25(5): 1-23.

[10] 邵帅, 周志祥, 邓国军, 等. 基于非接触远程智能感知的桥梁形态监测试验[J]. 中国公路学报, 2019, 32(11): 91−102. SHAO Shuai, ZHOU Zhixiang, DENG Guojun, et al. Experiment of structural morphology monitoring for bridges based on non-contact remote intelligent perception method[J]. China Journal of Highway and Transport, 2019, 32(11): 91−102.

[11] 王邵锐, 周志祥, 吴海军. 超大跨自锚式悬索桥施工过程中力学性能的试验研究[J]. 土木工程学报, 2014(6): 70−77. WANG Shaorui, ZHOU Zhixiang, WU Haijun. Experimental study on the mechanical performance of super long-span self-anchored suspension bridge in construction process[J]. China Civil Engineering Journal, 2014(6): 70−77.

[12] Z Dashan, G JIE, L Xiujun, et al. A high-speed vision- based sensor for dynamic vibration analysis using fast motion extraction algorithms[J]. Sensors, 2016, 16(4): 572−588.

[13] Lydon D, Lydon M, Taylor S, et al. Development and field testing of a vision-based displacement system using a low cost wireless action camera[J]. Mechanical Systems and Signal Processing, 2019(121): 343−358.

[14] 姜腾蛟, 楚玺, 唐见, 等. 基于变形轮廓线跟踪的结构整体变形监测方法[J]. 公路交通科技, 2019(6): 48−57. JIANG Tengjiao, CHU Xi, TANG Jian, at el. An overall deformation monitoring method of structure based on tracking deformation contour[J]. Journal of Highway and Transportation Research and Development, 2019(6): 48−57.

[15] 楚玺, 向小菊, 周志祥, 等. 欧拉运动放大算法在桥梁振动分析中的试验研究[J]. 公路交通科技, 2019, 36(6): 41−47. CHU Xi, XIANG Xiaojun, ZHOU Zhixiang, et al. Experimental study on Euler motion amplification algorithm in bridge vibration analysis[J]. Journal of Highway and Transportation Research and Development, 2019, 36(6): 41−47.

[16] 楚玺, 周志祥, 邓国军, 等. 模糊图像的不连续边缘智能检测改进算法[J]. 吉林大学学报(理学版), 2019(4): 875−881. CHU Xi, ZHOU Zhixiang, DENG Guojun, at el. Improved algorithm for intelligent detection of discontinuous edges of blurred images[J]. Journal of Jilin University (Science Edition), 2019(4): 875−881.

Research on bridge holographic dynamic displacement measurement method based on image data

DU Peng1, SHAO Shuai1, ZHOU Zhixiang1, 2, DENG Guojun1, JIAN Chuanyi1

(1. College of Civil Engineering, Chongqing Jiaotong University, Chongqing 400074, China; 2. College of Civil and Transportation Engineering, Shenzhen University, Shenzhen 518061, China)

In order to overcome the problems of long cycle, high cost and discrete data of traditional bridge structure inspection and monitoring, based on the image gray value tolerance and hierarchical optimization theory, a set of search mechanisms for the target object from coarse to fine gradually transition was established to obtain the dynamic displacement response of the bridge structure, and taking the indoor super-long span self-anchored suspension bridge as the research object, two types of tests were carried out, namely, car driving incentive and single point excitation in the middle of the main span. The experimental results show that the hierarchical optimization algorithm breaks the limitation that the general algorithm can only match pixel by pixel, and can significantly reduce the calculation time while ensuring the accuracy of the calculation. This will lay the theoretical foundation for the subsequent acquisition of structural holographic geometric deformation and intelligent damage identification through structural holographic image sequence data.

bridge engineering; image matching; hierarchical optimization; dynamic displacement response; structural frequency

U446.2

A

1672 − 7029(2020)10 − 2450 − 10

10.19713/j.cnki.43−1423/u.T20191154

2019−12−22

重庆市研究生科研创新项目(CYS20287)；国家自然科学基金资助项目(51778094)

周志祥(1958−)，男，四川遂宁人，教授，博士，从事桥梁健康监测与检测、数字图像处理等；E−mail：zhixiangzhou@cqjtu.edu.cn

(编辑 阳丽霞)