基于数字图像技术振动台试验结构位移信息捕捉技术研究

常铭宇,申玉生,张 熙,高 登,骆 阳,王浩鱇

(1.西南交通大学 交通隧道工程教育部重点实验室,成都 610031;2.西南交通大学 陆地交通地质灾害防治技术国家工程研究中心,成都 610031)

近年来地震频发,对人类的生命财产安全造成巨大损失,地下结构抗震性能的相关研究也因此受到了学者的广泛关注。在结构的抗震性能试验中只有振动台试验可以称之为真正意义上的地震模拟试验[1-2],因此被广泛地应用于研究结构的动力特性、设备抗震性能、检验结构抗震措施有效性[3-4]等方面。

为了研究振动台试验中模型箱、围岩、衬砌结构的破坏机理等,隧道结构位移变化特征是最为直观的动态信息。在对结构的位移等各项参数进行捕捉分析时,采用的传感器有拉线式位移计、激光位移计和位移传感器等。

目前,传统监测手段不仅要考虑隧道衬砌模型空间尺寸、振动台面积的问题,而且还要考虑传感器震动引起结构动力响应误差,进而对试验数据的精度造成干扰。如图1所示,通过支杆为仪器提供架设点位完成位移测量。因此为了满足在振动台试验中对各个结构位移、变形监测的需求,监测手段需要不断地创新和发展。

图1 隧道模型试验拉线式位移监测

近年基于计算机视觉的结构位移监测方法不断涌现,并在实际工程应用中得到验证。叶肖伟等[5]从监测系统的组成、相关算法、误差来源以及工程应用四方面梳理了计算机视觉技术在位移测量方面的应用;晏班夫等[6]通过背景差分法实现目标检测获取测点的振动位移时程曲线,并通过频率法获取拉索索力;Eisa等[7]提出了双目相机自标定技术,实现了构件的全场变形监测,为获取榫卯的变形分布提供了方法;周云等[8]改进了亚像素相关算法,在200 m外完成了对消防通道桥梁的变形监测,测量精度达到毫米级;杨娜等[9]将计算机视觉方法应用于古建筑在长期荷载和偶然荷载作用下的变形监测,在不对古建筑造成干扰的情况下完成了古建筑的变形监测。

综上,数字图像相关技术相对于其他测量手段有独有的优势,在具有小成本、低操作门槛的前提下可以实现结构非接触、非破坏变形监测。但目前计算机视觉方法在结构健康监测应用中时,相机的标定大多采取比例因子法,该标定方法具体如图2所示。当相机光轴与结构平面垂直时,尺度因子S为物体在结构平面与图像平面的尺寸之比。

(a)

该标定方法建立在测点及其所在平面的景深相等且结构运动平面垂直于相机光轴的前提下,在不满足该条件时(如图2(b)所示)则会导致监测精度难以保证,这严格限制了相机的架设点位及拍摄视角,限制了图像监测技术在位移变形监测领域的广泛应用。在振动台试验中以及其他需要监测变形位移的项目中,对于部分待测点位难以找到满足上述条件的相机架设位置,仅采用比例因子法对相机进行标定难以保证监测精度。此时工程中常用的做法是对相机进行标定来解决相机视角受限的问题,如杨娜等通过张友定相机标定法将二维图像坐标的投影关系转换到三维世界坐标进行处理,消除相机架设点位的限制,其他学者在解决相机视角及架设位置受限也大都类似[10],通过对相机标定寻找三维世界坐标到二维图像坐标的投影关系,以实现三维世界坐标系中各点到像素坐标系的转换。相机标定对于工人操作以及拍摄设备存在着较大限制,因此本文将应用于文档矫正、仪器读数[11-13]等领域的倾斜矫正技术引入到视频监测领域,并与传统的Hough边缘检测等技术结合实现倾斜矫正的自动化,进而从拍摄视频后处理的角度来解决相机架设点位及视角受限时对监测结果精度的影响。

本文基于数字图像处理技术,将YOLO-V2算法、改进Canny边缘检测、Hough变换及倾斜矫正技术相结合,提出了倾斜影像的自动矫正技术,通过将任意视角的拍摄的视频转化为相机光轴垂直于待测点位运动平面进行分析,解决了在振动台试验中对于待测点动力响应数据精准捕捉的问题,保证了监测系统的精度。经过比选采用核相关滤波对修正后的影像进行处理,实现振动台试验中对结构位移和变形的精准监测,获得隧道结构动态位移的高质量跟踪数据,为分析强地震动作用下隧道结构动力响应特征提供有力支撑。

1 基于数字图像技术的信息捕捉技术研究思路

1.1 系统的设置

采用数字图像相关技术对模型箱位移、围岩错动和隧道衬砌的变形进行监测,系统硬件及软件的设置如图3所示。硬件部分包括:标记物、Canon EOS 90D相机、华硕ROG 幻16;软件基于MATLAB R2021b编写。

图3 系统的设置图

该系统通过对拍摄的影像进行倾斜矫正,解除了比例因子法标定相机时对拍摄视角的限制,提高了数字图像相关技术在进行位移监测时的适用性。首先,通过建立用来定位标记物的数据集训练YOLO-V2模型,实现对导入视频中的标记物的自动定位;接着对标记物所在区域进行边缘检测和Hough直线定位并通过简单的几何关系确定标记物的顶点,根据标记物的四顶点在图像平面和结构平面组成的四边形的畸变关系构建模型,完成对图像的倾斜矫正;最后通过KCF对完成矫正后的视频进行目标追踪并对定位结果进行几何变换,转化为所需的数据。

1.2 倾斜自动修正理论

基于计算机视觉原理的结构位移监测技术因其远距离、非接触、高精度等优势在工程领域被广泛使用。但目前在结构位移监测时对相机的标定大多采用比例因子法,该方法只有在相机光轴垂直结构运动平面时才有较高的精度,严格限制了相机架设的位置。

在振动台试验中,考虑到隧道衬砌模型的尺寸以及振动台台面无法架设相机等诸多因素的限制,多数情况下相机光轴完全垂直目标点位运动平面无法实现,若在此时只采用比例因子法对相机标定则难以保证监测结果的精度。因此,通过图像平面和结构平面的映射关系,建立拍摄图像的畸变模型,从而对倾斜影像进行矫正,实现在倾斜摄影时的准确监测具有充分的必要性。具体的实现过程如图4所示。通过将YOLO-V2定位、改进Canny算法和Hough检测相结合,自动确定标记物的顶点在图像空间中的坐标并根据它在结构空间的坐标搭建图像的畸变模型,进而完成倾斜矫正,为后续的监测提供可靠的数据。

图4 倾斜影像的自动矫正流程图

1.2.1 YOLO-V2检测对标记物定位

目标检测的主要目的是从输入的图像中找出用户感兴趣的目标,输出其所处位置并对其进行类别判定。近年深度学习的相关技术不断创新,由此产生了丰富的基于深度学习的目标检测技术,其中YOLO-V2将目标检测文件转化为一个回归问题,实现端到端的训练和检测,具有优异的速度和精度平衡,因此本节采用YOLO-V2来完成对标记物的初始定位,并将该区域提取出来,为标记物的边缘检测做准备。

YOLO-V2的网络结构类似于GoogLeNet的架构思想,采用了1×1的归约层结合3×3的卷积层对其进行了改进。在完成YOLO-V2的网络的训练后,输入图片的检测流程如图5所示。对于输入的照片,将其划分为S×S的网格,分别判断目标中心是否处于某网格的中心,若是则由该网格负责检测,计算目标相关位置参数及目标所属类别概率,并根据置信度确定目标的最终位置及所属类别,具体的训练及预测过程如图6所示。

图5 YOLO-V2检测原理图

(a) 数据集的标注

本文采用YOLO-V2对待测点位张贴的标记物进行定位并将该区域提取出来,为标记物的边缘检测做准备。本小节从拍摄的视频中抽取了1 000帧,借助MATLAB中Image Labeler进行标注作为YOLO-V2的训练集和测试集,在训练时将标注好的数据集随机分为9∶1作为训练集和测试集,测试结果和模型的识别精度见图6(c)、(d),测试集的识别成功率为100%;与人工标记时的位置相比,其识别精度的下限为97.53%,可以较好地完成对标记物的定位,为标记物的边缘提取提供较好的基础。

1.2.2 改进Canny边缘提取

Canny算法是最为常见的边缘提取的算法之一,主要步骤有高斯滤波、梯度检测、非极大值抑制和双阈值筛选,因此具有可以通过控制边缘检测参数和阈值来调整图像质量的优良性能,但是它仍然存在抗噪能力不强以及阈值的选取受主观因素影响不够智能的问题。因此本文通过改进Canny算法进行完成对标记物边缘的提取,采用维纳滤波替代高斯滤波以提高算法的抗噪能力,采用OTSU法自适应地选取图像的双阈值避免受到人的主观因素影响[15],具体流程如图7所示。在YOLO定位的基础上保证了标志物边缘的完整提取,为后续的Hough直线检测以及标记物顶点位置的确定奠定较好的基础。

图7 Canny边缘检测流程图

在YOLO定位基础上,通过改进Canny算法对完成定位后的标记物进行边缘检测,处理结果如图8所示。由图8可知,边缘提取效果好,为Hough直线检测奠定较好的基础。

(a) YOLO定位后

1.2.3 基于Hough变换直线检测

Hough变换是实现数字图像相关技术中几何形状识别定位的经典方法,基本原理是点、线、面等几何体在不同坐标系下的变换。

y0=kx0+b

(1)

式中:k为直线的斜率;b为直线在y轴上的斜率。

对于平面直角坐标系中的任意一点(x0,y0),经过该点的直线必定满足式(1),对式(1)进行简单变换可得式(2),可以将-x0看作斜率,将y0看作截距,式(2)就变成了k-b空间上的一条直线,也表示x-y空间经过任意点(x0,y0)的所有直线。

b=-x0k+y0

(2)

式中:x0为直线的斜率;y0为直线在y轴上的斜率。

据此本文得到了检测图像中直线的一种方法。对于某边缘图像,对其中的每一个边缘点,在k-b空间中画出对应的直线;对于直线的交点进行赋权,如n条直线的交点将其赋权为n。遍历边缘图像中全部边缘点组成的k-b空间,找到权重的局部最大值点,这些点的坐标(k,b)就是边缘图像中直线的斜率和截距。

考虑到垂直于x轴的直线斜率不存在,以及计算的简便性,在实际操作时,Hough变换采用含极坐标参数(如图9所示)的直线表达形式,如式(3)所示。此时,每条直线对应于θ-p空间下的一条正弦曲线,同样可以采用赋权的方法找到边缘图像中的直线。

图9 平面内直线的Hough变换

ρ=xcosθ+ysinθ

(3)

如图10所示,通过将图像上的边缘点转换到Hough空间并分别为Hough空间中的所有交点赋予权重,最后通过找到权重的局部最大值即可确认标记物的四边;在此基础上将检测到的四条线段在图像平面区域内向四周延伸,分别交于四点,即标志物畸变后在图像空间中的四顶点的坐标,据此可推导出数字图像的畸变关系,完成对图像进行倾斜矫正。

(a) 在变换空间中寻找直线

1.2.4 照片的倾斜矫正

计算机视觉方法在桥梁等领域的健康监测应用中相机标定大多采用比例因子法,这将监测结果建立在物体平面上所有的点景深都相等的近似假设基础上。

但是如图11所示,当相机视角、架设位置受到限制,相机光轴无法垂直测的物体时,采集到的视频则属于透视映射,物体平面上点位景深各不相等,此时若简单采用比例因子法进行标定会造成较大的误差,导致监测精度不稳定、可重复性差。

(a) 相似映射

图12 透视变换的点对

根据线性代数中任意一点的空间变化理论可知,透视变换的计算流程如式(4)所示

(4)

在式(4)中,[x′,y′,z′]是矫正前图像中某点的坐标,[x,y,z]则是该点校正后图像的坐标,将该式转换为等式形式如式(5)所示

(5)

将图13中四对点位的坐标代入式(5)中,可得八个关于空间变换系数的等式,令a33=1,联立方程组,即可求得式(4)中的透视变换矩阵。

图13 透视变换点对在图像空间的显示

根据变换矩阵,对图像空间中所有的点位进行平移和旋转处理,即实现了倾斜矫正。考虑到程序的运行效率,以及在试验振动过程中标记物运动的范围,仅对标记物及其周围一定范围内进行透视变换,即可得到如图14所示的结果。

(a) 原始图像

对倾斜矫正后图像进行验证,可得纠正后标记物相邻的边两两垂直,因此透视变换有效,成功将倾斜影像转换为相机光轴垂直于测点运动平面的图片(即由透视映射转化为了相似映射),为后续比例因子标定及目标追踪提供了精度上的保障。

1.3 核相关滤波理论

本文采用目标追踪算法是为了对人工标志物或结构表面特征进行连续的识别和位置追踪,从而确定特征点在各个时刻的运动情况,并通过一定的几何关系,转化为模型箱的位移或结构的变形情况。因此目标追踪是本文的关键技术之一,选择合适的目标追踪方法是保证监测精度的关键一步。计算机视觉领域有大量特征追踪算法,如模板匹配、几何匹配、颜色匹配、特征点匹配、光流估计、基于深度学习的方法等。

本文通过比选,最终选用KCF算法[14],它是一种典型的判别类方法,将目标的跟踪问题巧妙地转化为对图像中目标和背景的二分类问题,借助岭回归方法将非线性问题转化到高维的线性空间中,简化了计算;另外引入循环矩阵,利用其频域对角化的性质,将计算从时域转换到频域,结合快速傅里叶变换,提升了运算速度。

具体实现思路如图15所示。通过对第i帧给定的目标位置提取图像块,训练得到相关滤波器,采用该滤波器完成对第i+1帧的目标定位。在后续的每一帧中,根据前一帧位置提取新的图像块,训练滤波器用于下一帧的目标检测。

图15 KCF算法的原理图

算法核心主要是采用岭回归算法训练得到滤波器如式(6)所示

f(z)=wTz

(6)

式中:w为权重系数;z为目标图像的输入。

该滤波器需要满足训练结果的损失函数最小,即通过以损失函数结果最小为目标,求解滤波器w。KCF追踪算法选择的损失函数如下

(7)

式中:f(xi)为输出期望值;yi为回归期望值;λ为控制过拟合的正则化参数。

当损失函数的值L=0时,根据岭回归算法的原理,求解可得

w=(XHX+λI)-1XHy

(8)

式中:XH为复共轭转置矩阵;I为单位矩阵。

循环矩阵具有能够被离散傅里叶矩阵对角化,使得矩阵求逆转换为特征值求逆的特点。通过引入循环矩阵可以对结果w进行快速求解。式(8)和式(9)中循环矩阵X的构造式由基样本x的循环偏移量组成,即核相关滤波算法的训练样本均由目标样本的循环偏移量得到,进而达到增加样本数量、提高训练的分类器效果的目的。

(9)

将式(9)代入式(6)可得

(10)

对式(10)两边同时进行傅里叶变换可得

(11)

对式(11)求解可得

(12)

对式(12)求傅里叶逆变换即可得到线性回归系数w,至此论文推导得到了KCF算法滤波器。值得注意的是,在遇到非线性问题时可以通过引入核函数将低纬空间的计算映射到高纬的核空间。回归系数可以等效为对偶空间的线性组合

(13)

将式(13)代入式(6)

(14)

式中,k(z,xi)=φ(xi)φ(zi)为核函数,本文核相关滤波算法采用的高斯核。

至此,将回归系数w的计算转化为了求α,则非线性问题的解为

α=(K+λI)-1y

(15)

根据第i帧图像的输入结果训练得到回归系数w,通过w对i+1帧的图片进行预测,预测结果响应最大的地方即跟踪的结果。

本节提出了一种将YOLO-V2、边缘检测、Hough直线检测和透视变换相结合的任意视角倾斜影像的自动修正技术,解决了目前在工程领域中采用比例因子法时对相机标定时,严格限制了相机的视角的问题。在完成对任意视角拍摄的视频的自动修正后,通过采用KCF算法实现对特征物的追踪及数据的捕捉,精准获得了模型箱位移、围岩错动和隧道衬砌变形监测数据。

2 振动台模型试验中位移监测系统的应用

为了验证系统的准确性及适用性,在西南交通大学陆地交通地质灾害防治技术国家工程研究中心进行了强震作用下穿越断层隧道韧性结构减震抗错性能振动台试验研究,采用该系统分别对模型箱位移、隧道衬砌变形和围岩错动的进行监测,并与拉线式位移计、位移传感器等装置得到的结果进行对比。

2.1 模型箱的位移的监测

在地震模拟试验时,由于模型箱的快速振动无法通过接触式测量手段完成对模型箱的位移监测,同时因为振动台影响范围内没有静止点位,而激光位移计等测量方式的量程较小(小于1 m),模型箱上的待测点位难以通过激光位移计等非接触式的采集仪器完成对模型箱位移的监测。因此,结合对模型箱典型部位的位移监测需求[16]以及对视频监测系统的精度验证的要求,在模型箱一侧布置了以下三种类型的五个测点,具体如图16所示。在一号测点处布置了位移传感器,连接采集仪即可得到模型箱上一号测点位置处的三个方向的位移时程图;而二号测点通过采集视频、导入监测系统处理得到二号点位标记物的位移时程图;由于一号测点和二号测点位于模型箱刚性结构部分(忽略结构的变形),因此理论上一号测点和二号测点采集到的结构的位移分量相等,据此对比位移传感计和监测系统得到的数据检验监测系统在相机光轴非垂直测点运动平面时位移监测的有效性、准确性。

图16 模型箱上位移测点布置情况

三、四、五号测点位于模型箱中部,通过张贴标记物、采集视频并处理即可得到地震动过程中箱体不同部位的相关位置的位移时程图,据此分析震动机理。三、四、五号测点位移监测的关键部位,剧烈的振动使得接触式测量方式失效;由于振动台台面(图17)的剧烈振动以及模型箱中部的结构特征,该处无法布置位移传感器或激光位移计来准确获得所需数据,这也从侧面印证数字图像监测系统在适用性方面的优越性。

图17 振动台台面

在振动台的影响范围之外架设相机,同时采集二、三、四、五号测点的数据,导入监测系统即可得到这四号点处的位移数据,具体如图18所示。导入视频后经过倾斜影像的自动修正和KCF目标追踪技术即可得到标记物在每帧图像中的位移时程图,经过简单的几何计算,即可得到标记点处的X向位移。

(d) 监测点位的位移时程

将监测点位一通过位移传感器(频率为50 Hz)采集到的该点位的X向位移和监测点位二处通过数字图像处理技术(频率为60 Hz)得到的X向位移进行对比,具体如图19所示,通过两种测量方法得到的模型箱下盘的位移时程图完全一致。

图19 图像处理与位移传感器的对比

采用2-范数偏差法,以位移传感器得到的数据作为基准信号,对监测系统得到的数据应用2-范数偏差进行评价,如式(16)所示

(16)

式中:xi为基准信号;xj为对比信号。本文以位移传感器采集到的数据为基准信号,以视频监测系统得到的位移数据为对比信号。

由于加速计的采样频率是50 Hz,而拍摄的视频的频率为60 Hz,因此将两者进行重采样,转化为同一频率后进行评价,见图19,2-范数的最大值(工况3:2-范数为:0.004 8)小于0.005,考虑到偶然误差等因素的影响,我们可以认为,视频监测系统的精度完全可以满足振动台试验的要求。

为了对两种监测方式的结果有更进一步的对比,通过傅里叶变换将测点的位移时程图转化到频域进行分析,如图20所示。

(a) 监测结果频谱对比图

信号在频域上的整体重合情况较好,相对而言低频部分的重合情况最好,随着频率的增加,误差存在一定程度的增加,精度可以满足工程监测的需要。合理推测,两种监测方法在频域上误差产生的主要原因是监测频率的不同。

2.2 衬砌内部变形的监测

考虑到隧道衬砌内部的监测点位布置的困难性,故对隧道内部已有的特征点(拉线式位移计的两端)作为监测点位进行利用,如图21所示。分别对位移计的两端进行监测,并根据简单的几何关系得到在振动过程中隧道衬砌45°方向上的收缩量和伸长量;将视频监测得到的结果与拉线式位移计进行对比验证监测系统的准确性。

图21 衬砌内部监测示意图

按照本文2.1节所示方法,分别对衬砌45°方向的拉线位移计A、B两端进行追踪,并对数据进行一定的变换处理可得两端的位移时程图,具体图22所示。

图22 拉线式位移计两端的位移时程图

对A、B两端的位移做差,除以倾斜角度的余弦值即可得到拉线式位移计的结果(即衬砌45°方向的变形量),具体计算如式(17)所示

(17)

将视频监测计算所得隧道45°和135°方向的变形量与拉线式位移计对比,考虑到拉线式位移计的结果具有迟缓性且弛缓程度与测点运动速度有关,故对比衬砌变形图的时程图并不准确,因此仅对结构在45°和135°方向的初始变形量、压缩变形量、拉伸变形量以及最终变形量共计八个数值进行对比,结果如表1所示。

表1 工况一不同监测方法的精度对比

分别计算12组工况的误差的绝对值的平均值,如表2所示,视频监测的处理结果和拉线位移计的测量结果的误差在2.5%以内,准确度较高。

表2 十二组工况不同监测方法精度对比

在受到外界因素影响无法通过张贴标记物布置测点时,监测系统对结构的特征点进行追踪,精度仍然可以满足地震模拟试验中的监测要求。

2.3 模型箱顶部土体位移的监测

在振动台试验中模型箱顶部围岩错动情况对于研究结构动力特性有着极其重要的作用。但是,受到模型箱剧烈振动等诸多因素的影响,难以采用传统的测量方式,此时也体现出视频监测系统的优越性。为了获得模型箱顶部围岩错动情况,根据张熙等[17]的研究断层内部和交界面两侧一定范围内的主要地震影响区内围岩和隧道结构弹性应变能释放率较大,变形急剧增大,因此在模型箱顶部的土体内部共布置了如图23所示的五个测点,其中两个位于模型两侧,三个位于断层破碎带内部。

图23 顶部土体的监测点位布置

按照如2.1节的处理步骤,监测在振动过程中土体的位移。通过视频监测系统,在模型箱一侧振动台影响范围之外架设相机即可得到模型箱顶部的各个点位的土体位移,充分体现了视频监测系统的经济性、适用性等优越性。

3 结 论

本文基于数字图像技术,结合振动台试验中对模型箱的位移、围岩错动和隧道衬砌变形监测的需要,研究了位移信息捕捉技术在振动台试验中的适用性,获得了以下研究结论:

(1) 针对振动台试验中对结构位移、变形监测的需求,结合目前工程上常用的比例因子法标定时对相机视角的限制,本文提出了一种将YOLO-V2、边缘检测、Hough直线检测和透视变换相结合的倾斜影像自动修正技术,在相机光轴无法垂直测点运动平面时可以对采集影像进行修正,保证了监测系统的测量精度。

(2) 为了验证该系统的准确性及适用性,采用该系统进行了振动台试验,完成了对模型箱的位移、围岩错动及隧道衬砌结构变形监测并与位移传感器、拉线式位移计的测量结果进行对比,结果表明:在测点张贴标记物时,视频监测系统与传统位移传感器获得的测点位移时程图的2-范数小于0.005;在测点难以张贴标记物时,通过对结构表面的特征物进行监测并与拉线式位移计的测量结果对比,两者的最大误差小于2.5%。

(3) 试验结果充分证明了结合了倾斜修正技术的视频监测系统在具有更高经济性以及更广泛的适用性的前提下,不仅不会对振动台试验的结果造成物理干扰,而且具有较高的准确性(2-范数小于0.005),因此该技术在振动台试验中具有较高的应用价值。