基于计算机视觉的拉索振动测试

陈 拔,颜全胜

(华南理工大学土木与交通学院,广东 广州 510640)

在实际工程中,拉索的自振频率是频率法索力测量[1]和拉索损伤识别[2]的重要指标,在进行索力测量或损伤检测工作前,都有必要事先对拉索进行振动测试以识别其自振频率。传统的振动测试方法是将加速度计安装在拉索表面,采集环境激励或人工激励作用下的拉索动力响应,通过线缆将加速度计振动信号传输给数字信号采集仪,输出测点的振动数字信号。传统方法虽然准确,但对于大型斜拉桥来说,该方法涉及到繁重的加速度计安装拆卸和布线工作,测量效率低下且常常需要中断交通。

与传统的接触式振动测试方法相比,基于计算机视觉的振动测试方法(简称视觉测振方法)具有非接触式、远距离和多点测量等优点,能够有效减少测量成本,目前已成功应用到实际工程当中[3-4]。该方法是将拉索局部区域或位于测点处的人工标靶作为跟踪目标,结合计算机视觉领域的目标跟踪算法对相机拍摄的拉索振动视频图像帧序列进行分析,获取目标在图像平面上的运动轨迹,进而得到目标的振动位移时程数据。季云峰[5]采用计算机视觉理论中的光流法,对图像中的拉索局部区段进行光流分析,识别测点运动位移和方向,提出了一种基于无目标计算机视觉技术的拉索振动测试方法。该方法仅适用于背景和光照条件变化小的场景,计算量大且易受到图像噪声的影响。Sung-Wan等[4]根据NCC(normalized cross correlation)模板匹配法开发了一套视觉监测软件系统,用以测试斜拉索的动力特性,结合频率法估算索力,并探究了该系统在不同天气条件下的测量精度。模板匹配法涉及到大量的模板与图像子区域的相关性计算,实时性差,且该算法采用的是图像灰度特征,会出现错误匹配到背景的情况。Zhao等[6]将智能手机用于斜拉索振动视频的采集和分析,通过霍夫直线检测识别斜拉索的倾斜角度,根据图像局部区域像素灰度轮廓函数的一阶有限差分值对斜拉索边缘直线进行定位。虽然该方法成功实现了对拉索自振频率的识别,但是在测量前需要进行繁琐的图像旋转和边缘直线检测等处理,难以保证测量效率。

尽管基于计算机视觉的拉索振动测试方法研究目前取得了一定的成果,但是仍处于发展阶段,所采用的跟踪算法通常计算效率较低,很难满足实时性的要求,对光照条件变化、运动模糊和遮挡等不利因素的抗干扰性也有待改进。

近年来,相关滤波类跟踪算法表现出了优秀的跟踪性能,具有高效、鲁棒性强和实时跟踪的优点,是目前的计算机视觉目标跟踪领域的主流跟踪算法[7]。相关滤波类跟踪算法的基本思想是训练一个相关滤波器,使得该滤波器在目标处响应最大,并抑制滤波器对于背景的响应,然后通过该滤波器检测下一帧图像中的目标位置。Bolme等[8]在2010年提出了最小化平方和误差(MOSSE,minumum out sum of squared error)算法,首次将相关滤波思想引入目标跟踪领域。该算法跟踪计算速度可达669帧/秒,展现了相关滤波用于目标跟踪的巨大优势和潜力。Henriques等[9]在MOSSE基础上提出了循环结构核(CSK,circulant structure kernels)算法,引入了核函数和循环矩阵。该算法采用循环移位密集采样策略,解决了样本冗余问题,通过岭回归和核函数训练复杂的非线性模型,使得跟踪更为准确,同时结合循环卷积理论提高训练和检测过程的计算效率。CSK算法被认为是核相关滤波跟踪算法的基础。Henriques等[10]在2015年对CSK算法进行了进一步完善,提出核相关滤波(KCF,kernelized correlation filters)算法,将原本采用的单通道灰度特征扩展到多通道,并使用了对目标外观描述性更强的FHOG特征,大幅提升了跟踪模型的精度和鲁棒性。Danelljan等[11]改进了CSK算法的模型更新机制,并采用颜色名(CN,color name)特征扩展CSK算法,结合主成分分析对高维颜色特征进行自适应降维,使算法同时满足实时性和准确性的要求。KCF算法和CN算法奠定了核相关滤波跟踪算法的基本框架,后续研究大多是在其基础上进行改进。

鉴于目前视觉测振方法所用跟踪算法存在效率和精度较低的问题,研究引入KCF和CN这两种经典核相关滤波跟踪算法用于对视频图像序列中的运动目标进行跟踪分析,并介绍了视觉测振方法的具体流程,以及核相关滤波跟踪算法原理,且基于MATLAB开发了视觉测振系统软件,用于拉索的振动测量。以单端张拉的钢绞线作为简化的拉索模型,在实验室开展钢绞线振动试验,分别选用KCF和CN跟踪算法对图像序列中位于钢绞线表面的人工标靶进行跟踪,对比它们识别出的标靶振动像素位移时程曲线和频谱图,分析这两种跟踪算法用于振动测量的可行性。同时,将视觉测振方法的各阶频率识别结果与加速度计测试结果进行对比分析,验证所提出方法的可靠性。

1 视觉测振原理

1.1 视觉测振流程

视觉测振系统由安置在拉索表面测点处的人工标靶、相机和装有视频图像分析处理软件(如MATLAB)的计算机组成。基于计算机视觉目标跟踪算法的拉索振动测试方法主要包括视频采集与分解、图像序列分析和拉索振动频率识别3个阶段,具体流程如图1所示。

图1 基于计算机视觉目标跟踪算法的拉索振动测试流程

首先,将人工标靶安置在拉索表面测点处,通过计算机控制相机在远处拍摄拉索振动视频,结合视频处理软件(如MATLAB)将传入的视频数据分解为连续的图像序列。标靶形状可自由选择,但其外观颜色与拉索表面颜色之间需要有明显的区分度,以保证测量的准确性。

然后,根据目标跟踪算法设计图像分析程序,以图像中的标靶作为跟踪目标,识别出它在图像中的位置,按图像序列号输出标靶中心在图像平面的像素坐标x。其中相邻两帧图像的时间间隔为视频帧率fps(帧/秒)的倒数,相当于信号处理领域的采样间隔。根据目标(标靶中心)在每帧时刻的像素坐标x得到拉索测点相对于像素坐标系y轴的竖向像素位移时程数据,即测点的振动信号。

当所拍摄的目标的位置与相机光轴接近,且深度变化远小于其到相机的距离时,则其从真实世界到图像平面的位置映射关系近似为线性,目标的像素位移和真实世界位移成比例[12]。由于测量对象是拉索的自振频率而不是位移,因此无需进行图像平面到真实世界的坐标变换,可直接通过FFT将测点的振动信号变换到频域,得到频谱图。然后结合常用的直接峰值法[13]对频谱图进行分析,拾取频谱图的峰值,得到拉索的多阶自振频率。

图像序列分析主要用于获取标靶的振动轨迹,是视觉测振方法的核心部分。目标跟踪算法的选取直接影响图像序列的分析速度和目标的跟踪精度。

1.2 核相关滤波跟踪算法

核相关滤波跟踪算法主要涉及到机器学习和相关滤波领域的知识,其目标在于训练学习一个对跟踪目标响应最大的相关滤波器。该算法主要包括模型训练、模型更新和在线检测3个部分,算法整体思路如图2所示。

图2 核相关滤波跟踪算法整体思路

首先根据当前帧图像中目标的位置给定一个矩形框,矩形框以目标为中心,第一帧的矩形框由目标检测算法或人工框定。然后分割出矩形框区域的图像块,提取该图像块多通道特征,并添加余弦窗以平滑边缘数据。再以上一步得到的特征数据作为训练基样本,通过循环移位生成虚拟样本,得到循环矩阵形式的训练样本集,根据虚拟样本相对基样本的移位距离和高斯函数定义训练样本的标签,结合岭回归方法对相关滤波器模型进行训练。

当前帧滤波器模型训练完成之后,根据前一帧的滤波器对当前帧训练得到的滤波器进行更新,从而得到用于检测下一帧目标位置的滤波器。

最后采用训练样本集的生成方式在下一帧时刻同样得到循环矩阵形式的候选样本集,使用更新后的滤波器对候选样本集进行相关滤波得到相关响应图,根据响应图的峰值点更新下一帧目标的位置和矩形框。重复上述过程直至跟踪结束,由此得到每一帧时刻目标在图像平面的运动轨迹。

(1) 循环移位采样 核相关滤波算法的训练和候选样本集都是通过对基样本进行循环移位生成的,循环移位生成虚拟样本的过程相当于在目标周围滑动密集采样。

以N×1维的向量x=[x1,x2,x3,…,xN]T作为基样本进行单通道特征的核相关滤波推导,最终结果同样适用于二维图像。循环矩阵C(x)定义为

(1)

其中:x称为循环矩阵的生成向量,将x中元素向右循环移位即可得到循环矩阵C(x)。

引入置换矩阵P∈RN×N:

(2)

其中:P称为循环移位算子;(P(m-1)x)T代表将行向量xT向右循环移动m-1个元素,循环矩阵C(x)的第m行的向量可以表示为(P(m-1)x)T。

通过离散傅里叶矩阵可以在傅里叶域对循环矩阵进行对角化[14]:

(3)

(2) 核岭回归 从回归的角度看,核相关滤波跟踪算法的目标是训练一个回归模型使得回归模型在训练样本上的输出与样本期望输出的误差平方和最小。

核相关滤波跟踪算法通过核岭回归对相关滤波模型进行训练。设训练样本集为X,X中第i个样本记为xi,与样本xi对应的标签(期望输出)记为yi,i=1,2,…,N。岭回归的目标是寻找一个函数f(x)=wTx,使得该函数在训练样本上的输出和样本标签值的平方差的和最小:

(4)

其中:λ为正则化系数,用于防止过拟合,可提高模型的泛化能力。标签yi由高斯函数定义。

(5)

其中:K为核矩阵;Kij=κ(xi,xj);y中元素为yi。

将式(5)最优化问题的目标函数对α求导,令梯度向量为零,即核岭回归的解为

α=(K+λI)-1y,

(6)

得到解α后可以计算核岭回归模型对于新样本z的输出为

(7)

(3) 快速训练和检测 式(6)的求解涉及到复杂的矩阵求逆运算,当样本数量较多时,计算代价非常昂贵。不过,若训练和候选样本集都是循环矩阵形式,则相应的核矩阵也是循环矩阵,适用的核函数有线性核、多项式核、高斯核和指数核等[10]。基于这一点,可以结合循环矩阵可被对角化的特性避免式(6)的求逆过程,简化运算。

将训练基样本和候选基样本分别记为x和z,x,z∈N。通过对x和z进行循环移位生成训练样本集X和候选样本集Z,X=C(x),Z=C(z)。训练样本集X对应的核矩阵为循环矩阵,

根据式(3)中循环矩阵可被离散傅里叶矩阵对角化的性质对式(6)进行简化得

(8)

其中:除法为向量对应元素点除。模型训练求解过程中的复杂求逆运算已经转换为简单的点除。

而在检测阶段可以采用同样的操作,加速检测运算。设候选样本集中第j个待检测样本为zj,响应值向量[f(z1),f(z2),…,f(zN)]T记为r，由式(7)得

r=Kzα,

(9)

(10)

其中:⊙代表向量对应元素点乘。新一帧中的目标相对上一帧的目标的位移由响应r的最大值元素所在的位置确定。

(11)

其中:F-1为离散傅里叶逆变换;σ为高斯核函数的带宽。

(4) 模型更新 考虑到前一帧训练的滤波器和目标外观模型与当前帧具有一定的相关性,采用线性插值的方式对滤波器参数α和目标外观模型x进行更新,更新方式为

(12)

(13)

其中:0<γ<1为学习因子;n为图像序列号。需要注意的是,在第n+1帧图像检测目标的过程中,使用的是更新后的模型。

(5) 多通道特征 在目标跟踪过程中,目标特征提取是影响算法准确性和鲁棒性的关键部分[16]。因而,选取适当的特征是设计视频目标跟踪框架需要重点考虑的问题。CSK算法[9]采用的是单通道灰度特征,容易受到光照变化、噪声、形变和运动模糊等的影响。KCF算法[10]采用FHOG特征(Felzenszwalb's HOG feature)对CSK算法进行改进,CN算法[11]采用CN特征对CSK算法进行改进,这两种特征在大多数场景中都具有一定的不变性,能很好地表征目标的外观信息。

FHOG特征[17]描述了目标的局部形状轮廓信息,由Felzenszwalb提出,是对方向梯度直方图(HOG,historgram of oriented gradients)特征[18]的改进,将原HOG特征的信息进行了压缩,并且摒弃了块的概念,保留了单元格的空间信息。颜色名(CN)由语言学家Berlin等[19]提出,包含11种基本颜色:黑、蓝、棕、灰、绿、橙、粉红、紫、红、黄和白。Weijer等[20]在Berlin的理论基础上,通过搜索的大量谷歌图像数据建立了从RGB颜色值到这11种基本颜色的映射关系,提出了CN特征。

接下来将基于单通道特征的核相关滤波拓展到多通道。用x表示从基样本提取得到的多通道特征:x=[x1,x2,…,xN]T,其中xi∈m为将m个通道的特征串联起来的特征向量。根据式(11)以及离散傅里叶变换的线性,得到多通道特征核矩阵的生成向量为

kxx′=

(14)

2 实验室钢绞线拉索模型试验

2.1 试验装置

试验以单端张拉的单束预应力钢绞线作为简化版的拉索,实验室拉索模型如图3所示。模型右端安装穿心式千斤顶作为张拉端,左端通过锚具进行固定。左右两端的混凝土锚块下部都安置了与地面固接的钢制挡板,以防止混凝土锚块在张拉过程中向内侧滑移(左侧锚固区与挡板见图3)。

图3 试验装置

试验选用公称直径为15.2 mm的7根钢丝捻制的标准型预应力钢绞线,其线质量为1.101 kg/m,有效截面面积为140 mm2,弹性模量为1.95×105MPa。钢绞线左右2个锚固点间距为11.8 m。

试验的主要设备有:计算机、相机、加速度计、数字信号采集仪、穿心式千斤顶和2000型标准负荷测量仪。计算机CPU型号为Intel Core i5-7300HQ @2.5 GHz。相机型号为佳能EOS-5D-Mark Ⅲ,分辨率设置为1 280×720,帧率为50帧/秒。数字信号采集仪采样频率设置为200 Hz,采用扬州晶明科技有限公司的振动测试专业软件JMTEST动态信号测试分析软件导出加速度计的振动数据。

2.2 试验方案

实际拉索模态试验中,通常将测点设置在索的四分之一点附近,以获取较为理想的频域结果[21]。该试验以距右侧锚固点2.5 m处作为测点,采用初位移的方式在钢绞线距右侧锚固点5 m处进行人工激励,分别通过视觉测振方法和加速度计方法拾取测点的振动信号。

试验时裁剪一小段绿色的聚氯乙烯绝缘胶带作为人工标靶,安装在钢绞线上的测点处。将远处的相机对准标靶,使得标靶在相机视场中心,随后把相机固定。在标靶附近安置加速度计,使用聚氯乙烯绝缘胶带将其紧密固定在钢绞线之上(见图3)。通过计算机控制相机和数字信号采集仪同时进行数据采集。

为测试不同张拉力工况下视觉振动测量方法的精度,进行了4次试验,张拉力分别为3.5 kN、4.5 kN、5 kN和7 kN,张拉力由与千斤顶相连的负荷测量仪进行测定。

2.3 视觉测振系统软件

根据核相关滤波跟踪算法原理,基于MATLAB平台开发了拉索振动视频分析程序和基于快速傅里叶变换算法的频谱分析程序,并结合MATLAB App Designer设计了可交互的软件,实现了视频测振过程的可视化,App软件界面如图4所示。软件支持振动视频的导入以及将视频分解为连续图像序列的功能,可人工框选首帧图像中的跟踪目标,选择跟踪算法类型,并且能够实时输出跟踪结果和振动时程曲线,在跟踪结束后输出幅值谱图。

图4 视觉测振系统软件

2.4 试验结果分析

结合视觉测振系统软件,分别选择KCF算法和CN算法对相同的视频图像序列分析,跟踪图像中钢绞线表面的人工标靶,输出其像素振动位移时程曲线,采用快速傅里叶变换算法获取其振动频谱。该过程相当于钢绞线的单点振动测量。然后,将所得结果与加速度计时域和频域数据进行对比,以验证视觉测振方法的精度。限于篇幅,仅展示3.5 kN以及7.0 kN张拉力工况下的时域和频域数据,如图5和图6所示。

图5 3.5 kN张拉力工况下测点振动时域曲线和幅值谱

图6 7.0 kN张拉力工况下测点振动时域曲线和幅值谱

由图5和图6的时域曲线可知,KCF的时域曲线中部分点附近的位移不发生变化,整个曲线呈一种平整的形状,而CN识别的目标像素位移更为精细和准确。其原因为:KCF算法所采用的FHOG特征描述的是图像块局部单元格的梯度统计信息,当目标在相邻两帧间的实际像素位移差很小时,会使得跟踪框内训练和候选基样本的FHOG特征几乎一致,从而导致下一帧目标检测得到的响应图的峰值点与当前帧相同,于是检测得到的目标位置在连续两帧或两帧以上的图像中保持不变。另外,基于FHOG特征的核相关滤波跟踪算法计算出的相邻两帧目标像素位移差只能为图像块局部单元格尺寸的整数倍(FHOG特征的单元格尺寸最小为2×2像素),这意味着当图像块局部单元格尺寸选取较大时,将会造成位移信息的大量丢失。在拉索振动幅度较小时,应避免采用FHOG特征。

由图5和图6的频域幅值谱图可知,KCF和CN的幅值谱图峰值显著,峰值点对应的频率与加速度计基本相同,说明视觉测振方法用于拉索振动频率识别是可靠的。

通过直接峰值法提取不同张拉力工况下的幅值谱图峰值作为钢绞线的自振频率,所得到的各阶频率结果如表1所列。表1中KCF和CN分别表示将KCF算法或CN算法用于视觉测振系统得到的钢绞线各阶振动频率结果，且二者的结果基本相同。

表1 基于视觉测振方法与加速度计方法的振动频率识别结果

表1中最大频率相对误差的计算公式为

3 结论

(1) 基于计算机视觉的振动测试方法通过相机、计算机和安置于拉索表面的人工标靶即可完成振动测量,无需接触拉索,具有非接触式、快速准确和经济实用的优点。

(2) 通过视觉测振方法对实验室钢绞线进行振动试验,并与加速度计进行对比,试验结果表明:视觉测振方法与加速度计方法均能识别出拉索的前三阶自振频率,两种方法所识别出的各阶频率的最大相对误差为-0.12%,验证了研究方法的准确性和可行性。

(3) 采用KCF和CN这两种经典核相关滤波跟踪算法对拉索振动视频进行分析,能够快速计算出跟踪结果,且频域峰值结果基本一致。但是采用FHOG特征的KCF算法会造成目标时域位移信息的丢失,当拉索振动幅度较小时,不建议使用KCF算法。