离面振动光流分析方法研究

尹爱军, 张　泉, 戴宗贤, 薛　磊

(1.重庆大学 煤矿灾害动力学与控制国家重点实验室,重庆　400044;2.重庆大学 机械传动国家重点实验室,重庆　400044;3.重庆市计量质量检测研究院第一分院,重庆　402260)

离面振动光流分析方法研究

尹爱军1,2, 张泉2, 戴宗贤3, 薛磊2

(1.重庆大学 煤矿灾害动力学与控制国家重点实验室,重庆400044;2.重庆大学 机械传动国家重点实验室,重庆400044;3.重庆市计量质量检测研究院第一分院,重庆402260)

摘要：视觉振动检测方法因大范围、非接触等特点，已得到广泛的研究和应用。研究了结构离面振动视觉检测的基本原理，建立了检测模型。根据光流法运动估计的基本原理及离面振动视觉检测模型，研究了离面振动光流分析方法，提出了两种离面振动的光流检测模型。最后，对悬臂梁进行了视觉振动检测实验，并与有限元仿真进行了对比，结果表明该方法无需图像的特征提取，能够有效地识别结构的振动参数。

关键词：光流；离面视觉；振动分析

结构振动分析对现代工程结构的性能评价和安全使用具有重要意义[1]。其中，结构振动参数的识别是结构振动分析的关键。传统的振动分析方法通常基于一个或多个传感器实现振动参数的识别，其检测系统复杂，且在一定的程度上会影响结构的固有动力学特性[2]。视觉测量作为非接触、大范围振动测量方法，得到了广泛应用和研究。

视觉测量方法中，基于结构光、单摄像机以及多目立体视觉的测量方法得到广泛的研究和应用[3]。Xu等[4]利用结构光测量系统，对复杂三维轮廓进行了高精度的尺寸测量及轮廓重建。Teyssieux等[5]利用单个高速CCD相机和显微成像系统，实现MEMS悬臂梁的面内运动精确测量。视觉振动分析主要包括数字图像相关法、高速摄像法、特征提取法、区域匹配法等。Wang等[6]利用切比雪夫矩描述子对图像的边界特征进行分析，得到复合板的结构模态。关柏青[7]提出了一种基于主动序列运动模糊图像及几何矩的面内简谐振动测量方法。王言磊等[8]利用散斑图像相关技术对海洋平台结构模型振动位移进行了监测。这些方法需要复杂昂贵的实验设备、复杂的运算过程，如辅助光源、高精度相机、结构光等；甚至要求对图像特征的精确跟踪。因此，相机性能和图像特征提取对视觉测量结果影响大。

光流法是用图像灰度模式的像素运动速度来估计物体的空间运动。光流算法主要包括Lueas-Kanade算法以及Lueas-Kanade改进算法、Hom-ehunek算法[9]、特征匹配法等。在目标分割、识别、跟踪、机器人导航等重要的计算机视觉与图像处理领域得到广泛的应用。Davis等[10]首先采用频闪显微视觉系统，综合运用光流技术提取MEMS的二维面内运动信息。王亮[11]通过特征点匹配光流算法实现了目标的检测与跟踪。Shao等[12]基于光流原理实现了头部行为的检测。

本文结合离面振动视觉检测原理和光流运动估计原理，研究了离面振动光流分析检测方法，提出了两种离面测振光流法模型，并用于悬臂梁振动检测。最后，通过本文所提方法进行了悬臂梁的离面振动测试实验，并对不同的结构振动分析方法进行了对比分析。研究结果表明，本文方法可准确识别振动频率信息，对设备和环境要求低，避免了视觉测振中的图像特征提取等问题。

1离面视觉测振原理

根据针孔成像模型，离面振动视觉测量原理如图1所示。相机垂直振动方向成像，因离面位移造成物距大小的改变，使得成像大小相应发生改变，通过分析这种成像变化即可获得结构振动特性。

图1　摄像机成像等效针孔模型Fig.1 Pin-hole model of camera imaging

如图1，O为摄像机光心，a为像距，b为物距，在t0时刻空间某点A(X(t0),Y(t0),Z(t0))，其图像位置为B(x′(t0),y′(t0))。A相对相机只做离面运动，t时刻，A离面运动w(t)后到A′(X(t),Y(t),Z(t))，图像位置B′(x′(t),y′(t))。由相似关系，像点x(t)位移为:

由于A只作离面运动，X(t)=X(t0),则上式可变为：

(1)

由式(1)可知，随着物距b的增加，离面位移引起的测量变化会显著减小。在本文的实际测量中，物距b一般远大于振动位移w(t)，则上式可以近似简化为：

(2)

同理，

(3)

设G(X,Y)为系统的振型函数，g(t)为系统的单位脉冲响应，则振动位移w(t)可由式(4)表示

w(t)=G(X,Y)g(t)

(4)

由图1及式(2)、(3)可知，空间平面某点(X,Y为常数)所对应的像点坐标为时间的函数；而视频上某点(x,y为常数)所对应的空间坐标为时间函数，即可定义N(t)=G(X(t),Y(t))，结合式(2)～(4)可得：

(5)

此时，像素位移反映了物体的离面运动，且X(t),Y(t),N(t),g(t)有相同的周期成分。由上可知，利用像素位移检测离面振动时，需要准确知道图像中特征的像素位置变化。因此图像的特征提取与识别是该方法的关键。

2光流原理

光流的概念是Gibson在1950年首先提出来的。它是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流场是物体在三维真实世界中的运动场在二维图像平面上的投影[13]。光流法就是研究如何利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，从而通过间接的方法近似得到空间物体的运动场[14]。

光流法一般有三个基本的前提假设[15]：① 相邻帧之间的亮度恒定；② 视频的取帧时间连续，相邻帧之间物体的运动比较“微小”；③ 物体运动保持空间一致性，即同一子图像的像素点具有相同的运动。

设I(x,y,t)是图像像素点(x,y)在时刻t的亮度，根据光流的亮度恒定及“微小”运动假设，有

I(x+Δx,y+Δy,t+Δt)=I(x,y,t)

(6)

设图像亮度I(x,y,t)随时间平滑变化，根据Taylor级数展开，有：

I(x+Δx,y+Δy,t+Δt)=I(x,y,t)+…

(7)

式中，e是关于δx，δy，δt的高阶误差项。由式(6)、(7)可得：

即

Ixu+Iyv+It=0

(8)

(9)

分别为该点光流速度在x和y上的分量，反映了物体的运动状况。

计算光流速度u,v的方法很多，本文采用Lueas-Kanade算法[16]。假设在一个小的空间邻域Ω上运动矢量保持恒定，有

(10)

式中，q1,q2,…,qn为邻域Ω内的像素点。设

式(10)可以表示为

CU=D

(11)

利用最小二乘法求解方程组，解得U=(CTC)-1CTD即

(12)

3光流测振原理

3.1估计空间平面特征点P(X(t0),Y(t0))的离面(Z向)振动

根据式(5)，此时N(t0)=G(X(t0),Y(t0)),X(t0),Y(t0)为常数。P所对应图像坐标Q(x(t),y(t))为时间t的函数。根据式(9)光流速度的定义，有

kX(t0)N(t0)g′(t)

同理，

v(x(t),y(t))=kY(t0)N(t0)g′(t)

则

(13)

此时，光流速度即为脉冲响应函数的微分。由于空间特征点在不同时刻的图像坐标不同，因此，这种方法同样要求每一帧图像都需要准确跟踪图像特征点，从而得到特征点在不同时刻的光流速度，即空间特征法。

3.2由特定像点Q(x(t0),y(t0))估计空间振动

根据式(5)，此时，Q点在图像中的坐标不变，其所对应空间坐标P(X(t),Y(t)),N(t)=G(X(t),Y(t))为时间t的函数。根据式(9)光流速度的定义，有

同理，

v(x(t0),y(t0),t)=k[Y(t)N(t)g(t)]′

则

(14)

此时，光流速度是3个周期相同的信号的乘积。由于这种方法计算光流时的图像坐标保持不变，因此不需要对图像特征点进行跟踪，即像点特征法。

3.3悬臂梁光流测振

悬臂梁的一阶振型函数如式(15)所示，其中β为一阶振型的特征值，L为悬臂梁的长度。

(15)

(16)

则悬臂梁振动位移函数为M(x,t)为[17]

(17)

根据式(5)，并令N(t)=G(X(t))得到离面振动的像素位移变化为

结合式(13)、(17)，即得到悬臂梁空间某点的振动速度为

结合式(14)、(17)，得到特定像素点的振动为

(20)

4实验与分析

4.1实验系统

实验系统如图2所示，其中相机为德国Baumer公司的TXG03c CCD相机，最高分辨率为656×490像素，最高分辨率下的最高帧率为90 Fps。实验中，相机正对x-y面放置，相机中心轴与z轴平行。悬臂梁为长(x向)550 mm，宽(y向)30 mm，高(z向)3 mm的合金铝板，其密度为2 900 kg/m3，杨氏模量为6.3×1010Pa。在悬臂梁x-y面中间，为黑白交界的特征线。本实验为相机在140×140分辨率下，帧率为150 Fps时，在B点进行锤击激励。

图2　实验系统图Fig.2 The diagram of the experimental system

4.2数据分析与比较

4.2.13种振动检测方法的比较

图3为t=2 s的原始图像及光流计算图像，其中光流计算矩阵为20×20。

图3　原始图像及光流计算图像(t=2 s)Fig.3 The original image and figure of optical flow calculation when t=2 s

分别利用式(18)像素变化检测法、式(19)的空间特征点光流法以及式(20)的像素特征点光流法对实验数据进行分析与比较。图4为K点所得到三种方法的响应时域波形。

图4　K点的时域响应波形Fig.4 The time-domain response signals of point K

从图4(a)与图4(b)中看出，像素变化法与空间特征点光流法存在一定的相位差。根据式(18)、(19)可知，两者之间相位差为α，当阻尼比ξ趋近于0时，α趋近与90°。根据式(13)，光流为位移的一阶微分，因此图4(b)比图4(a)含有更多的噪声成分。图4(c)可知，波形会在C区域中为常数，这是由于如图3(a)中图像A区域和B区域的纹理不够丰富，导致对应的Ix=0,Iy=0，最终导致C区域中光流值为零。

图5　K点的频率响应曲线Fig.5 The frequency response of point K

图5为图4对应的频率曲线。从图5可知，上述3种方法测得结构的一阶固有频率均为7.76 Hz，ANSYS仿真结果为7.96 Hz，两者的误差为2.51%。图5(a)中并未识别出结构的二阶固有频率，而图5(b)与5(c)识别结构的二阶固有频率为47.90 Hz，ANSYS仿真结果为49.88 Hz，两者的误差为3.97%。图5(a)和图5(b)中，边缘提取的准确性直接影响结果的准确性。图5(c)出现高阶谐波成分，因为根据式(20)，光流速度是3个周期相同的信号的乘积，且N(t)=G(X(t),Y(t))≥0，因此，该算法所得到的频率响应曲线将出现高阶谐波成分。但图5(c)中的方法无需边缘提取，算法简单。

4.2.2任取特定图像点的比较

如图3(a)，在边缘特征附近任取特征点J,K,L，利用式(20)得到三点的光流速度，其频谱如图6所示。

图6　J、K、L三点的频率响应曲线Fig.6 The Frequency Response of point J, K and L

从图6可知，在边缘特征附近任取固定点可以对结构的固有频率有效识别，固有频率对应的幅值会有改变。由于特征点选取的不同，经过纹理不够丰富的区域A和区域B的时刻会相应的改变，从而导致光流值为常数的位置发生改变，最终固有频率对应的幅值会发生改变。因此, 方法3可以在图像中的任意点准确得到结构的离面振动特性。

4.2.3与其他方法的比较

振动加速度检测法是传统的振动分析方法，而边缘提取法是常用、成熟的图像分析方法，本文采用加速度传感器检测法、边缘提取法、像素特征点光流法分别对图2(b)悬臂梁的结构振动参数识别的结果进行分析对比。其中，加速度传感器检测法是用ICP压电式加速传感器采集悬臂梁的振动信号。ICP压电式加速度传感器型号为PCB-333B45，频率范围为10～3 000 Hz，灵敏度为51.7 mV/(mm·s-1)。图7为三种方法的时域响应及其对应的频率响应。

图7　三种方法的时域响应及其对应的频率响应Fig.7 The time-domain response signal and its corresponding frequency response of the three methods

由图7可得到该试样的一阶、二阶固有频率；表1为该悬臂梁的一阶、二阶固有频率与有ANSYS限元分析的结果对比。

由表1分析可知，接触式加速度检测的误差最高，这是由于传感器在一定的程度上影响悬臂梁的固有动力学特性。边缘提取法的精度取决于边界特征提取的准确度，因此对成像设备和环境具有一定的要求，需要复杂的运算或者昂贵的成像设备支撑，如高亮度的额外辅助光照条件、高分辨率相机等。本文提出的离面振动光流视觉测量方法能够在常规成像条件下有效地识别结构的振动参数，避免视觉测振中的图像特征提取等问题。同时，与边缘提取法相比，像素特征点光流法的识别误差更低。

表1　试验与仿真结果对比

5结论

视觉测量方法具有非接触、大范围测量等优点。传统的图像测振方法需要特征匹配或者边界特征提取等复杂运算或者借助复杂昂贵的成像设备。光流法对图像亮度变化分析估计空间运动。本文研究了在常规成像条件下离面视觉测振模型，根据光流法运动估计的基本原理及结构振型分析，建立了两种离面振动光流法检测模型。论文最后对悬臂梁进行了视觉振动检测实验，并与有限元仿真进行了对比，结果表明该方法无需图像的特征提取，能够有效地识别结构的振动参数。

本文提出的基于光流法的离面视觉测量方法仍需要以下2个方面深入研究：

(1) 根据式(14)，光流速度是3个周期相同的信号的乘积。后期工作将对该信号进行分离，从而获得结构的振型函数；

(2) 本文光流法的视觉测量针对的是离面振动信号，今后将对三维复合振动信号进行深入研究，从而建立光流三维测振的一般分析方法。

参 考 文 献

[1] 黄捷. 实验模态分析中结构建模的研究及虚拟式模态分析仪的研制[D].重庆:重庆大学,2010.

[2] 李德葆,陆秋海. 实验模态分析及其应用[M]. 北京: 科学出版社, 2001.

[3] 朱铮涛,黎绍发. 视觉测量技术及其在现代制造业中的应用[J]. 现代制造工程,2004(4):59-61.

ZHU Zheng-tao, LI Shao-fa. The technology of vision measurement and its application in the modern manufacture[J].Machinery Manufacturing Engineer,2004(4):59-61.

[4] Xu Jing, Liu Shao-li, Wan An,et al.An absolute phase technique for 3D profile measurement using four-step structured light pattern[J]. Optics and Lasers in Engineering, 2012(50): 1274-1280.

[5] Teyssieux D, Euphrasie S, Cretin B. MEMS in-plane motion/vibration measurement system based CCD camera[J]. Measurement, 2011, 44(10): 2205-2216.

[6] Wang W, Mottershead J E. Adaptive moment descriptors for full-field strain and displacement measurements[J]. The Journal of Strain Analysis for Engineering Design, 2012,48(1):16-35.

[7] 关柏青. 基于主动序列模糊图像的运动估计和振动测量[D].上海:上海交通大学,2007.

[8] 王言磊,欧进萍. 散斑图像相关数字技术在海洋平台结构模型振动位移测量中的应用[J]. 世界地震工程,2006(1):94-98.

WANG Yan-lei, OU Jin-ping. Application of a digital speckle in age correlation technique to vibrationdisplacementmeasurement of an offshore platform model[J].World Earthquake Engineering,2006(1):94-98.

[9] Sun De-qing, Roth S, Black M J.Secrets of optical flow estimation and their principles[C]// Computer Vision and Pattern Recognition (CVPR).San Francisco,CA,2010.

[10] Davis C Q, Freeman D M. Using a light microscope to measure motions with nanometer accuracy[J]. Optical Engineering,1998,37(4): 1299-1304.

[11] 王亮. 光流技术及其在运动目标检测和跟踪中的应用研究[D].长沙：国防科学技术大学,2007.

[12] Shao Hui, Zhao Qi-jie, Tu Da-wei.Head behavior detection method based on optical flow theory[C]//Intelligent Environments (IE), 2014 International Conference on.Shanghai,2014.

[13] Song Xiao-jing, Seneviratne L D, Althoefer K.A kalman filter-integrated optical flow method for velocity sensing of mobile robots[J].Mechatronics, IEEE/ASME Transactions on,2011,16(3):551-563.

[14] Barron J L, Fleet D J, Beauchemin S S. Performance of optical flow techniques[J]. International Journal of Computer Vision, 1994, 12(1): 43-77.

[15] Beauchemin S S, Barron J L. The computation of optical flow[J]. ACM Computing Surveys (CSUR),1995,27(3):433-466.

[16] 郑驰. 基于光流法的单目视觉里程计研究[D].杭州：浙江大学,2013.

[17] 李克安. 等截面悬臂梁的振动分析[J]. 湖南大学邵阳分校学报,1989,1:18-21.

LI Ke-an. Vibration analysis of uniform cantilever beam [J].Journal of Hunan University Shaoyang Campus,1989,1:18-21.

Analysis of out-of-plane vibration using optical flow

YIN Ai-jun1,2, ZHANG Quan2, DAI Zong-xian3, XUE Lei2

(1. State Key Laboratory of Coal Mine Disaster Dynamics and Control, Chongqing University, Chongqing 400044, China;2. The State Key Laboratory of Mechanical Transmission, Chongqing University, Chongqing 400044, China;3. No1. Branch of Chongqing Academy of Metrology and Quality Inspection, Chongqing 402260, China)

Abstract:Visual vibration measurement has been extensively researched and applied due to its large range and non-contact characteristics. The principle of vibration detection based on the out-of-plane vision under conventional imaging condition was investigated. Models of vibration detection based on the out-of-plane vision were developed. According to these models and the principle of optical flow motion estimation, vibration measurement methods based on the out-of-plane vision using optical flow were discussed. Two basic models of vibration detection based on the out-of-plane vision using optical flow were proposed. The results of visual vibration detection experiments on a cantilever beam were rigorously compared with those of a finite element simulation to verify the efficacy of the proposed methods. It turns out that the proposed methods can effectively identify the vibration parameters of a structure without its image feature extraction.

Key words:optical flow; out-of-plane vision; vibration analysis

基金项目：中央高校基本科研业务费专项资金资助项目(CDJZR13115501);重庆大学煤矿灾害动力学与控制国家重点实验室开放课题(2011DA105287-FW201505)

收稿日期：2014-12-03修改稿收到日期：2015-04-21

中图分类号:TH113

文献标志码：A

DOI:10.13465/j.cnki.jvs.2016.10.003

第一作者 尹爱军 男，博士,教授,1978年5月生

E-mail:aijun.yin@cqu.edu.cn