基于机器视觉的大柔性结构振动位移测量*

徐 超，张一凡，韩晓明，邓建军

(1.西北工业大学航天学院 西安，710072)(2.空军工程大学防空反导学院 西安，710051)

基于机器视觉的大柔性结构振动位移测量*

徐 超1，张一凡1，韩晓明2，邓建军2

(1.西北工业大学航天学院 西安，710072)(2.空军工程大学防空反导学院 西安，710051)

针对空间大柔性结构受到扰动后所产生的低频率、大幅值振动变形难以测量的问题，利用基于机器视觉的结构振动位移测量方法对此类结构的振动位移进行了测量，并识别了结构的动态特性。首先，理论分析了传统的对加速度信号直接积分获得位移的方法存在低频噪声被放大的问题并进行了实验论证；然后，研究了基于机器视觉的结构振动位移测量方法，进行了方法精确度与有效性的实验验证。实验中采用数码相机作为视觉传感器，对采集的结构振动视频进行图像处理，采用数字图像相关方法提取每帧图像特征点的位置信息，应用亚像素定位方法改进测量精度。将视觉位移测量方法获得的结构固有频率与加速度数据求得的结构固有频率进行比较，验证了基于机器视觉的振动位移测量方法在大柔性结构振动位移测量和动态特性识别方面的应用有效性。

机器视觉； 大柔性； 数字图像相关； 相机标定； 振动位移

引 言

大型航天器结构的轻质化、大柔性和低阻尼特点日益突出。受到扰动后，此类结构很容易发生低频率、大幅值且持续时间较长的振动变形，影响柔性航天器结构的定位或指向精度，严重时还可能导致在轨捕获、装配等任务的失败[1-2]。因此，实时测量柔性空间结构的振动位移对航天器在轨组装、振动控制和结构健康监测等具有重要意义[3]。

工程中对振动位移的测量主要采用直接法与间接法。直接法采用位移传感器直接测量结构位移。常用的位移传感器在使用时需要参考基准点，并需要靠近或接触待测点，很难实现全场信息的非接触测量[4]。间接法一般利用加速度传感器获得结构加速度响应，经过积分获得速度和位移。大柔性航天器结构对接触式安装的传感器引起的附加质量非常敏感，且大柔性结构固有频率低，加速度测量信号中的低频噪声很难滤除。低频噪声经过积分过程会被放大，从而引起位移结果的偏差[5]。此外，考虑到航天器结构上空间有限，测量设备的质量、体积都将受到严格限制。可见，发展结构简单、非接触、高精度、全场式的测量结构振动位移的方法已成为大柔性空间结构研制的关键技术之一。

基于机器视觉的结构振动位移测量方法是近年来发展起来的一种新方法，采用数码相机获取结构振动视频，应用图像处理和数字图像相关等方法从图像中直接提取结构振动位移信息，具有结构简单、全场测量、非接触和精度高的优点[6]，在空间大柔性结构振动位移测量领域具有良好的应用潜力。目前，该方法已被应用在土木工程领域测量大型桥梁和风机叶片等结构的振动位移[7-9]，在大柔性航空航天结构振动位移测量中的应用还很少。文献[10]研究了利用视觉传感器测量大柔性无人机的结构变形，并进行了数值仿真验证。文献[11]利用视觉传感器实时测量了柔性压电悬臂板弯曲与扭转模态，并以此为基础实现板的振动控制。

笔者的主要研究目的是理论分析加速度直接积分方法在低频结构位移测量应用中的不足，并实验探究基于机器视觉的振动位移测量方法在大柔性结构振动位移测量和动特性识别方面的应用潜力。

1 直接积分加速度获得位移方法的不足

工程中常采用对加速度信号进行两次积分的方法获取待测点的振动位移，其过程可表示为

(1)

(2)

实际测量的加速度信号均为离散时间信号。理论上采用数值积分方法获得对应的速度和位移信号。积分过程在频域中可视作对原始信号乘以不同的离散传递函数[12]。以三阶校正积分为例，其积分公式为

(3)

假设采样时间间隔Δt=1 s，即采样角频率为2π rad/s。由采样定律可知，为了使采样信号可以无失真的重建原信号，采样频率必须高于两倍的奈奎斯特频率，而奈奎斯特频率必须高于被采样信号最高频率。只有当被采样信号的角频率低于π rad/s时，采样值才可能复现被采样信号。

yn=G(z)fn

(4)

其中：G(z)为离散传递函数，即

(5)

令z=eiω，代入式(5)，将离散时域传递函数G(z)转换为频域传递函数H(ω)

(6)

(7)

同理，还可写出其余3种数值积分方法的积分精度量化公式，如图1所示。由图1可知，由于不满足采样定理，当被采样信号的频率接近πrad/s时，积分误差急速增大。在小于πrad/s的频率范围内，只有当被采样信号频率低于0.5rad/s时，积分误差可忽略不计，在[0.5，π]的频率范围内，积分误差随频率增大而增大。

在实际工程测量中，测量噪声是不可避免的。在每个采样时刻k引入噪声ηk，则k时刻估计的积分信号ykest可表示为

ykest=G(z)(fk+ηk)=yk+G(z)ηk

(8)

由于噪声引入的附加积分误差可表示为

εk=ykest-yk=G(z)ηk

(9)

噪声的传递函数为

(10)

其中：FT表示对信号进行傅里叶变换；A为输出噪声；B为输入噪声。

图1 几种积分方案的积分精度传递函数比较Fig.1 A comparison of the accuracy′s transfer functions

图2 几种积分方案的噪声放大情况Fig.2 Noise amplification magnitudes from one integration step

图2为4种数值积分方法对应的噪声传递函数。由图1可知，不考虑测量误差，当被采样信号的频率小于0.5 rad/s时，积分误差基本可以忽略。当考虑测量噪声时，在小于0.5 rad/s的低频区间，噪声传递函数是会放大的，这将直接影响积分结果的精度。因此，对低频振动结构，采用对加速度直接积分获得振动位移的方法一般会造成很大的误差，迫切需要发展直接的测量方法和手段。

2 基于机器视觉的振动位移测量方法

基于机器视觉的结构振动位移测量原理框图如图3所示。笔者采用一种基于单目视觉的测量方法，有利于在空间应用时降低系统复杂度和重量。该方法的实现有两个关键步骤:a.数字图像相关；b.相机标定。

图3 基于机器视觉的振动位移测量流程Fig.3 The flow chart of the vibration displacement measurement method based on machine vision

2.1 数字图像相关方法

笔者应用数字图像相关法提取结构的像素级位移，基本原理如图4所示。选取视频中的两帧相邻图像，假设P点为结构振动位移测量的观测点，选取以P为中心的(2M+1)像素×(2M+1)像素大小的正方形为样本子区，为了在位移后的图像中找到与点P所对应的点P*，也即找到与样本子区a所对应的目标子区a*，需要建立一个衡量子区相似程度的数学指标，即相关函数，而在位移后的图像中寻找样本子区实际上是一个相关搜索的过程。这样就把位移测量问题转化为一个数字化相关计算过程，实现力学量的非接触式测量。这个过程通常是基于图像灰度值的计算，在实验室条件下，为了保证子区的识别精度，通常在结构的待测点上粘贴容易识别的标识物，如LED灯和棋盘图案等。

图4 变形前、后子区的几何形状Fig.4 The subsets′ shape before and after deformation

本研究中，相关搜索采用十字搜索法[13]，子区大小选择为31像素×31像素，与标识物在图像中的大小基本一致。当运算得到的相关系数C取极值时，可认为选取的目标子区与样本子区匹配。相关函数采用标准化协方差相关函数

C=

(11)

由于相机采集的图像为离散化的数字图像，而物体某点变形前的位置可能落到摄取的变形后图像的两整像素值之间，则该点在变形后的图像中没有相应的灰度值信息。为改进不足，在整像素搜索完成以后，笔者采用二次曲面拟合的方法进行亚像素定位，以提高位移测量的精度[14]。

2.2 相机标定方法

相机标定是利用物体的二维平面图像信息获取其三维信息过程中的关键步骤[15-16]。标定是为了确定相机的光学参数和相机相对于世界坐标的方位，即相机的内、外参数矩阵。在本研究背景下，标定的目的是为了将像素坐标系下以像素为单位的位移量转化为实际的位移物理量。

描述相机成像变换过程需要定义4个参考坐标系：世界坐标系、相机坐标系、图像坐标系和像素坐标系。相机成像变换的过程实际上就是世界坐标系到像素坐标系的转换过程，即

(12)

其中：(u,v)为物体在像素坐标系下的坐标；(Xw,Yw,Zw)为物体在世界坐标系下的坐标；A为相机内参数矩阵；[R|T]为相机外参数矩阵；zc为标定参数。

笔者的相机标定方法采用张正友标定法[17]，具有过程简单、标定模板[18]简易的优点。张正友标定法只需使用相机在不同方位获取平面标定模板的图像即可完成标定，如图5所示(实验中使用9幅图像进行标定，此处只展示3幅作为说明)。采用的标定板尺寸为270 mm×210 mm，棋盘格大小为30 mm×30 mm。首先，提取模板在图像上的网格角点，确定图像和模板上的角点一一对应并计算出图像和模板之间的单应矩阵；然后，建立模板与图像之间的网格角点的线性方程，通过求解线性方程求解式(12)中的A,R,T等参数，从而完成相机标定过程，建立像素坐标系与世界坐标系间的对应关系，实现像素位移向实际位移的转换。经过标定，本研究中使用相机的焦比fc=[1 108.4,1 120.7]，光心位置为[591.1,344.1]，标定误差为0.4像素。

图5 从不同位置对标定模板进行拍摄Fig.5 Take the pattern′s pictures from different positions

3 实 验

3.1 柔性框架结构振动位移测量实验

为了验证基于机器视觉的结构振动位移测量方法的精度和所编写程序工具箱的有效性，笔者进行了柔性框架结构的振动位移测量实验。框架结构在初始瞬态激励作用下做自由振动，与此同时，一方面使用视觉传感器记录结构上指定点的振动视频进而提取振动位移，另一方面利用直线位移传感器采集指定点的振动位移，将两者进行对比，验证视觉测量方法的精确度。

实验装置如图6所示。为了同时验证低成本商业数码相机在大柔性结构振动位移测量中的应用能力，视觉传感器采用Nikon COOLPIX L110型相机，该相机为普通家用相机，市场价低于2 000元。

选取框架结构第1层层板的中心厚度处为位移待测点，使用两种方法测量待测点的平面位移。为了方便识别，在待测点上粘贴圆形标识物，标识圆从内到外的半径为7，15和25 mm。实验中相机与柔性框架结构的距离是任意的，相机的帧频为30帧/s，分辨率为1 280×720，位移传感器的采样频率为150 Hz，实验结果如图7所示。

由图7可得，使用基于机器视觉的结构振动位移测量方法得到的位移时程曲线与位移传感器测得的位移时程曲线基本吻合。经过计算，利用视觉方法测得的位移与位移传感器测得的位移的相对误差小于1%，均方根误差为0.168 mm，充分验证了基于机器视觉的结构振动位移测量方法的精度以及笔者编写Matlab程序的有效性。

基于机器视觉的结构振动位移测量方法的误差来源主要有相机的极限误差、数字图像相关的误差和相机标定的误差。相机的极限误差与制造过程中的工艺水平有关，通常在μm的量级，可以忽略不计。由于采用二次曲面拟合的亚像素定位方法，定位精度可以达到0.02像素[14]，所以数字图像相关的误差可忽略不计。方法误差的主要来源为相机标定的误差。实验可得，相机标定误差为0.4像素，单位像素位移对应的实际位移为0.414 mm，所以相机标定的误差约为0.166 mm。

由于实验使用白色背景，所以不考虑背景环境对测量精度的影响，影响测量精度的因素主要为光照条件。实验发现，弱光照条件会使图像中标志物与背景环境的灰度值接近，这增加了辨识标志物的难度。为了尽可能地保证测量精确度，需要保证一定的光照条件使标志物易于辨识。通常情况下，在保证标志物易于区别于背景环境的基础上，使用白光光源照射可满足实验要求。

3.2 柔性板振动位移测量实验

利用基于机器视觉的振动位移测量方法进行柔性板结构的振动位移测量实验，验证该方法在结构低频振动位移测量和动态特性识别方面的应用能力。为了实验证明直接对加速度信号进行积分获得位移方法的不足，同时使用加速度传感器采集加速度信号。

实验装置示意图如图8所示。实验对象为一端悬臂安装的钢制柔性板，长为700 mm，截面尺寸为30.8 mm×1.2 mm，在自由端粘贴标识物以及加速度传感器。视频采集时采用640×480的分辨率，帧频为30帧/s。加速度传感器型号为CA-YD-1182，灵敏度为10.12 mV/m·s-2。光源采用直流供电的白光灯。实验时首先对标定模板进行不同角度的拍摄以标定相机参数；然后，向柔性板施加初始条件，使柔性板发生自由振动，同时使用加速度传感器与数码相机记录结构振动数据，最终使用基于机器视觉的振动位移测量方法计算端部振动位移。

图8 实验装置示意图Fig.8 Schematic diagram of experimental equipment

将视觉传感器测得的位移时域信号进行快速傅里叶变换，与加速度信号快速傅里叶变换的结果进行对比，如图9，10所示。可见，两种方法测得结构的低频共振峰值频率较为接近，其中一阶峰值频率为1.9 Hz，二阶峰值频率为12.2 Hz。加速度信号由于包含噪声的影响，频响结果毛刺较多。从结构低频共振频率识别方面看，两种方法得到的结果差别不大，都能识别出反映结构低频动特性的主要频率。

由于采用加速度信号直接积分获得振动位移的方法存在很大不足，利用实验获得的加速度直接积分无法获得有效的结构位移信号(有很大的趋势项)，为此笔者采用文献[4]提出的一种改进的加速度直接积分方法获取振动位移。首先，对测量的加速度信号进行带通滤波，积分获得速度信号后，再一次对速度信号滤波，最后积分获得位移信号。实验经过反复试算，带通滤波的截止频率取为0.7 Hz(下限)与30 Hz(上限)。图11为使用视觉测量方法得到的位移与文献[4]的复杂积分方法得到的位移结果对比。

图9 位移数据傅里叶变换结果Fig.9 FFT of displacement data

图10 加速度数据傅里叶变换结果Fig.10 FFT of acceleration data

图11 基于机器视觉的振动位移测量方法测得的位移与对加速度积分并滤波得到的位移的比较Fig.11 Comparison of the displacement through vision-based vibration displacement measurement method and the displacement of acceleration integral and filtering

由图11可知，采用文献[4]改进的加速度直接积分方法得到的振动位移的幅值较视觉测量方法得到的位移结果幅值低很多，这主要由于大柔性结构振动频率较低，结构固有频率与低频噪声的频谱重合，采用滤波的方法滤除噪声的同时也会滤除掉一部分真实信号，因而采用文献[4]方法获得的振动位移要远低于视觉传感器测量值，这充分证明了对加速度结果进行积分获取位移的方法存在很大误差。

4 结 论

1) 由于大柔性结构低频率、大幅值的振动特点，加速度测量信号中的低频噪声很难滤除。采用对加速度信号直接积分间接获取位移的方法存在低频噪声被放大、积分位移结果误差较大的不足。

2) 对加速度信号进行复杂的滤波操作，然后再积分获得位移的方法，由于滤除噪声的同时也滤波了信号有效成分，因此造成位移幅值误差较大。

3) 采用基于机器视觉的结构振动位移测量方法能够直接获得大柔性结构的振动位移，测量信号中能够识别出结构的主要动态特性，具有直接、成本低和精度好等优点。

[1] 黄文虎,王心清,张景绘,等.航天柔性结构振动控制的若干新进展[J].力学进展,1997,27(1):5-18.

Huang Wenhu,Wang Xinqing,Zhang Jinghui,et al.Some advances in the vibration control of aerospace flexible structures[J].Advances in Mechanies,1997,27(1):5-18.(in Chinese)

[2] 刘明治,高桂芳.空间可展开天线结构研究进展[J].宇航学报,2003,24(1):82-87.

Liu Mingzhi,Gao Guifang.Advances in the study on structure for space deployable antenna[J].Journal of Astronautics,2003,24(1):82-87.(in Chinese)

[3] Sabatini M,Gasbarri P,Monti R,et al.Vibration control of a flexible space manipulator during on orbit operations[J].Acta Astronautica,2012,73:109-121.

[4] Wahbeh A,Caffrey J,Masri S A.Vision-based approach for the direct measurement of displacements in vibrating systems[J].Smart Master Struct,2003,12:785-794.

[5] Smyth A W,Pei J S.Integration of measured response signals for nonlinear structural health monitoring[C]∥Proceeding of the 3rd US-Japan Workshop on Nonlinear System Identification and Health Monitoring.Los Angeles:[s.n.],2000.

[7] Ye Xiaowei,Yi Tinghua,Dong Chuanzhi,et al.Multi-point displacement monitoring of bridges using a vision-based approach[J].Wind and Structures,2015,20(2):315-326.

[8] Feng D,Feng M Q,Ozer E,et al.A vision-based sensor for noncontact structural displacement measurement[J].Sensors,2015,15(7):16557-16575.

[9] Kim S W,Kim N S.Multi-point displacement response measurement of civil infrastructures using digital image processing[J].Procedia Engineering,2011,14:195-203.

[10]Baraniello V R,Cicala M,Cicala L.An algorithm for real time estimation of the flexible UAV structural motions using a video-based system[C]∥14th International Conference on Information Fusion.Chicago:IEEE,2011:1-8.

[11]Qiu Zhicheng,Zhang Xiangtong,Zhang Xianmin.A vision-based vibration sensing and active control for a piezoelectric flexible cantilever plate[J].Journal of Vibration and Control,2016,22(5):1320-1337.

[12]Thong Y K,Woolfson M S,Crowe J A,et al.Numerical double integration of acceleration measurements in noise[J].Measurement,2004,36(1):73-92.

[13]芮嘉白,金观昌,徐秉业.一种新的数字散斑相关方法及其应用 [J].力学学报,1994,26(5):599-607.Rui Jiabai,Jin Guanehang,Xu Bingye.A new digutal speckle correllation method and its application[J].ACTA Mechanica Sinica,1994,26(5):599-607.(in Chinese)

[14]潘兵,谢惠民,续伯钦,等.数字图像相关中的亚像素位移定位算法进展[J].力学进展,2005,35(3):345-352.

Pan Bing,Xie Huimin,Xu Boqin,et al.Development of sub-pixel displacements registiation algorithms in digital image correlation[J].Advances in Mechanics,2005,35(3):345-352.(in Chinese)

[15]Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].IEEE Journal of Robotics and Automation,1987,3(4):323-344

[16]Luhmann T,Fraser C,Maas H G.Sensor modelling and camera calibration for close-range photogrammetry[J].ISPRS Journal of Photogrammetry and Remote Sensing,2016,115:37-46.

[17]Zhang Zhengyou.Camera calibration with one-dimensional objects[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(7):892-899.

[18]Arfaoui A.Geometric image rectification:a review of most commonly used calibration patterns[J].International Journal of Signal and Image Processing Issues,2015(1):1-8.

10.16450/j.cnki.issn.1004-6801.2017.04.023

* 国家自然科学基金资助项目(11372246)；西北工业大学研究生创意创新种子基金资助项目(Z2016049)

2016-05-20；

2016-08-12

TP391;TB532;TH741

徐超，男，1979年9月生，博士、教授。主要研究方向为飞行器结构动力学、结构健康监测技术等。曾发表《Mixed integer multi-objective optimization of composite structures with frequency-dependent interleaved viscoelastic damping layers》(《Computers &Structures》2016,No.172)等论文。 E-mail:chao_xu@nwpu.edu.cn