基于数字图像相关理论的非接触式结构位移测量方法

周云 程依婷

摘   要：为实现结构的位移及挠度测量，开展了基于数字图像相关算法的亚像素位移测量研究. 采用改进初值的亚像素算法确定待测结构目标位置的基于像素的位移，利用相机标定方法将基于像素的位移转换为工程单位. 在数字图像处理技术的基础上对编写的程序进行数值仿真试验，位移计算结果与理论值吻合良好，验证了该程序测量精度的可靠性. 搭建视觉位移测量系统，为了验证该系统的有效性，对钢框架结构模型开展了视觉测量系统和激光位移计的对比试验;研究了相机与待测结构之间的距离对视觉测量系统精度的影响. 利用该系统测量消防通道桥梁的跨中挠度，结果表明，视觉测量系统具备非接触、低成本和便于实施远距离测量等优势，可实现以毫米级精度进行结构位移测量. 该测量方法在工程结构变形测量中具有较好的应用前景.

关键词：非接触测量;数字图像相关;位移;数字图像处理

中图分类号：TB89;TP391.4                   文献标志码：A

Abstract：This paper presents a structural sub-pixel displacement measurement by using the digital image correlation technologies for structural displacement and deflection measurement. Pixel-based displacements of a monitored structural location were determined using an improved sub-pixel algorithm. To transform pixel-based displacements to engineering units， a camera calibration method was developed. The numerical simulation test was carried out based on digital image processing algorithm. The simulation results were in good agreement with theoretical value， which validated the reliability of systematic measurement accuracy. A machine vision-based displacement measurement system was developed. A steel frame model was established for conducting experiments to investigate the follows： （i） comparison study on the measurement results obtained by the vision-based system and the laser displacement sensor， （ii） the effect of the measurement distance on the accuracy of the vision-based system. The mid-span deflection of fire-fighting bridge was measured by the developed system. The experimental results show many advantages of vision-based method such as non-contact， low-cost and convenient to implementation in realizing the structural displacement measurement with the accuracy level of millimeter. The method has wide application prospects in the deformation detection of bridges and other structures.

Key words：non-contact measurements;digital image correlation;displacement;digital image processing

位移是结构状态评估和性能评价的一个关键参数， 根据结构位移可获得结构的静、动态特性，如承载力、挠度和变形、荷载分布、荷载输入、影响线和影响面、模态参数等，通过进一步转换得到相应的物理指标，可进行结构安全评估[1]. 为了满足土木工程领域中大型基础设施的位移测量需求，工程结构的位移测量方法需要不断创新和发展[2]. 传统的位移测量手段主要分为两类：接触式测量和非接触式测量. 接触式测量方法采用的仪器有百分表、拉绳式位移传感器、线性可变差压传感器、磁致伸缩位移传感器等[1]. 这类方法易受测量环境限制，无法设置基准点时则无法使用. 非接触式测量包括全球定位系统、激光多普勒仪、全站仪和微波雷达等[1]. 其中全球定位系统[3]的测量准确性易受观测环境影响;激光多普勒仪在测量距离较远时无法使用且成本高昂;使用全站仪时，需在待测结构上安装棱镜、仪器瞄准棱镜后进行测量，全站仪的采样频率较低，不适用于结构动态位移的实时测量;微波雷达目前还受到软件和硬件方面的限制.

数字图像相关（digital image correlation， DIC）是一种在变形前后图像之间跟踪（或匹配）同一个物理点（或像素）的测量方法. 数字图像相关方法[4-5]作为一种非接触的光学测量方法，测量精度高、能够实现远距离多测点同步监测且对设备和试验环境要求低，在土木工程领域得到广泛应用[6]. 2005年潘兵等[7]对比了数字图像相关方法中3种常用的亚像素匹配算法，分析得知牛顿拉弗森算法（forward additive Newton-Raphson algorithm， FA-NR）的计算精度最高. 2014年叶肖伟等[8]提出了一种基于二维互相关的模板匹配算法，开发了针对远距离测量的机器视觉位移测量系统，工作距离为1 000 m时最大误差不超过3 mm. 2016年Shao等[9]提出了一种快速三维数字图像相关方法来实现实时测量，并且通过对比分析得到反向组合牛顿-高斯算法（inverse compositional Gaussian-Newton algorithm， IC-GN）对噪声的鲁棒性优于FA-NR算法. 2015年，晏班夫等[10]使用目标检测算法和卡尔曼滤波算法，从摄像机获取的振动图像序列中获得拉索多点的振动位移响应，并利用频率法求解拉索索力. 2017年Chen等[11]采用运动放大技术从视频中提取结构的振动，测量175 m以外的建筑物顶部天线塔的环境振动响应，识别得到的振幅为0.21 mm，视觉测量系统与激光位移计测量到的共振频率仅相差1.7%. 2018年Kim和Choi等[12]采用IC-GN算法實现非接触、远距离、高精度的应变与转角响应测量，从而对核电厂管道系统的安全状态进行评估，将整像素匹配结果作为初值代入迭代优化算法，得到亚像素精度的计算结果. 2018年，邵新星等[13]基于散斑自标定方法，建立了一套自标定三维数字图像相关测量系统，实现了对结构构件大面积的全场测量，精确测量出木结构榫卯节点在拔出过程中的全场变形. 2018年Feng等[14]提出了一种基于梯度的亚像素位移算法，采用样条插值提高位移测量的精度. 在曼哈顿大桥上实现了一台摄像机同步测量多点的竖向位移响应，9. 5 m测距下均方根误差为0. 28 mm.

本文基于传统的IC-GN算法，提出将粗-精细搜索法得到的亚像素精度的结果作为初值代入IC-GN算法中，计算目标点的亚像素位移，实现了对结构动态位移的非接触测量. 通过数值仿真试验对比该方法与两种常用的亚像素算法的性能，试验结果表明本文算法在计算精度和稳定性方面均优于其他两种算法. 通过一系列实验室试验验证本文所搭建的视觉测量系统的有效性和准确性，包括视觉测量系统与激光位移计之间的对比试验;研究改变测量距离对视觉测量系统精度的影响. 通过对实际工程中消防通道桥梁跨中挠度的实际测量，验证了该系统在实际工程结构中应用的可行性.

1   DIC位移测量基本原理

采用DIC计算某点位移的基本原理如图1所示，在未变形图像即参考图像中划分出以目标点为中心的（2M+1）×（2M+1）像素大小的方形参考子集，跟踪该子集在变形后图像中的相应位置. DIC通过相关性计算，搜索相关系数分布的峰值位置（即相似程度最大的位置）来完成匹配过程，一旦检测到相关系数极值，即可确定目标子集的位置. 根据参考子集和目标子集中心点坐标可获得该点位移矢量，分解位移矢量，得到目标点水平方向和竖直方向位移.

2   位移测量算法

像素是相机成像面的最小单位，相邻两像素之间的细分情况即为亚像素精度. 整像素位移不能满足实际工程需求，因此需要进一步地优化搜索以实现更高的测量精度，达到亚像素级别. 为计算出相关函数极值，本文首先采用整像素相关计算得到整像素坐标，然后通过非线性最优化迭代算法进行精细搜索，从而计算出精度较高的亚像素位移.

2.1   整像素相关计算

相关函数被用来描述参考子集和变形后子集之间的相似程度[7]，本文采用零均值归一化互相关函数（ZNCC）进行整像素相关计算. 假设参考图像中的某点（x，y）的灰度值为f（x，y），在变形后图像中点（x，y）移动到点（x+u，y+v），对应的灰度值为g（x+u，y+v），其中（u，v）表示点（x，y）的整像素位移. ZNCC函数表达式可简化表达为：

由于整像素相关计算需要在变形后图像上所有整像素位置进行全局搜索，导致ZNCC函数在计算过程中产生庞大的计算量. 为提高计算速度，可预先计算出与图像灰度矩阵有关的灰度积分图，对式（1）中的分子分母进行快速计算[15].整像素相关计算完成后，根据相关系数最大值点的坐标计算得到整像素位移（u，v）. 由于参考子集的变形并不总在整像素位置，因此还需要采用亚像素算法进一步优化. 本文在传统亚像素算法的基础上，提出一种改进初值的IC-GN算法.

2.2   改进初值的IC-GN亚像素位移测量算法

本文采用抗噪性能较好的IC-GN算法[15]进行亚像素匹配测量，传统的IC-GN算法将整像素坐标（u，v）作为初始值. IC-GN算法的计算效率取决于迭代的次数，因而精确合理的初值可减少迭代次数、加快结果收敛，也可避免算法在迭代过程中发散. 本文在整像素精度坐标的基础上，嵌套粗-精细搜索算法来寻找最优亚像素精度的初始坐标. 首先，以整像素相关计算得到的坐標（x+u，y+v）为中心划分一个3×3像素大小的方形子集. 为避免过大的计算量、提高计算效率，在该方形子集上分别沿着x轴和y轴方向以0.25像素为步长进行粗-精细搜索得到亚像素匹配点坐标. 但是粗-精细搜索算法仅能得到亚像素精度的u和v，无法得到u和v的偏导数ux、uy、vx、vy，因此还需要对IC-GN算法进一步优化. 将亚像素精度的u和v作为初始坐标代入传统IC-GN算法，进行后续部分的迭代计算.

3   试验验证

为了验证本文所提出的基于数字图像相关的位移测量方法的可靠性和精度，进行了数值仿真试验、实验室试验和野外实桥试验. 本文计算机配置：Intel Core i7-8700 CPU 3.2 GHz、内存为16 GB，使用MatlabR2018a编写程序进行试验.

3.1   数值仿真试验

根据Zhou[16]提出的制作散斑图方法模拟结构的变形，散斑图像尺寸为256×256像素，散斑数目为2 000，散斑颗粒直径为3像素. 以图3为参考图像，沿X方向进行平移，每次平移的位移量为0.1像素，Y方向不发生位移，连续生成一组X方向位移从0.1到1像素共10幅散斑图作为变形后的图像. 引入统计学中均值误差和标准差两个指标来衡量算法的计算精度和稳定性[7].

选取如图3所示矩形框作为感兴趣区域（ROI），在每对进行相关计算的散斑图中均设置100个测点. 采用本文所提出的改进初值的IC-GN位移测量算法，计算10幅变形后散斑图的位移，得到如图4所示的位移曲线. 由图4可知，计算值和预设位移值差距很小，基本呈线性关系，相对误差约为0.05%.   同时还利用模拟散斑图方法对比了本文提出的算法与2种常用亚像素算法（三次曲面拟合法[17]、梯度法[18-20]）的性能. 采用3种算法分别计算10幅变形后散斑图的位移，每对进行相关计算的散斑图中均设置100个测点，3种算法测量结果的均值误差曲线和标准差曲线如图5（a）（b）所示. 从图5可看出，本文提出的算法计算精度最高，无论均值误差还是标准差都优于三次曲面拟合法和梯度法.

表1给出了3种亚像素算法计算100个测点的运算时间. 由表1可得，前两种算法由于不需要迭代而直接求取位移信息，可实现较高的计算效率，但牺牲了测量精度. 而改进初值的IC-GN算法具有很高的亚像素精度，改进初值后往往仅需要数次迭代就能收敛到极值，能够满足实际工程中的计算效率需求.

3.2   实验室试验

本文采用基于改进初值的IC-GN算法，搭建了一套用于现场试验的视觉测量系统，该系统由便携式相机、三脚架、计算机等设备组成，相机采集的视频文件转存到计算机中进行后处理并提取位移. 为了验证视觉测量系统的精度及有效性，对实验室1个3层2跨的钢框架结构模型开展2组实验. 如图6所示，模型整体尺寸为1 m×1.6 m，首层层高为0.6 m，二、三层层高为0.5 m，框架柱的间距为0.5 m，梁、柱均采用50 mm×3 mm截面尺寸的钢薄板，框架模型固定于平整地面.

3.2.1   视觉测量系统与激光位移计的对比分析

为了验证视觉测量系统的有效性，选取结构的1#和2#测点作为视觉测量系统的测量目标，采用普通手机（iPhone X）的摄像头，以60 fps的采样速率获取2 280×1 080像素的图像序列. 将日本基恩士IL300+IL1000激光位移计（量程为280 mm，精度为0. 7 mm）作为参考传感器，用来评估视觉测量系统的性能，安装位置如图6（b）所示. 激光位移计获得的位移响應通过LMS Cadax-8便携式动态信号分析仪采集并储存，采样频率设置为150 Hz.

相机和结构之间的距离为4 m，将摄像头对准结构上的目标并调整相机焦距，使目标能完整地被镜头拍摄到，且在振动过程中不会超出视频范围. 完成相机标定，对结构施加初位移后瞬时释放，视觉测量系统采集测点的振动视频图像，激光位移计同步采集测点位置的位移响应.

视觉测量系统和参考传感器（激光位移计）测量得到的1#、2#测点的位移结果（截取10 s）如图7所示. 将参考传感器的测量结果作为参考数据，结果表明，视觉测量系统得到的位移测量结果与参考数据高度吻合，其位移测量结果的均方根误差估计值见表2. 当结构上的测点位移较大时，位移差值超过0.1 mm. 其原因在于：激光位移计测点的位置发生移动，从而导致激光位移计的测量出现一定误差;而基于数字图像相关的测量系统能够精确保持相同的测点位置，不会随着位移大小的改变引起误差. 由此可以证明视觉测量系统的有效性和精确性.

3.2.2   测量距离的影响

传统的位移测量传感器的精度在出厂后基本保持稳定，而基于视觉的位移测量系统的精度取决于几个不同的参数，其中相机与目标结构之间的距离是最重要的影响因素. 为研究不同测距对视觉测量系统测量精度的影响，预设3组测距（分别为1 m、3 m、6 m），在相应测距下，使用相机和激光位移计采集相同初位移释放后的框架自由振动响应. 图8所示为在不同工况下2种测量系统得到的1#测点的位移响应.

相机的采样频率为30 fps，框架绝对静止时，在测距分别为1 m、3 m和6 m工况下用视觉测量系统采集1#测点处位移，理论上1#测点实际位移为零，但是由于测量环境中存在噪声，计算过程中存在误差，实际测量结果在零值附近变化. 图9所示为视频图像序列中的目标追踪结果. 将视觉测量系统得到的非零位移定义为数据误差. 图10表示测距分别为1 m、3 m和6 m时采集到的20 s内的误差分布情况，从图10可看出，测距为1 m时，可假设该分布是平均值为-0.000 1 mm，且标准偏差为0.003 6 mm的正态分布. 将测量的精度区间定义为测量误差分布标准差的±2倍（置信水平为95%），视觉测量系统在不同测距下的测量精度见表3.

3.3   实桥试验

为了验证视觉测量系统用于实际工程结构中的可行性，将其应用在实际工程中消防通道桥梁跨中挠度的测量. 其测试桥梁段结构全长约21.60 m，车道宽度约7.07 m，如图11所示.

试验采用Panasonic Lumix GH5型相机以及100～400 mm的变焦镜头，不需要安装实体标志物. 将桥梁跨中部位作为目标区域，在距离目标区域200 m的水平地面上稳固架设相机，调整相机的焦距和角度，使得目标区域位于图像中心区域，如图12所示. 试验过程中，设置了2种不同质量的载重卡车进行跑车试验，使用视觉测量系统测量卡车通过时桥梁直线段跨中挠度的变化. 所用测试车辆均为3轴10轮重型卡车，车辆全长约8.14 m，宽度约为2.42 m，卡车参数见表4，各参数定义如图13所示. 视觉测量系统的采样频率为30 fps，视频画质的分辨率为4 K（即3 840×2 160像素）.

在原始图像中的桥梁跨中部位选取一个测点作为视觉测量系统的跟踪测量目标，视觉测量系统对消防通道桥梁跨中竖向挠度的测量结果如图14所示. 从图中可看出，挠度曲线发生了波动，但基本趋于稳定. 挠度曲线产生波动的原因是桥面上有卡车经过;挠度曲线的趋于稳定表明桥梁的健康状况良好. 结果表明，视觉测量系统无需安装标靶便能够稳定地应用在实际桥梁挠度测量试验中.

4   结   论

随着高精度相机的发展和普及，使得土木工程健康监测领域的非接触式位移测量更为便利. 本文对基于数字图像相关的结构位移测量方法展开研究，主要结论如下：

1）本文在传统亚像素位移算法的基础上，将亚像素匹配结果作为后续非线性优化迭代的初值，避免在迭代过程中发散并提高了计算精度. 通过数值仿真试验验证了该方法的精度和有效性，数值仿真试验结果表明其位移测量相对误差低于0.05%.

2）搭建了一套基于视觉的位移测量系统，实现了结构位移的非接触测量. 通过实验室试验验证视觉测量系统的准确性和稳定性. 对比分析视觉测量系统与激光位移计的测量结果，表明基于视觉的测量系统能够得到准确的动态响应测量结果. 研究测量距离对视觉测量系统精度影响的试验结果表明，视觉测量系统在一定测量距离范围内能够达到很高的测量精度.

3）将视觉测量系统应用在实际桥梁的挠度测量中，无需安装标靶便能够实现结构动态位移的远距离测量，因而基于视觉的测量系统在结构动态响应识别方面具有良好的准确性、稳定性和可靠性. 下一步考虑将视觉测量系统应用到桥梁辅助动态称重中，并开展无人机在结构位移测量中的应用研究.

参考文献

[1]    叶肖伟，董传智. 基于计算机视觉的结构位移监测综述[J]. 中国公路学报，2019，32（11）：21—39.

YE X W，DONG C Z. Review of computer vision-based structural displacement monitoring[J]. China Journal of Highway and Transport，2019，32（11）：21—39. （In Chinese）

[2]    YUN C B，LEE J J. Recent R&D activities on structural health monitoring for civil infrastructures in Korea[J]. KSCE Journal of Civil Engineering，2003，7（6）：637—651.

[3]    NAKAMURA S. GPS measurement of wind-induced suspension bridge girder displacements[J]. Journal of Structural Engineering，2000，126（12）：1413—1419.

[4]    YAMAGUCHI I. Holography，speckle，and computers[J]. Optics and Lasers in Engineering，2003，39（4）：411—429.

[5]    SUTTON M，WOLTERS W. Determination of displacements using an improved digital correlation method[J]. Image and Vision Computing，1983，1（3）：133—139.

[6]    苏勇，张青川，伍小平. 数字图像相关技术的一些进展[J]. 中国科学（物理学、力学、天文学），2018，48（9）：23—47.

SU Y，ZHANG Q C，WU X P. Progress in digital image correlation method[J]. Scientia Sinica （Physica，Mechanica and Astronomica），2018，48（9）：23—47. （In Chinese）

[7]    潘兵，谢惠民. 数字图像相关中的亚像素位移定位算法进展[J]. 力学进展，2005，35（3）：345—352.

PAN B，XIE H M. Development of sub-pixel displacement registration algorithms in digital image correlation[J]. Advances in Mechanics，2005，35（3）：345—352. （In Chinese）

[8]    叶肖伟，张小明，倪一清. 基于机器视觉技术的桥梁挠度测试方法[J]. 浙江大学学报（工学版），2014，48（5）：813—819.

YE X W，ZHANG X M，NI Y Q. Bridge deflection measurement method based on machine vision technology[J]. Journal of Zhejiang University （Engineering Science），2014，48（5）：813—819. （In Chinese）

[9]    SHAO X X，DAI X，CHEN Z. Real-time 3D digital image correlation method and its application in human pulse monitoring[J]. Applied Optics，2016，55（4）：696.

[10]  晏班夫，陳泽楚，朱子纲. 基于非接触摄影测量的拉索索力测试[J]. 湖南大学学报（自然科学版），2015，42（11）：110—115.

YAN B F，CHEN Z C，ZHU Z G. Cable force identification based on non-contact photogrammetry system[J]. Journal of Hunan University （Natural Sciences），2015，42（11）：110—115. （In Chinese）

[11]  CHEN J G. Video camera-based vibration measurement for civil infrastructure applications[J]. Journal of Infrastructure System，2017，23（3）：b4016013.

[12]  KIM S W，CHOI H S. Strain and deformation angle for a steel pipe elbow using image measurement system under in-plane cyclic loading [J]. Nuclear Engineering and Technology，2018，50（1）：190—202.

[13]  邵新星，钱帅宇. 基于自标定数字图像相关技术的榫卯构件大面积全场变形测量[J]. 东南大学学报（自然科学版），2018，48（2）：337—341.

SHAO X X，QIAN S Y. Large-area full-field deformation measurement of mortise-tenon structures based on self-calibration digital image correlation technology[J]. Journal of Southeast University （Natural Science Edition），2018，48（2）：337—341. （In Chinese）

[14]  LUO L，FENG M Q，WU Z Y. Robust vision sensor for multi-point displacement monitoring of bridges in the field[J]. Engineering Structures，2018，163：255—266.

[15]  JIANG Z Y，QIAN K M，MIAO H. Path independent digital image correlation with high accuracy，speed and robustness[J]. Optics and Lasers in Engineering，2015，65（2）：93—102.

[16]  ZHOU P. Subpixel displacement and deformation gradient measurement using digital image/speckle correlation （DISC）[J]. Optical Engineering，2001，40（8）：1613—1620.

[17]  李新社. 三次曲面的快速擬合算法[J]. 计算机应用与软件，2002（5）：56—57.

LI X S. Thrice curved surfaces fast fit algorithm study[J]. Computer Applications and Software，2002（5）：56—57. （In Chinese）

[18]  ZHANG J，JIN G，MA S. Application of an improved subpixel registration algorithm on digital speckle correlation measurement[J]. Optics and Laser Technology，2003，35（7）：533—542.

[19]  ZHANG J，JIN G C，MENG L B. Strain and mechanical behavior measurements of soft tissues with digital speckle method[J]. Journal of Biomedical Optics，2005，10（3）：034021.

[20] 潘兵，谢惠民. 面内位移测量的基于梯度的数字图像相关方法[J]. 光学技术，2005，31（5）：643—647.

PAN B，XIE H M. In-plane displacement measurement by gradient-based digital image correlation[J]. Optical Technique，2005，31（5）：643—647. （In Chinese）

[21] KHUC T，CATBAS N. Completely contactless structural health monitoring of real-life structures using cameras and computer vision [J]. Structural Control and Health Monitoring，2016，24（1）：e1852.