一种基于拼接图像的试验梁挠度测量方法

梁 栋，马传奎，刘晨景，刘 佳，李 琦

（河北工业大学a.土木与交通学院，b.电子信息工程学院，天津 300401）

实验室内测量框架、梁等结构变形是一种常见工作.对于这种近距小尺度结构位移的测量目前主要有接触式和非接触式位移传感器两种测量系统.采用接触式传感器测量结构变形需要在被测结构附近选取一个固定测量参考点，同时要求其触杆直接接触在被测元件上，因此只能得到个别点位的变形信息.非接触式传感器主要包括激光多普勒测振仪（Laser Doppler Vibrometer，LDV），LDV 可以为桥梁的振动和变形监测提供精确的位移测量结果，但测量成本相对较高，同样需要一个固定的平台作为参考.由于这些传统方法的局限性，基于计算机视觉的测量技术因其简单、经济的特点成为一种很有前途的结构响应非接触式测量工具.

利用数字图像相关计算位移、挠度和应变的光学测量技术在80 年代后期被南卡罗莱纳大学的一组研究人员引入到实验力学中［1］.如今，各种视觉传感器已被开发并应用于位移监测，包括广泛使用的数字图像相关（Digital Image Correlation，DIC）［2-3］，模板跟踪［4］，方向码模板匹配（Orientation Codesbased template Matching，OCM）［5］，方向梯度直方图［6］，光流法［7］，特征跟踪［8-10］等.

基于视觉的测量技术最早是模板匹配技术.Ye 等［2］提出了一种基于数字图像处理技术的结构位移测量方法，预先选定一个模板并与包含有目标点的原始图像进行归一化互相关运算，当相关运算结果出现最大值时，达到最佳匹配，该位置即为目标点在原始图像中的位置.Sładek 等［3］所提出的方法允许将变形后的图像由放置在任何位置的摄像机捕获.通过单映射的方法消除了结构图像的透视畸变.利用二维DIC 方法可以对校正后的图像进行空间叠加，并计算出结构的变形曲线.Guo 等［4］提出了一个高速摄影机系统来实现位移的实时测量.为了处理计算机捕获的图像，在计算机视觉领域引入Lucas-Kanade 模板跟踪算法.此外，提出一种改进的逆合成算法（Inverse Compositional algorithm，IC），以减少原算法的计算时间.Feng 等［5］介绍了一种不需要目标板的结构动态位移远程实时测量的视觉传感器系统——方向码模板匹配（Orientation-Code Matching，OCM），以亚像素分辨率精度执行，通过双线性插值对获得的方位角进行插值.Luo 等［6］指出基于强度的模板匹配算法（DIC 等）难以在弱光条件下准确跟踪低对比度自然目标的结构位移，因此，利用基于梯度相似度匹配算法（PQ-HOG）来处理低光照条件下的低对比度特征.

然而，模板匹配适用于识别平行移动的对象，识别对象在图像中的形状或位置发生变化，模板匹配法就无法识别.此外，在结构的某些局部位置，可用特征点并不丰富，无法找到足够的模板进行挠度的测量.因此学者们提出了一种特征跟踪的方法，该方法能够有效检测和匹配稳定特征.该过程一般包括检测、描述、匹配和净化（或过滤）4 个步骤.Feng 等［8］对基于计算机视觉的民用基础设施的检测方式进行了概述，提出基于特征点的匹配同时具有几何（平移、旋转和比例）不变性和光度不变性.Lydon 等［9］利用计算机视觉技术进行位移计算，研究桥梁在活载作用下的结构状态，通过在ROI 区域内搜索特征点以缩短用时，SURF 实现特征提取，KLT（Kanade-Lucas-Tomasi）跟踪器来确定检测到特 征 的 移 动.Yu 等［10］通 过SURF 特 征 检 测 符 和BRISK 特征描述符对特征进行描述，利用KNN 匹配特征点并进行匹配结果的提纯，最终得到主梁的挠度变化.

由上述分析可知，针对我国土木工程实验中常用试验梁，在传统基于计算机视觉的挠度测量系统中，相机固定在某一位置，视野固定，无法获取试验梁整体的挠度等信息.为此，本文作者设计了一种图像连续采集系统，可得到试验梁的连续多张图像，通过具有筛选机制的PCA-SIFT 技术进行图像拼接，获得试验梁全景图像，利用简化AKAZE 及改进RANSAC 算法，跟踪结构自然特征，并进行曲线拟合，得到该试验梁在各级荷载作用下的挠度曲线，实现挠度测量.

1 图像连续采集装置

本文提出的基于拼接图像的试验梁挠度测量方法，主要包括两个部分：1）基于自行走支架的图像连续采集装置；2）基于拼接图像的挠度测量方法.本节主要介绍图像采集装置.

1.1 研究对象

常用的简支试验梁为矩形截面，截面尺寸为20 cm×30 cm，两支点间梁长约180 cm，相机距离梁表面的距离约为35 cm，每张图像的视野约38 cm，采集的每张图像包含足够的重复区域用于图像拼接.

1.2 图像连续采集系统

为采集全梁图像，本文设计了一种图像连续采集装置，由控制器、自行走支架、工业相机及电源构成，如图1 所示.该装置分别利用PLC、USB接口数据线进行自行走支架的行走状态控制和相机的拍照控制、供电及图像传输.自行走支架装置包括行走系统、距离移动系统和高度调节系统，实现工业相机在左右、前后、上下方向上的位置调节.该自行走支架装置的前后、上下方向的调节皆由手动完成，在左右方向的移动通过计算机对PLC 发送指令进行控制，从而达到工业相机与结构间保持安全距离、沿主梁方向的定距移动和获取连续图像的目的.

图1 自行走支架装置Fig.1 Self-propelled support device

自行走支架与主梁平行放置，微调相机的高度和与主梁的距离，使相机视野范围覆盖梁高.本文简支试验梁的两支点间梁长约180 cm，故设置自行走支架的移动速率为5 cm/s，单次移动时间为3 s，为了稳定相机每次自行走支架停止移动10 s后，相机再自动拍照，一次拍照完成后，支架继续移动.通过12 次移动与多次拍照过程，逐步获得整个试验梁的图像，整个试验梁拍摄时间为156 s.本文的实验环境为：CPU 为Intel（R）Core（TM）i7，1.8 GHz，8 G 内存，操作系统为Windows10，软件平台为Python3.6 64 bit；所用工业相机的分辨率为3840×2880.计算机控制界面见图2.

图2 计算机控制界面Fig.2 Computer control interface

1.3 图像数据集的获取

按照视野要求，自行走支架平行放置在使相机距试验梁35 cm 的位置，进行图像采集，相邻两次采样图像间包含12 cm 的重复区域，图片重叠区域所占比重为31.6%. 采集的部分局部图像见图3.

获取试验梁的全景图像后，进行图像拼接和挠度无接触测量，见图4.

图3 具有重复区域的三张连续图像Fig.3 Three consecutive images with a repeating region

图4 基于拼接图像的试验梁挠度自动测量方法流程图Fig.4 Flow chart of automatic measurement method for test beam deflection based on mosaic images

2 图像拼接

本文采用一种优化PCA-SIFT 的图像拼接算法［11］.该算法在对图像利用SIFT 算法提取特征点的同时，在构建的DoG 尺度空间中利用Harris 算法对梁体裂缝和梁底边缘处的关键点进行提取，再对这两种算法得到的特征点进行匹配，淘汰多余特征点，进而实现多幅图像间的特征点匹配，完成对全梁图像的精确拼接，具体步骤见图5.

通过筛选出对拼接精度要求高的区域内的特征点作为拼接依据，使得在该细微区域内的拼接效果大大提升，提高匹配速度.另外，特征提取过程均在DoG 尺度空间中进行，能够消除图像间因尺度不同而造成的拼接错位问题.

图5 图像拼接流程图Fig.5 Flow chart of image Mosaic

3 基于拼接图像的挠度测量方法

针对上述拼接得到的全梁图像，本文提出了基于简化AKAZE 和自适应RANSAC 的特征跟踪方法，并通过对大量特征点进行信息整合，得到基于拼接图像的试验梁挠度测量方法.该方法的具体步骤见图6.

步骤0：提取拼接图像中感兴趣区域（Region Of Interest，ROI），即梁体边缘区域；

步骤1：提取特征，通过简化AKAZE 算法进行特征检测，BRIEF 算法描述特征；

步骤2：特征匹配，利用KNN 匹配将步骤1 提取的特征点粗匹配并通过改进的RANSAC 对匹配点对提纯；

步骤3：相机标定，利用尺度因子将像素单位转换为工程单位；

步骤4：曲线拟合，根据特征点的位移拟合试验梁挠度曲线；

步骤5：根据挠度曲线计算各位置处挠度数值.

图6 基于拼接图像的挠度测量方法流程图Fig.6 Flow chart of deflection measurement method based on Mosaic image

3.1 特征提取

AKAZE 特征检测和BRIEF 特征描述结合提取特征点，KNN 和RANSAC 用来进行特征点的匹配和提纯，同时，针对挠度测量图像的特点，对AKAZE 特征检测算法和RANSAC 匹配提纯算法进行简化和改进.

1）简化AKAZE 特征检测.

相机与被拍摄物体表面之间的距离变化是影响挠度测量精度的重要因素.本文在采集图像时严格控制自行走支架的位置，且挠度的测量基于拼接后图像，更加弱化了尺度因子变化带来的影响，因此提出了一种简化AKAZE 算法.

AKAZE 算法通过非线性扩散滤波器构造尺度空间［12］，用流动函数的散度来描述图像亮度L在不同尺度的空间变化.经典的非线性扩散方程如下

式中：div与∇分别表示散度和梯度；L为图像亮度矩阵.c(x，y，t)为传导函数，使扩散适应于图像局部结构.t是尺度参数；∇Lσ为原始图像L经过高斯平滑滤波后的梯度图像.在各向异性扩散中，图像梯度大小控制各个尺度的扩散过程.利用快速显示扩散数学框架（Fast Explicit Diffusion，FED）来求解得到图像L非线性尺度空间为

式中：I为单位矩阵；A(Li)为图像Li的传导矩阵.

简化AKAZE 算法的尺度空间只需构建一个Octave 组，组内含有5 层，AKAZE 中各层均采用与原始图像相同的分辨率.因此本文中组内层的索引s与高斯滤波的尺度参数σi有如下映射关系

式中：σo为初始尺度参数；O为尺度空间的组数；S为每组的层数.

由于非线性扩散滤波作用于时间序列上，需将以像素为单位的尺度参数σi映射到以时间为单位的尺度参数ti，公式如下

非线性尺度空间构建完成后，采用Hessian 矩阵进行特征点提取，把采样点的响应值与同层的8 个邻域点及上下相邻层的2×9 个邻域点比较判断是否为最大值，然后将二维二次函数拟合到3×3 像素邻域内Hessian 响应的行列式上，求出其最大值，得到关键点的精确定位.

2）BRIEF 特征描述符.

基于被检测特征的尺度和坐标，利用特征描述符进行描述，目前具有浮点型和二进制两种特征描述符.本文采用对存储空间的需求小，生成速度快的二进制描述子—BRIEF 特征描述子［13］.在特征点邻域内随机选取256 点对（p，q），并比较这些点对的灰度值I，若I(p)＞I(q)，则编码为1，否则编码为0，形成一个二进制编码，即特征描述子.

3.2 特征点匹配

在特征点匹配阶段，首先用基于海明距离的K邻近算法（KNN）进行粗匹配，将最近邻和次近邻比率的阈值设为0.7.粗匹配后仍存在错误匹配，因此采用改进的随机取样一致性算法（Random Sample Consensus，RANSAC）对粗匹配结果进行纯化.

RANSAC 算法［14］能够从一组包含噪声的数据集中估算数学模型，分为3 个阶段：1）抽样建模，随机选取若干个样本生成待检验模型；2）模型验证，将所有匹配点对带入上述待检验模型，并根据内点的判定误差阈值统计内点个数；3）获取最优模型，重复1）～2）阶段，经过数次迭代后，比较每次迭代所得模型的内点数，选出内点数目最多的模型.

经典的RANSAC 算法每抽取一次样本并建立模型后，需对样本集中所有的样本进行逐一检验，效果受随机抽取样本的影响较大，且计算参数时的迭代次数根据经验确定，存在计算量大、运算时间长的问题［15］.本文在抽样建模阶段前，根据海明距离匹配误差对匹配点对进行升序排列，排在前面的匹配点对，匹配结果好，因此在匹配后海明距离较小的前30%组匹配对中随机选取8 个随机样本生成待检验模型，并在前70%组匹配对中进行预检验，误差小于判定阈值70 的视为内点，并根据内点数确定迭代次数，内点率与迭代次数之间的关系为

式中：ω表示内点率，即内点数与数据集总数之比；k为迭代次数；p为置信概率，本文中取99.99%，迭代次数上限设为700（经过反复试验，迭代上限设为700，能够得到满足精度要求的测量结果）.通过限制随机取样点的范围，并进行预检验，提高了待检验模型的精度，采用自适应的迭代次数，大大提高RANSAC 算法的运行效率.

以上为本文提出的优化特征跟踪方法，即采用简化尺度空间的AKAZE 算法与BRIEF 算法结合进行特征点提取，并对KNN 粗匹配结果利用具有预检验且迭代次数自适应的RANSAC 算法进行匹配提纯，从而实现特征跟踪，获取试验梁特征点处的挠度信息.

利用本文所提出的算法与经典算法（AKAZE、SIFT、SURF 分别与RANSAC 结合的算法），以试验梁3/4 位置处的图像为例进行比较［16］，表1 可以看出本文所提出的算法在用时较短的情况下剔除了较多的误匹配点，图7 中特征匹配结果散点坐标图反映了特征匹配效果图在加载后效果图由左到右的挠度变化.

表1 4 种算法匹配结果Tab.1 Matching results of four algorithms

图7 本文算法局部匹配效果展示Fig.7 Display of local matching effect of the algorithm in this paper

3.3 相机标定

相机标定是一种确定相机内部和外部参数的方法，用于记录结构的运动，消除镜头畸变效应，并为像素单位到工程单位的转换提供比例因子.计算机视觉中常采用黑白棋盘进行相机标定，如张正友标定法［17］.在本文中，测量任务是结构的竖向挠度，可将相机标定方法进行简化，即尺度因子法［18］.当相机光轴与结构平面垂直时（α=0），尺度因子的计算式为

式中：D为结构平面内选定物体的尺寸；d为其在图像平面的对应像素数.本文在试验梁梁长范围内随机选取8 个点位分别计算尺度因子，最终选取上述8 个点位的平均值.在步骤3 中通过该尺度因子将像素单位转换成工程单位，获得以毫米为单位的挠度值.

3.4 曲线拟合

目前基于计算机视觉的挠度测量系统中，仅能得到某一位置处的变形信息，具有一定的信息局限性，因此在本文中，利用特征跟踪获取的结构长度范围内的大量特征点信息，通过曲线拟合的方法，得到该试验梁在荷载作用下的较为精确的挠度曲线，即步骤4，从而对结构安全状况进行准确描述，还可得到该结构在任一位置的挠度变化值.挠度曲线一般是连续光滑的曲线，并且在荷载作用下，可采用多项式来拟合挠度曲线［19］.

本文采用最小二乘法来进行多项式的拟合［20］，通过最小化误差的平方和寻找数据的最佳函数匹配.

4 挠度测量效果评估

本文采用测量速度和精度两个标准对本文算法和AKAZE-BRIEF、AKAZE、SIFT 算法进行比较.

4.1 试验设计

为得到梁体在不同变形情况下的多组图像，按照2.1 节中所述放置研究对象及信息采集装置，由作动器施加荷载，施加方式见图8，梁底四分点处放置百分表，梁顶荷载受力点距支点位置45 cm（两个四分点位置处），所施加荷载值分别为0、86、160 和225 kN，共计拍摄4 组图像.

图8 荷载施加方式Fig.8 Load application mode

对每组采集完的图像序列进行拼接处理，得到像素为39783×2880 的拼接全景图像，用来全梁挠度的检测.图像上传速度受其大小的影响，为加快采集速度，另将采集图像压缩后储存，拼接得到24864×1800 的压缩拼接图像，与原图拼接图像一同进行测量速度和精确度的比较.

4.2 测试速度

使用处于2 种不同荷载值下的全景图像及其压缩图像来验证本文提出算法和AKAZE-BRIEF、AKAZE、SIFT 分别 与RANSAC 结 合 的 算 法在 时间上的优越性.

试验梁挠度测量时间可以分为5 个阶段［20］：1）特征点检测用时；2）描述符计算用时；3）特征点匹配用时；4）匹配提纯用时；5）拟合曲线用时.结果如图9 和图10 所示.

图9 荷载值为160 kN 时各阶段用时结果图Fig.9 Time consumption at each stage when the load value is 160 kN

图10 荷载值为225 kN 时各阶段用时结果Fig.10 Time consumption at each stage when the load value is 225 kN

由图9 可以明显看出，4 种算法中SIFT 算法耗时最长，原图处理时间分别为66 和65 s，本文所提出的方法用时较短，原图处理时间分别为38 和35 s，与SIFT 算法相比分别缩短了42%、48%，尤其在特征描述、匹配提纯阶段，用时快速下降，且具有较多的特征匹配数量.在压缩图像中，本文方法用时更短，分别为24 和23 s.因此，本文算法具有较快的测量速度.

4.3 精确度的表达

结构挠度测量要求有足够的精确度，对作动器施加不同荷载得到的试验梁变形图像，利用本文算法和AKAZE-BRIEF、AKAZE、SIFT 算法对压缩后的图像进行挠度测量，此时尺度因子s=0.165 295 mm/pixel，并将基于拼接图像的测量结果与实际测量结果进行分析.为了量化其精度，使用均方根误差（RMSE）进行误差分析［5］

式中：n为数据集的数量；Ai和Bi分别为由视觉传感器和百分表测得的挠度数据，百分表放置在试验梁四分点位置.结果见表2.

从表2 可以看出本文提出的算法对压缩后的图像进行挠度值测量具有较高的精确度，明显优于另外三种算法，因此对压缩后的图像进行挠度测量速度更快，误差较小，具有可行性.

表2 实验室测量误差分析Tab.2 Laboratory measurement error analysis

5 结果与分析

5.1 拼接结果

对试验梁相继施加0、50、100、150、200、225 和250 kN 的竖向荷载，利用连续图像采集装置获得了试验梁照片，拼接前、后图像见图11，可以看出裂缝及梁体底缘均实现了较完美拼接.图12 为将全梁范围内图像全部拼接完成后得到的全景图像.

为验证图像拼接的必要性，现对225 kN 荷载下采用的单张图片和拼接图像挠度测量效果与百分表测量结果进行比较，单张图像测量采用与拼接图像相同的尺度因子.选取跨中及四分点位置处的3 张图像进行挠度的测量.3 种挠度测量方式的比较结果见图13.

图11 试验梁图像Fig.11 Mosaic image

从图13 可以看出，使用百分表测量挠度，只能获得测量点位置处的挠度值；基于单张图像的挠度测量，只能得到该图像覆盖范围内的变形信息，两者皆具有局限性，且由于每张图像间尺度因子的不同，测量误差较大，需对不同的照片进行尺度因子的调整才能达到理想效果；基于拼接图像的测量方法在拼接过程中使用DoG 尺度空间，使其具有相同的尺度因子，减小误差，且拼接位置处亮度的变化不会对结果产生影响.其测量误差结果见表3.

5.2 挠度测试结果

利用基于拼接图像的挠度测量方法测量，结果见图14.

从图14 可以看出，基于拼接图像的挠度测量方法所得的变形曲线与实际变形形状相似，能够方便地得到荷载作用下的挠度曲线表达式.将跨中及四分点处的挠度与百分表的测量结果进行对比，如表4 所示最大误差为7.83%，平均误差为4.02%，随着荷载值的增加，误差也逐渐减小.

图13 单张图像与拼接图像挠度测量效果对比Fig.13 Comparison of deflection measurement results between single image and mosaic image

表3 单张图像与拼接图像挠度测量误差Tab.3 Deflection measurement error of single image and mosaic image

图14 挠度测量结果Fig.14 Deflection measurement results

5.3 像素率对挠度测量的影响

本文中相机拍摄图片的像素值是确定值，相机与试验梁表面之间的距离变化会影响拍摄的试验梁在整张图像中的像素率占比，从而影响挠度测量的精度.本文试验梁截面尺寸为20 cm×30 cm，按照获取试验梁最优像素率的要求，使相机视野范围要覆盖梁高，从而得到试验梁最大像素率占比图像.因此，本文中自行走支架平行放置在使相机距试验梁35 cm 的位置，进行图像采集.图15 展示了本文相机距试验梁不同距离采集图像情况下，使用本文方法对试验梁挠度测量平均误差的影响.

表4 本文算法挠度识别结果误差Tab.4 Error of deflection identification results of the algorithm in this paper

图15 拍摄距离对挠度测量平均误差的影响Fig.15 Effect of shooting distance on average error of deflection measurement

从图15 可以看出，基于拼接图像的挠度测量方法所得的变形曲线与实际变形的平均误差，随着相机拍摄试验梁图像的像素率的变化而改变.因此，对梁构件的截面拍摄时，按照相机视野范围要覆盖梁高的要求，使梁高充满整个拍摄范围，更有利于后续图像拼接时的特征点匹配，使梁挠度测量平均误差更小.

6 结论

传统的接触式挠度测量方法仅能获得试验构件典型特征点的变形，本文提出的基于图像连续采集系统的拼接图像挠度测量方法，为实验室内测量框架、梁等结构的整体变形检测提供了一种新思路.主要结论如下：

1）图像连续采集系统采用自行走支架装置，使得工业相机实现与结构间保持合适距离、沿主梁方向的定距移动.

2）采用具有筛选机制的PCA-SIFT 图像拼接技术，可获得试验梁的高质量全景图像.拼接处的亮度变化不影响后续的挠度测量.

3）采用优化特征跟踪方法，使简化尺度空间的AKAZE 算法与BRIEF 算法结合提取特征点，并对KNN 粗匹配结果利用具有预检验且迭代次数自适应的RANSAC 算法进行匹配提纯，从而实现特征跟踪，相较经典算法可缩短用时40%，多剔除误匹配点对占总样本数的31%.

4）利用特征跟踪获取的大量特征点位置和变形信息进行曲线拟合，从而得到试验梁在荷载作用下的精确挠度曲线，平均误差为4.02%.对获取图像进行压缩处理，在保证精度的情况下，加快了测量速度.