基于YOLOv5 目标检测模型和视觉的垂直位移测量方法

周学友，王西苑，刘永畅，刘亚文，覃 磊*

（1.中国南水北调集团中线有限公司渠首分公司，河南 南阳 473132；2.武汉大学遥 感信息工程学院，湖北 武汉 430079）

视觉位移测量可分为基于单目、双目和多目视觉的位移测量方式，由于单目视觉位移测量方式仅需要一台相机进行拍摄，视角相对较大，可采集到的数据点分布广泛，且计算简单方便，更适用于实时监测。文献[1-2]提出将平面棋盘格靶标和PnP 算法相结合，建立了一套单目视觉测量方法,用于结构位移的非接触测量。文献[3]提出一种基于组合特征图案的单目视觉三维振动测量方法，采用单目相机对圆形和正弦条纹组合图案进行连续成像，实现结构三维振动的同步测量。文献[4]则通过在复杂地下交通枢纽工程位移检测中对比机器视觉和测量机器人2 种方法，验证了机器视觉技术在测量实时性、自动化程度和成本方面均有优势。单目视觉位移测量主要包括相机检校、标志物特征提取、特征跟踪和位移计算4 个步骤，其中现有研究中标志物兴趣区域（ROI）的提取主要采用人工方法，位移测量过程中CCD 相机架设的观察点多为测量目标之外的固定点。但对于重力坝内部廊道、涵洞等封闭区间建筑物位移监测，观测点本身在测量目标内，即观测点为动点。为此，本文提出基于YOLOv5 目标检测模型和视觉的封闭空间建筑物垂直位移测量方法，可实现标志物ROI 自动检测与跟踪，同时能够满足观测点布设在封闭建筑物区域内的垂直位移高精度测量。

1 基于视觉的垂直位移测量方法

本文提出基于YOLOv5 目标检测模型和视觉的封闭空间建筑物垂直位移测量方法，主要包括基于YOLOv5模型的标志物提取、定位及基于视觉的垂直位移测量三部分。首先利用YOLOv5 目标检测模型提取影像上标志物兴趣区域ROI，然后在ROI 内进行图像预处理，canny 算子边缘提取及边缘点拟合椭圆提取圆心，最后考虑观测点为动点状态下，将相邻帧间标志物圆心像素变化转化的垂直位移值，实现封闭区间建筑物位移监测。

2 标志物感兴趣区域提取与定位

2.1 基于YOLOv5模型的标志物提取

封闭空间建筑物影像灰度对比度低，纹理匮乏，不易提取特征点。为提高监测精度，需要设计标志物作为监测点。圆形标志物形状简单，且在图像处理中易于识别，考虑到弱光线的封闭空间环境，设计标志物背景色为黑色，标志物为4 个白色圆形的排列。

标志物通常在图像中所占区域不大，为了减少计算量，可将标注物所在的区域即感兴趣区域ROI提取出来，后续的标志物定位和跟踪可以在标志物ROI 内进行。传统方法采用人工框选标志物ROI，随着深度学习模型的发展，卷积神经网络在目标检测方面取得了出色的表现，本文采用单阶段YOLOv5 目标检测模型识别与提取标志物ROI[5]。YOLOv5 对标志物的识别与提取过程为，首先输入端对图像进行预处理，并进行自适应锚框计算；然后主干网络在不同图像细粒度上聚合，提取3 种尺度的特征图；再次特征融合模块使用空间金字塔池化结构（spatial pyramid pooling，SPP）进行特征融合，将新得到的特征图通过路径融合网络（path aggregation network，PANet）进行特征传递，进一步融合特征；最后输出端对图像特征进行预测，生成边界框并预测类别[6]。

2.2 基于椭圆拟合的标志物圆心定位

YOLOv5 模型检测的标志物ROI，先要经过图像灰度化、中值滤波和大津法二值化等图像预处理，然后利用canny 算子进行边缘提取及边缘点拟合椭圆，最后得到椭圆圆心。

标志物的圆心定位是后续算法计算目标分辨率和标志物像素位移的关键，其定位的精度是影响垂直位移测量精度的重要因素之一。常用的亚像素定位方法有灰度重心法和椭圆拟合方法[7-8]，灰度重心法在标志物变形较大时，提取的重心会偏离圆心，本文采用椭圆拟合法进行标志物圆心提取。公式（1）为椭圆方程，方程包含A、B、C、D、E5 个未知数，当边缘像素点个数N≥5 时，按照最小二乘平差求得方程系数后，根据公式（2），可得到椭圆圆心[9]。图1所示为标志物圆心定位的过程。

图1 圆心定位

本文标志物为4 个排列的圆，将4 个圆心的平均值作为最终标志物的圆心，用于后续相邻帧间像素位移值计算。

3 基于视觉的垂直位移测量

3.1 目标分辨率

目标分辨率（K，mm/pixel)为确定像素长度与实际物理长度之间的关系，本文采用的目标分辨率的计算方法为位移标定法[7]，位移标定法为使标志物于成像系统中横向或竖向产生位移，计算图像中标志物发生位移时圆心矩像素位移值Lh与圆心矩已知物理位移值LH之间的比例系数。

3.2 相邻帧间标志物跟踪

位移监测是对不同时刻标志物位置坐标的变化进行分析，因此需要跟踪相邻帧标志物在图像中的位置。常用的目标跟踪算法有模板匹配算法、特征点匹配和光流法等[10]，本文采用标志物ROI 邻近跟踪法。对当前帧中任一标志物ROI，可以获得其外接矩形框坐标，在相邻帧上搜索与该目标标志物ROI外接矩形框距离最近的标志物ROI，即为跟踪的同名标志物ROI，如图2 所示（图2 中红色矩形框为目标标志物ROI在相邻帧图像上的投影）。

图2 邻近法

图3 标志物检测结果

3.3 标志物垂直位移计算

当CCD相机水平，安置在固定观测点，且标志物竖直情况下，不同时刻的同名标志物圆心y坐标差值和目标分辨率的乘积即为该标志物垂直位移，如式（4）所示。

如果观测点为动点，则任一标志物的垂直位移均要除去安置在观测点上CCD相机的垂直位移∆d。

这种情况下，CCD相机获取监测点上标志物影像时，需要包含一个基准点（不动点）。基准点上标志物圆心在不同时刻的y坐标差值，根据目标分辨率可以转化为对应的垂直位移值∆d，该值即为观测点上CCD相机的垂直位移。

4 实验与分析

4.1 圆形标志物ROI提取与定位实验

YOLOv5 网络模型训练的数据集采用程序合成方式生成，背景图像一部分来源真实大坝廊道影像，一部分取自矿井图像数据集oivio Dataset[19]，共404 幅。将标志物模板进行旋转、缩放、平移等操作后形成不同大小和变形后的标志物模版，并随机附加到背景图像上，记录对应的标志物模版外接框坐标范围。模型训练过程中，训练集290 张，验证集114 张，检测的结果显示实验中标志物均被检测出，没有出现遗漏。

分别采用重心法和椭圆拟合法对标志物圆心定位，实验结果表明二者计算得到的标志物中心坐标差异并不大，通常小于1个像素，如图4a所示，绿色十字标志代表灰度重心法的结果，红色十字标志代表最小二乘椭圆拟合法的结果。但是，对于遮挡导致标志物边缘提取不完整情况下，使用最小二乘椭圆拟合法提取的圆心更准确，如图4b所示。

图4 标志物圆心定位对比

4.2 标志物垂直位移测量实验

本文实验包括两部分，实验一为不同目标分辨率标定方法及CCD相机是否固定对标志物垂直位移精度的影响，实验二为实际场景下目标垂直位移监测。

实验一的数据采集设备主要由CCD相机、垂直移动平台、计算机和高度尺（分辨率为0.01 mm）组成。为了能够获得标志物移动真值，将标志物安置在垂直移动平台上，通过转动上升螺旋调整标志物的位移，高度尺显示位移数值。CCD相机水平放置，分别上升垂直移动平台到不同高度，获取标志物影像，影像大小为1 944×2 592像素。

目标分辨率还可以用尺寸标定法和比例尺标定法，尺寸标定为影像上标志物圆的直径与实际标志物圆直径之比，比例尺标定法为焦距与CCD相机到标志物的垂直距离之比。表1和表2分别为CCD相机安置在固定和移动观测点情况下的垂直位移测量结果，选用平均误差和中误差作为精度评价指标。表1和表2可以看出：①位移标定法测得的标志物垂直位移精度最高。②CCD相机固定时较移动情况下垂直位移测量精度高。

表1 CCD相机安置在固定观测点的垂直位移测量/mm

表2 CCD相机安置在移动观测点的垂直位移测量/mm

实验二为室内实习场横梁垂直位移测量。如图5所示，横梁固定在实习场屋顶上方，挂件悬挂在横梁中部，通过升降可调整其高度，升降的震动会引起横梁垂直方向产生位移。以挂件为中心，在横梁左右方向上各布设2 个标志物，CCD 相机水平架设在支架上。距离横梁5 m 左右，通过遥控器控制挂件进行升降，CCD 相机连续获取横梁影像。表3 为横梁上标志点不同时刻的垂直位移测量值。

表3 不同时刻横梁标志点垂直位移/mm

图5 横梁垂直位移数据采集

从表3可知，挂件上下升降，对横梁产生向下的位移总体上是比较小的，最大垂直位移不超过0.21 mm。挂件升降状态不同，对横梁不同位置产生的垂直位移是不同的，标志点3 在整个过程产生的垂直位移平均幅度最小，标志点1 和2 垂直位移起伏较大，且呈负相关。

5 结 语

基于视觉的结构位移测量方法以其高效、便捷和高精度的优势在工程项目中得到了广泛的应用。本文提出基于YOLOv5 目标检测模型和视觉的封闭空间建筑物垂直位移测量方法，适用于重力坝内部廊道、涵洞等密闭空间的垂直位移监测。该方法利用YOLOv5 目标检测模型实现了标志物ROI 区域的自动提取，采用最小椭圆拟合检测标志物圆心，通过最邻近法寻找相邻帧同名标志物ROI，并将同名标志物像素位移转化为实际的垂直位移量。实验设计了不同目标分辨率标定方法及安置CCD 相机的观测点状态对垂直位移测量精度的影响，结果表明位移标定法测得的标志物垂直位移精度最高，CCD 相机安置在固定观测点垂直位移测量精度更高。同时，将本文方法应用到真实场景-室内实习场横梁垂直位移测量，实验证明了该方法可以监测到横梁微小的垂直位移。