单目六自由度形变监测方法与系统

陈彭鑫， 仲思东,b， 刘宇轩

(武汉大学 a.电子信息学院; b.测绘遥感信息工程国家重点实验室，武汉 430079)

0 引言

形变指物体受到外力而产生伸缩、倾斜、弯曲等形状变化,广泛存在于现代建筑及自然地形中[1-2]，如桥梁、大坝、矿山和高层建筑因年久失修造成的下沉、倾斜等，地形因自然灾害造成的滑坡、岩崩、地震、地表沉陷等范性形变[3]。形变在一定范围内是可以存在的，称为安全范围。若形变超出安全范围，则会演变成事故或灾害，危及人身财产安全。因此，对现代建筑和自然地形的形变情况进行在线监测显得尤为重要。

随着现代科技的发展，目前已经产生了通过倾斜仪[4]、全站仪、三维激光扫描、双目视觉、雷达、光纤传感[5]等进行形变监测的技术。其中，倾斜仪监测法需要在待测物体上选择监测点打孔，然后埋置测斜管[6]，缺点是随着时间的推移，作为基准的测斜管底部会有形变产生，影响测量结果[7]；全站仪可以对距离、角度、高差进行高精度测量[8]，但只能针对待测物表面有限的监测点，且价格昂贵，对遮挡敏感；三维激光扫描监测法需要首先获得点云数据，再进行拼接、滤波等后期处理[9]，缺乏实时性；双目视觉监测法使用两部相机同时采集图像数据，通过立体匹配对待测物进行跟踪和定位[10]，但系统相对复杂且计算量较大。此外，还有学者利用合成孔径雷达干涉测量(InSAR)技术[11]和SBAS技术[12]进行地表沉降的形变监测，以及利用GPS信号与SAR信号融合技术[13]提高形变测量的精度。

近景摄影测量技术[14]是指对物距不大于300 m的目标摄取影像，并利用图像处理技术和靶标的先验信息测量目标物的尺寸、速度等信息。本文主要提出了一套完整的单目六自由度形变监测方案，通过单目视觉和近景摄影测量技术，研究位移量和旋转量的测量原理、基于方向预估的圆对跟踪算法、基于分水岭的轮廓提取算法和遮挡判别方法，研制出嵌入式形变监测系统并进行实际测量，同时解决了形变监测过程中的多自由度、实时性、便携性、遮挡敏感等技术问题。

1 系统结构与靶标设计

1.1 系统总体结构

单目六自由度形变监测系统由靶标、白色圆形标记、滤光片、光学透镜组、光阑、CCD成像传感器、USB线缆、中央处理单元、LVDS信号接口和HDMI接口组成，如图1所示。其中：靶标平面上包含5对等大的白色圆形标记，靶标固定于待测物体的外表面上；滤光片采用带宽为15 nm的窄带滤光片，用以滤除瑞利散射和杂散光；光学透镜组用于聚焦，应根据待测物体的距离选择合适的焦距；光阑用于调整通光口径，间接调整成像质量；电荷耦合元件(CCD)将二维光学图像信号转化为一维视频信号输出；USB线缆用于传输图像数据，以及为CCD成像传感器及其驱动电路供电；中央处理单元基于ARM微处理器，执行图像处理算法；LVDS信号接口用于连接液晶触摸屏，HDMI接口用于连接显示器，均用于显示测量结果。

图1 单目六自由度形变监测系统的构成Fig.1 Diagram of six-DOF deformation monitoring system

1.2 靶标的设计

由于本文方法并非直接观测待测物体，而是通过观测附着在待测物体上的靶标来进行姿态解算，所以靶标设计的合理性是形变有效监测的前提条件。如图2所示，靶标为矩形薄硬板，其平面上共有5对半径为10 mm的圆形标记。为便于图像分割处理，提取标记轮廓，需要灰度差异较大的前景色与背景色，故将圆形标记设计为白色，靶标背景设计为黑色。

图2 靶标尺寸图Fig.2 Target size chart

2 六自由度的测量原理

2.1 坐标轴方向的设定

通过靶标的初始位姿确定坐标轴，规定坐标轴原点位于靶标中心，Z轴与光轴重合且其正方向指向镜头光心，X轴与中央圆对的圆心连线重合。X，Y和Z轴的正方向遵循右手定则，即右手3根手指互相垂直，大拇指指向X轴正方向，食指指向Y轴正方向，中指指向Z轴正方向。从而可以确定X，Y轴的方向。另外，规定旋转角α，β和γ的正方向遵循左手定则，即左手握住拳头，拇指指向旋转轴的正方向，四指弯曲的方向为旋转角的正方向。

2.2 测距原理

由高斯成像公式，根据三角形相似定理化简得

(1)

式中：f为焦距；w为物高；w′为像高；m为像元尺寸；n为成像的像素数。

系统通过跟踪靶标来计算物距，以初始帧为位置原点，则靶标在Z轴上的位移量Δz的算式为

Δz=u-u0

(2)

式中：u0为初始帧解算出的物距；u为以后新帧解算出的物距。

2.3 平面内位移

图3a是靶标的平面位移示意图，当靶标在垂直于光轴的平面内移动时，用中央圆对的位移量表征靶标整体的位移。根据几何相似法[15]，因为中央圆对的位移量和圆心距的成像比例相同，所以，可以根据中央圆对的圆心距的先验信息来计算靶标在平面内的位移量为

(3)

式中：D为实际圆心距；Dp为像素圆心距；Δx为实际水平位移量；Δxp为像素水平位移量；Δy为实际垂直位移量；Δyp为像素垂直位移量。

2.4 绕Z轴旋转

Z轴与光轴重合，绕Z轴旋转即在垂直于光轴的平面内绕中央圆对旋转。图3b是绕Z轴旋转示意图，Δyl为左圆对的垂直位移量，Δyr为右圆对的垂直位移量，二者均可通过式(3)计算得到。左圆对和右圆对的距离已知，为5倍圆心距，即5D，所以，靶标绕Z轴的旋转角γ的算式为

(4)

2.5 绕X，Y轴旋转

靶标绕X轴旋转时，可以根据上、下圆对的像素圆心距计算旋转角。图3c是绕X轴旋转示意图，靶标呈现“后仰” 状态，上圆对的像素圆心距变小，下圆对的像素圆心距变大。图3e为面对X轴正方向的视图，Δzt，Δzb为上、下圆对在Z轴上的位移量，上圆对和下圆对的距离已知，为5倍圆心距，即5D，再结合式(1)、式(2)，可求得靶标绕X轴的旋转角α为

(5)

式中：ut，ub和u0分别为上圆对、下圆对和中央圆对的物距；dt，db和d0分别为上圆对、下圆对和中央圆对的像素圆心距。

图3 六自由度形变示意图Fig.3 Schematic diagram of six-DOF deformation

同理，图3d是绕Y轴旋转示意图。靶标绕Y轴旋转时，可以根据左、右圆对的像素圆心距计算旋转角。图3f为面对Y轴正方向的视图。靶标绕Y轴的旋转角β的算式为

(6)

式中：Δzl，Δzr为左、右圆对在Z轴上的位移量；ul，ur分别为左、右圆对的物距；dl，dr分别为左、右圆对的像素圆心距。

综上，通过组合3个位移量(Δx，Δy，Δz)和3个旋转角(α，β，γ)即可实现空间6个自由度复杂姿态的解算。

3 数据处理算法

3.1 基于方向预估的圆对跟踪

建筑设施的形变具有一定的方向性和连续性，通过分析相邻两帧图像，可以计算出靶标做帧间运动的方向和速度，从而预测形变的趋势。根据形变趋势预估下一帧中央圆对的所处区域，并对该区域单独开窗搜索圆对轮廓。在图像分辨率较高的情况下，开窗搜索可以缩减算法的计算量，提高搜索效率。靶标做帧间运动的速度矢量v的算式为

(7)

3.2 基于分水岭算法的轮廓提取

基于标记的分水岭变换[16]能很好地根据标记信息分割图像的同质区域，且标记数决定最终得到的区域数。根据3.1节确定开窗区域之后，利用分水岭算法分割该区域图像。如图4a所示，在假设相邻两帧时间间隔内物体运动造成的位移小于圆形标记半径的前提下，标记当前帧圆心位置为标记1，则标记1必位于下一帧的圆内；标记矩形框整个边框为标记2，则标记2必与下一帧的圆相离。分水岭变换后，矩形框中将仅

存在两个同质区域，其分界线为圆轮廓，分割得到的前景图像如图4b所示。对椭圆轮廓拟合后，更新圆心位置与圆心距，完成下一帧的跟踪。

图4 分水岭算法分割图像示意图Fig.4 Image segmentation with watershed algorithm

(8)

3.3 遮挡判别

以单目视觉为测量手段的系统往往需要良好的通视条件，遮挡物的存在会对测量效果产生一定的影响。如果没有相应的遮挡判别方法，甚至会产生错误的测量结果。本系统针对每帧的所有圆形标记，计算其轮廓内像素面积、灰度平均值、长短轴之比等三要素，并与前一帧的三要素数据做差，若差值超过一定的阈值，则判定有遮挡物存在，应丢弃该帧。换言之，通过分析相邻帧的相似程度进行遮挡判别，及时丢弃受遮挡影响的帧，避免错误测量结果的产生。

4 嵌入式系统设计

4.1 硬件电路设计

为了实现硬件设备的便携化，将单目六自由度形变监测方法用嵌入式系统实现。如图5所示，采用美国NVIDIA公司生产的以ARM Cortex-A15为架构的中央处理器Tegra K1；同时使用具备192个可编程CUDA核心的移动图像处理单元(Kepler GPU)，增强了系统的图像处理和图形渲染能力； EMMC Flash用于烧写Linux系统，DDR3 SDRAM作为系统运行内存； LVDS接口和HDMI接口用于向显示设备输出帧图像和六自由度的测量结果。

图5 嵌入式系统结构框图Fig.5 Structure diagram of embedded system

4.2 监测系统的软件流程

单目六自由度形变监测系统的主程序流程如图6所示。首先，用户手动框选中央圆对，确定初始帧并开始监测；然后在“框选区域”内执行分水岭算法、提取中央圆对轮廓、计算出靶标的初始位姿以及用于遮挡判别的“三要素”，完成初始化操作。当新帧到来时，计算帧间运动的速度矢量，通过速度的大小和方向预估中央圆对所处的区域；对预估的区域做开窗处理，确定中央圆对的位置并搜索出其余4个圆对。最后进行遮挡判别，若存在遮挡，则丢弃该帧并重新接收新帧；否则，依次计算六自由度形变量，输出平滑滤波的测量结果。

图6 系统软件流程图Fig.6 Flow chart of the system’s software

5 实验与精度分析

5.1 实验装置

实验装置包括图像采集处理装置和电移台装置。其中，图像采集处理装置如图7a所示，包括CCD工业相机(分辨率像素为2592×1944，像元尺寸为1.9 μm×1.9 μm)，光学镜头(焦距为12 mm)，三脚架，ARM单板

计算机和显示器；电移台装置如图7b所示，包括靶标板、传动丝杆、旋转台、步进电机、光栅尺和数显表。相机光轴重合于靶标板中垂线，电移台装置可以产生精度为0.001 mm的位移和精度为0.001°的旋转角，本实验以数显表的显示数值为约定真值。

图7 实验装置Fig.7 Experimental devices

5.2 最高像素分辨率的推导

像素级误差是图像处理的主要误差来源，需要在设定靶标尺寸、镜头焦距、CCD分辨率、测量距离时，推导出图像中1个像素的误差所引起的实际测量误差，这个误差可以用像素分辨率来表征。

首先，设定下列参数符号：W为X轴方向的视场尺寸；H为Y轴方向的视场尺寸；L为测量距离；X轴方向的CCD像素总数px为2592；Y轴方向的CCD像素总数py为1944；镜头焦距f为12 mm；像元尺寸m为1.9 μm(长宽相等)。

0°时，δγ取得最高像素分辨率0.059°。

5.3 实际测量结果与误差分析

为保证测量精度，本实验限定的有效行程范围为Δz≤10 mm,|α|,|β|,|γ|≤5°，在X，Y和Z轴位移都为10 mm时进行10组实验，实验结果见表1，用于验证本系统的位移测量精度；在绕X，Y和Z轴的旋转角都为5°时进行10组实验，实验结果见表2，用于验证本系统的旋转角测量精度。

由表1和表2可知，X，Y和Z轴方向位移测量实验的最大绝对误差分别是0.16 mm，0.17 mm和0.39 mm；绕X，Y和Z轴旋转角度测量实验的最大绝对误差分别是0.28°，0.30°和0.11°。值得注意的是，沿Z轴平移量(Δz)和绕3轴旋转角(α，β，γ)的像素级误差与焦距f、测量距离L、像元尺寸m、当前旋转角(α0，β0，γ0)有关。减小误差的途径包括提高CCD分辨率、降低焦距f(但应保证测量距离L也相应减少)、增大像元尺寸m等。在六自由度形变测量方面，传统或权威的方法是通过双目视觉[17]进行立体匹配获得各特征点的三维坐标，从而具备更高的测量精度，但硬件结构和算法相对复杂。本方法相比双目视觉而言，在达到良好测量精度的同时，加快了测量速度、降低了硬件成本、提高了视场调节的灵活性，具有更多的应用场合。

表1 位移量测量结果

注：约定真值为10.00 mm。

表2 旋转角度测量结果

注：约定真值为5.00°。

6 结束语

本文设计了一种由光、机、电、计算设备一体化组成的软硬件兼备的单目六自由度形变监测系统，为桥梁、大坝、边坡等现代建筑和自然地形的形变提供了一种新型的在线监测方法。设计了包含5对圆形标记的靶标，通过跟踪圆形标记来计算空间三轴的位移量和旋转角。在数据处理方面，通过靶标做帧间运动的速度矢量来预估其下一帧中央圆对所在的区域；通过分水岭算法在开窗区域提取圆形标记的轮廓，并进行遮挡判别，避免产生错误的测量结果。在位移量的测量精度方面，X，Y轴方向的测量精度较高，可以达到0.17 mm；Z轴方向的测量精度可以达到0.39 mm。在旋转角的测量精度方面，绕Z轴旋转的测量精度较高，可以达到0.11°；绕X，Y轴旋转的测量精度可以达到0.30°。本文方法在图像拍摄与处理、靶标定位与跟踪上实现了自动化和便携化，通过单目视觉和靶标的先验信息，同时解决了多自由度、实时性、便携性、遮挡敏感等技术问题。