基于成像的表面位移分析系统关键技术研究及应用

张 煜，姜清辉

(1.长江科学院 空间信息技术应用研究所，武汉 430010; 2.武汉大学 土木建筑工程学院，武汉 430072)



基于成像的表面位移分析系统关键技术研究及应用

张 煜1，姜清辉2

(1.长江科学院 空间信息技术应用研究所，武汉 430010; 2.武汉大学 土木建筑工程学院，武汉 430072)

非接触式表面位移测量是一种无损测量技术，在诸多工程领域有着广泛的用途。针对混凝土应力应变测试和河道瞬时全流场测量的应用，详细地描述了数字散斑测量和粒子成像测速这2个典型的基于成像的表面位移分析系统的研发，指出了具有共性的一些关键技术和难点，并提供了对应的解决方法。试验结果证明了本方法的有效性。然而，该方法仍存在较多技术缺失，包括多视角CCD相机的三维测速、多目标全轨迹追踪、不同场景测量数据高精度融合等，需要进行进一步研究。

粒子成像测速；数字散斑测量；表面位移；松弛匹配；光流计算

1 研究背景

非接触式表面位移测量是一种无损测量技术，在水动力学、空气动力学、土木工程、机械制造等领域有着诸多应用。基于图像的方法进行测量，属于视觉测量的研究领域[1]，有着广泛的用途。

粒子成像测速(Particle Image Velocimetry，PIV)系统是一种典型的基于成像的、非接触式的表面位移测量系统，其基本原理为：利用CCD成像获取被测物表面连续多帧影像，通过图像分析技术，解析出被测物表面各点的移动量，形成瞬时移动场。标准情况下，PIV系统各部分包含如图1[2]所示的计算机、CCD相机、同步控制器、激光照明系统等结构。

图1 非接触式表面位移测量系统示意图[2]Fig.1 Schematic diagram of non-contact surface displacement measuring system[2]

根据实际被测量目标和应用目的的不同，CCD相机可以为传统数码相机、高速工业相机、摄像机等，若要进行三维PIV，则需要多个相机形成不同角度的测量。在很多情况下，同步控制器和激光照明系统可以省略，以自然光和固定照明灯代替。被测目标必须具备可被检测出来的特征，位移场是通过识别出不同帧的同名特征点的距离获得。若没有明显特征点，则需要增加示踪粒子，如流体流场检测，需要均匀散布反光强的漂浮粒子。对于固体被测表面缺少特征，则需要人为制造特征，如使用激光照射形成散斑，或在被测表面喷洒油漆制造散斑等，这类基于布设散斑的方式又被称为数字散斑测量(Digital Speckle Correlation Method，DSCM[2])。

尽管不同的非接触式表面位移测量系统在结构上有很大差别，但其数字化后的测量与分析核心原理一样，都是基于同名点的检测方法，即数字相关法。针对2种典型的应用,即岩石面内位移测量和瞬时全流场测量分别开发了2种不同的数字表面位移分析系统，考虑到实际需求，都是基于二维的位移测量。混凝土位移测量采用的是DSCM方式，瞬时全流场测量采用的是PIV方式。

2 系统介绍

2.1 基于DSCM的混凝土面内位移分析系统

混凝土是由砂、石、水和水泥基于一定比例混合搅拌而成，是一种工程建设中常用的材料，具有脆性，易发生断裂。不同质量、配比和工艺过程对混凝土的结构品质有很大影响。因此，研究混凝土在整个受力过程中的损伤变形过程有着重要的实际工程价值。采用DSCM技术对混凝土进行应力、应变测试具有非接触、无损伤、高精度等特性，其结果为应力-应变场，对混凝土结构评价具有重要意义。

DSCM混凝土面内位移测量具体工作原理为：将混凝土试件固定在实验台上，试件被测面通过喷漆等方式形成无规律的细微散斑，固定在脚架上的高速CCD相机正对被测面，相机光轴与被测面垂直。实验台在进行压力应变测试时，CCD相机开始记录混凝土被测面的连续序列图像。将序列图像输入计算机，相应的分析系统功能和工作流程如图2所示。

图2 DSCM分析系统功能和工作流程Fig.2 Function and work flow of DSCM

分析系统的主要功能是通过序列图像2帧之间试件被测面图像的移位变形来计算相应的混凝土应力-应变关系，其核心是采用数字相关算法，找出被测面同名点在两帧序列图像上的位移。数字相关算法可以检测出微小的变形，以1 000×1 000像素CCD对应20 cm×20 cm矩形被测面计算，单像素分辨率达到0.2 mm，分析系统通过子像素精化，可以实现高于0.002 mm的位移分辨率。

基于DSCM的混凝土面内位移分析系统如图3所示。图3(a)为系统主界面，包含了序列图像输入处理与显示、图像标定与矫正、表面位移计算等功能。图3(b)为后处理模块，用于显示计算结果。系统在表面位移计算时，采用了2种同名点分布方式，一种基于散斑图像特征点的检测，如图3(c)所示，实际检测出的特征在分布上并无规律，只要其具备一定特征值就被确认为特征点，随后的表面位移分析就基于检测出的特征点位移。另一种为规则格网分布，如图3(d)所示，即以一定的几何形状分布点，随后的表面位移分析就基于这些点的相邻帧的同名点分析位移量。规则分布可用于针对性地分析被测面特定位置的形变位移量。

图3 DSCM分析系统工作界面

2.2 基于PIV瞬时全流场测量分析系统

大型物理模型实验是当前解决复杂流动问题的重要技术手段，然而在实验过程中仅仅采用传统的流速仪远远无法满足测量精度和密度的需求。如前所述，基于示踪粒子的PIV技术可以实现瞬时全流场测量，是近年发展起来的一种新的瞬态流速测量技术。在物理模型实验的流体中均匀放置大量示踪粒子，示踪粒子随流体一起流动，在正对被测流体上方放置CCD摄像机，示踪粒子运动到不同位置并被摄像机的不同帧捕捉到。基于互相关原理，通过相邻两帧的同名示踪粒子的匹配，可以获得瞬时的粒子位移量。瞬时流场测量范围就是摄像机视场覆盖范围。

考虑到流场表面位移的光滑特性，基于PIV瞬时全流场测量分析系统通过计算光流的方法来测量流场表面流速。将CCD摄像机拍摄的视频输入计算机，利用系统的视频分析功能实现被测流场表面流速的测量。相应的分析系统功能见图4(a)。系统提供了对视频的显示、基于不同帧采样的瞬时流场测量、光流计算方法的选择和参数设置、控制点输入与几何矫正、计算结果的后处理等功能。分析系统是一个离线系统，在视频数据采集完后，再对视频数据进行有选择的计算与分析，系统工作流程见图4(b)。系统运行界面如图5所示。

图4 PIV系统功能和工作流程Fig.4 Function and work flow of PIV

图5 PIV分析系统工作界面Fig.5 Interfaces of PIV system

3 关键技术研究

3.1 特征提取、多尺度匹配与子像素精化

基于散斑图像特征点提取方法获取表面位移的核心步骤是特征提取、多尺度匹配与子像素精化。特征提取采用Harris角点检测提取特征点。Harris角点检测是基于图像灰度变化率，即通过计算与图像自相关函数关联的矩阵的特征值来确定角点。在对被测面进行喷漆处理后，可对混凝土表面图像提取几千个以上的角点，如图6所示。

图6 特征提取Fig.6 Feature extraction

图6(b)中未喷漆的位置角点检测数量相对较少，可见喷漆处理可模拟散斑，实现角点特征提取。多尺度匹配是建立在金字塔影像上的由粗到细的分层匹配方法，其作用主要体现在2个方面，即提高匹配相关计算效率和扩大匹配搜索范围。相应的匹配参数包括匹配窗口大小、搜索半径、金字塔层数以及每层相对上一层的采样间隔。相关计算采用的是NCC归一化互相关，定义为

C=

(1)

子像素精化采用了抛物线拟合的方法。经典的抛物线拟合方法能将匹配精度提高到0.1像素级别，本文采用了文献[3]的改进抛物线拟合算法，以多方向抛物线(8方向，4个方向的二维抛物线)拟合出的4个极值点，由此4点形成的费马点(距离各顶点距离和最小的点)即为拟合出的最佳匹配点，此时的理论精度可达到0.01像素。初始匹配获取的是1像素精度的位置，实际精化计算时，在3×3的范围内进行拟合，获取在x和y上的浮点改正数。

3.2 滤波与松弛匹配

由序列图像基于特征的匹配获取的表面位移矢量通常夹杂着一些错误的结果，反映为明显的位移矢量错误。错误一般为2种：矢量大小和矢量方向的错误。一种常见的处理方式是采用近邻相似的原则对所有位移点矢量进行过滤。通过在当前矢量点所在的一个区域内进行矢量大小L和方向D的均值进行统计，将L和D与当前矢量点的强度L′和方向D′进行比较，依照设置的阈值进行过滤。以强度为例，当阈值设置为0.3，即Min(L/L′,L′/L)<0.3时，当前矢量点的矢量强度无效。而方向过滤，若方向阈值设置为40°，即Fabs(D-D′)>40时，当前矢量点的方向无效。图7所示为矢量强度和方向的过滤结果。

图7 矢量过滤结果Fig.7 Vector filtering result

基于近邻相似原则的过滤是一种事后处理的方法，只能过滤或者平滑错误的匹配结果，无法指导或者修正匹配的过程。松弛匹配算法在匹配过程中充分考虑了当前匹配点与周围匹配点的相互关系，基于如下原则[4]：

(1) 当前点具有多个候选匹配点。

(2) 候选点相似值S不仅考虑候选点匹配值，还要与考虑周边其它匹配点的相对距离，即空间结构的相关性。

(3) 在候选点中选择具有最佳相似值S的点作为松弛匹配的结果。

NCC匹配与松弛匹配结果如图8所示。

图8 NCC匹配与松弛匹配结果

3.3 计算光流

对于基于互相关的表面位移测量，由于其测量误差的存在，往往引入一些错误匹配，采用过滤处理方法的一个基本假设就是表面位移的连续性，即位移场是一个相对较为平滑的场。另一种方式是采用光流进行表面位移分析。在PIV系统中，互相关匹配意味着同名点强度随着时间不发生变化，而流体的表面位移一般而言是一个平滑值，即流场中同一点相邻位置的速度基本不发生变化，由此形成了光流的2个基本约束方程，即

(2)

式中：I为当前点影像强度；(u,v)为当前点位移速度矢量；(uc,vc)为当前点的邻域内(u,v)均值。

光流计算方法有多种，对于平滑性的约束条件也有多种变化。严格地说，计算光流还必须保持两相邻帧的位移为微小量，这个约束导致较大位移量无法检测到。Lucas-Kanade方法是一种广泛使用的光流估算差分方法，它是一种基于特征点的稀疏光流方法，由于结合了金字塔影像的多尺度方法，使计算位移的范围大为增加。图9(a)显示出基于Lucas-Kanade光流算法计算的PIV位移矢量。另一种为稠密光流计算，要求计算每个像素的位移矢量，典型的算法参见文献[5]，通过使用二次多项式近似影像的局部邻域，得到影像的多项式表示，通过多项式系数的计算获得相邻帧之间的位移，图9(b)显示了该算法的结果，为了便于表达，图中对稠密光流进行了规则抽稀采样。

图9 基于光流的矢量场计算Fig.9 Vector field calculation based on optical flow

光流计算本身具备一定的光滑性可适合于流场中流速的检测，当流场中遍布漂浮的微小污物时，基于稠密光流的计算可以获得流场瞬时运动的细节，这使得该类算法具备直接测量自然河道、湖泊、洋流、浮冰等流场的能力。

3.4 矢量场表达

矢量场是用来表达序列影像同名点的位移量，考虑不同序列时间间隔，可以获得位移和速度分布，在x，y方向上以U，V表示。矢量场用带箭头的直线表达，起点和终点分别为两帧同名点的位置强度值Q用颜色表来渲染。此处的强度Q是一个标量，可以定义为多种形式，如矢量的模、x方向位移量、y方向位移量等。以强度进行颜色渲染的矢量场表达如图10(a)所示。对所有的矢量数据用Delaunay三角网的方式内插成面，对每个矢量点用颜色来表达其强度值，形成对整个位移场的面渲染。图10(b)和10(c)分别为三角网剖分和面渲染效果。在三角网的支持下，通过计算可以形成等值线。垂直于河道深弘线的剖面流场矢量可以通过在剖面线上分布一定间隔的点，通过三角网内插出点的U，V值而获得，如图10(d)所示。

图10 矢量场表达Fig.10 Expression and description of vector field

4 试验与讨论

4.1 DSCM在岩石单轴压缩试验中的应用

岩体中存在着大量的断层、节理、裂隙等不连续面，裂隙岩体的稳定性不仅与完整岩石的强度有关，而且主要受到岩体内发育的不连续面所控制。为了考察非贯通裂隙在岩体中的扩展特征，采用类岩石材料制作了几组含内置裂隙试样来研究含裂隙试样的破裂特征。不连续面的存在对岩体工程有2种作用：①降低了岩体的强度和刚度；②在外部荷载作用下，会产生新的不连续面，外力作用下最后会使这些不连续面互相搭接扩展、贯通，进而降低岩体的强度和刚度。对不同裂隙倾角下的人工预制裂隙试件进行单轴压缩试验，利用DSCM系统分析试样表面位移方向和位移量，观察试样在加载过程中不同阶段的破坏特征。成像系统采用Canon单反相机和50 mm镜头，光轴方向垂直于观测面。

图11(a)为试验过程中的岩石试件受压开裂图像，由此产生不连续面，其位移方向和位移量都不相同，其2个典型位置的位移如图11(b)和图11(c)所示，根据表面位移不同方向进行渲染的结果如图11(d)所示。

图11 岩石试件受压开裂分析

4.2 基于PIV的溃坝模拟试验

将PIV系统用于某地溃坝物理模拟试验研究，主要掌握其对冲沟上游的淹没范围和影响程度。物理试验位于室内，试验过程中除了人工加入白色示踪粒子，为了获取足够多的矢量，在不影响试验结果的前提下，加入密度较高的黄色示踪物。视频采集摄像头安置于试验大厅顶端，物理模型材料为水泥，并在表面不同位置设置了控制点。

通过与现场流速仪的对比，一般情况下，PIV分析系统通过不同帧地分析准确地捕捉到了流速。然而，由文献[6]可知，溃坝发生于大坝和提防突然溃决时，其流量和水位在极短的时间内发生急剧变化，在溃坝物理模拟试验中，溃坝模型瞬间局部的最高流速可达到1.5 m/s左右，而在下游大部分流场流态保持稳定，相对流速较慢，只有每秒几个厘米，要同时在高速和低速流场中捕捉到足够精度的流速，采用统一的帧采样容易导致分析错误，一种有效的方式是采用时间多分辨率方法。假设在较短时间内，流场保持恒定流，则对视频进行分析时，分别采用不同采样间隔的视频图像，高频率的视频用于分析快速流场，低频率的视频用于分析低速流场，最后将获得的结果有效地融合。图12(a)显示的是采用低频率的某一帧视频图像分析结果，图12(b)是高频率的分析结果，最后的融合如图12(c)所示。本次融合的基本条件是在1 s以内假设为恒定流，分别采用了0.1 s和0.5 s 2种不同的视频采样频率。通过在短时间内的不同频率多帧视频影像分析结果进行叠加，实现了同场测速加密和大变化比流态表达。

图12 矢量场叠加分析Fig.12 Analysisofvectorfieldoverlay

5 结 语

本文从不同应用角度出发，给出了基于成像的表面位移分析系统中几个关键技术的解决方法，包括特征提取、多尺度匹配与子像素精化、滤波与松弛匹配、光流计算、透视矫正与镜头矫正、矢量场表达等，构成了单相机非接触式表面测速的核心技术，并基于这些核心技术构建了相应的表面测量分析系统。然而，从更宽泛的应用角度而言，仍旧存在很多技术缺失，包括多视角CCD相机的三维测速、多目标全轨迹追踪、高速并行计算、不同场景测量数据高精度融合等等，这也是笔者以后需进一步研究的方向。

[1] 张广军. 视觉测量[M]. 北京: 科学出版社，2008.

[2] 王怀文，亢一澜，谢和平. 数字散斑相关方法与应用研究进展[J]. 力学进展, 2005,35(2)：195-203.

[3] 雷 鸣, 张广军. 基于互相关的图像匹配亚像素定位[J]. 光电工程, 2008，35(5)：108-113.

[4] 潘鸿飞, 梁 栋, 王 年. 程志友点模式的概率松弛匹配法[J]. 合肥工业大学学报(自然科学版)，2007，30(9):1076-1078.

[5] FARNEBACK G. Two-frame Motion Estimation Based on Polynomial Expansion[J]. Lecture Notes in Computer Science, 2003, 2749：363-370.

[6] 王立辉，胡四一. 溃坝问题研究综述[J]. 水利水电科技进展, 2007,27(1):80-85.

(编辑：黄 玲)

Research and Application of Key Techniques of Surface DisplacementAnalysis System Based on Imaging

ZHANG Yu1，JIANG Qing-hui2

(1.Spatial Information Technology Application Department, Yangtze River Scientific Research Institute, Wuhan 430010, China; 2. School of Civil Engineering, Wuhan University, Wuhan 430072, China)

Non-contact surface displacement measurement, as a nondestructive measurement technology, has been widely used in many engineering fields. For concrete’s stress and strain testing and river channel’s instantaneous flow field measurement, we developed non-contact surface displacement measurement systems based on digital speckle correlation method and particle image velocimetry. Some key issues in the developed systems are discussed and the corresponding treatments are given. The experimental result proves the effectiveness of the proposed method. Nevertheless, there are still some technical defectives to be furthered researched, including 3-D velocimetry of multi-perspective CCD camera, multi-purpose line tracing, and highly-precise fusion of measurement data of different scenes.

particle image velocimetry; digital speckle correlation method; surface displacement; relaxation matching; optical flow computation

2016-08-10

云南省水利重大科技项目(CKSK2015852/KJ)

张 煜(1971-)，男，山东阳谷人，高级工程师，博士，研究方向为摄影测量与遥感，(电话)18986061273(电子信箱)zhangyu_1999@126.com。

10.11988/ckyyb.20160813

2016,33(11):83-88

TN911.73

A

1001-5485(2016)11-0083-06