三维数字图像相关法的初值估计和仿真图研究

程百顺,毛建国，沈 峘，梁中汉，王 莹

(南京航空航天大学 能源与动力学院，南京 210016)

三维数字图像相关法的初值估计和仿真图研究

程百顺,毛建国，沈 峘，梁中汉，王 莹

(南京航空航天大学 能源与动力学院，南京 210016)

三维数字图像相关法主要用来测量物体表面的三维形貌和变形，其关键技术主要包括相机标定、图像匹配、三维重建和三维位移场和应变场的计算等。针对现有的初值估计方法在计算速度和精度上的局限性，提出基于sift的形函数和线性插值的初值估计方法，有效地提高了计算的速度和精度。传统的三维算法精度分析只能借助于高精度的仪器测量对比，为此提出了基于反向映射法的三维仿真散斑图分析方法。仿真结果表明：在小变形情况下z方向的误差在2×10-4%左右，面内位移测量误差在8 μm以内。验证了三维仿真散斑图的有效性和三维初值估计策略的可行性。

三维数字图像相关法；初值估计；仿真散斑图

在现代的科学研究、工程实践及工业生产中，获取材料的位移和应变信息并对材料的变形及力学性能进行深入研究具有重要的意义。传统的接触式测量方法和光学测量方法[1]由于自身的局限性不能满足现在的测量要求。随着计算机技术和相机产业的发展，在力学测量领域出现了新的测量方法，其中数字图像相关法[2-3]是一种基于现代数字图像和分析技术的新型光测技术，通过分析变形前后物体表面的数字图像获得被测物体的变形信息，已经成为现代光测力学领域中一个重要的方法。

数字图像相关法是由日本学者Yamaguchi[4]与美国学者Peters[5]等在20世纪80年代几乎同时独立提出的。在数字图像相关法中相关匹配运算一直是该算法的核心，其重要的进展是1989年Bruck[6]等提出的Newton-Rapshon优化算法，该方法不仅精度高，而且只要变形初值估计合理，算法会迅速收敛，现在的大多数研究都采用此种算法。但是二维数字图像相关法只能测量平面物体的面内位移，所以引进三维数字图像相关法。在实验力学领域，Luo和Sutton等[7]利用2个摄像机从不同角度对被测物体表面进行成像，首先对双目立体视觉模型进行标定获得2个摄像机的内外参数，然后直接利用二维数字图像相关法中的相关匹配算法得到左右两幅图像中对应点的视差，从各点的视差数据和预先获得的标定参数恢复物体表面的三维形貌，从而得到全场的位移分布。

随着现代数学和光学技术的发展，越来越多的国内外学者在数字图像相关法的基础理论[8-9]、匹配精度[10]和计算精度[11]上作出巨大的贡献。其中初值估计是三维数字图像相关法(3D-DIC)中的基础环节，目前主要方法有整像素估计法[12]和种子点法[13-14]，但其在计算精度和速度上有缺陷。本文基于sift[15]的初值估计方法，得到精度较高的匹配点，然后利用形函数和线性插值得到所有关心点的估计点。本文在二维数字图像相关法的散斑技术[16]基础上，提出建立三维仿真散斑图的方法，解决现有的利用仿真实验验证算法的问题。

1 三维数字图像相关法

三维数字图像相关法的主要技术包括相机标定、图像匹配、位移场和应变场的计算，其中图像匹配包括粗匹配和细匹配。粗匹配是指感兴趣点的初值估计，细匹配是指相关函数的迭代收敛计算。应变场的计算采用将文献[17]中的三维应变计算和潘兵最小二乘[18]计算相结合的方法。

1.1 相机标定

相机标定是3D-DIC的基础。本文采用的张正友[19]的标定方法。利用采集平面标定板上的标记点在空间中的不同位置反向计算出相机的内参数和外参数。其中的小孔成像模型公式为：

(1)

式中：s为任意的比例系数；R和t为外部参数，分别为从世界坐标系到摄像机坐标系的旋转矩阵和平移向量；A为摄像机的内部参数。由于简单的针孔模型不能准确描述镜头的成像关系，本文采用tsai两步标定法[20]，公式如下：

(2)

其中：k1、k2分别为1阶、2阶径向畸变系数；r为像素点到主点(u,v)的距离。

1.2 图像匹配

图像匹配现在的主流方法是基于NR迭代的相关函数方法。物体表面在发生变形，左相机所采的系列图像相当于在二维平面上的变形，而对应的右相机所采图像就是因为视差所导致的类变形图像，如图1所示。

图1 物体变形前后示意图

图1中：p点是计算中心点；(x,y)是p点的图像坐标；(x′,y′)是变形后的对应点。(x,y)就是所要计算的位移。采用归一化最小平方距离相关函数评价子区的相似度。由于图像整体存在变形，因此采用形函数来描述这种变形，用于同一组相机所采图像的匹配和两个相机之间的匹配。

(1)

其中：Δx=x′-x0,Δy=y′-y0；ξ0、η0是参考图像子区中心点P(x0,y0)的视差；ξx、ξy、ηx、ηy为图像子区内视差的1阶导数；ξxx、ξxy、ξyy、ηxx、ηxy、ηyy为图像子区内视差的2阶导数。

2 初值估计

2.1 初值估计基本理论

初值估计在数学上的意义是给上述形函数初值的过程，在实验中是要赋予计算的点的初始位置。由于sift可能不会提取所有的特征点，此时应用形函数和线性插值可以解决此类问题。网格点只是从所有的像素点中提取的一部分，而且是整像素的网格点，此时就要提取精度较高的sift匹配点，同时去除误匹配点。

图2中：p点是参考图像中的计算点；p′是p点在目标图像中的初值估计点；p1,…,p5是以p点为中心，宽W、高H范围内的sift提取的特征点；p1′,…,p5′是p1,…,p5在目标图像中的对应sift特征点。

图2 设定区域内sift匹配结果

1) 若在计算点周围存在大于k(k=3)个sift特征点，那么就认为p点可以被估计。

2) 计算sift特征点到p0点的距离d。sift的匹配有一定的不确定性，取di为中值的点作为计算参考点。

3) 利用线性插值公式

(2)

计算得到p0点的估计点p′0 的坐标(xp0′,yp0′)。但并不是每个计算点都能满足sift估计的要求，所以引进形函数初值估计。在将已经估计出来的计算点进行N-R迭代计算，若是收敛成功，则利用式(3)将其周围某一点的初值计算出来了。若某一估值点计算不收敛，就会导致其某一侧的值不能通过形函数来估计，此时引入线性插值式(4)来计算，如图3所示。其中，“+”为N-R计算收敛点，“△”为计算不收敛的点，“o”是利用线性插值计算的点。

图3

2.2 实验分析

现在常用的初值估计方法有2种：一种是基于人机交互的种子点法；一种是结合模板匹配的整像素法。基于人机交互种子点法是在目标图像中，利用人工选取点作为初值估计点，然后进行匹配计算，通过这一点的收敛结果估计其周围点的初值，然后幅散开来，完成整张图像的匹配工作。结合模板匹配的整像素估计是利用参考图像子区和目标图像子区进行模板匹配，找到初值估计点，然后进行匹配计算，这是一种由粗匹配到细匹配的过程。

本实验是利用仿真实验完成，硬件配置如下：采用Intel(R) Core(TM) i7-6700 CPU，内存为16G。软件采用Matlab。仿真图为旋转5°、15°、30°的散斑图。其中计算点为336个，网格间距20个像素，计算子区半径20个像素。如图4所示，其中第1列是二维仿真图，第2列是三维仿真散斑图的左相机图像，第3列是三维仿真散斑图的右相机图像，生成图像具体参数参考本文第4节。

实验结果如表1、2所示，其中sift的插值方法在计算时间上比种子点法和整像素法要少，而且在大旋转的情况下，种子点法和整像素法会因为无法完成初值估计导致计算不能收敛，而基于sift的插值计算方法使得每个点计算的都收敛。

种子点法的缺陷是:即使在选对第一个点作为种子点的情况下，若该点不收敛那么无法进行进一步的计算，而且是靠人工选取，时间较长。整像素法初值估计主要用基于模版匹配的方法，其抗旋转能力较差，所以在大变形的情况下不能满足计算要求。

旋转角度角度/(°)51530sift法收敛点数336336301计算时间/s19.3023.71137.54种子点法收敛点数336336不收敛计算时间/s37.0078.45不收敛整像素法收敛点数336336不收敛计算时间/s63.16111.12不收敛

表2 右相机图片计算结果

3 基于反向映射法的三维仿真散斑图

3.1 散斑图生成原理

散斑图生成公式如下：

(3)

式中:k表示散斑颗粒的数目；(xk,yk)为散斑颗粒的中心位置，随机产生；R为散斑颗粒的半径；Ik为随机生成的散斑中心的亮度，范围为0～255， 图像大小为M×N。当生成变形图像时，散斑颗粒的中心点发生偏移，满足式(6)中的变形模式。

(4)

其中(u0,v0,ux,vx,uy,vy)为变形参数。由(xk,yk)可求得(xk′,yk′)，代入式(4)可得到变形散斑图的灰度分布。

3.2 三维反向映射法

本文生成三维仿真图的方法如下：

物体是一个平面，ZW=1 200 mm，物体沿x反向平移0.2个像素：

1) 设定相机标定参数，主要是设定每个相机的内参数A和左右相机之间的外参数(R|T)，设定左相机的相机坐标为世界坐标。

2) 利用式(5)生成散斑图，作为左相机的第1张图像及参考图像，利用反向映射法生成沿x方向平移0.2个像素的目标图像，作为左相机的第2幅图像。

3) 利用先前的相机内外参数和左相机第1幅图中的像素点的位置(UL,VL)，结合式(1)，得到左相机中的像素点在右相机图像中的坐标位置(UR,VR)，将左相机中对应像素点的灰度值赋给右相机图像中的对应点。

4 实验验证

参考图像为随机生成的散斑图像，分辨率为700像素×700 像素，散斑颗粒数为19 600，散斑颗粒半径为3。假设物体是一个ZW=1 200 mm的平面。其中左右相机的内外参数为：

4.1 位移测试

沿x向生成间隔为0.05像素的平移图像，共20张，在三维空间里对应的实际位移从0到0.12 mm，间隔为0.006 mm。实验结果如图5～7所示。

图5 x方向的位移场误差

图6 y反向位移场误差

如图5和6所示，模拟0～0.12 mm的位移测量中测量误差在8 μm以内。如图7所示，在z方向的距离测量误差在1 μm以内，相对误差为2×10-4%。结果表明：在小变形的情况下，三维仿真散斑图的生成是有效的，而且精度较高，满足测试三维形貌重建的算法测试标准。

图7 z方向距离测量误差

4.1 应变测试

沿x方向有应变2 000 με。参考图像和目标图像如图8所示。(a)和(b)是左右相机采集的第1对图像，(c)和(d)左右相机采集的第2对图像。

图8 参考图像和目标图像

如图9所示，x方向的应变场计算结果为1 960 με，方差为58 με。如图10所示，z反向的距离测量误差均值为0.2 μm，最大值为2 μm。因此，三维仿真散斑图可用于三维重建和应变的精度分析，验证应变和重建算法的可行性。

图9 x方向应变场

图10 z方向尺寸测量误差

5 结束语

根据实验结果可知：本文采用的三维仿真散斑图可以有效验证立体匹配、三维重建和应变算法的精度和有效性，同时本文的三维初值估计及其插值算法满足三维数字图像相关法的精度要求。

[1] 金观昌.计算机辅助光学测量[M].北京：清华大学出版社,2007.

JIN Guanchang.Computer aided optical measurement[M].Beijing:Tsinghua University Press,2007.

[2] 王怀文,亢一澜,谢和平.数字散斑相关方法与应用研究进展[J].力学进展,2005(2):195-203.

WANG Huaiwen,KANG Yilan,XIE Heping.Advance in digital speckle correlation method and its application[J].Advances in Mechanics,2005(2):195-203.

[3] HUNG P C,VOLOSHIN A S.In-plane strain measurement by digital image correlation[J].Journal of the Brazilian Society of Mechanical Sciences & Engineering,2003,25(3):215-221.

[4] YAMAGUCHI I.A laser-speckle strain gauge[J].Phys E:Sci Instrum.1981,14(11):1270-1273.

[5] PETERS W H,RANSON W F.Digital imaging techniques on experimental stress analysis[J].Optical Engineering 1982,21(3):427-431.

[6] BRUCK H A,MCNEILL S R,SUTTON M A,et al.Digital image correlation using Newton-Raphson method of partial differential correction[J].Experimental Mechanics,1989,29(29):261-267.

[7] LUO P F,CHAO Y J,SUTTON M A.Application of stereo vision to three-dimensional deformation analyses in fracture experiments[J].Optical Engineering,1994,33(3):990.

[8] SUTTON M A,TURNER J L,BRUCK H A,et al.Full-field representation of discretely sampled surface deformation for displacement and strain analysis[J].Experimental Mechanics,1991,31(31):168-177.

[9] ORTEU J J.3-D computer vision in experimental mechanics[J].Optics & Lasers in Engineering,2009,47(3/4):282-291.

[10]SCHREIER H,ORTEU J J,SUTTON M A.Image Correlation for Shape,Motion and Deformation Measurements[M].[S.l.]:Basic Concepts,Theory and Applications,2009:565-600.

[11]PAN B,YUAN J,XIA Y.Strain field denoising for digital image correlation using a regularized cost-function[J].Optics & Lasers in Engineering,2015,65:9-17.

[12]GAO Y,CHENG T,SU Y,et al.High-efficiency and high-accuracy digital image correlation for three-dimensional measurement[J].Optics & Lasers in Engineering,2015,65:73-80.

[13]PAN B,ASUNDI A,XIE H,et al.Digital image correlation using iterative least squares and pointwise least squares for displacement field and strain field measurements[J].Optics & Lasers in Engineering,2009,47(7/8):865-874.

[14]HELM J D,MCNEILL S R,SUTTON M A.Improved three‐dimensional image correlation for surface displacement measurement[J].Proceedings of SPIE-The International Society for Optical Engineering,1994,35(7):1911-1920.

[15]ZHOU Y,CHEN Y Q.Feature matching for automated and reliable initialization in three-dimensional digital image correlation[J].Optics & Lasers in Engineering,2013,51(3):213-223.

[16]MAO Jianguo,ZHANG Peize,SHEN Huan,et al,Reverse Mapping for Generating Simulated Deformed Speckle Patterns[J].Journal of Optoelectronics.Laser,2015(4):2433-2439.

[17]高越.三维数字图像相关法的关键技术及应用研究[D].合肥：中国科学技术大学,2014.

GAO Yue.Research on key technologies and applications of three-dimensional digital image correlation[D].Hefei:University of science and Technology of China,2014.

[18]潘兵,谢惠民.数字图像相关中基于位移场局部最小二乘拟合的全场应变测量[J].光学学报,2007,27(11):1980-1986.

PAN Bing,XIE Huimin.Full-Filed strain measurement based on Least-Square fitting of displacement for digital image correlation[J].Acta Optica Sinica,2007,27(11):1980-1986.

[19]ZHANG.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2000,22(11):1330-1334.

[20]TSAI R.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].Robotics & Automation IEEE Journal,1987,3(4):323-344.

(责任编辑 杨黎丽)

Study on the Initialization for Feature Matching and Simulation Speckles in Three-Dimensional Digital Image Correlation

CHENG Bai-shun, MAO Jian-guo, SHEN Huan, LIANG Zhong-han, WANG Ying

(Energy and Power College, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

Three-dimensional digital image correlation (3D-DIC) method has been increasingly employed to measure 3D surface profile and displacement. The key technologies applied in this method include stereo camera calibration, digital image correlation, reconstruction, and 3D displacement/strain field computation. This paper mainly studies on an initial guess technique based on SIFT matching and linear interpolation to improve the accuracy of 3D-DIC. Additionally, a new method based on reverse mapping is proposed to generate the 3D simulated speckles for testing the accuracy of the initial guess and digital image correlation technique. The numerical simulations reveal that the error in Z-direction is about 2×10-4% of the object distance. Test and analysis of the in-plane displacement error is within 8 μm under small displacement. Results show that the 3D simulated speckles are useful and effective for the verification of 3D-DIC method and show that the initial guess technique can achieve high accuracy.Key words: three-dimensional digital image correlation; initial guess technique; 3D simulated speckles

2016-11-03 基金项目：航空科学基金资助项目(111111)

程百顺(1991—)，江苏徐州人，硕士研究生，主要从事机器视觉，数字图像相关法在力学方向的研究,E-mail:cbs_1012@163.com。

程百顺,毛建国，沈峘，等.三维数字图像相关法的初值估计和仿真图研究[J].重庆理工大学学报(自然科学)，2017(3):116-122.

format：CHENG Bai-shun, MAO Jian-guo, SHEN Huan, et al.Study on the Initialization for Feature Matching and Simulation Speckles in Three-Dimensional Digital Image Correlation[J].Journal of Chongqing University of Technology(Natural Science)，2017(3):116-122.

10.3969/j.issn.1674-8425(z).2017.03.017

TP391.41

A

1674-8425(2017)03-0116-07