基于菱形搜索块匹配技术的微机电系统微运动测量研究

龚立雄 程双胜 刘 永

1.重庆理工大学机械工程学院，重庆，4000542.中国船舶重工集团公司第712研究所，武汉，4300643.湖北汽车工业学院机械工程学院，十堰，442002

基于菱形搜索块匹配技术的微机电系统微运动测量研究

龚立雄1程双胜2刘 永3

1.重庆理工大学机械工程学院，重庆，4000542.中国船舶重工集团公司第712研究所，武汉，4300643.湖北汽车工业学院机械工程学院，十堰，442002

首先，分析了块匹配运动模型和测量原理，采用最小总绝对差值设置块匹配准则，确立了菱形搜索算法的块匹配搜索路径。该算法通过大小模板块匹配进行粗定位和精定位，求解微运动最佳运动矢量。然后，设计了基于计算机微视觉的微机电系统图像获取方案，并以微机电系统谐振器为研究对象，获取24幅不同相位图像，用所提出的微运动测量方法进行分析和验证，结果表明：基于最小总绝对差值和菱形搜索算法的块匹配技术能较好地估计和测量微机电系统器件的微运动矢量。

块匹配；菱形搜索；微运动；微机电系统；微视觉

0 引言

微机电系统(micro electromechanical system，MEMS)是一种由微传感器、执行器、信号处理、通信接口等微型部件组成，能够将信息获取、执行进行集成，完成多个任务和功能的微型器件系统，具有微型化、质量小、能耗低、响应时间短、机械性能好等优点，广泛应用于汽车、打印机、智能手机等领域[1-3]。由于MEMS的功能主要通过MEMS微小位移和变形来实现，因此对MEMS微运动的测量成为MEMS测试研究的重要内容。目前，MEMS微运动测量技术主要有光斑干涉技术、数字全息干涉技术、显微视觉技术等[4-6]，其中，显微视觉测量技术因非接触式、测量精度高、响应速度快，已成为微运动测量的主流。将计算机微视觉测量图像与高效图像处理算法相结合，可以精确估计MEMS微运动平面移动位移。金翠云等[7]利用光学显微镜放大MEMS图像序列，通过一系列动态图像序列，采用光流技术估计了MEMS微结构运动特征。REMBE等[8]建立了频闪纤维干涉系统来测量MEMS微运动，该系统采用频闪照明图像和最小二乘算法处理图像，测量MEMS的平面运动。卢清华等[9]利用计算机微视觉对MEMS运动轨迹进行标定和测量，采用计算机微视觉和鲁棒多尺度运动估计算法实现了MEMS高精度平面运动测量。黄赞等[10]提出了一种基于同态滤波的鲁棒多尺度微运动测量算法，由粗到精逐渐迭代，精确估计微运动矢量。

块匹配技术是一种非常实用的方法，但传统的块匹配方法计算量大、精度低，不满足MEMS动态测量要求,因此，本文提出一种块匹配的MEMS微运动估计方法，以最小总绝对差值匹配准则和菱形搜索路径算法求解块匹配最佳运动矢量，并设计了MEMS微运动测量图像获取方案，以MEMS硅微谐振器为研究对象，以提出的微运动测量方法对MEMS谐振器图像序列进行分析和计算。

1 块匹配微运动测量原理

1.1块匹配运动模型

测量和估计就是结合图像处理技术运用某种方法对视频图像或图像序列进行处理，估算图像序列之间的运动偏移量[11-12]。块匹配技术能同时满足实时性和精度要求，它基于一种假设，即图像由运动块构成，一个图像块中的所有像素都具有相同运动特征。块匹配的基本思想是将当前帧分成若干大小相同的块，对每一个块(设为当前块)分别在参考帧(即搜索窗)中的一定区域内，按照既定匹配准则进行搜索，寻找与之最接近的块(即预测块)，预测块与当前块之间的位移成为运动矢量。该运动矢量可由预测块与当前块的初始点坐标差求解得到，如图1所示。

图1 块匹配原理图Fig.1 Schematic of block-matching

(1)

1.2块匹配准则及搜索路径

1.2.1块匹配准则

各种块匹配算法优越的差异主要体现在块匹配准则及搜索策略等方面。典型的块匹配准则有最小平均绝对差值、最小均方误差、归一化相关函数、最小总绝对差值(the minimum sum of absolute difference，MSAD)等。相关研究表明[13-14]：最小均方误差匹配精度高，但其平方运算量大；最小平均绝对差匹配准则计算量相对较小，效率高，但匹配函数略高；而最小总绝对差匹配准则计算简单，效率最高，实用性强，其匹配效果较好、计算量少、精度高。因而，本文以最小总绝对差值来设置块匹配准则，定义为

(2)

式中,(i,j)为位移矢量；fk(s,t)、fk-1(s+i,t+j)分别为当前帧和参考帧的灰度值；MSAD(i,j)为最小总绝对差值。

当MSAD在搜索区域内某一点处达到最小时，该点为最佳匹配点。

1.2.2基于菱形算法的块匹配搜索路径

搜索策略和路径是运动估计中最复杂的部分，从搜索方向上看有梯度式、螺旋式;从搜索路径上看有矩形、圆形和菱形等。现有运动估计算法以矩形搜索线路居多，实现较为容易，但搜索精度普遍不高，必须寻找更优的搜索算法。将搜索路径、搜索方向、搜索步长结合起来，有全匹配搜索算法、三步法、二维对数法、交叉法、菱形算法等[15]，其中全匹配算法精度高，但计算量大，不满足实时性要求;三步法简单、健壮、速度快，但容易陷于局部最小，对微运动估计不理想;菱形算法通过大小不等的搜索模板对图像序列进行粗定位和精定位，提高了精度和稳定性。综合考虑，本文采用菱形算法进行块匹配路径搜索。

菱形搜索算法也称钻石算法，该算法采用了两种搜索模板，即大模板(large diamond search pattern，LDSP)和小模板(small diamond search pattern，SDSP)，其中，大模板含9个检测点，小模板含5个检测点，如图2所示。搜索时先用大模板计算，再用小模板匹配，寻找最优匹配点。

(a)LDSP (b)SDSP图2 菱形搜索法模板Fig.2 Diamond search pattern

菱形搜索算法步骤如下：

(1)将LDSP中心与搜索区域中心重合，以上文提出的MSAD匹配准则进行比较，若MSAD值对应的点位于中心点，则进行步骤(3)，否则进入步骤(2)。

(2)以步骤(1)找到的MSAD点作为中心点，用新的LDSP进行匹配，若MSAD值所对应的点位于中心点，则进行步骤(3)，否则重复步骤(2)。

(3)以上一次找到的MSAD值对应点作为中心点，将LDSP换成SDSP，在SDSP的5个点处计算MSAD值并比较，找出MSAD值对应的点，该点所在位置即为对应的最佳运动矢量的位置。

2 基于菱形搜索块匹配的微运动测量方法

2.1计算机微视觉MEMS图像获取方案

机器视觉用计算机模拟生物视觉功能，用图像创建和恢复现实世界模型，具有“看”的功能。微视觉是机器视觉在微观领域的发展，在一定光照条件下，成像设备通过显微镜采集图像，运用图像处理技术预处理，采用模式识别进行特征分类，完成视觉测量工作。因MEMS微运动测量是一个动态过程，为准确模拟微运动过程，本文采用频闪成像同步控制系统和计算机显微系统构建MEMS微运动测量系统方案，总体功能框图如图3所示。

图3 微视觉MEMS微运动测量总体功能框图Fig.3 The total function diagram of micro-vision MEMS micro-motion measurement

MEMS动态测量系统工作原理为：对于待测MEMS，采用运放驱动器产生激励促使MEMS做振荡和平面运动，CCD或显微相机采集MEMS运动图像，通过数据采集卡传输到计算机。为得到MEMS微运动清晰图像，借助频闪成像同步控制系统采集MEMS运动图像，协调高压运放器、频闪控制系统、图像采集卡、摄像机有序工作，得到MEMS不同相位下的图像；然后，采用图像处理技术进行后续处理和分析，采用相应的运动估计算法求解MEMS微运动轨迹。整个MEMS微运动测量系统如图4所示。

图4 MEMS微运动测量硬件系统Fig.4 The hardware of MEMS micro-motion measurement

MEMS微运动测量系统硬件配置如下。①计算机：联想扬天 T4900c；②操作系统：Windows 7 Service Pack 旗舰版；③电子显微镜：凤凰XZJ-2003B；④波形发生器：泰克AFG1022；⑤图像采集卡：NI PCI-6154。

2.2基于菱形搜索块匹配的MEMS微运动测量

MEMS运动性能决定了其基本特性。块匹配通过计算若干像素组成的像素块的运动矢量来实现对物体的运动测量和估计。为验证块匹配技术微运动测量效果，本文以MEMS谐振器为例进行分析。首先,通过MEMS微运动测量硬件装置，在连续光照下采集谐振器高速运动的图像。图5为计算机微视觉获取的谐振器原始图像。然后,通过频闪成像技术得到某一驱动频率下的MEMS谐振器运动清晰图像序列，再利用菱形搜索算法和块匹配准则进行微运动估计。

图5 MEMS谐振器静态图Fig.5 Static image of MEMS resonator

主要实验步骤和方法如下：

(1)在MEMS谐振器静止时，选取ROI区域作为块匹配的搜索块。

(2)在一定频率驱动下，采集谐振器不同运动状况清晰序列图像。

图6所示为谐振器图像通过抖动算法将原始静止图像运动5×5像素位移后，运用本文所提出的菱形搜索算法和最小总绝对差值块匹配准则计算谐振器微运动的过程。由图6可以看出，谐振器13个标志块在信号驱动下位移距离一致，用所提块匹配算法测量5×5像素微运动时，误差很小,其中，右图颜色较深的块(左图亮色块)为原始静止块图像，颜色较浅的块(左图灰色块)为菱形搜索块匹配微运动测量的运动块位置，静止块和运动块的重叠部分颜色最深。图6中箭头方向显示了谐振器原始图像中不同块的微运动方向。

图6 块匹配运动测量Fig.6 Measurement of block-matching motion

为进一步验证所提算法的性能，通过波形发生器产生正弦信号对MEMS谐振器施加激励，促使谐振器在一个周期内作正弦振动，驱动频率为23 kHz，振幅为2 μm。以15°为相位间隔采集24幅谐振器运动图像序列。分别采用全匹配搜索法、三步法、菱形搜索算法来分析24幅动态图像序列相对于谐振器静止图像的运动位移，即对应相位下的块匹配测量运动幅度。图7为采用3种不同块匹配搜索路径算法通过拟合而成的谐振器运动幅度-相位曲线。

图7 3种算法的微运动拟合曲线Fig.7 Micro-motion fitting curve of three different algorithm

可以看出，在正弦信号驱动下，谐振器运动也呈正弦运动变化规律。在3种块匹配路径搜索算法中，菱形算法精度最高，全匹配搜索算法精度次之，三步法求解谐振器微运动精度最低。以正弦信号驱动为标准，3种搜索算法的微运动测量最大误差分别为0.314 μm、0.321 μm、0.104 μm，如表1所示。这说明基于菱形算法块匹配技术在测量MEMS微运动时，通过大小不等的块匹配模板进行MEMS微运动的粗定位和精定位，较其他块匹配搜索算法具有更高精度和运算效率，具有一定优势。

表1 微运动测量误差

3 结论

(1)块匹配技术可用来估计二维运动位移，其匹配算法的优越性主要取决于匹配准则、搜索策略及尺寸选择等方面因素。以最小总绝对差(MSAD)为匹配准则和菱形路径搜索算法进行块匹配，测量MEMS微运动位移矢量，具有较高精度。

(2)基于显微镜和机器视觉，运用频闪成像技术，拍摄微运动器件动态序列图像，将微视觉与块匹配技术结合的方法进行图像处理，可以测量MEMS器件微运动，这种方法能够实现实时、高精度的微运动测量和估计。

[1] PETITGRAND S, YAHIAOUI R, DANAIE K, et al. 3D Measurement of Micromechanical Devices Vibration Mode Shapes with a Stroboscopic Interferometric Microscope[J] . Optics amp; Lasers in Engineering, 2001, 36(2):77-101.

[2] 郝永平，董福禄，张嘉易，等. 基于MEMS机构装配的微夹持器研究[J]. 中国机械工程，2014,25(5):596-601.

HAO Yongping，DONG Fulu，ZHANG Jiayi，et al. Study on Micro-gripper Based on MEMS Mechanism Assembly[J]. China Mechanical Engineering，2014,25(5):596-601.

[3] 谢勇军，史铁林，刘世元. MEMS结构离面微运动测试系统设计与实现[J]. 计算机工程与应用，2010,46(7):66-68.

XIE Yongjun, SHI Tielin, LIU Shiyuan. Design and Implementation of Measurement System for Out-of-plane Micro-motion of MEMS Structures[J]. Computer and Applications, 2010,46(7):66-68.

[4] REMBE C, MULLER R S. Measurement System for Full Three-dimensional Motion Characterization of MEMS[J]. Journal of Microelectromechanical Systems, 2002, 11(5)：479-488.

[5] 阳溢， 刘博文，李扬．基于运动分析的DWT- SVD域视频水印算法[J]．重庆理工大学学报(自然科学版)，2015,29(10):132-138．

YANG Yi，LIU Bowen，LI Yang．DWT-SVD Domain Video Watermarking Algorithm Based on Motion Analysis[J]．Journal of Chongqing University of Technology(Natural Science)，2015,29(10):132-138．

[6] ASWENDT P, SCHMIDT C D, ZIELKE D, et al . ESPI Solution for Non-contacting MEMS on Wafer Testing[J]. Optics amp; Lasers in Engineering, 2003, 40(5/6):501-515.

[7] 金翠云, 靳世久, 栗大超, 等. 光流技术在微结构平面微运动测量中的应用[J]. 光电子·激光，2007,18(11):1359-1362.

JIN Cuiyun, JIN Shijiu, LI Dachao, et al. Application of Optical Flow Technique in Measuring In-plane Micro-motions of Micro-structures[J]. Journal of Optoelectronics·Laser, 2007,18(11):1359-1362.

[8] REMBE C, TIBKEN B, HOFER E P. Analysis of the Dynamics in Microactuators High-speed Cine Photomicrography[J]. Journal of Microelectromechanical System,2001, 10(1)：137-145.

[9] 卢清华，张宪民，范彦斌. 基于计算机微视觉的鲁棒多尺度平面微运动测量[J]. 机械工程学报，2009,45(2):164-169.

LU Qinghua, ZHANG Xianmin, FAN Yanbin. Robust Multiscale Method for In-plant Micro-motion Measurement Based on Computer Micro-vision[J]. Journal of Mechanical Engineering, 2009,45(2):164-169.

[10] 黄赞，张宪民，陈忠. 基于同态滤波的鲁棒多尺度微运动测量算法[J]. 仪器仪表学报，2011,11(2):426-431.

HUANG Zan, ZHANG Xianmin, CHEN Zhong. Robust Multi-scale Micro-motion Measurement Algorithm Based on Homonorphic Filtering[J]. Chinese Journal of Scientific Instrument, 2011,11(2):426-431.

[11] 陈佳，朱长仁，罗宾．一种camshift算法与 brisk 特征点相结合的运动目标跟踪方法[J]．重庆理工大学学报(自然科学版)，2015,29(12):112 -119．

CHEN Jia，ZHU Changren，LUO Bin. A Combination of Camshift Algorithm and Brisk Feature Point for Real Time Moving Target Tracking[J]．Journal of Chongqing University of Technology(Natural Science)，2015,29(12):112-119．

[12] 贠今天，邓利浩，桑宏强. 轮式移动仿人护理机器人运动稳定性分析[J].中国机械工程，2016, 27 (17): 2304-2309.

YUN Jintian，DENG Lihao，SANG Hongqiang. Analysis of Motion Stability of a Mobile Humanoid Nursing Robot[J]. China Mechanical Engineering，2016, 27 (17): 2304-2309.

[13] 赵英男，吴知，金士伟. 基于核的最小均方误差改进算法及其应用[J]. 计算机工程，2013,39(1):179-182.

ZHAO Yingnan, WU Zhi, JIN Shiwei. An Improved Kernel-based Minimum Mean Square Error Algorithm and Its Application[J]. Computer Engineering, 2013,39(1):179-182.

[14] 王鲁平，马峰，韩建涛. 基于距离加权平均绝对差的模板漂移抑制算法[J]. 中南大学学报(自然科学版)，2012,43(10):3894-3899.

WANG Luping, MA Feng, HAN Jiantao. A Template Drift Suppression Algorithm Based on Distance MAD[J].Journal of Central South University(Science and Technology), 2012,43(10):3894-3899.

[15] 张莎，田逢春，谭洪涛. 基于下采样的快速块匹配搜索算法及降噪应用[J]. 计算机应用，2010,30(10): 2819-2822.

ZHANG Sha, TIAN Fengchun, TAN Hongtao.Fast Block-matching Search Algorithm Based on Down-sampling and Its Application in Denoising[J]. Journal of Computer Applications, 2010, 30(10): 2819-2822.

(编辑王旻玥)

作者简介：龚立雄，男，1978年生。重庆理工大学机械工程学院副教授、博士。主要研究方向为视觉图像检测、先进制造及能效优化。E-mail：herogong2001@163.com。程双胜，男，1980年生。中国船舶重工集团公司第712研究所高级工程师。刘永，男，1976年生。湖北汽车工业学院机械工程学院讲师、博士研究生。

ResearchonMEMSMicro-motionMeasurementsBasedonDiamondSearchBlock-matchingTechnology

GONG Lixiong1CHENG Shuangsheng2LIU Yong3

1.College of Mechanical Engineering，Chongqing University of Technology，Chongqing,400054 2.Wuhan Marine Electric Propulsion Research Institute,CSIC,Wuhan,430064
3.School of Mechanical Engineering，Hubei Automotive Industries Institute，Shiyan,Hubei,442002

Firstly, the model of block-matching motion and measurement principles were analyzed, and the algorithm of diamond search-based block-matching path search was established using the minimum sum of absolute difference(MSAD) to set block-matching criterion. The algorithm of diamond search-based block-matching located roughly or precisely by large diamond search pattern (LDSP) or small diamond search pattern (SDSP), and to compute the best motion vector of micro-motion. Next, MEMS image acquisition programme of computer micro-vision was designed, and 24 resonators image of different phase were analyzed and tested by the proposed micro-motion measurement method. The results show that block-matching technology based on MSAD and diamond search algorithm may well estimate and measure micro-motion vectors of MEMS devices.

block-matching; diamond search; micro-motion; micro electromechanical system(MEMS); micro-vision

刘建英，男，1990年生。山东理工大学机械工程学院硕士研究生。主要研究方向为柔性欠驱动机器人动力学与控制。王效岳(通信作者)，男，1961年生。山东理工大学机械工程学院教授。E-mail: Wangxy@sdut.edu.cn。宫金良，男，1976年生。山东理工大学机械工程学院副教授。

TP391.41

10.3969/j.issn.1004-132X.2017.22.015

2016-11-28

教育部人文社科研究项目(15YJCZH049);重庆市教委科学技术研究项目(KJ1400908);重庆市基础与前沿研究项目(cstc2017jcyjAX0343，cstc2016jcyjA0385);重庆市教委人文社科研究项目(15SKG133)