基于图像特征的运动估计方法研究

于 露 杨 帆

（1吉林财经大学信息经济学院，吉林 长春 130122 2吉林省高速公路管理局伊通分局，吉林 伊通 130700）

运动估计是视频编码和视频处理中广泛使用的一种技术。运动矢量是匹配块和当前块在位置上的相对移动。在视频压缩过程中，仅仅需要保存运动矢量与残差两方面的数据，就能够将当前块完整地恢复出来，从而达到稳定图像的效果。总结已有文献资料，估计运动的方法大致有以图像块状、图像特点、像素灰度值等等为基础的估计方法。本文以图像特征为基础的方法为主要研究对象，该方法目前广泛地应用于电子稳像技术及其他图像处理系统中。

一、以图像特征为基础的运动估计方法介绍

图像特征是一种属性，它呈现代表了所取得的图像场景。在运用图像特征来对连续不间断的图像视频间的矢量估计测算的时候，第一个步骤是比对参考图像，从中筛选确定一组具有代表性、特征鲜明的特征结构来作标记，下一步搜索当前的图像，来发现相应的适合特征结构，进而获取到图像序列的帧间运动矢量。注意所选取的特征结构，一定是要能准确说明图像的移动运动点，并呈现其结构的不变性，也就是图像特征。能够凸显图像的显著点有角点、灰度极大值点、物体的边界点以及在图像中具有代表性的物体等。对图像特征进行检查测量和进行配对工作是获得图像运动估计的重点核心技术。正常条件下，受不同噪声的干扰，从原始图像中直接收集获得能够代表该图像特征的点是不能确保所筛选出的特征的稳定性的，而如果在提炼特征前先进行图像的事先某种程度的处理，这就会确保其稳定性。

关于图像序列帧间运动矢量估测方法有多种，而运用图像特征估计法包括以下几个步骤：首先，把各个帧的图像特征从图像序列中提炼出来；其次，将各个帧图像之间所表现的关系进行明确；然后，测算特征量所涉及的运动参数；最后，在图像运动模型中代入上一步骤测试的特征量运动参数，计算得出全局运动矢量。

二、常用全局运动矢量算法

1.边缘匹配法

边缘匹配法(EPM，全称为Edge Pattern Matching)，是指一种算法采用全数字稳像的算法，它利用边缘匹配技术并结合动态运动的一种决策方法。以此为基础的系统包括以下四个基本元素：基于该算法的AMV生成单元、FMV生成单元、LMV生成单元以及场内存地址生成和数字缩放单元。

将图像序列输入系统中之后，首先要搭建起运动矢量检测区域，该区域对应于参考帧和运动帧两者之间，在该区域内又划分出数量若干的运动矢量检测模块；其次将前帧和后帧所对应的模块进行一一对比，之后每个对比都形成一个局部的运动矢量LMV（全称为Local Motion Vector），而其中关联性比较大的LMV就可以作为整个模型的全局运动矢量FMV（全称为Field Motion Vector）。为了保证所产生运动矢量的精确性，假设每个监测区域中包含检测块M块，这样便可以产生M个LMV。基于在边缘匹配技术基础上形成的LMV，以及考虑到存储空间的降低、计算量以及硬件复杂程度，我们并没有采用多维图像或全彩色图像。而是将二值化的边缘图像加以运用。在加权平均化M个LMV后，便生成FMV。为了更加精确FMV，则应该独立地进行计算并选择适宜的加权因子。如果需要使得大于两帧的图像序列更加稳定，就应该累计运算相续帧的FMV，计算得出累积运动矢量AMV(Accumulated Motion Vector)。通过AMV的观察，出场内存读出地址就会被计算得出，并且能够读出所对应的帧所存在的病房地以此除去非正常的图像边界，这非正常的图像边界是因为补偿运动矢量而生成的。

（1）LMV生成单元

LMV的生成在EMP算法体系中的地位是至关重要的。这主要是出于后续的FMV及AMV均是以LMV为基础而计算得出的。在LMV的产生模块中，由于是以三态动态线性神经网络算法通过边缘探测器之后为基础，所以图像数据能够真实地输出的，从而更好的将二值化的边缘图像数据加以导出。把所有输出的数据再次输入边缘匹配部分中，再运用相关算法将前后帧中有关联的运动矢量检测区域计算出来，进而取得相关运算值M个，各自与其所对的边缘匹配区域相对应，记做COR(1),…,COR(M)，以此所获得M个LMV均是在相互对应的区域中所获得的最大相关值的时候而获取到的。

（2）FMV生成单元

将上述获得的LMV进行一定的加权平均后，即能生成FMV。下列本文假设：

使用M个LMV、间隔量权重ai和稳定度权重bi，得到FMV：

（3）AMV生成单元

AMV的计算由下式给出：

上述公式中相关的代数的表示意义如下：

t—表示帧或时间；

k—代表常数，指平滑移动与虚拟地增大AMV的时所有效的范畴；

a—指消除不良噪声的干扰。

（4）场内存地址和数字缩放单元

根据AMV与相应的放大比率进行数据输出，其原始地址就是场内存地址及数字缩放单元，并且还扩大图像序列，缓解去除运动补偿时带来的非正常图像边界所产生的影响。这里放大图像所运用的方法是一种双线性插值算法。

EPM算法具有运算速度迅速、精准度高的特点，同时能弥补慢速运动，然而其却仅仅能弥补平移运动，在旋转与变焦缩放方面束手无策。

2.特征量跟踪算法

特征量跟踪算法（FTA，全称为Feature Tracking Algorithm）是稳像算法中比较重要的算法之一。对于这种方法，目前采用的特征量一般有：角点、直边缘、曲边缘等部分特征与包括型心、表面积、惯量矩的长短轴等在内的整体特征，这之中应用最普遍的特征是角点。角点的提取好坏在很大成分上影响着特征匹配结果。在实践中，特征量的选择则重点关注目标所具备的特性。通过FTA取得局部运动矢量之后，下一步另外要求计算得出图像的全局运动矢量。下面列示的数学模型就不同场景下全局运动数量的测算进行了描述。

当图像中仅仅存在平移量的情况下，对应的是Translation数学模型：

其中，P1是指现有帧的特征量所在的坐标，P0代表参考帧的特征量所在的坐标，T则为二维平移量。不过存在变焦量的情况下，则应该使用Similarity模型：

P1=sReP0+T

其中，s代表变焦系数，是指正交的旋转矩阵。

下面是Affine的数学模型，该模型中涉及6个参数：

在考虑选择何种数学模型的时候应当结合相应的情况，具体问题具体分析。

3.特征点匹配法

特征点匹配法（RPM，全称为Representative Point Matching）是以特征点为基础，它也可以叫为代表点匹配法的全数字稳像方法，目前该方法运用相对较少，主要运用在部分小型的摄像系统中。

特征点是一种以较为稳定、旋转固定、能抑制灰度反转为特征的有效特征点。将其使用于匹配过程中，不仅可以使模型中所涉及的计算量减少，还能使图像中重要灰度信息的稳定性和完整性得到保证，并且还能对识别程度高的影像在局部相似度上加以匹配。

已有文献中将已有报道的特征点进行了总结分类，包括狭义与广义两方面的特征点。狭义特征点诸如角点、交叉点等自身就具备常规性的属性意义。广义特征点自身不具有特征意义，其是以区域定义为基础的，仅仅只是代表了与一定特征条件相符合的特征区域位置。任何一个特征区域的相对位置都可以称为广义上的特征点，其没有武力意义上的特征的强制性要求，只需要符合一定的数字描述即可，所以这种特征点也可以是抽象的。从本质上而言，广义特征点能够看成是一个抽象的特征范畴区域，当然这种所谓的抽象区域具有特征区域所拥有的属性。已有文献中认为那些被运用到计算机视觉、识别模块、匹配图像的特征点大部分是我们所说的狭义特征点，但是广义特征点大都是对匹配图像有积极作用的。

特征点一般采用图像中易确定的点，例如直线交叉点、T型交汇点、角点、高曲率点以及特定范畴的重心、中心点等等。在来源的角度上划分，包括有边缘上提取的特征点、直接来源于灰度的特征点以及区域分割上的特征点三个方面。

RPM算法选取了图像中部分简单的特征量作为代表点，将所选取的离散点组成一个统一的坐标系，一幅图像通常会被划分为四个区域，在这些区域中选择一定代表点，每组一般为30个，相应的搜索区域对应一个代表点。当对前后帧的相应象限的特征点进行比对后，再进行匹配测算，我们所要得到的局部运动矢量就是匹配值最小的时候所对应的偏移向量。具体函数如下：

式中，ft-1（xk，yk）、ft（xk+i-yk+j）分别代表第k个代表点在当前帧与参考帧图像中的象限数据。每个区域中最小的（i，j）与相应的 P（i，j）就是区域的局部运动矢量数值，然后将全局运动矢量通过某些算法计算产生。

该种算法相对前面介绍的较为简单，而且在计算量上也比较小，但是由于是通过坐标来显现代表点，所以在图像发生变动时，其不会很敏感，存在不显著的图像对比度的时候，其精确度也会被波及，同时无法弥补慢速运动、旋转运动和变焦缩放，因此只适用于初步研究。

结束语：通过上文的具体介绍，我们能够发现图像处理技术中比较重要的一个成分就是以图像特征为基础的运动估计方法，随着各种估计算法的研究以及实际应用的推广，电子图像技术将会有更大的发展。

[1]宋永江，夏良正.多直线全局运动估计及其在图像稳定中的应用[J].东南大学学报.

[2]勒中鑫.数字图像信息处理[M].国防工业出版社.

[3]罗诗途，张玘.一种基于特征匹配的实时电子稳像算法[J].国防科技大学学报.