一种基于运动矢量的运动物体提取方法

陈 淼，刘媛媛

（1.陕西师范大学 数学与信息科学学院，陕西 西安 710062；2.西安通信学院 通信装备管理系，陕西 西安 710106）

视频运动物体提取技术是视频处理领域中的热点之一，在基于内容的视频检索、高级视频编码、视频传输、图像理解、模式识别等领域都有着广泛的应用。

现有的视频运动物体提取技术方法很多，如光流场方法、基于像素值分割方法、利用运动矢量信息的方法[1-2]、压缩域的方法[3-4]、全局运动估计方法[5-6]、基于模型的方法[7]、运用帧间差分方法[8]、聚类方法[9]、贝叶斯方法[10]等。 但是光流场的方法计算复杂度较高，不适合实时应用；利用运动矢量信息[1-2]方法计算复杂度不高，但却有提取的准确性也相对不高的缺点。

根据视频序列中运动物体的运动矢量与背景区域的运动矢量有较大区别，提出将运动物体与背景区域的运动矢量加以区分，再将运动物体从视频序列中提取出来，算法复杂度相对较低而准确性相对较高。首先利用运动矢量计算分割因子，然后对分割因子加以修正，最后利用二维熵门限算法[5]对分割因子进行门限判决，从而实现运动物体的分割。

1 分割因子产生

运动矢量是一个二维的数据，一般在直角坐标系里面表示为（MVx，MVy），变换到极坐标系可表示为（MVMagnitude，MVAngle），它表示的是宏块的运动幅度以及运动方向。背景区域的各个宏块的运动矢量幅度及方向往往相同，而运动物体所在宏块处的运动矢量往往与背景区域宏块的运动矢量在幅度和方向上有所区别。

单纯的利用角度或者幅度信息都不足以完全地表示宏块间的运动矢量的区别。这是由于有些宏块的运动幅度相同但是角度不同，有些宏块的运动角度相同但是幅度不同。然而幅度不同，角度也不同，但是它们的乘积却相同的宏块相对很少，所以本文采用运动矢量的角度与幅度的乘积作为分割因子，同时为了将这种分割因子之间的区别拉大，以便于更准确地进行分割门限的选择，将这种乘积的平方作为最终的分割因子。假设在宏块位置（i，j）处的运动矢量为（MVi，jx，MVi，jy），分割因子为：

分割因子针对每个宏块进行计算，从而每帧的所有宏块的分割因子将组成一个矩阵例如 CIF 格式（352×288 像素）的图像 coastguard 有 22×18 个宏块，每帧图像构成一个22×18分割因子矩阵。coastguard第62帧的分割因子矩阵的直方图如图1所示。

在分割因子矩阵生成之后，为提取背景区域的分割因子，统计出现次数最多的分割因子值 （用Segmentation_Factor_Most表示），将其认作是背景区域分割因子特征值。从而，一种直接而简单的分割方法是：对每个宏块，若分割因子Segmentation_Factor （i，j）=Segmentation_Factor_Most， 则宏块（i，j）被判断为背景（如表 1～2和图 2）。 这样的判法基于这样一个假设：镜头中背景的宏块数量始终占据着宏块数量的大多数。本文对多个标准序列，针对各种场景进行大量实验，表1和表2是通过对多个序列分别随机选取几帧的统计，结果表明这种假设对绝大多数情形都是正确的，具有一般意义。

图1coastguard第62帧的分割因子矩阵的直方图Fig.1 Segmentation factor matrix histogram of the 62nd frame about coastguard

表1castguard宏块分割因子数量统计Tab.1 Quantity statistic of macro blocks segmentation factor about castguard

表2 其他序列分割因子数量统计Tab.2 Quantity statistic of macro blocks segmentation factor about other sequences

通过分割因子可对背景与前景进行初步划分，如图2所示，图2（b）中黑色为背景区域。从图2可以看出，仍然有大片的背景区域与前景区域混在一起，未被划分出来，因此需要选择一个合适的门限才能取得更好的效果。本文利用二维熵门限的判决方法进行门限判决。

2 二维熵门限判决方法

本文采用了与参考文献[5]中类似的二维熵门限算法，但并不以像素为基础，而是采用分割因子取代像素进行分割因子熵门限的选择。步骤如下：

图2coastguard第62帧的初步划分结果Fig.2 Preliminary separation results of the 62nd frame about coastguard

1）首先对每个宏块建立二维参数对（s，t），s表示宏块分割因子的值，t表示该宏块的邻域宏块分割因子的平均值：

2）计算共生矩阵 cm，n，cm，n为在（x，y）位置处宏块的分割因子的值为m，在邻域的分割因子的平均值为n的次数，它反映了相邻宏块的分割因子值的变化情况。

其中 I（x，y）表示（x，y）处的分割因子，I（x，y）表示其邻域分割因子的平均值。由cm，n组成的矩阵称为共生矩阵，并用C表示。

3）根据背景和运动物体的分布概率计算熵门限，静止背景和运动物体的分布概率可以定义为

背景和物体的熵分别定义为：

门限矢量（S，T）应满足方程

使背景和物体的后验熵最大化，进而得到门限矢量（S，T）。

4）划分运动物体与背景，二维参数对（s，t）的分布示意图如图3所示。

0和3区域分别表示背景和运动物体的分布，1和2区域分别表示边缘和噪声的分布。熵门限为步骤 3 中得到的（S，T）。

将 s（i，j）＞S 且 t（i，j）＞T的宏块（即图3中的3号区域的宏块）判断为运动物体。对于运动物体用flag=0标记，背景用flag=1标记。

图3 二维参数对（s，t）的分布示意图Fig.3 Sketch map of distribution in two-dimensional about s and t

最后通过中值滤波：flagi，j=flagm，n， 其中 flagm，n是窗口内所有宏块的flag值排序后的中间值。去除独立的噪声就最终完成了运动物体的提取过程。中值滤波采用3×3的最小窗口进行。

3 实验结果及其分析

实验采用多个标准序列进行实验，如coastguard，vectra_color，claire序列等。使用从H.263+码流中提取的 16×16大小的宏块的运动矢量进行实验。erik序列和coastguard序列提取结果如图4、图5所示。

图4中无背景运动，而且背景纹理一致，所以提取效果很好。由图5可以看出当背景很复杂，全局运动比较快时，提取质量会有所下降。

图4erik提取结果Fig.4 Result of extraction about erik

图5coastguard提取帧结果Fig.5 Result of extraction about coastguard

将提出的算法与主观分割的结果进行比较。将与主观观察的提取结果相差≤5个宏块的帧的提取效果判为提取成功，其余判为提取失败，以此作为分割质量的评判标准。表3给出了多个序列的实验结果。

由表3中多个序列的实验统计结果可以看出，该算法对于全局运动比较稳定且运动物体的运动速度不是太快的序列具有较好的提取效果，如Claire、Container、Hallmonitor等。当运动物体运动速度过高，或者镜头的运动不稳定，其提取效果不十分理想，如对 Vectra、Coastguard，Football的提取。

表3多种序列的实验数据统计结果Tab 3 Experimental results on data statistics of several video sequences

4 结论

利用运动矢量信息的二维熵门限运动物体提取方法，对镜头运动不太剧烈，背景不太复杂的序列，可以获得很好的效果，因此本文的算法可以应用于视频会议、可视电话及监视系统录像等系统中。然而当背景很复杂，镜头运动剧烈时提取效果不好，因此对于体育比赛等场景的应用还需进一步的改进。

[1]Takaya K.Detection and segmentation of moving objects in video[C].Proc of IEEE Conference on Electrical and Computer Engineering，Canadian:2006（5）:2069-2073.

[2]MA Yu-fei，ZHANG Hong-jiang.A new perceived motion based shot content representation[J].Proceedings of IEEE International Conference on Image Processing，2001 （3）:426-429.

[3]LIU Zhi，SHEN Li-quan，ZHANG Zhao-yang.An efficient compressed domain moving object segmentation algorithm based on motion vector field[J].Journal of Shanghai University ，2008，12（3）:221-227.

[4]ZENG Wei，GAO Wen，ZHAO De-bin.Automatic moving object extraction in MPEG video[J].Proc.of IEEE Int'l Symposium on Circuits and Systems，2002（2）:524-257.

[5]刘洋，李玉山.基于2D维时空熵门限的运动目标检测[J].电子与信息学报，2005，27（1）:39-42.LIU Yang，LI Yu-shan.The moving object detection based on 2D spatio-temporal entropic thresholding[J].Journal of Electronics&Information Technology，2005，27（1）:39-42.

[6]李宏亮，刘贵忠，李永利.基于MPEG压缩域的快速、鲁棒的全局运动信息提取方法[J].电子学报，2004，32（1）:121-124.LI Hong-liang，LIU Gui-zhong，LI Yong-li.Efficient global motion estimation method for MPEG video[J].Acta Electronica Sinica，2004，32（1）:121-124.

[7]FAN Jian-ping，ZHU Xing-quan，WU Li-de.Automatic model-based semantic object extraction algorithm [J].IEEE Transaction on Circuits and Systems for Video Technology，2001，11（10）:1073-1084.

[8]张玉霞，王小铭，李惠松，等.竞技运动目标的提取及视频合成与比较[J].计算机应用与软件，2008，25（4）:194-196.ZHANG Yu-xia，WANG Xiao-ming，LI Hui-song，et al.Sports moving object extraction and video composition and comparison[J].Computer Applications and Software，2008，25 （4）:194-196.

[9]杨鹏，裴继红，杨烜.基于不变矩和Mean Shift聚类的视频关键帧提取[J].计算机应用与软件，2009，26（2）:238-250.YANG Peng，PEI Ji-hong，YANG Xuan.Video key frame extraction using invariant moment and mean shift clustering[J].Computer Applications and Software，2009，26（2）:238-250.

[10]Koo H I，Lee S H，Cho N I.Bayesian object extraction from uncalibrated image pairs [J].Signal Processing:Image Communication，2007，22（10）:866-876.