基于帧间相关测量的视频帧运动程度分类

岳宇辰

（陆军装甲兵学院 兵器与控制系，北京 100072）

0 引 言

压缩感知理论的提出，有效地解决了频带较宽的数字图像与视频信号按传统Nyquist-Shannon采样定理进行数据采样时，按照先采样后压缩的数据处理方式造成采样资源严重浪费的问题[1]。它在采样端合并了数据采样与数据压缩过程，寻找最少的测量系数线性表述信号，并利用图像或视频信号的稀疏性作为先验，在重建端通过重建算法从测量值中实现重建原始信号的高概率重建[2,3]。视频信号可以通过在采样端将每个视频帧分块处理，然后再分别使用相同的测量矩阵独立采样[4]。此类方法虽然具有较快的重建速度与重建质量，但忽略了视频帧间存在的强相关性。因此部分学者在测量域将运动估计和运动补偿加入视频压缩感知过程，形成了基于多假设预测的视频压缩感知，在重建端先进行测量值的初始重建，再通过运动估计得到更高质量的预测辅助重建，但该方法忽略了视频序列中的运动特性。文献[5]通过自适应块采样的方式在一定程度上利用了视频序列内不同区域的运动特性，但极大增加了采样端的计算复杂度，反而背离了压缩感知的初衷。综上所述，为利用视频序列的帧间相关性，简单直接地获取视频帧的运动情况，本文提出一种基于帧间相关测量的视频帧运动程度判断方法，根据待重建视频块与其在参考帧中匹配块测量值之差将待重建视频块划分为近似静止块、缓速运动块以及快速运动块，为视频帧有针对性的分类重建奠定基础。

1 视频块运动程度判断方法

视频信号的测量值维数与视频帧的采样率呈正相关，使用相同的重建算法时，视频序列测量值与重建质量同样呈正相关，即随着视频帧的采样率增加，视频序列的测量值维数越高，重建质量越好。另外，虽然视频存在帧间相关性，但视频中各视频帧的运动情况也不尽相同，采用相同的重建算法对视频序列中每一帧的重建质量也会存在较大差异。综上，可以总结出影响视频帧重建质量的两个因素为视频帧采样率和视频帧运动程度。视频帧重建质量常用峰值信噪比（Peak Signal to Noise Ratio，PSNR）进行客观评价，其定义式为：

式中，MSE为均方误差，定义M×N维图像x的MSE为：

设xt,i是视频序列X第t帧中的第i块，它与前一帧中相同位置块xt-1,i之间的残差能量反映了帧Xt与Xt-1在此位置上的帧间相关性，表达式为：

式中，残差能量E(xt-1,xt,i)很大程度上会受视频序列亮度和对比度等信息的影响。为消除结果对视频信息的依赖性，采用相对能量来表述视频帧运动程度，即：

在重建端只能获取视频帧的测量值，于是采用测量域相对残差能量描述视频帧运动程度，公式为：

设定阈值τ1和τ2区分各视频块的运动程度，若e(yt-1,yt,i)＜τ1，则将xt,i划分为近似静止块；若τ1＜e(yt-1,yt,i)＜τ2，则将xt,i划分为缓速运动块；若e(yt-1,yt,i)＞τ2，则将xt,i划分为快速运动块。

2 判断条件有效性与分类阈值分析

首先通过实验验证提出的e(yt-1,yt,i)能发挥和e(xt-1,xt,i)相同的作用，可以用于视频块运动程度分类条件。通过实验对比相同采样率下e(xt-1,xt,i)与e(yt-1,yt,i)对相同视频帧进行运动程度判断结果。为保证较快的采样速度与较多的采样信息，设定采样率为0.2，分块尺寸为8×8，单位为像素，实验对象为352×288的CIF格式的标准测试序列Hall、M&D、Tempete、Foreman、Coastguard、Stefan、Football以及Soccer的若干连续视频帧，此时序列的每一帧都会被分为1 584个视频块。以序列的第10帧为例，运动程度判断结入图1（a）和图1（b）所示，横坐标视频块序号完全相同。

图1 Foreman序列两类方法判断结果对比图

e(xt-1,xt,i)和e(yt-1,yt,i)的判断结果具有相似的分布状态和变化趋势，可以直观看出两种判断方法能发挥相同作用。接下来通过实验分析并计算运动程度判断阈值τ1和τ2，实验对象选用相同的标准视频序列，以e(xt-1,xt,i)结果作为标准，对比验证e(yt-1,yt,i)判断结果的准确性。以8个实验对象的第17帧和第18帧为例，计算并统计不同的判断阈值τ1和τ2对8个视频序列的第10帧，共12 672个视频块的分类结果，其中统计e(yt-1,yt,i)分类正确视频块数及正确分类概率，设定当通过e(yt-1,yt,i)得出的视频块分类结果与通过e(xt-1,xt,i)得出的分类结果相同，即划分视频块类型一致且所处位置相同时，认为e(yt-1,yt,i)分类结果正确。通过多次反复实验，得出当τ1=3×10-3，τ2=0.15时，e(yt-1,yt,i)对视频块分类的正确率达到最高，正确判断近似静止块的平均概率为91.34%，正确判断缓速运动块的平均概率为92.74%，正确判断快速运动块的平均概率为95.38%。可见测量域相对残差能量也可以按照视频块运动情况大概率做到正确分类，证明了e(yt-1,yt,i)条件的有效性。

3 结 论

本文提出的基于帧间相关测量的视频帧运动程度分类方法可以在重建端快速判断视频块的运动程度，计算复杂度低且正确率很高，有效提高了采样效率，并且为后续视频块的分类重建打下了基础。