一种自适应采样率视频压缩感知方案

左觅文，常 侃，施静兰，覃团发

（广西大学 计算机与电子信息学院，广西 南宁 530004）

一种自适应采样率视频压缩感知方案

左觅文，常 侃，施静兰，覃团发

（广西大学 计算机与电子信息学院，广西 南宁 530004）

为了进一步提高视频压缩感知方案的重构图像质量，提出了一种新的自适应采样方案。在该方案中，根据不同图像块的稀疏度自适应分配采样率。在对各图像块分类判决时，首先判断图像块在离散余弦变换域的稀疏度，其次结合该图像块与其参考帧之间的时域相关性，确定图像块的分类。实验结果表明，与现有的自适应采样率分配方案相比，该算法可获得0.5 dB左右的峰值信噪比增益。

视频图像处理；压缩感知；自适应采样率；稀疏度

近年来，Candès和Donoho等人提出了压缩感知（Com⁃pressive Sensing，CS）理论[1]。该理论突破了香农定理的瓶颈，可以用远低于奈奎斯特采样定理要求的速率采样信号，同时又可以完美恢复信号[2]。压缩感知理论被提出后，在许多领域受到了高度的关注，如医学图像、遥感成像、视频编码等。

这几年，压缩感知理论在视频编码中的应用得到了迅速的发展。视频压缩感知（Compressive Video Sensing，CVS）方案，一般都是发端简单，收端较为复杂。为了获得高重构质量，许多的重构算法被提出，常见的信号重建算法有：凸优化算法、全变差范数算法、贪婪算法等。然而在追求高重构质量的同时，同样希望能够降低采样率，所以在发端怎样合理的分配采样率成为了关注的焦点。目前国内外已有学者提出了不同的自适应采样率方案，例如蒋业文等人提出的通过离散小波变换域对图像每级分解时的每个子带中应用分块采样的自适应采样率方案[3]，但是算法复杂度过高；Garrett Warnell提出的自适应采样方法，将图像分为前景和背景，根据关注度的不同分配不同的采样率[4]，但是这种方法牺牲背景的重构质量，对整个视频帧重构质量的提高没有起到太大的作用；基于时域相关性，练秋生等人又提出了新的一种自适应采样的方法[5]，根据非参考帧与参考帧的时域相关性大小来分配不同的采样率，但是这种方法忽略了单帧图像里不同块的稀疏度不同，从而造成了对图像块分配采样率不够准确。

为了解决文献[5]中的缺陷，本文提出了一种基于稀疏度的图像块分类判决的方案。首先判断在离散余弦变换域（Discrete Cosine Transform，DCT）内各图像块的稀疏度，然后在测量域判断图像块的时域相关性大小，结合图像块的稀疏度与时域相关性大小，将图像块分为平滑近似块、普通近似块、纹理近似块、平滑变化块、普通变化块、纹理变化块，依次分配由低到高的采样率。实验结果表明，在相同的采样率甚至是更低的采样率下，本文算法比文献[5]算法获得更高质量的重构图像。

1 现有的变采样率分块CVS方案

基于时域相关性以及分块测量方式[6]，文献[5]提出了一种基于变采样率的多假设预测分块视频压缩感知方案。在该方案中，对参考帧采用固定的高采样率S3进行测量；对非参考帧采用变采样率进行测量，根据当前帧与参考帧的时域相关性大小将其图像块划分为3类：近似不变块、缓慢变化块和快速变化块。其中，时域相关性的大小用测量域的残差能量与参考块能量的比值来作为判决准则

给近似不变块、缓慢变化块和快速变化块分别分配采样率S1，S2，S3，其中S1＜S2＜S3。对应的采样点数为M1，M2，M3。非参考帧的总采样率计算如下

式中：K1，K2，K3分别表示近似不变块、缓慢变化块以及快速变化块的数量；K表示帧内图像块的总个数，且满足K=K1+K2+ K3；n2表示非参考帧总像素数点。

在接收端，对参考帧直接进行独立重构。重构非参考帧时，首先对近似块进行预处理——采用参考帧中对应位置块的测量值将其测量值补齐至M个采样点；其次，对非参考帧进行多假设预测[7]，并对接收端经过预处理后的测量值与真实测量值的残差进行重构。

上述方法利用时域相关性进行分类判决，但是这种方案忽略了一帧图像内不同图像块的空域复杂度。事实上，图像块越稀疏，所需要的采样率就越低。仅考虑时域相关性有可能造成对图像块分配采样率不准确：对稀疏度低的近似块分配的采样率过低，影响重构效果；对稀疏度高的缓慢变化块（或者快速变化块）分配的采样率过高，浪费资源。针对该问题，本文提出了一种新的自适应采样率视频压缩感知方案。

2 提出的自适应采样率CVS方案

2.1 方案总体框架

视频信号中，一帧图像里不同图像块是具有不同稀疏度的，越稀疏的块，重构图像所需要的采样点数就越少。在块分类判决操作中结合时域相关与图像块的稀疏度，可以更为合理地分配采样率。基于该思想，本文提出一种自适应采样率CVS方案，该方案框图如图1所示。

图1 提出的自适应采样率视频压缩感知框图

由图1可见，与文献[5]的方法不同，本文方案在图像块的分类判决操作中（图1中非参考帧采样端虚线框部分）结合了帧内图像块的稀疏度，将图像块分为6类，分别是：平滑近似块、普通近似块、纹理近似块、平滑变化块、普通变化块、纹理变化块。2.2节将对6类图像块的分类方法进行说明。

2.2 图像块的分类标准

2.2.1 块的稀疏度判断

判断图像块在DCT域的稀疏度[8]。用阈值t1来判定DCT系数的大小，系数模值大于t1的系数定义为较大系数，系数模值小于等于t1的系数定义为较小系数。在CS重建中，小系数可以近似忽略而对结果没有太大的影响，因此小系数可以近似视为0。换而言之，较小系数越多，约等于0的系数越多，图像块稀疏度也就越高，所需采样率越低；反之，较大系数越多，约等于0的系数越少，图像块稀疏度就越低，所需采样率越高。定义稀疏度大的块为平滑块，稀疏度适中的块为普通块，稀疏度小的块为纹理块。统计图像块中较大系数的个数N来判断图像块稀疏度的大小。

式中：t2和t3为判断稀疏度大小的阈值。

2.2.2 块的变化程度判断

首先，按照式（1）求出图像块测量域的残差能量与参考块能量的比值E，然后通过阈值t4来判断图像块变化程度，即

2.2.3 块的分类判决

结合块的变化程度与稀疏程度将其分为6类：平滑近似块、普通近似块、纹理近似块、平滑变化块、普通变化块、纹理变化块。

依次给它们分配由低到高的采样率λ1，λ2，λ3，λ4，λ5，λ6。

2.3 算法流程

在发送端，对非参考帧的自适应采样流程如下（见图2）：

步骤1，对图像分块，分成m个n×n大小的图像块，并且令i=1。

图2 算法流程

步骤2，对第i块图像块进行DCT变换，并计算该块的N值。

步骤3，根据式（3）判断该块的稀疏程度。

步骤4，根据式（1）和式（4）来判断该块的变化程度。

步骤5，根据式（5）来来判断块的种类并根据式（6）对该块分配采样率。如果块的种类为平滑近似则对该块进行λ1采样，转向步骤11，否则执行步骤6。

步骤6，如果块的种类为普通近似则对该块进行λ2采样，转向步骤11，否则执行步骤7。

步骤7，如果块的种类为纹理近似则对该块进行λ3采样，转向步骤11，否则执行步骤8。

步骤8，如果块的种类为平滑变化则对该块进行λ4采样，转向步骤11，否则执行步骤9。

步骤9，如果块的种类为普通变化则对该块进行λ5采样，转向步骤11，否则执行步骤10。

步骤10，如果块的种类为纹理变化则对该块进行λ6采样。

步骤11，如果i≥m则结束整个压缩采样过程，否则，令i＝i+1，重新执行步骤2。

在接收端，块的判决分类为6种，分别为：平滑近似块、普通近似块、纹理近似块、平滑变化块、普通变化块、纹理变化块（图1中非参考帧重构端虚线框部分），并对平滑近似块、普通近似块、纹理近似块进行预处理——采用参考帧中对应位置块的测量值将其测量值补齐至λ6个采样点。对非参考帧的重构方法与文献[5]中的VS-MH算法保持一致。

3 实验结果

为了验证本文提出的自适应采样率方案的重构效果，本文分别用文献[5]中的VS-MH算法与本文算法（简称为VS-MH-E）对QCIF格式的susie以及CIF格式的foreman，news，oastguard这4组标准视频序列进行仿真比较实验，同时列出了原始固定采样率算法MH[7]的结果作为比较基准。本文将参数设定如下：阈值t1，t2，t3，t4分别取经验值为4，16，30，0.003，采样率分别为λ1=3%，λ2=4%，λ3=5%，λ4=20%，λ5=30%，λ6=50%。为了获取相近的采样率，VS-MH的阈值分别为l1=0.003，l2=0.15，S1=5%，S2=20%，S3=50%。为公平起见，在VS-MH-E以及VS-MH中，块的大小均固定为8×8，参考帧的采样率都固定为50%，重构参考帧与残差时均采用BCS_SPL算法[8]。

表1给出了VS-MH-ST图像块分类的情况。由表1可知：在序列susie，foreman，news，coastguard中，本文的方法合理的将图像块分成6种属性。susie，foreman，news序列里都是以人物为主，包括头发、眉毛等变化比较突变的细节部分，所以最后判断出来会有一小部分纹理近似块和纹理变化块。这是与客观事实符合的。而coastguard这个序列里几乎3/4都是水面，相对头发、眉毛等细节要平滑些，几乎没有很突变的细节部分，并且本文纹理属性块的划分取决于阈值t3的大小，在实验中t3所取的经验值相对比较大，所以造成最后块判决分类中没有纹理近似块与纹理变化块。

表1 VS-MH-E中判决块分类的结果%

当图像块是具有近似属性的块，但同时又有纹理特性，本文方法就会相应地提高此块的采样率，从而达到更好的重构效果；当图像块是具有变化属性的块，但同时又有平滑特性，本文的方法就会稍微降低此块的采样率，这样可以节省一部分采样率并且也不会太影响重构的效果。表2给出了两种方法的非参考帧质量，由表可知本文方法中，susie和news都能在比文献[5]方法更低的采样率下，将重构质量分别提高了0.59 dB和0.12 dB；foreman和coastguard序列在与文献[5]方法相同的采样率下，分别将重构质量提高了0.44 dB和0.43 dB。其中susie和foreman序列中纹理变化块是5个序列中比较多的，按照本文的方案，将纹理变化块的采样率提高比较多，从而这两个序列整个图像的重构质量提高的幅度也是最大的。而coastguarad中的普通变化块比例高达44.7%，本文方案对普通变化块的采样率也有小幅提高，最后重构质量提升的幅度也是比较大。而news序列中的块大多集中在平滑近似块和平滑变化块，所以提升采样率的块比较少，从而重构质量提升比较小。

表2 非参考帧重构质量比较dB

图3和图4分别为news，susie序列部分的主观质量重构效果图。可以看到news序列中人物与背景相接处这个突变区域的重构质量有了明显的提高，而susie序列中眼睛，嘴巴这些突变部位的块效应明显降低，可见本文方案对稀疏度较小的块提升采样率是有效的。由实验仿真结果可以看出本文方案极大程度地抑制了块效应的产生，提升了图像的重构质量。

4 小结

本文在自适应采样率方案中引入了图像的稀疏度，结合当前帧与参考帧的时域相关性将图像块分为6类，提高了图像块采样率分配的合理性。根据实验结果可知，提出的方案可以获得比现有自适应采样率算法更高的重构图像质量，从而证明本文提出算法的有效性。下一步的工作重点将围绕着任意总采样率下的分块采样率的最优分配问题展开。

图3 news序列的局部重构结果

图4 susie序列的局部重构结果

[1]CANDESE，ROBER J，TAO T.Roubust uncertainty principles：ex⁃act signal reconstruction from highly incomplete frequency infor⁃mation[J].IEEE Trans.Information Theory，2006，52（2）：489-509.

[2]石光明，刘丹华，高大化，等.压缩感知理论及其研究进展[J].电子学报，2009，37（5）：1070-1081.

[3]蒋业文，于昕梅.基于DWT的多尺度分块变采样率压缩感知图像重构算法[J].中山大学学报，2013，52（3）：30-33.

[4]WARNELL G，REDDY D，CHELLAPPA R.Adaptive rate com⁃pressive sensing for background subtraction[C]//Proc.ICASSP 2012.[S.l.]：IEEE Press，2012：1477-1480.

[5] 练秋生，田天，陈书贞，等.基于变采样率的多假设预测分块视频压缩感知[J].电子与信息学报，2013，35（1）：203-208.

[6] GAN L.Block compressed sensing of natural images[C]//Proc.15th International Conference on Digital Signal Processing（DSP 2007）.Cardiff，UK：IEEE Press，2007：403-406.

[7]TRAMEL E，FOWLER J.Video compressed sensing withmultihy⁃pothesis[C]//Proc.IEEE Data Compression Conference（DCC 2011）.Snowbird，UTah：IEEE Press，2011：193-202.

[8]张淑芳，李凯，徐江涛，等.基于压缩感知的图像自适应编码算法[J].天津大学学报，2012，45（4）：319-324.

[9] MUN S，FOWLER J.Block compressed sensing of images using directional transforms[C]//Proc.International Conference on Im⁃age Processing（ICIP 2009）.Cairo，Egypt：IEEE Press，2009：3021-3024.

责任编辑：时 雯

Adap tive Rate Com pressed Video Sensing Schem e

ZUO Miwen，CHANG Kan，SHI Jinglan，QIN Tuanfa
（School of Computer and Electronic Information，Guangxi University，Nanning 530004，China）

To improve the performance of compressed video sensing（CVS），a new adaptive sampling rate scheme is proposed in this pape.In such a scheme，the sampling rate is allocated according to the sparsity of each image block.Firstly，the sparsity in discrete cosine transform（DCT） domain for each block is estimated.Then，the classification of image block is determined according to both temporal correlation and spatial sparsity.Experimental results show that compared with the existing adaptive rate CVS methods，this proposed one can get about 0.5 dB Peak Signal to Noise Ratio（PSNR）increment.

video image processing；compressed sensing；adaptive sampling rate；sparsity

TN919.8

A

10.16280/j.videoe.2015.02.018

左觅文（1991—），女，硕士生，主要研究方向为压缩感知、视频编码；

常 侃（1983—），博士，副教授，硕士生导师，主要研究方向为压缩感知、视频编码与传输；

施静兰（1990—），女，硕士生，主要研究方向为压缩感知、稀疏表示；

覃团发（1966—），博士，教授，主要研究方向为无线多媒体通信、网络编码、视频编码和图像检索。

2014-03-02

国家自然科学基金项目（61261023）；广西自然科学基金项目（2011GXNSFD018024；2013GXNSFBA019272）；广西教育厅科学研究项目（201203YB001）

【本文献信息】左觅文，常侃，施静兰，等.一种自适应采样率视频压缩感知方案[J].电视技术，2015，39（2）.