两描述分布式视频压缩传感

韩予皖，师 卫

（太原理工大学信息工程学院，山西太原 030024）

两描述分布式视频压缩传感

韩予皖，师 卫

（太原理工大学信息工程学院，山西太原 030024）

为了满足低功耗视频设备的低复杂度编码及无线网络传输的稳定性，提出了两描述分布式视频压缩传感（2D-DCVS）方案。在编码端，首先把视频序列分成两个子序列，即两个描述;然后将两个描述通过分布式视频压缩传感（DCVS）压缩。由于将运动估计、变换编码等复杂度较高的运算转移到解码端进行，DCVS具有低复杂度编码的特性。在解码端包括两种解码器，分别是中心解码器和边解码器。当两个描述都被收到时，中心解码器能够恢复出最好质量的视频;即使仅当一个描述被收到时，那也能够保证得到一个尚可接受的重建视频。实验结果表明，特别当测量率低时，2D-DCVS显示出了优越性。

2D-DCVS;DCVS;低复杂度编码

【本文献信息】韩予皖，师卫.两描述分布式视频压缩传感［J］.电视技术，2013，37（3）.

随着无线网络和多媒体技术的快速发展，低功耗的无线视频设备逐渐流行。由于有限的电池能量和内存，以及不稳定的无线网络，这些设备需要低复杂度的编码算法和稳定的传输。

传统的视频编码算法，例如H.26x，MPEG系列标准，由于这些算法在编码端采用了运动估计、正交变换、运动补偿等，造成了较高的计算复杂度，所以不符合上述要求。然而分布式视频编码（DVC）［1］，也称Wyner-Ziv（WZ）视频编码，其主要采用了独立编码和联合解码的编码框架，具有一定的信道传输的鲁棒性和低复杂度编码的特点，近几年来在图像/视频编码的研究方面，一直是人们研究的热点课题。DVC把复杂的计算从编码端转移到解码端，因此表现出低复杂度编码特性。同时，压缩传感（CS）［2］理论也激起人们的兴趣，能同时进行数据采集和压缩，其采样数量远小于奈奎斯特采样，通过随机测量方法，提供一个简单的编码和高精确的重构。所以根据DVC和CS各自的特性综合生成一个新的框架叫做分布式视频压缩传感（DCVS）［3］，这不仅减少了视频压缩的数据量，而且降低了编码的复杂度。

近几年，多描述编码（MDC）引起了人们的关注，其特点是延时小、无需重传、易于实时视频传输，适用于互联网、无线通信网这些不稳定的网络的实时视频传输，是一种新的面向不可靠信道传输的编码方法。视频信号被分成多个描述，每个描述通过单独的信道传输。当一些描述丢失时，可以通过收到的描述来估计丢失描述，恢复出质量可接受的视频;当收到的描述增多时，恢复出的视频质量变得更好。

为了满足低耗视频设备的低复杂度编码和稳定的传输，笔者利用DCVS和MDC各自的特性，综合生成一种多描述分布式视频压缩传感（MD-DCVS）新的方案。在MDDCVS框架里，为了提高系统的性能，应用了块压缩传感（BCS）、自适应稀疏基和双边运动估计补偿。

1 压缩传感（CS）理论

Donoho［4］和 Candes［5］等人在 2004 年提出了 CS 理论，CS理论是一种全新的信号描述与处理的理论框架，其主要内容在某一变换域内具有稀疏表示的信号，或者是此信号是可压缩的，就可以基于与变换基不相关的少量线性观测将变换所得的高维信号投影到一个低维空间上，最后通过求解一个最优化问题，可以从这些少量的观测值中高概率地恢复出原始信号。

假设信号x为1个RN空间的M×1维列向量，则其可用1组基向量（稀疏基）ΨN×N的线性组合来表示，其数学表达式为［4］

式中:θ表示稀疏系数;信号x具有可压缩性或稀疏性，信号是可压缩的是指在允许较少的损失情况下，具有较少的大系数和许多小系数，小系数都是极小或接近于零的数。信号是稀疏的，是指只有K个非零系数，K远小于N，其余所有系数都为零，这样还可称作K-稀疏信号。信号的稀疏基选择，由信号本身的特点决定，如离散傅里叶变换（DFT）基、离散余弦变换（DCT）基、离散小波变换（DWT）基，都可作为信号的稀疏基。

信号的采样与压缩是通过观测矩阵线性投影实现的，设Φ为M×N（M≪N）的观测矩阵，则长度为N的信号x的观测值y可由线性测量直接获得式中:y是M×1的观测值向量;A=Φ·Ψ为M×N的矩阵;Φ满足以下的条件:1）受限等距特性准则（RIP）［5］;2）非相干性。测量矩阵Φ的列与稀疏基矩阵Ψ的行不能相互表示。x可以凭借这些观测值，通过贪婪追踪算法或者转化为凸优化问题求解，从而精确重建原信号。

2 分布式视频压缩传感（DCVS）

DCVS框架［3］如图1所示。在编码端，一个视频序列由几组图像组成，每组图像包括一个关键帧和一些CS帧，关键帧可以作为相邻CS帧的参考帧。在编码端，每一帧（关键帧或者CS帧）都单独被CS压缩，而关键帧CS测量率比CS帧高。

图1 DCVS框架

在解码端，每一关键帧可以通过梯度投影稀疏重建（GPSR）［6］算法来恢复，GPSR算法的初始值和迭代终止条件，可以通过视频序列之间相关性进一步改进。对于CS帧，首先根据已解码的关键帧，运动补偿内插出其边信息，然后通过联合稀疏模型（JSM）和边信息进行重建。

3 多描述编码（MDC）

一个简单的两描述编解码框架如图2所示，编码端首先将一个视频信号用多描述视频编码器分成两个子序列，即描述S1和S2，然后分别单独通过信道1和信道2传输;解码端包括一个中心解码器和两个边解码器，当两个描述S1和S2都可以收到时，中心解码器起作用;当描述S2完全丢失时，边解码器1起作用;当描述S1完全丢失时，边解码器2起作用。由图2可知，当所有的描述被收到时，中心解码器将恢复出最好的质量视频序列;假设一个描述丢失，相应的解码边将从收到的描述来估计丢失的描述，恢复出可接收的视频序列。因为这两个描述之间相关，所以丢失的描述能够用收到的描述来估计。一般来说，描述间的相关性越高，更高质量的描述能够被估计出来。然而，随着相关性增加，冗余也增加，编码的效率也随之降低。所以，在MDC中，在编码效率和恢复出的视频质量之间的权衡很重要。

图2 两描述编解码框架

4 两描述分布式视频压缩传感（2DDCVS）

为了实现低功耗视频设备的低复杂度编码及无线网络传输的稳定性，本文根据MDC和DCVS各自特性，综合产生一种2D-DCVS新的方案，该方案框架如图3所示。

图3 2D-DCVS框架

4.1 编解码的描述

在编码端，一个视频序列通过奇偶分离法，将视频分成两个描述，即奇数帧子序列和偶数帧子序列。每一个描述被分成几组图像，每组图像又包括一个关键帧和一些CS帧。每一关键帧按照CS方法编码;对于每一CS帧，为了降低编码复杂度，先把每一帧图像分成块，然后用块压缩传感 （BCS）［7］方法进行帧观测，对一个图像块xB，其观测值为

式中:yB表示观测值向量;ΦB表示观测矩阵，是由结构化随机矩阵（SRMS）［8］方法构造的。SRM的优点是计算速度快、结构简单。SRM建立在可靠数学模型的基础上，能有效测量广泛种类的稀疏信号，在精确恢复所需的观测值个数的矩阵中，几乎达到最佳效果，是一种性能优异的观测矩阵。

在解码端，每一关键帧可以通过GPSR算法来重建;而每个图像块也通过GPSR算法进行重构，这是一个无限制凸优化问题，表示为

式中:yB是从式（3）获得的观测值;A=ΦB·ΨB，ΨB是xB的稀疏基，即:xB=ΨB·θB，θB是xB在ΨB基下的系数;‖·‖2表示l2范数;‖·‖1表示l1范数;τ是一个非平衡参数。稀疏变换矩阵在很多CS算法中，通常都选择固定且正交的变换基向量，例如DFT，DCT，DWT等。因为相邻的两个视频序列之间，存在着紧密联系，具有很大相似性，所以自适应稀疏基是由当前块的前/后已重构的关键帧中相应位置的一些相邻的块组成。两个相邻帧中的一些块，可以线性组合起来近似表示当前块，在此稀疏基下，图像块表现出更好的稀疏性，因此可以得到较好的CS恢复质量。

4.2 边解码器和中心解码器

假设只仅收到一个描述（以描述1为例），描述1的所有关键帧即K帧（1，5，9，…），首先通过GPRS算法重建;然后CS帧由通过已恢复出相邻关键帧运动补偿内插产生的边信息，并利用自适应稀疏基对CS帧中的每个图像块的恢复进行联合重建;最后由重构的所有的奇数帧内插描述2的偶数帧，以便获得人们可接受的完整视频序列。具体细节描述如图4所示。

图4 边解码器

假设所有描述都收到，所有的 K 帧（1，2，5，6，…）通过 GPRS 算法重建;所有 CS 帧（3，4，7，8，…）通过 BCS 恢复。如上文所述，利用双边运动估计补偿，能够恢复出更好质量的CS帧，最后能够获得最好质量的视频序列。具体细节描述如图5所示。

图5 中心解码器

5 实验结果

本文选取2个视频测试序列Foreman和Hall，新方案2D-DCVS和文献［9］DCVS作比较。观测率（Measurement Rate）是两个描述之和，包括关键帧和CS帧;PSNR为在解码端视频恢复的平均值;视频图像组GoP大小为2;块的大小为16×16。

从图6可知，对于Hall，边解码器和中心解码器恢复出的视频质量，在相同测量率下，2D-DCVS明显优于DCVS;2D-DCVS得到大约0.7～1.4 dB的中心质量的提高，0～1.3 dB左右的边质量提高。而对于Foreman，中心质量提高了0.2～0.8 dB，边质量在测量率为0.33时降低，但恢复出的视频质量可以接受。从实验结果看到，在低观测率时，2D-DCVS比DCVS更好，因为对帧和块平均分配观测值是不合理的。图7表明2D-DCVS与DCVS恢复出的连续的帧质量几乎相当。另外，随着GoP增加，2DDCVS的性能下降，因为MDC破坏了帧之间的相关性。然而，MDC的优点是当一个描述丢失，恢复出的视频质量可以接受，而且对于不可靠的信道，传输具有一定的鲁棒性。

6 结束语

本文提出一种新的2D-DCVS框架，考虑到低功耗视频设备编码端复杂度和实时性要求，应用了块压缩传感;为了进一步利用视频序列之间的相关性，应用自适应稀疏基对图像块解码，图像块在此稀疏基下具有更强的稀疏性;最后，应用双边运动估计补偿来优化重建的结果。实验结果展示本方案满足无线网络的需求。未来的研究是将两描述分布式视频压缩传感扩展成为多描述分布式视频压缩传感，以及在实际的互联网和无线传输网络中如何应用，从而更好地提高其实用价值。

:

［1］GIROD B，AARON A，RANE S，et al.Distributed video coding［J］.Proceedings of the IEEE，2005，9（1）:71-83.

［2］CANDES E，WAKIN M.An introduction to compressive sampling［J］.IEEE Signal Processing Magazine，2008，25（2）:21-30.

［3］KANG L W，LU C S.Distributed compressive video sensing［C］//Proc.ICASP 2009.［S.l.］:IEEE Press，2009:1169-1172.

［4］DONOHO D.Compressed sensing［J］.IEEE Trans.Inform.Theory，2006，52（4）:1289-1306.

［5］CANDES E，ROMBERG J，TAO T.Robust uncertainty principles:exact signal recon-struction from highly incomplete frequency information［J］.IEEE Trans.Inform.Theory，2006，52（2）:489-509.

［6］FIGUEIREDO M，NOWAK R，WRIGHT S.Gradient projection for sparse reconstruction:application to compressed sensing and other inverse problems［J］.IEEE Journal of Selected Topics in Signal Processing，2007，1（4）:586-597.

［7］GAN L.Block compressed sensing of natural images［C］//Proc.Int.Conf.on Digital Signal Processing.Liverpool:IEEE Press，2007:403-406.

［8］DO T T，TRAN T，GAN L.Fast compressive sampling with structurally random matrices［C］//Proc.IEEE Int.Conf.Acoustics，Speech and Signal Processing.Las Vegas:IEEE Press，2008:3369-3372.

［9］DO T T，CHEN Y，NGUYEN D T，et al.Distributed compressed video sensing［C］//Proc.International Conference on Image Processing.Cairo:IEEE Press，2009:1393-1396.

Two Description Distributed Compressed Video Sensing

HAN Yuwan，SHI Wei

（College of Information Engineering，Taiyuan University of Technology，Taiyuan 030024，China）

To meet low-complexity encoding of low-power video devices and the robust transmission of the wireless network，a two description distributed compressed video sensing（2D-DCVS）is proposed.At the encoder side，the encoder firstly divides the video sequence into two sub-sequences（two descriptions）.Then，both descriptions are compressed by the distributed compressed video sensing（DVCS）.Some computation-consuming algorithms，such as motion estimation and transform coding，are moved to the decoder，so DVCS has low-complexity encoding property.At the decoder side，two kinds of decoder，respectively is central decoder and side decoder.When two descriptions are received，the central decoder provides the best quality reconstruction of the video sequence.Video with acceptable quality can be achieved even when only one description is received.The experiment results show the superiority of the 2D-DCVS，especially when the measurement rate is low.

2D-DCVS;DCVS;low-complexity encoding

TN919.8

A

韩予皖（1985— ），硕士生，主研嵌入式视频编码;

师 卫（1956— ），硕士生导师，主研嵌入式系统。

责任编辑:时 雯

2012－09－15