吴庆典,王安红(太原科技大学电子信息工程学院,太原 030024)
近年来,视频组播在无线网络上得到广泛的应用,例如移动电视、媒体分享、体育赛事的实时广播等常采用无线组播方式传播视频。在无线组播系统中,由于多个用户所处信道的异构性(例如各个用户可支持的不同信道带宽和所面对的不同信道误码率等),因此,如何保证每个用户接收到与其所处信道相匹配的视频质量成为这个领域研究的一个关键问题。
无线视频组播中,视频码流通常以一个特定的码率编码,然后将这一视频流通过无线信道同时发送给多个用户。例如,数字视频广播(DBV)[1]是将H.264压缩码流在802.11无线通信协议下传输。但这种固定码率传输对组播组中的用户产生不公平性:一方面,如果传输的码率较低,例如以组播组中最低宽带用户的码率发送视频,这虽然照顾到了低码率的用户,但将造成高码率用户的带宽资源浪费;另一方面,如果传输的码率很高,例如以组播组中最高宽带用户的码率发送视频,则高码率用户能接收到较高的性能,然而低码率用户几乎无法解码。为了解决这种固定码流所面临的问题,人们提出了基于可伸缩视频编码(SVC)[2]的视频传输方案,其中,编码端采用分层结构组织视频流,而组播组的各个用户根据其信道容量来获得不同层数的视频数据。但此方案的码率仍被限定在一些固定的基本层和增强码率值上,仅当用户带宽与这些码率匹配时,才能获得一定的重构质量,因此它并不能有效解决上述公平性问题,而且,可伸缩的编码结构明显降低了视频信号的压缩效率。同时,上述的这些传输方案还有一个缺点,就是当信道遭受噪声影响或者出现数据包丢失的时候,视频重构性能会急剧下降,即出现“悬崖效应”(Cliff effect)。国内的研究人员也提出了一些重构性能较好的组播方案[3-5],但这些方案都只是对部分环节的优化而并没有从根本上解决多用户的问题。
不同于上述传统的数字传输方案,麻省理工大学的S.Jakubczak教授于2009年提出一种模拟视频软播方案,即SoftCast[6],其发送端只是简单地将数据打包发送出去,并不指定码率或者分辨率,接收端能根据所处的信道情况获得相匹配的数据包,而且视频质量随着收到包的个数而成比例提高,恢复质量与用户所面对的信道信噪比(CSNR)成比例,从而比克服了数字传输的“悬崖效应”,自此,跟随SoftCast,研究人员对无线视频组播进行了多方面研究,例如D-cast[7]提出在解码端利用视频相关性进行重构,从而比Softcast的独立帧方案提高了性能,再如Wavecast[8],提出利用3D-DWT去除时域相关性。本论文提出一种基于小波四叉树(QuadTree)的无线视频组播方案,利用四叉树结构组织小波系数,从而更好地进行能量分配,以提高SoftCast的性能。
方案主要包含三个步骤:离散小波变换(DWT)[9]、四叉树(QuadTree)系数组织、能量分配(power allocation)和白噪化(whitening)。相对于现有的SoftCast,基于小波四叉树(QuadTree)的方法在重构性能上有一定的提升。
SoftCast是由S.Jakubczak,H.Rahul 和 D.Katabi三位共同提出的一种视频组播方案,此方案主要致力于解决传统数字视频组播中存在的“悬崖效应”,以满足复杂信道条件下多用户的接收要求,其原理如图1所示。
图1 SoftCast原理框图
SoftCast主要包含离散余弦变换(DCT)、能量分配、白噪化三部分。首先,编码端对视频帧进行基于块的DCT变换,去除图像空间相关性,并用ZigZag扫描将每个小块拉成一列;然后,对每个列进行能量分配以使得不同DCT频带保持相似能量;最后,对经过能量分配的DCT系数,利用白噪化以保证打包后每个包的重要性相同。SoftCast虽然有效解决了传统视频组播方案中的“悬崖效应”,但是其重构性能仍然较低。
因此,在论文中,我们提出了一种基于小波四叉树的无线视频组播方案,它利用离散小波变换(DWT)去除图像空间相关性,并针对小波系数的特点,用四叉树结构来组织小波系数,从而能更好进行能量分配,提高恢复质量。
文中提出了一种基于小波四叉树方案(QuadTree)的无线视频组播方案,它与现有的SoftCast类似,都不包含量化和熵编码。但与Softcast的不同之处在于,本方案在编码端以DWT来代替DCT,并用四叉树代替Zigzag扫描来组织系数,这使得小波系数得到更好组织,从而为进行更好能量分配做好准备。
图2 小波四叉树组播框架
如图2中所示,首先,对视频帧进行DWT分解,用四叉树组织对应位置小波系数并将数据排列为一列;然后,对每一列不同数据乘以不同能量系数进行能量均衡分配;对能量分配之后的数据,我们对其进行白噪化,以保证每个包中所包含的数据具备同等重要性;最后,将数据打包发送到信道中。在解码端,首先我们对接收到的数据进行解包,然后通过最小线性均方估计(LLSE)[10]去除噪声,并将去噪之后的数据重构回来,最后经过DWT反变换得到重构的视频帧。
在编码端,首先对视频帧进行空间相关性去除,不同于SoftCast中的离散余弦变换,本文中我们采用的是离散小波变换(DWT)以去除视频帧内的空间相关性。采用L级小波分解,一个视频帧就被分解成如图3所示的L级(此处L=3).对于变换过后的小波系数,我们采用四叉树方式将每一级每一子带对应位置的数据合并拉成一列xi,如图4所示。
图3 小波变换
图4 四叉树(QuadTree)
为了应对信道噪声,我们需要对四叉树产生的系数向量xi进行能量分配。能量分配借助一个缩放比例因子gi,对系数向量的幅值进行一定比例的缩放,使不同系数处于相同的能量级,从而减小噪声对大系数的影响。在总能量恒定为P时,最小化x重构误差的缩放比例因子可通过式(1)求得:
(1)
其中,λi是xi的协方差矩阵,K表示比例因子的个数也即协方差矩阵的维度,同时可得对角矩阵G=diag{g1,g2,…,gk}.因此,经过能量分配后得到的系数矩阵u可由如下式(2)得:
u=Gx
(2)
在传输u之前,需要将其分配到数据包中。白噪化随机置乱每列中系数位置以保证每个数据包(由一行系数组成一个数据包)具备同等的重要性,即丢失任意一个数据包对重构性能的影响相同。哈达玛矩阵正好能帮助我们达到这个目的,则传输的信号可表示为:
y=Hu=HGx
(3)
对于经过能量分配和白噪化的数据,要将其进行打包才能发送到信道中传输。在本论文中,我们选择的打包方法是把y中的每一行数据取出并打成一个数据包,具体过程如图5所示:
设信道中的加性高斯白噪声为n,则在解码端接收到的数据可由如下式(4)所得:
图5 打包
(4)
在解码端,我们的问题是如何解码接收到的数据来重构视频帧,同时使重构误差尽可能小。首先,我们假设在传输的过程中没有丢包,式(4)可表示如下式(5):
(5)
其中C是一个编码矩阵,它结合了能量分配和白躁化,n是加性高斯白噪声。如果给定解码端接收到的数据和编码矩阵C,我们就可以计算出一个关于x的最佳估计。
最小线性均方估计(LLSE)是最广为人知的解决上述问题的一种方法。特别是,如果在解码端知道源信号的协方差矩阵Λx和噪声信号的协方差矩阵∑,则经过线性最小均方估计可得源信号x的估计值,如下式(6)所示:
(6)
其中,xLLSE就是关于x的一个最小线性均方估计,CT表示式(5)中编码矩阵C的转置矩阵。
如果在传输过程中有数据包丢失,假设丢失的是第i个包,也即y的第i行。我们定义y*i为y丢失第i行之后的结果,同样,C*i和n*i分别为编码矩阵C和噪声信号矢量n去掉第i行之后的结果。则由式(5)可得:
y*i=C*ix*i+n*i
(7)
同时,线性最小二乘估计的公式变换为如下式(8)所示:
(8)
注意,我们同时去除了∑的第i行和第i列。在丢失第i行的情况下,式(8)给出了一个对于源信号x的最佳估计。依次类推,此方法也适用于丢失多个数据包的情况。
实验测试中,我们选用加性高斯白噪声信道,采用标准CIF@352×288的测试序列football,并用三级小波进行分解,即L=3.经过四叉树(QuadTree)组织后列向量的长度为64.根据我们打包的规则即每一行打成一个包,那么数据包的个数也为64.
我们利用PSNR来衡量两种视频组播方案的重构效果,其中,PSNR的定义如下:
第一组实验,不考虑数据包丢失,我们对处于不同信道信噪比(CSNR)情况下的QuadTree与SoftCast两种组播方案在不同丢包率p下的重构性能即PSNR进行比较,如图6所示。由图6可知,在不同的信道信噪比(CSNR)下,在0~25 dB的范围内,QuadTree的PSNR比SoftCast的PSNR高出0.5~1 dB.这是因为我们采用DWT跟四叉树结合方式,更好地组织小波系数以利于能量分配,从而提高了系统性能。
图6 在无丢包情况下,随着CSNR变化QuadTree与SoftCast的性能比较
第二组实验,在信道信噪比(CSNR)一定的情况下,比较QuadTree与SoftCast在不同丢包率下的重构性能,如下图7所示。由图可知,一方面,不管在何种CSNR条件下,随着数据丢包率的增加,QuadTree与SoftCast的性能都会呈现出平滑降级;另一方面,我们提出的方案的重构性能明显高于SoftCast,在不同的丢包率下,QuadTree的PSNR比现有SoftCast的PSNR要高0.5~1 dB.
图7在不同CSNR下,随着丢包率变化QuadTree与SoftCast的性能比较
Fig.7ComparisonofQuadTree(magenta◇)withSoftCast(blue○)withdifferentnoisestrengthanddifferentpacket-lossratio
图8 QuadTree 和 SoftCast 单帧重构效果比较
同时,论文也给出了两种方案的单帧重构效果图,如图8所示。
针对传统视频组播中存在的“悬崖效应”,我们提出了一种基于小波四叉树(QuadTree)的无线视频组播方案,它能很好解决“悬崖效应”,并能根据各用户所处的信道提供与其信道带宽相匹配数量的数据包。实验结果表明,我们方案相比现有SoftCast,在不同丢包率条件下,其重构性能提高大约1 dB.然而,在此方案中,我们没有考虑帧与帧之间的相关性。因此,在下一步工作中,如何利用帧间相关性来提升重构性能将是我们研究的重点。
参考文献:
[1] REIMERS U.Digital video broadcasting[J].IEEE Communications Magazine,1998,36(6):104-110.
[2] WU D,HOU Y T,ZHANG Y Q.Scalable video coding and transport over broadband wireless networks[J].Proceedings of the IEEE,2001,89(1):1-20.
[3] 田红鹏.IP组播技术综述[DB/OL].[2005-08-10].http:∥www.ccw.com.cn/net.
[4] 王志明,吴海涛.组播技术及其在远程视频传输系统的应用[J].电力系统通信,2006,27(1):4-7.
[5] 刘元春.IP组播技术及其在视音频传输中的应用[J].中国有线电视,2004,27(8):48-53.
[6] JAKUBCZAK S,RAHUL H,KATABI D.SoftCast:one video to serve all wireless receivers[C]∥ Proc.Eighth ACM Sigcomm HotNets Workshop,New York:2009:1-6.
[7] FAN X,WU F,ZHAO D.D-cast:DSC based soft mobile video broadcast[C]∥MUM′11 Proc.of the 10thInternational Conference on Mobile and Ubiquitous Multimedia,New York:2011:226-235.
[8] FAN X,XIONG R,WU F,et al.WaveCast:Wavelet based wireless video broadcast using lossy transmission[J].Visual Communications and Image Processing (VCIP),2012,35:1-6.
[9] CHRISTOPHER E HEIL,DAVID F WALNUT.Continues and discrete wavelet transforms[J].SIAM Rev,2009,31(4):628-666.
[10] LAWSON C L,HANSON R J.Solving least squares problem[J].Society for Industrial and Applied Mathematics,1987,35(6):45-51.