郑学伟
辽宁广播电视大学 (沈阳 110034)
在不可靠低速无线网络传输过程中,视频码流易发生信息包丢失,从而导致接收端无法正确解码。本文旨在设计一种快速简单且码率可连续分级的视频多描述编码解码方法,以实现嵌入式设备在低速不可靠网络传输视频编码码流,主要方法为:对原始经过3级三维小波分解的图像序列产生的小波变换系数进行基于方向性的奇偶拆分用于创建多描述,并用快速3D-SPIHT对各描述独立编码,然后通过网络的不同信道传输编码信息,当其中一部分信息丢失时,在解码端依据其接收到的编码信息对丢失信息采用一定程度的恢复以实现视频解码。
三维小波变换将图像序列首先对原始CIF格式YUV视频(分辨率为352×288)以16帧为GOP按照时空交替方式采用9/7小波进行3级三维变换,然后对GOP的每一帧图像的小波系数采用基于方向性的奇偶拆分。所谓基于方向性的奇偶拆分是指根据小波变换后水平、垂直和对角方向上信息表现出来的不同相关性而进行的分裂。最低频的重要信息LL为共用部分。水平方向上的HL信息表现出很强的垂直相关性,该部分信息采取按列的奇偶分裂法;垂直方向上的LH信息则表现出很强的水平相关性,该部分信息采取按行的奇偶分裂法;对角方向的信息并没有明显的水平或垂直相关性,可采取列、行或者错位分裂法进行信息分裂。对于拆分之后得到的两个信息按照如下方法组成两部分大小与原图一样的奇偶描述以待编码:水平方向上提出的奇列信息、垂直方向上提出的奇行信息以及对角方向上提出的奇列信息,保留它们在原图像中的位置,其它偶位置补零(补零位置不参与编码),最低频的重要信息LL则全部保留;对于偶描述处理也是一样,低频信息LL也同样全部保留;这样就得到了以奇偶位为代表的两个子描述。接下来对两个待编码的子描述分别采用3D-SPIHT编码,再分别经奇偶信道独立传送至解码端。当然,也可按照以上思想,将两描述拓展为多个描述。
当只有一路编码信息收到,比如只收到奇编码信息,经过 3D-SPIHT解码、反量化、反变换再经过恢复处理,就可以在一定程度上恢复原始图像信息。恢复采用以下策略:例如当偶描述的编码信息丢失时,由于奇描述的偶位置为零,不参与编码,解码所需的偶位置的小波系数需要根据小波系数采用公式(1)进行恢复:
对于只接收到偶编码信息的情况也采用相同做法。当有两路信息接收到,对奇偶位置的编码系数进行汇总,采用联合解码得到质量更佳的图像。
三维等级树集合划分(3D-SPIHT)[8]不需要通过复杂的运动估计和运动补偿来消除帧间冗余,而是采用三维小波变换。算法生成一个嵌入位流(embedded bit stream),使接收的位流在任意点中断时,都可解压和重构图像,具有良好的渐进传输特性;在系数子集的分割和重要信息的传输方面采用了独特的方法,能够在实现幅值大的系数优先传输的同时,隐式地传送系数的排序信息。同二维的SPIHT算法一样,首先要定义用于时空方向树划分的4个坐标集:
(1)O(i,j,k):位于(i,j,k)位置的小波变换系数C(i,j,k)的子女的坐标集。
(2)D(i,j,k):位于(i,j,k)位置的小波变换系数的所有子孙的坐标集;
(3)H(i,j,k):所有时空方向树的根的坐标(即最低频LLL子带中小波系数的7/8);
(4)L(i,j,k):L(i,j,k) =D(i,j,k) −O(i,j,k),包含节点(i,j,k)的所有子孙的坐标集。
传统的SPIHT随着阈值降低、扫描次数增加,算法中LSP、LIP和LIS链表需要存储空间越来越大。针对储存空间问题,引入最小阈值(Tmin)和最小输出位(bitmin)来解决。实验数据表明,一般图像在相同的压缩比下,最小阈值的取值大致相同,3D-SPIHT编码的扫描顺序按从上到下、从左到右的“Z”型次序排列。在对奇描述进行编码时,扫描需要跳过其系数补零的偶位置。同理,在对偶描述进行编码时,扫描需要跳过其系数补零的奇位置。
为了得到理想的嵌入式彩色码流,把Y、U、V 分量作为一个整体进行3D-SPIHT编码。具体方式:将Y、U、V分量平面分别通过小波变换所得的系数作为一个整体进行扫描,得到最大系数max{|C(i,j,k)|},确定初始化的最大幅度值的位次n= [log 2(max{|c(i,j,k)|})]。然后将Y、U、V分量看作整体,来初始化LIP和LIS集合。完成初始化后,各分量即可按自己的时空方向树结构进行编码。通过这样的编码,就可以实现在各分量间自动进行码率分配,产生理想的嵌入式彩色码流。
尽管对单一描述解码所得的图像序列平均PSNR仅有27.38dB,其图像质量仍在可接受范围内。而采用此方法,在120倍的压缩比下依据两个描述重建的图像平均PSNR达35.91dB。为了进一步验证本文方法的可行性,在Visual Studio 2010平台从图像峰值信噪比(PSNR)平均值和编码算法花费的时间两方面将其与MDSQ和H.264进行比较分析,其中H.264编解码采用优化较好的X.264,而MDSQ移植到VC环境,且MDSQ与本文方法重建图像基准均采用双描述形式。实验数据仍选用288帧的news_cif测试序列,测试结果如表1和表2所示。
表1 三种编码算法不同码率下重建图像的PSNR平均值(dB)
表2 三种编码算法的时间对比(s)
如表1和表2所示:与传统多描述编码MDSQ相比,采用本文编码方案得到的图像重建质量更好,原因是本文方法能够创建质量平衡的多描述,并能通过去除视频的帧间冗余来提高压缩比,当然由于算法复杂度增加,编码所花费的时间比MDSQ略长;与X.264的H.264编码方案相比,采用本文方法获得的重建图像PSNR略低,主要是因为H.264引入复杂的运动估计和运动补偿算法,可以明显的提高视频压缩质量,当然其算法复杂度明显高于本文算法,所以花费的时间最长。
视频的多描述编码各编码信息通过独立的信道进行传输,同一帧编码信息同时发生误码的概率较小,并且各描述的编码信息存在相关性。本文提出的基于3D-SPIHT的视频多描述编码方案通过创建的质量平衡的多描述,经过编码和分信道传输,提高了解码端成功接收编码比特流的概率,在解码端通过对丢失的编码信息进行恢复来控制误码扩散,以提高重建视频的主观感受质量。同时该编码方案通过有效去除视频的帧间冗余,大大提高了压缩比。仿真表明该编码方案与ZigBee多信道网络有较好的契合度,在有噪信道上可以获得更高的传输可靠性,具有较高的应用价值。