基于低频预测的图像多描述编码及其差错隐藏

王红艳，金炜东

1.西南交通大学 信息科学与技术学院，成都 610031

2.西南交通大学 电气工程学院，成都 610031

基于低频预测的图像多描述编码及其差错隐藏

王红艳1，金炜东2

1.西南交通大学 信息科学与技术学院，成都 610031

2.西南交通大学 电气工程学院，成都 610031

图像、视频等多媒体信息的网络传输应用越来越广泛，由于网络带宽资源有限，且多媒体数据量庞大，因此，高效的压缩技术是必需的。然而高效压缩的码流对误码非常敏感，一旦传输中出现误码，不仅影响该误码数据的恢复，还会影响与之相关的其他数据的恢复，所以不适应在传输条件恶劣的信道中传输。

多描述编码（Multiple Description Coding，MDC）[1]和后差错隐藏处理[2]是差错复原的两种主要技术。多描述编码通过产生多个相互独立但又具有一定相关性的码流（描述）来表达同一信号。其中各个描述可以分别独立解码来获得可接受的重建质量；而如果多个信道同时收到，则可得到更好的重建质量，且重建效果会随着接收到的描述的数量相应提高；当所有描述全部接收时，重建质量达到最佳。MDC是在编码端采取的一种抗误码措施，而差隐藏是解码端的一种补救方法，它利用人类视觉特性和图像信号中的冗余信息来掩盖出错的图像数据，试图重构主观可接受近似原始质量的图像。

差错隐藏技术利用了图像信号在空间上的相关性，可在一定程度上恢复丢失的图像信息。但通常这些算法都假设一幅图像的大部分信息被成功接收到，只有少量数据信息丢失，因此它不能真正解决整幅图像丢失的问题。为了减少可伸缩性编码中的误差传递，Creusere[3]最早提出将小波系数划分成独立子块的概念，随后Cho和Pearlman提出了一种多描述编码和差错隐藏联合应用的方法，将系数按照Spatio-Temporal Tree Preserving 3D-SPIHT（STTPSPIHT）[4]的结构划分为多个块状时-空小波树，分别进行编码传输。但是这种分组方法，当某组丢失时，很难通过其他区域的图像信息估计丢失信息。随后文献[5]提出基于小波域的图像压缩分组编码及其差错隐藏，将所有小波系数按照空间位置保持相同间隔均匀地分成多组，这种分组方法对小波系数同一图像区域各个子带之间的相似性利用降低，从而降低了压缩效率。

图1 算法框图

本文提出了基于低频预测的图像多描述编码方案，根据小波系数的独特特点将原始图像小波变换后的系数分为低频、次高频和高频三部分，然后对低频部分进行相应预处理，这样能根据网络状况的不同进行灵活的冗余调节。此外，为了提高传输的鲁棒性，针对只收到部分描述的情况，本文也提出了相应的差错隐藏方案，仿真结果表明了该方案的有效性。

1 基于低频预测的图像多描述编码

本文提出的这种基于低频预测的多描述编码方法，算法框架如图1所示。在编码端，首先对原始图像进行多级小波变换得到其小波域上的表示，并将小波系数矩阵按照下述第2章中分组方法分为多个独立的描述。然后对小波系数进行相应预处理，预处理和相应后处理方案将分别在下述第3章和4.1节中介绍。接着将每个描述按照阈值进行SPIHT（Set Partitioning In Hierarchical Trees）编码，并把每组码流序列号和预处理后的额外信息作为头文件附加到输出码流的头部，最后输出到信道。

解码是编码的逆过程。在解码端，先解码收到的头文件，得其码流序列号和后处理所需的额外信息，然后对收到的各描述独立解码，并在小波域内重组。接着根据解码得到的额外信息进行与预处理相应的后处理。此后如果有描述丢失，也要进行相应的差错隐藏，差错隐藏方案如第4章所述。最后对得到的小波系数进行小波反变换得到输出图像。

2 分组编码方法

小波的变换系数所具有的独特特点使其在编码方面得到广泛应用[6]。小波变换将图像划分为一个低频数据和多个高频数据。小波系数的高频部分显示出了原始图像的边缘信息，低频部分显示的则像原始图像的缩略图。文献[4]中当某组丢失时，很难通过其他区域的图像信息估计丢失信息，而文献[5]的分组方法降低了压缩效率。本文为了充分利用小波树的高效性，首先将原始图像小波变换后的系数分为低频，次高频，高频三部分，如图2所示。以下给出两描述的分组方法。

图2 空间方向树结构

低频系数(LL2)对于恢复图像重建质量最为关键，影响到图像平均亮度。对这部分信息采用按行或列的多相下抽样方法，使奇偶行/列分别分配到两个描述中，实验比较后本文选取按行抽样。

次高频系数中不同方向上的小波信息表现出不同的相关性，所以对次高频系数做基于方向性的奇偶分级[7]。对水平方向(HL2)上的信息，表现出很强的水平相关性，对这部分信息采取按列的奇偶分裂法；对于垂直方向(HL2)上的信息，它表现出很强的水平相关性，此处采用按行的奇偶分裂法；而对角线方向的信息(HH2)并没有明显的水平垂直相关性表现，所以对它们可采取按行、列或错位分裂法进行信息分裂，本文实验比较了三种分裂的效果，选取了列分裂方法。

在空间方向树结构中可以看出，高频系数和次高频系数有很强的相关性。此处采用四叉树抽样[8]的方法，根据次高频的分裂结果，在高频部分将其对应于同一空间区域的不同子带系数组合成小波块，然后再对小波块进行抽样。

3 基于低频预测的预处理方案

上章中的多描述分组编码方法是通过小波域上的抽样方法实现的，并不能实现描述间冗余的控制调节，而多描述编码应能动态调整描述间的冗余度，以适应网络环境和服务质量的要求。为解决这个问题，文献[9-10]提出了基于预测的多描述图像/视频编码冗余方案，在此把这种方法推广到本文的预处理方案中。

低频系数对于恢复图像重建质量最为关键，显示的像原始图像的缩略图，因此本文预处理方案主要针对低频部分。其基本思想是为了在两描述中插入一定的冗余，在低频系数按行或列下采样时，每个描述的低频系数中插入额外的行或列，为了有效增加描述间的冗余，额外行或列的选取原则：假设只收到一个描述，另一个描述采用差值估计后所得值与它原先值的误差尽量小。

其预处理方法，如图3所示，首先把按行（列的方法相似）下采样后的低频系数f0(x，y)（大小为W×H）拆分为两组，其中奇数行f1(x，y)作为组1，偶数行f2(x，y)作为组2，用插值方法由f1(x，y)估计出f2(x，y)的预测值，同样也由f2(x，y)预测估计出组1的值，然后对f1(x，y)与以及f2(x，y)与分别进行比较，计算出每行的绝对差C1(x)和C2(x)，其中：

图3 低频系数的预处理过程

接着对所有的C1(x)和C2(x)分别进行排序得出S1(x)和S2(x)（其中x∈[0，W/2]）。假如要额外插入N行冗余，可由C1(x)和S1(x)结合得到组1中额外增加的行号信息Insert1(N)，用类似的方法得到Insert2(N)。此时，描述1的低频部分可由原低频的奇数行以及Insert1(N)中指定奇行形成，描述2中的低频部分也由同样的方法产生。在每个描述中，额外插入的这些信息在传输时作为头文件携带在每个描述的数据包中。

4 差错隐藏

上述MDC方法产生的多个描述通过不同信道传输，到达接收端可能有描述丢失；此外因各个信道相互独立，同时发生传输失败的可能性很小，即最少有一个描述成功传送。只要接收端有描述收到，即能重建出不同视觉效果的图像。分析上述描述产生方法可知，描述丢失即描述所代表的小波系数丢失。因此，从丢失的描述序列号即可知道哪些系数已经丢失，进行差错隐藏的目的就是要恢复丢失的小波系数。

在接收端，首先解码收到的头文件，然后根据解压后的头文件分情况进行多描述解码和差错隐藏。由于上述多描述编码中分别使用不同的方法对低频，次高频，高频三部分进行分组，相应在解码端也实施不同的差错隐藏方案。

4.1 低频系数

如果只收到一个描述（假设描述1），多描述解码后得其小波系数，然后用这个描述的头文件信息Insert1(N)把那些不存在的低频系数值由邻近的低频系数进行差值估计。如果两个描述都收到，那么在两个描述中共同存在的低频系数取其平均值，其他的行按序进行合并，这样就能得到所有的低频信息。

4.2 次高频系数

如果两个都收到，直接将两个描述中的次高频系数按序合并即可。如果有描述丢失，可以利用简单的方法对其进行一定程度的恢复，公式如下：

其中h，v和d分别代表水平（horizontal）、垂直（vertical）和对角线（diagonal）方向的信息。

4.3 高频系数

其中，ak是与Xn-k相关的权值。为了使的均方误差（MSE）最小，最佳权值向量a=[a1a2…an]应为Yule-Walker方程的解。

其中，RXX为矩阵X的相关矩阵，在实际应用中，假设随机序列是平稳序列，则RXX和rYX的Μ阶近似值为

对于丢失的HL1，LH1，HH1等其他高频小波分解子带系数，其周围有大面积的小波系数缺失，故很难用4.2节中的方案恢复，但可以利用小波系数之间的非平凡相关性，通过正确接收的和已经恢复的小波系数线性内插进行恢复[11]。

假设丢失系数Yn的估计是N个观测值X={Xn-N，Xn-N+1，…，Xn-1}的线性组合：

在式（7）和式（8）中，Yn-1，Yn-2，…，Yn-Μ是Μ个有效采样值，H的第i行表示与Yn-i相关的观测值，如同{Xn-1，Xn-2，…，Xn-N}相对于Yn。

同一子带内和不同子带间的小波系数都存在相关性，因而用来恢复丢失小波系数的观测值可以从其父节点中选取，也可以从其位于同一子带的邻域节点中选取。由于父子节点系数之间具有更强的相关性，因而利用父节点的相关系数作为观测值通常可以获得更好的效果，这种称为子带间（inter-subband）内插。丢失的小波系数Yn可以从其父节点Xn-1作如下预测：

5 仿真实验结果及分析

为了验证本文编码方案的有效性，用标准Lena（512× 512，8 bit/pixel）图像进行仿真实验。本文中采用的是3级Daubechies9/7小波分解和SPIHT图像压缩编码方法，图像恢复质量由峰值信噪比PSNR(PSNR=10lg(2552/ΜSE)dB)表示。以下从差错隐藏和冗余控制两方面来验证该算法。

表1 不同码率下三种方案的比较

图4 1.0 bit/pixel时三种方法下边沿通道的恢复图像结果

图5 恢复图像的PSNR

5.1 差错隐藏

表1给出了两描述编码中无冗余（低频插入行数N=0）时，不同码率（0.2，0.4，0.6，0.8，1.0 bit/pixel）下本文方法和文献[5]、文献[4]图像解码后无差错隐藏和经过相应差错隐藏后恢复图像的PSNR比较。以下表中和图中出现的“边沿通道”是指接收端只收到一个描述时恢复图像的PSNR；“中央通道”为同时接收两个描述时恢复图像的PSNR。为了更好地说明本文差错隐藏方案的有效性，表1中本文算法中的差错隐藏分开三部分逐步测试，其中，“低频”表示只有低频部分实施差错隐藏，而次高频和高频无差错隐藏；“低+次高频”表示低频和次高频部分都实施差错隐藏，高频部分无差错隐藏；“低+次+高频”表示低频、次高频和高频三部分都实施了差错隐藏。

从表1可以看出，在无差错隐藏时，本文算法明显好于另外两组算法，这是因为本文算法在分组中充分利用了不同方向上的小波信息的相关性，并利用了小波树结构中小波系数同一图像区域各个子带之间的相似性。加入差错隐藏后，在上述码率下本文图像的PSNR值略高于文献[5]明显高于文献[4]，证明了本文差错隐藏方案的有效性。而在两个描述同时收到时本文算法与文献[4]相等而高于文献[5]，这是由于这两者都没有改变原始SPIHT算法中小波树的父母子女关系，使压缩效率没有下降。

从表1看出本文算法的优越性，图4有更加直观的结果，给出了码率1.0 bit/pixel时文献[4]、文献[5]和本文差错隐藏这三种方法下的边沿通道图像恢复质量。

5.2 冗余控制

本节的实验结果在上述本文差错隐藏的基础上进行。图5（a）和图5（b）都是对Lena图像在码率为0.6 bit/pixel和1.0 bit/pixel两种情况下，插入不同的低频冗余行数N后，边沿通道和中央通道得到的恢复图像PSNR。从图5可以看出，随着插入的低频系数的行数的增加，边沿通道的编码效率提高了，这也说明多描述编码器抗干扰性能提高了。而且这种编码方法能在编码的有效性和传输鲁棒性之间折衷控制，随着插入行数的增加，中央信道的编码效率略微降低，但边沿通道的编码效率提高，即传输的鲁棒性提高了。因此这种多描述方法可以根据网络状况的不同进行冗余的灵活调节：如果带宽比较大、信道的丢包率较高，可插入较多的冗余以提高传输的鲁棒性；反之，若带宽较小、信道的丢包率较低就插入较小的冗余以保证编码效率。

6 结束语

针对图像传输中存在的误码问题，本文提出了基于低频预测的多描述编码方案，把小波变换后的图像分为低频、次高频和高频三部分，并对次高频部分做基于方向性的奇偶分解。同时为了适应网络环境和服务质量要求的变化，使这种多描述编码能动态调整描述间的冗余，系统采用低频预测的预处理和后处理方案实现了描述间冗余的灵活插入。此外，针对只收到部分图像信息的情况，解码器实现了有效的差错隐藏，提高了传输的鲁棒性。

[1]Goyal V K.Multiple description coding：compression meets

the network[J].Signal Processing Magazine，2001，18（5）：74-93. [2]Liu Y Q，Wang J，Zhang H H.Depth image-based temporal

error concealment for 3-D video transmission[J].IEEE Trans

actions on Circuits and Systems for Video Technology，2010， 20（4）：600-604.

[3]Creusere C D.A new method of robust image compression based on the embedded zerotree wavelet algorithm[J].IEEE Trans on Image Processing，1997，6（10）：1436-1442.

[4]Cho S，Pearlman W A.A full featured，error-resilient，scalable wavelet video codec based on the Set Partitioning In Hierarchical Trees（SPIHT）algorithm[J].IEEE Trans on CSVT，2002，12（3）：157-171.

[5]高佳，胡波.基于小波域的图像压缩分组编码及其差错隐藏[J].复旦学报：自然科学版，2007，46（1）：54-58.

[6]Choupany R，Wong S，Tolun M.Scalable video transmission over unreliable networks using multiple description wavelet coding[C]//Digital Content，Multimedia Technology and Its Applications（IDCTA），Delft，Netherlands，2011：5-10.

[7]Tang L L，Lu Z M.SPIHT and odd-even estimation based MDC algorithm[J].International Journal of Innovative Computing，Information and Control（IJICIC），2010，6（3）：1079-1088.

[8]Lin C，Zhao Y，Zhu C.Two-stage diversity-based multiple description image coding[J].IEEE Signal Processing Letters，2008，15：837-840.

[9]杨任尔，陈恳，何加铭.基于预测的多描述图像编码冗余插入的研究[J].光电工程，2007，34（10）：108-113.

[10]励金祥，郑淑红，杨任尔，等.基于帧的多描述视频编码及其差错隐藏[J].光子学报，2010，39（5）：935-940.

[11]丁学文，杨兆选，曹继华，等.SPIHT编码图像传输的错误保护技术[J].中国图象图形学报，2007，12（10）：1802-1805.

WANG Hongyan1,JIN Weidong2

1.School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China
2.School of Electrical Engineering,Southwest Jiaotong University,Chengdu 610031,China

To improve the transmission performance of images or video in the environment of packet loss or bit error,multiple description image coding method based on low-frequency prediction is proposed.By the unique characteristics of wavelet coefficient,wavelet transform coefficients of the original image are divided into three-part of low-frequency,minor-high frequency, high frequency,and these sections are grouped in different ways.Pre-processing and post-processing program of low frequency prediction are used to achieve redundant insertion.Error concealment algorithm to improve the robustness of transmission is realized.Simulation results have shown that this new algorithm greatly improves systems-resilience capabilities,provides flexible redundant insertion to adapt to network conditions.

image coding;multiple description coding;wavelet coefficients;pre-processing;error concealment

为了提高图像、视频在丢包或误码环境下的传输性能，提出了基于低频预测的图像多描述编码方法。根据小波系数的独特特点将原始图像小波变换后的系数分为低频，次高频，高频三部分，对各部分进行不同方式的分组；采用低频预测的预处理和后处理方案，实现描述间的冗余插入；实现了差错隐藏算法以提高传输的鲁棒性。仿真结果表明，系统的抗误码能力大为提高，且可提供灵活冗余插入以适应各种网络传输状况。

图像编码；多描述编码；小波系数；预处理；差错隐藏

A

TN919.81

10.3778/j.issn.1002-8331.1112-0361

WANG Hongyan,JIN Weidong.Low frequency prediction-based multiple description image coding and error concealment.Computer Engineering and Applications,2013,49（18）：159-163.

国家自然科学基金（No.60971103）。

王红艳（1986—），女，硕士研究生，主要研究领域为图像压缩编码与传输；金炜东（1959—），男，教授，博导。E-mail：why_19860826@163.com

2011-12-19

2012-01-31

1002-8331（2013）18-0159-05

CNKI出版日期：2012-05-21 http://www.cnki.net/kcms/detail/11.2127.TP.20120521.1141.039.html