基于小波变换在自然场景视频编码中的应用

福州职业技术学院严 明



基于小波变换在自然场景视频编码中的应用

福州职业技术学院
严 明

[摘要]自然场景视频的纹理编码是视频压缩应用的一个重要环节。该文在分析了国际视频编码标准MPEG-4中对自然场景这一类视频图像所采用的编码结构基础上，提出了利用小波技术的多层分解特性实现对单视频对象自然场景视频图像静态纹理的有效编码。实验结果表明，它可以获得较高的压缩比。

[关键词]自然场景 MPEG-4 小波

自从小波技术在静态图像编码中显示了其特有的优势后，现在它已经逐步渗入到数字视频图像压缩领域中。目前已经有多种采用小波的视频压缩技术方案在探讨研究中。本文主要讨论小波技术与国际视频压缩标准MPEG-4相结合运用于视频压缩，重点研究了在自然场景视频中的静态纹理编码中小波技术所表现的优势。

1 小波与零树小波编码

小波变换[1]最早是在20世纪初由Harr提出的。同傅立叶变换一样，小波变换也是一种正交数学变换。但是，小波变换与传统的傅立叶变换又是截然不同的，重点在于它突破了傅立叶分析的局限，在变换过程中，它同时对信号的空间位置区域信息和频域信息进行变换，采用了良好的分层分解的变换模式，对高频成分采用逐步精细的时域取样步长（见图1所示），可以聚焦到对象的任意细节，从而被人们誉为“数学显微镜”。这些特性对于二维信号的分析和处理都是十分有利的。在图像处理中，小波以两类滤波器族的形式表现，即低通滤波器族和高通滤波器族。因为图像是二维信号，小波分解首先从水平方向进行，然后再从垂直方向处理。一次完整小波变换后，图像被分成4个不同的频带。小波变换用于图像编码的基本思想就是把图像进行多分辨率分解，分解成不同空间、不同频率的子图像，然后再对子图像进行系数编码。对小波系数编码是小波变换用于图像数据压缩的核心，压缩的实质就是对小波系数的量化压缩。

图1 小波变换的时频分辨率特性

对小波系数如何进行编码是决定图像压缩比高低的关键。鉴于小波系数的多分辨率特性，目前最常用、也是最有效的就是零树小波编码[2]方法。零树小波编码方法是1993年由美国学者Shapiro首先提出的基于比特连续逼近的图像编码方法。图像经小波变换后，我们可以用树状结构来表示小波系数。位于较低频频带的小波系数，它们在下一层的高频频带上均拥有4个后代系数，这便是零树最初的基本思想。零树小波编码利用预扫描方法得到小波系数的空间位置信息，利用零树的空间位置关系，小波系数的空间信息便能随着零树编码一起编码进入比特流中。

利用零树小波编码方法编码图像，可以实现任意指定比特率编码的压缩。压缩图像通过有效的算法机制，并结合一些最优化的方法。任意比特率压缩的实现也就意味着图像信息的部分损失，然而，零树小波编码也可以实现无损编码，这样就使得图像的压缩率有所降低。

2 MPEG-4中的自然场景图像的编码方法

MPEG-4[3-4]是MPEG标准家族中的一员，是国际标准化组织为多媒体通信提供的一种解决方案。MPEG-4标准的主要特性是对图像中的内容进行编码，其编码的具体对象就是图像中的音频和视频，称为AV对象。由AV对象可以组成AV场景。因此，MPEG-4标准就是围绕着AV对象的编码、存储、传输和组合而制定的。MPEG-4编码对象的变化，引起了视频编码器结构的变化。传统的编码器是将视频信号编码为25 frame/s 的PAL制或30 frame/s的 NTSC制，将音频信号编码为48 kbps，视频码信息流中只含有纹理信息（DCT系数）和运动信息（运动矢量）两种信息。对于MPEG-4视频编码器，除含以上两种信息外，还含有形状信息，这是采用形状自适应离散余弦变换对视频对象以固有的分解力进行形状编码的信息，以便支持任意形状视频对象的编码。事实上，MPEG-4视频编码器支持基于视觉内容的交互性及视觉对象形状的编码，具有强大的编码灵活性，可对任何形状的自然视觉对象进行编码。

为了保证视频编码的效率且能向下兼容，视频对象通常利用其对应的VOP以混合编码的方式进行编码。这里的VOP （Video Object Plane）称为视频对象平面，是MPEG-4视频编码的核心概念。一般地，基于视频对象的结构具有许多特性，为了能处理基于像素的数字信号表达的数据，一个视频对象的纹理信息会以YUV的颜色空间进行描述。同样，视频对象的形状信息也是这样进行编码的。我们把这种简单的从视频对象到形状信息和纹理信息的映射表达称为视频对象平面。

基于VOP的视频编码技术利用宏块编码的方法完成，其编码基本结构见图2所示，这样的编码器结构既能降低算法的复杂度，又能兼容其他标准的视频编码格式。

图2 基于VOP的编码结构

一个VOP拥有两种基本类型的信息：形状信息和纹理信息。基于VOP的视频编码主要包括两个基本的编码方案——形状编码和纹理编码。这里主要探讨的是纹理编码。编码方法基本上仍采用基于像素块的DCT方法。一个视频平面的纹理信息可以表示为Y亮度和Cr、Cb两个色度成分。在帧内情况下，纹理信息直接包含有亮度和色度成分，在运动补偿的情况下，纹理信息表示经运动补偿后的残差。纹理编码的对象可以是帧内编码模式的，也可以是帧间编码模式或运动补偿后的预测误差。

目前，MPEG-4在自然场景视频编码方面具有空间可缩放性和时域可缩放性。

3 小波应用于静态纹理编码

自然场景视频编码[5-6]中十分重要的一个部分就是对任意形状静态视频对象的纹理编码，也包括那些映射至三维表面的纹理信息。这种视频纹理的编码称为静态纹理编码模式，可利用离散小波变换有效地进行编码。小波变换在自然场景视频编码中有很多方面的应用，例如P、B类型VOP的纹理编码，I类型VOP的静态纹理编码等等。

静态纹理编码的主要问题集中在编码小波系数的数值和位置信息上。编码可以有以下两个步骤：第一步扫描处理系数的位置信息；第二步扫描则编码系数。因为压缩是有损的，所以绝大部分重要系数必须首先完成传输，而其他一些非重要的系数则延迟传输或者根本不传输。如果系数大于给定的量化阈值，那么它便是一个重要系数。量化系数和未量化系数间的差值称为残留子带，重要系数的选择和编码通过残留子带的递归量化完成。在每一次递归中，选择出重要系数，且它们的位置信息和数值将通过算术编码器完成编码。DC频段小波系数的处理方法与其他频段的处理方法有所不同。这一频段的小波系数运用了预测方法进行编码，每个系数都可以由它左边或上方的邻近系数来预测得到。预测系数的选择由邻近的水平或竖直方向的梯度幅值来确定，如果水平方向的梯度值最小，那么就应通过左边邻近的系数进行预测，否则就通过上方邻近的系数进行预测。预测后的系数经量化后，利用算术编码方法来编码。DC频段的小波系数编码完成后，余下频段的小波系数编码采用了零树编码。I帧类型的静态纹理小波编码流程可用如图3所示。

图3 I帧类型的静态纹理小波编码流程

4 实验结果

在确定了小波在自然场景视频编码中的应用流程后，我们在Visual C++ 6.0平台上进行了算法仿真实验。实验中采用的是原始AVI格式的单视频对象的自然场景视频图像，以4:2:0的采样转换为YUV格式的尺寸为QCIF的视频图像序列foreman.qcif以及CIF格式的brea.cif。

实验结果表明，对于foreman.qcif这种具有丰富内容的视频在压缩比高达108.2:1的情况下，重建图像的PSNR值仍可以保持在人眼视觉允许范围内，图4和图5分别对应了foreman.qcif原始第一帧和压缩后重建的第一帧图像。而背景相对单一的brea.cif，其压缩比可以达到130.6:1。这样的压缩比完全适合在低带宽条件下实时传输视频数据。

图4 foreman原始图像

图5 foreman重建图像

参考文献：

[1] Z.Xiong,K.Ramchandran, M.T.Orchard.Space-frequency quantization for wavelet image coding. IEEE Trans.Image Processing, 1997, 6(5):677-693.

[2] Shapiro J M.Embedded image coding using zerotrees of wavelet coefficients[J]. IEEE Trans on Signal Processing,1993, SP_41(12):3445-3462.

[3] Rob Koenen. Overview of the MPEG-4 standard[OL]. ISO/IEC JTC1/SC29/ WG11 N2725. http://www.MPEG.org.

[4] Thomas Sikora. The MPEG-4 video standard verfication model[J]. IEEE Trans on CSVT,1997,7(1):19-31.

[5] Andre Kaup. Object-based texture coding of moving video in MPEG-4[J]. IEEE Trans on CSVT,1999,9(1):5-15.

[6] Touradj Ebrahimi. MPEG-4 nature video coding-anoverview[EB/OL]. http://www.mpeg.org.