码率恒定小尺寸视频流DCT编码二次插值优化

何志坚，曹 冲，张立文，宋占伟

（吉林大学 电子科学与工程学院，长春 130012）

码率恒定小尺寸视频流DCT编码二次插值优化

何志坚，曹 冲，张立文，宋占伟

（吉林大学 电子科学与工程学院，长春 130012）

为了在小尺寸屏幕上保持码流恒定，以使视频流清晰，在帧内预测编码的基础上，提出了一种改进的DCT（Discrete Cosine Transform）编码二次插值优化算法。该算法根据帧内预测编码的DCT变换机制，利用DCT编码的二次插值可以使码流恒定，小尺寸屏幕的块效应减弱，在保持视频流速度稳定的情况下，提高了图像的清晰度。实验结果表明，传统DCT变换在小尺寸屏幕的限制下，块效应明显，而且编码的复杂度较高，而DCT编码二次插值明显比传统算法图像清晰，而且保持了码流的恒定。

DCT变换；帧内预测编码；二次插值

0 引 言

为了解决现阶段中国用户多，平均带宽受限的移动通信瓶颈问题，视频压缩编码成了现在最热门的流媒体研究方法之一，H.264、MPEG4、H.264／AVC凭借高效的压缩编码性能，已经在高清电视、存储媒体、无线多媒体应用等方面显示出了巨大的应用潜力。帧内预测是H.264／AVC编码标准的一种基本预测方式。H.264／AVC帧内预测总共有17种预测模式：9种4×4亮度预测模式、4种16×16亮度预测模式和4种8×8色度预测模式。对每个16×16的宏模块（4：2：0图像），编码器必须完成144次亮度的4×4预测模式运算、4次亮度的16×16预测模式运算和4次色度的8×8预测模式运算［1］，而在流行手机的小屏幕限制下，帧内预测编码直接对宏块进行离散余弦变换（DCT：Discrete Cosine Transform）编码。在实时帧内编码器工作时，由于需保证码率恒定，所以手机这种小屏幕的块效应相对严重，流媒体失真严重。用DCT编码的二次插值优化算法可以让图像进一步分割，从而保证了码率恒定的前提下，提高流媒体质量。

1 小屏幕帧内预测DCT变换编码算法

帧内预测是现在主流的视频流压缩的基本环节之一，DCT被认为是在高相关性的随机矢量情况下对图像能量紧凑特性的最优可实现变换。一般对图像帧内预测可以分为8×8DCT编码或16×16DCT编码，之后对这些宏块进行变换系数熵编码，以达到消除帧内的空间冗余［2］。

其中二维的DCT变换编码表示如下

但在小屏幕上，16×16DCT编码或8×8DCT编码，梯形噪声在图像的强边缘处出现。在低码率下，DCT的很多高频系数被量化为零，结果与强边缘有关的高频分量在变换域内不能完全被体现。而图像块的分别处理，不能保证穿过块边界强边缘的连续性，导致在图像边缘处出现锯齿状噪声，这种噪声多在图像的平坦区域出现。在变换域内，直流分量DDC系数体现了图像块的平均亮度［3］，所以该系数包含了图像块的大部分能量。在平坦区域，亮度的变化很小，但如果有亮度的递增或递减，在量化取整时进行了四舍五入，可能会导致DDC系数越过相邻量化级的判决门限［4］，造成在重建图像中块边界处出现亮度突变，在视觉效果上表现为平坦区域内出现的片状轮廓，这样会导致分割后的图像块效应严重（见图1）。

图1 320×240小屏幕的16×16分割恢复前后对比图Fig.1 16×16small split on the 320×240screen comparison chart

2 基于DCT变换编码的二次插值优化算法

在H.264算法中进行DCT变换编码的时间与分割矩阵的大小选取有很大关系，如果所选取矩阵的尺寸偏大，则DCT变换编码的时间就会急剧增加，如果选取64×64的矩阵进行分割，按照DCT的公式，N偏大，图像的相关性好，图像质量较高，但需要的时间远比4个16×16的矩阵长，但如果矩阵分割尺寸小，N就小，则整个图像的块效应会非常严重［5］。

针对这个问题，笔者在Matlab下进行的算法改进如下：

1）为了保持码流恒定，N必须偏小，这样的DCT变换选取4×4尺寸的矩阵进行分割，示意图如图2所示。

2）由于出现块效应严重，所以利用每个4×4尺寸的矩阵的平均加权算子，对系数进行加权平均，之后生成这一帧图像内的每个小块的系数表，在边界上利用二次插值把相邻的两个系数的平均值进行边界模糊处理［6］。边界模糊处理的加权平均算法示意图如图3所示。

图2 小屏幕4×4分割示意图Fig.2 4×4separate small screen diagram

图3 边界模糊处理的加权平均算法示意图Fig.3 Diagram of boundaries blur the weighted average algorithm

算法步骤

1）利用式（1）对4×4的矩阵进行DCT变换得出DCT的加权系数

其中x为输入矩阵，X为DCT变换系数。

2）针对相邻的4×4矩阵DCT加权系数进行能量加权平均，以A为例，计算出图中H与I，形成一个DCT系数的加权平均表格［7］，形成新的系数列表，记录了关于4×4宏块与宏块之间的加权平均，之后在终端上根据该加权平均系数表进行边界模糊的二次插值［8］，得出的二次插值如下

其中k为选取与A相邻4×4矩阵的个数，d为代表矩阵个数的变量。

把式（2）代入式（3），得

把fi（P）组成新的系数矩阵表，该表为DCT加权平均的边界模糊二次插值表。

3）如果传输过程中，加权平均系数表丢失其中一部分，再次在现有数据的基础上进行加权平均系数的推理，假设丢失的是第N个4×4矩阵［9］，表示如下

其中l≠N，t为最逼近第N 个丢失的4×4矩阵的DCT变换矩阵的个数［10］。

3 计算结果与比较

为检验程序的可靠性与实用性，实验理论虚拟是基于Matlab参考软件基础上完成的。笔者选择4×4尺寸的矩阵作为测试序列。首先是进行传统的DCT编码对比；再进行二次插值优化，可以得到两个算法相应的编码结果。

在DCT传统算法中4×4的矩阵分割尺寸是运算最快的，在带宽受限的情况下，这样的分割才能保持码率恒定，在同样的码率下，笔者首先在Matlab上进行数据仿真，输入的数据如图4所示，输出的数据如图5所示。

图4 DCT系数输入矩阵Fig.4 DCT coefficients input matrix

图5 DCT系数二次插值优化后输出矩阵Fig.5 DCT coefficients quadratic interpolation output matrix

为了确保实验的实用性，在DSP平台上移植了该算法并在3.5寸彩屏上进行了效果对比，在3.5寸彩屏的算法移植前后的效果对比图如图6和图7所示［11，12］。

图6 算法移植前的图片显示Fig.6 Image display before algorithm transplant

图7 算法移植后的图片显示Fig.7 Image display after algorithm transplant

从图6和图7两幅效果图可以看出，加入DCT二次插值优化算法的图像更加逼近原图质量。

4 结 语

通过视频流传统的DCT编码算法和二次插值优化算法的效果对比，可以明显看出，视频流的DCT编码二次插值优化算法在图像质量上得到了提升，而且确保了码率恒定。在带宽恶劣的情况下，还可以利用终端的加权平均算法弥补系数的丢失。该模型的建立为提高码率传输速度，消除图像的块效应问题提供了有效的工具。

［1］THOMAS WIEGAND.Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification［J］.ITU-T Rec H.264／ISO／IEC14486-10AVC in Joint Video Team（JVT）of ISO／IEC／ MPEG and ITU-T VCEG，JVT.G050，2003，10（13）：196-203.

［2］WU Jing，CHEN Shu-zhen.Integrated Joint Source-Channel Decoding for H.264Video Transmission［J］.Wuhan University Journal of Natural Sciences，2007，11（12）：57-62.

［3］JEYUN LEE，BYEUNGWOO JEON.Fast Mode Decision for H.264［C］∥Proceedings of the 2004IEEE International Conference on Multimedia and Expo.Taipei，Taiwan：ICME，2004：1131-1134.

［4］WIEGAND T，SULLIVAN G，BJNTEGAARD G，et al.Overview of the H.264／AVC Video Coding Standard［J］.IEEE Transactions on Circuits and Systems for Video Technology，2003，13（7）：560-576.

［5］IAIN E G RICHARDSON.H.264and MPEG-4Video Compression Video Coding for Next-Generation Multimedia［M］.New York：John Wiley ＆Sons，2003.

［6］ANTHONY JOCH.Performance Comparison of Video Coding Standards Using Lagragian Coder Control［C］∥Proceedings of the 2002International Conference on Image Processing.New York，USA：ICIP，2002：501-504.

［7］刘向东，朱志良，王光兴，等.图像扫描波动性度量及Hilbert扫描矩阵的快速生成［J］.中国图象图形学报，2002，7（6）：539-542.

LIU Xiang-dong，ZHU Zhi-liang，WANG Guang-xing，et al.Measuring the Undulation of the Image Scanning and a Fast Hilbert Scanning Matrix Constructing Algorithm［J］.Journal of Image and Graphics，2002，7（6）：539-542.

［8］沙磊，叶霞.利用离散余弦变换进行图像压缩的方法［J］.成都理工学院学报，1997（3）：108-115.

SHA Lei，YE Xia.A Method for Picture Compression Using Discrete Cosine Transform［J］.Journal of Chengdu University of Technology，1997（3）：108-115.

［9］HYUNGJOON KIM，YUCEL ALTUNBASAK.Low-Complexity Macro Block Mode Selection for H.264／Avc Encoders［C］∥Proceedings of the 2004International Conference on Image Process.Singapore：ICIP，2004：765-768.

［10］RAFAEL C GOLLZALEZ，RICHARD E WOODS，STEVEN L EDDINS.Digital Image Processing Using MATLAB［M］.New Jersey：Prentice Hall，2002.

［11］KIM CHANGSUNG.Fast H.264NTRA Prediction Mode Selection Using Joint Spatial and Transform Domain Features［J］.Journal of Visual Communication and Image Representation，2005，17（2）：291-310.

［12］仲元红.基于 H.264的视频编解码及DSP实现［D］.重庆：重庆大学通信工程学院，2007：128-168.

ZHONG Yuan-hong.Video Encoding ＆ Decoding Based on H.264and Its Realization on DSP［D］.Chongqing：College of Communication Engineering，Chongqing University，2007：128-168.

Stable Rate of Video Stream in Small Size Screen Based on DCT Coding Quadratic Interpolation Optimization

HE Zhi-jian，CAO Chong，ZHANG Li-wen，SONG Zhan-wei
（College of Electronic Science and Engineering，Jilin University，Changchun 130012，China）

The size of the screen for popular mobile phones are small currently.In order to maintain the clear video stream without fluctuation，on the basis of the intra prediction encoding，an improved quadratic interpolation of DCT（Discrete Cosine Transform）coding optimization algorithm is proposed.Based on intra prediction coding of DCT mechanism，the quadratic interpolation using DCT coding can make a constant stream，make the small size of the screen blocking reduced，and make the video stream enhance clarity while maintaining the speed stability of the image.Experimental results show that traditional DCT transform in the small size of the screen block effects are more obvious，and coding is more complex.The DCT coding algorithm quadratic interpolation makes the image significantly clear，and also maintain a constant stream.

discrete cosine transform（DCT）；intra-prediction coding；quadratic interpolation

TP311.5

A

1671-5896（2012）01-0030-05

2011-08-27

吉林省科技支撑计划重点基金资助项目（20100314）

何志坚（1987—），男，广东江门人，吉林大学硕士研究生，主要从事嵌入式系统研究，（Tel）86-13944082482（E-mail）dadameili＠126.com；宋占伟（1962—），男，长春人，吉林大学教授，硕士生导师，主要从事嵌入式系统研究，（Tel）86-13504473223（E-mail）songzw＠jlu.edu.cn。

（责任编辑：张洁）