基于调色板模式的屏幕视频帧内编码快速算法

王 菲

(同济大学 电子与信息工程学院，上海 201804)

基于调色板模式的屏幕视频帧内编码快速算法

王 菲

(同济大学 电子与信息工程学院，上海 201804)

基于HEVC的屏幕视频编码根据屏幕视频的特征，引入了调色板模式、基于Hash的块匹配算法等新技术。这些新技术虽然提升了编码的质量，但同时增加了编码器的复杂度。为降低屏幕视频编码器的复杂度，提出了一种基于调色板模式的屏幕视频帧内编码快速算法。该算法结合了屏幕视频的特征和帧内编码模式的空间相关性，有效地减少了帧内编码单元的模式搜索范围。该算法可以在保证视频编码质量的前提下，有效降低编码复杂度，减少编码时间。在屏幕内容编码的标准测试平台SCM5.4的实验结果显示，本算法可以降低21%的编码时间，同时只引起0.93%的BD-Rate的上升。

屏幕视频编码；调色板模式；帧内编码

0 引言

新一代视频压缩编码标准——高效视频编码技术(High Efficiency Video Coding，HEVC)，它将自然图像视频压缩效率相对于H.264/AVC提升了数倍。近年来，随着视频会议、远程桌面共享等应用越来越广泛，人们对带有文字图表的图像等屏幕视频的需求量越来越大，传统的视频编码技术如HEVC、H.264/AVC等对自然图像视频处理固然有效，但是由于屏幕视频图像不同于自然视频图像的特点，如局部块颜色的数量有限、边缘锋利、色调不连续、没有可捕获的噪声等，如果使用传统的自然图像编码技术，极有可能降低屏幕视频编码效率。

基于HEVC视频压缩编码标准的屏幕视频编码标准(Screen Content Coding，SCC)仍在完善之中，但是SCC依旧沿用了HEVC的框架，即HEVC所采用的四叉树结构的编码单元(Coding Unit，CU)划分方式，并对每种尺寸的CU、预测单元(Prediction Unit，PU)或变换单元(Transform Unit，TU)通过计算率失真代价(Rate Distortion Cost，RD_Cost)得出最优尺寸。鉴于屏幕视频的特性，为了提高编码效率，SCC在HEVC原有技术的基础上添加了调色板模式(Palette Mode)、帧内块复制(Intra Block Copy，IntraBC)、自适应颜色变换(Adaptive Colour Transform，ACT)、基于Hash的块匹配技术、自适应运动矢量分辨率决定(Adaptive Motion Resolution Decision，AMRD)等技术[1]。

目前研究人员已经对SCC帧内编码的复杂度进行了优化，并取得了良好的效果，如文献[2]用平均像素代价来提前决定SCC帧内编码CU的尺寸。

本文主要利用SCC新引入的Palette模式以及帧内编码单元之间的相关性，在几乎不影响屏幕视频编码质量的情况下，降低编码器复杂度。

1 Palette模式简介

SCC在帧内编码模式中引入了一种新的预测模式，即调色板模式。与传统的帧内和帧间预测所采用的编码单元之间去除冗余的方法不同的是，由于屏幕视频中存在着大量的文字区域，会给编码单元内部带来重复像素的冗余，Palette模式的目标就是处理这种重复像素的冗余。在Palette编码模式中，首先要表示出一个可以将像素值映射到表索引(也称为调色板索引)的查找表，即为调色板。然后根据游长熵编码方式对一个编码单元的索引进行编码。调色板编码是一个非常简单的工具，它跳过了传统变换/反变换模块,并提高了译码器的吞吐量，结果显示，无论对有损或者无损编码，Palette模式都会显著提高屏幕内容视频编码的效率[3]。

2 基于调色板模式的帧内快速选择算法的分析

图1所示为SCM5.4标准所对应帧内编码的流程图，具体的流程为：当CU的深度为0时，检测Intra、IntraBCMerge模式；当CU的深度为1时，检测IntraBC、Intra、IntraBCMerge、Palette模式；当CU深度为2或3时，检测IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式。

图1 SCM5.4标准对应的帧内流程图

通过分析可以看到，当CU深度为0时，只需要执行Intra和IntraBCMerge两种模式，编码器的复杂度相对较低；当CU深度大于0时，编码器的复杂度显著提升，Palette模式是SCC在HEVC的框架上引入的新技术。为了研究加速的可能性，本文统计了在SCM5.4平台下，量化参数(Quanlitization Parameter，QP)选取为22、27、32、37，ChineseEditing(1080p)、sc_map(720p)这两个视频序列在帧内(All Intra，AI)配置下，当CU的深度为1,2,3，相邻块(左侧CU和上方CU)的模式为Palette的情况下，当前CU采用的模式为Palette的比例，具体结果如表1所示。其中相邻块的关系如图2所示。

表1 当相邻块(左边CU和上边CU)的模式为Palette的情况下，当前CU采用的模式为Palette的比例 (%)

图2 当前CU与其相邻CU的位置关系

统计结果显示，当CU的深度为1和2时，在当前CU的相邻CU同时采用Palette模式时，当前CU也采用Palette模式的比例约为87%，当CU深度为3时，其比例大幅度下降，故本算法主要针对于深度为1和2的CU进行优化。

3 本文提出的种基于调色板模式的帧内快速选择算法

基于上一节的描述，本文提出了一种基于调色板模式的帧内CU模式快速选择算法。图3所示为本文提出的算法的流程图。

图3 本文提出的算法对应的帧内流程图

详细的算法流程描述如下：当CU深度为0时，检测Intra、IntraBCMerge模式；当CU的深度为1，2时，计算公式(1)中的flag，如果flag为1，则只检测Palette模式，如果flag为0，则当CU深度为1时，检测IntraBC、Intra、IntraBCMerge、Palette模式，当CU深度为2时，检测IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式；当CU的深度为3时，检测IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式。

(1)

4 实验结果

为了验证改进后的算法的有效性，本文将本算法与SCC标准算法在SCM5.4的测试平台下进行了比较。仿真测试的计算机环境配置是Intel Core i7-3770 processor 3.40 GHz clock speed和8 GB RAM。SCM5.4的测试配置为AI，QP选取为22、27、32、37。测试的视频种类是带有文字和图形的运动视频(Text and Graphics with Motion，TGM)，它是屏幕视频的一种。测试视频的分辨率是1 920×1 080和1 280×720。测试视频选取YUV444、RGB444两种。最大编码单元尺寸是64×64，最大的划分深度是4，变换单元的最大深度是3。

表2是改进后的算法与SCM5.4标准在AI配置下的实验结果。其中ΔT的定义如公式(2)所示，BD-Rate的定义参照文献[4]。

(2)

式中，ΔT代表时间的节省百分比，Toriginal代表SCM5.4标准流程在测试平台下的时间，Tproposed代表改进的算法在测试平台下的时间。从实验结果可以看到，该算法对分辨率为1080p的视频较720p的视频能够达到更好的效果。在AI的配置下，对于YUV444的视频，编码器的平均加速时间提升了20.59%，BD-Rate升高了0.93%；对于RGB444的视频，编码器的平均加速时间提升了20.26%，BD-Rate升高了0.64%。通过实验结果可以看出，该算法可以在加速编码器的同时，保证视频的编码质量。

表2 实验结果 (%)

5 结论

本文提出了一种基于调色板模式的帧内快速算法，它可以有效地降低屏幕视频编码器的复杂度。首先分析屏幕视频编码不同于传统的自然图像编码所采用的新技术；然后通过分析屏幕视频的特点以及帧内编码模式的空间相关性确定优化方案；最后通过实验验证了算法的有效性。

[1] JCTVC-U1014, Screen content coding test model 5[S]. Warsaw, Poland： JCT-VC of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2015.

[2] SAURTY K, CATHERINE P C, SOYJAUDAH K M. Early CU size determination in HEVC intra prediction using Average Pixel Cost[C]. 2014 Fourth International Conference on. Digital Information and Communication Technology and it’s Applications (DICTAP), IEEE, 2014: 247-252.

[3] Guo Liwei, Pu Wei, Zou Feng, et al. Color palette for screen content coding[C]. 2014 IEEE International Conference on Image Processing (ICIP), IEEE, 2014:5556-5560.

[4] BJØNTEGAARD B G. Improvements of the BD-PSNR model[S]. ITU-T SG16/Q6 Input Document VCEG-AI11, 2010.

Fast intra algorithm of screen content coding based on palette mode

Wang Fei

(College of Electronics and Information Engineering , Tongji University, Shanghai 201804, China)

The introduction of new technologies, such as palette mode, Hash-based block matching and so on, which are adopted by screen content coding(SCC), improves the quality of encoder. But at the same time, it increases its complexity. We propose a method which is applied on fast intra coding unit(CU) mode decision of SCC, which aims at reducing the candidates of intra CU modes. This method combines characteristics of screen video content and spatial coherence of intra modes, and can effectively reduce the searching range of CU modes. The method can ensure the quality of coding, and significantly improve the efficiency of SCC intra frame coding. Experimental results show that the proposed method achieves about 21% time saving and 0.9% BD-rate up compared with the SCC standard test mode 5.4.

screen content coding; palette mode; intra coding

TP37

A

10.19358/j.issn.1674- 7720.2017.02.012

王菲.基于调色板模式的屏幕视频帧内编码快速算法[J].微型机与应用，2017,36(2)：34-36

2016-08-27)

王菲(1994-)，女，硕士，主要研究方向：屏幕视频编码快速算法。