基于HEVC的自适应插值滤波算法

王 刚, 陈贺新, 陈绵书

(1. 吉林大学 通信工程学院, 长春 130012； 2. 白城师范学院 机械工程学院, 吉林 白城 137000)

自国际视频编码标准H.264/AVC发布后, 自适应分像素插值技术即成为该领域的研究热点. 针对H.264/AVC标准中亮度分量采用6阶固定系数的Wiener滤波器不能进一步提高运动估计预测准确度的问题, Vatis等[1-2]提出了二维不可分离的自适应插值滤波(NS-AIF)算法, NS-AIF算法根据预测误差能量最小的准则求解Wiener方程获得滤波器系数, 进而提高运动估计的预测准确度. 由于NS-AIF算法在编码码流中需要360个插值滤波器系数, 较大的码率开销降低了编码性能. 为了解决该问题, Kemal等[3]提出了可变对称性自适应插值滤波(FS-AIF)算法; 李宏伟等[4]提出了一种快速多对称性自适应插值滤波(FMS-AIF)算法; Wittman等[5]提出了可分离的自适应插值滤波(S-AIF)算法, S-AIF算法虽提高了不同视频序列的编码效率, 但硬件实现计算复杂度较高, 时延较大, 不利于解码器实时解码; Rusanovskyy等[6-7]提出了方向性自适应插值滤波(D-AIF)算法, D-AIF算法降低了计算复杂度, 并减少时延, 但对不同特性视频序列编码的鲁棒性较差; 文献[8-9]提出了混合多方向自适应分像素插值(CMD-AIF)算法, CMD-AIF算法虽提高了编码效率, 具有较好的编码鲁棒性, 但时延增加.

目前, 自适应分像素插值算法均在H.264/AVC视频编码框架下完成编码, 通过求解Wiener方程得到可变滤波器系数, 通过滤波器系数的变化而获得较高的编码增益, 但同时也增加了解码计算复杂度. 为了解决上述问题, 本文提出一种基于HEVC的自适应插值滤波(AIF-HEVC)算法. AIF-HEVC算法在视频编码标准HEVC框架下进行编码， 提高视频编码效率, 通过滤波器系数对称优化, 降低码流所需滤波器系数和解码计算复杂度.

1 自适应分像素插值编码过程

自适应分像素插值滤波器就是利用整像素点Ai,j的值计算分像素点ai,j,bi,j,…,qi,j,ri,j的值. 利用HEVC视频编码框架, 编码过程如图1所示. 在HEVC视频编码标准中, 亮度运动补偿的分像素位置采用系数为(-1,4,-10,58,17,-5,1,0),(-1,4,-11,40,40,-11,4,-1),(0,1,-5,17,58,-10,4,-1)的滤波器进行插值计算得到[10-12]. 无需像H.264/AVC[12]中先要进行Wiener滤波, 之后再进行双向滤波. 由于仅需一次滤波计算, 因此插值过程高效、 简单.

图1 基于HEVC的自适应插值算法编码过程Fig.1 Encoding process of adaptive interpolation algorithm based on HEVC

2 AIF-HEVC算法

2.1 整像素的水平方向插值滤波

分像素点a0,0,b0,0,c0,0值使用8阶滤波器对水平方向上最接近整像素(A-3,0,A-2,0,A-1,0,A0,0,A1,0,A2,0,A3,0,A4,0)插值得到, 计算过程如下：

其中:

插值过程如图2所示.

2.2 整像素的垂直方向插值滤波

分像素点d0,0,h0,0,n0,0值使用8阶滤波器对垂直方向上最接近整像素(A0,-3,A0,-2,A0,—1,A0,0,A0,1,A0,2,A0,3,A0,4)插值得到, 计算过程如下：

其中:

插值过程如图3所示.

图2 AIF-HEVC插值结构分像素点a0,0,b0,0,c0,0插值示意图Fig.2 Pixel points a0,0,b0,0,c0,0 interpolation schematic of AIF-HEVC interpolation structure

图3 AIF-HEVC插值结构分像素点d0,0,h0,0,n0,0插值示意图Fig.3 Pixel points d0,0,h0,0,n0,0 interpolation schematic of AIF_HEVC interpolation structure

2.3 整像素的对角线方向插值滤波

1/2像素点j0,0值使用8阶滤波器对对角线方向上最接近整像素(A-3,-3,A-2,-2,A-1,-1,A0,0,A1,1,A2,2,A3,3,A4,4)或(A-3,4,A-2,3,A-1,2,A0,1,A1,0,A2,-1,A3,-2,A4,-3)插值得到, 计算过程如下：

j0,0= (h1,j×A-3,-3+h2,j×A-2,-2+h3,j×A-1,-1+h4,j×A0,0+

h5,j×A1,1+h6,j×A2,2+h7,j×A3,3+h8,j×A4,4)/J,

(7)

1/4像素点e0,0,r0,0值使用8阶滤波器对对角线方向上最接近整像素(A-3,-3,A-2,-2,A-1,-1,A0,0,A1,1,A2,2,A3,3,A4,4)插值得到, 计算过程如下：

1/4像素点g0,0,p0,0值使用8阶滤波器对对角线方向上最接近整像素(A-3,4,A-2,3,A-1,2,A0,1,A1,0,A2,-1,A3,-2,A4,-3)插值得到, 计算过程如下：

图4 AIF-HEVC插值结构分像素点j0,0插值示意图Fig.4 Pixel point j0,0 interpolation schematic of AIF-HEVC interpolation structure

图5 AIF-HEVC插值结构分像素点e0,0,r0,0插值示意图Fig.5 Pixel points e0,0,r0,0 interpolation schematic of AIF-HEVC interpolation structure

图6 AIF-HEVC插值结构分像素点p0,0,g0,0插值示意图Fig.6 Pixel points p0,0,g0,0 interpolation schematic of AIF-HEVC interpolation structure

1/4像素点f0,0,q0,0值使用8阶滤波器对对角线方向上最接近整像素(A-3,-3,A-2,-2,A-1,-1,A0,0,A4,-3,A3,-2,A2,-1,A1,0)和(A-3,4,A-2,3,A-1,2,A0,1,A4,4,A3,3,A2,2,A1,1)插值得到, 计算过程如下：

其中:

插值过程如图7所示.

1/4像素点i0,0,k0,0值使用8阶滤波器对对角线方向上最接近的整像素(A-3,-3,A-2,-2,A-1,-1,A0,0,A-3,4,A-2,3,A-1,2,A0,1)和(A4,-3,A3,-2,A2,-1,A1,0,A4,4,A3,3,A2,2,A1,1)插值得到, 计算过程如下：

其中:

插值过程如图8所示.

图7 AIF-HEVC插值结构分像素点f0,0,q0,0插值示意图Fig.7 Pixel points f0,0,q0,0 interpolation schematic of AIF-HEVC interpolation structure

图8 AIF-HEVC插值结构分像素点i0,0,k0,0插值示意图Fig.8 Pixel points i0,0,k0,0 interpolation schematic of AIF-HEVC interpolation structure

3 自适应分像素插值滤波系数的求解及优化

自适应插值滤波器根据预测残差最小化的原则为每个分像素点计算滤波系数. 分像素插值系数在编码器端经过局部数据训练得到.

1) 分像素点a0,0,b0,0,c0,0水平方向插值滤波系数计算过程如下：

(17)

整理式(18)可得

(19)

通过求解式(19)可得分像素点a0,0,b0,0,c0,0的插值滤波系数.

2) 分像素点d0,0,h0,0,n0,0垂直方向插值滤波系数计算过程如下：

(20)

(21)

通过求解式(21)可得分像素点d0,0,h0,0,n0,0的插值滤波系数.

3) 分像素点j0,0,e0,0,r0,0,f0,0,q0,0,i0,0,k0,0,g0,0,p0,0对角线方向滤波系数计算过程如下：

(22)

(23)

通过求解式(23)可得分像素点j0,0,e0,0,r0,0,,f0,0,q0,0,i0,0,k0,0,g0,0,p0,0的插值滤波系数.

为减少计算插值滤波器系数的数据量, 同时提高不同纹理特性的视频图像鲁棒性, 本文对各分像素点的系数进行对称性优化假设.

1) 水平方向分像素a0,0和c0,0采取镜像倒转的插值滤波系数, 计算过程如下：

hia=h(9-i)c,i=1,2,…,8;

(24)

分像素b0,0采用插值滤波系数对称性, 计算过程如下：

h1b=h8b,h2b=h7b,h3b=h6b,h4b=h5b.

(25)

2) 垂直方向分像素d0,0和n0,0采取镜像倒转的插值滤波系数, 计算过程如下：

hid=h(9-i)n,i=1,2,…,8;

(26)

分像素h0,0采用插值滤波系数对称性, 计算过程如下:

h1h=h8h,h2h=h7h,h3h=h6h,h4h=h5h.

(27)

3) 水平方向分像素a0,0,b0,0,c0,0和垂直方向分像素d0,0,h0,0,n0,0采用相同插值滤波系数, 计算过程如下：

4) 对角线方向分像素j0,0采用插值滤波系数对称性, 计算过程如下：

h1j=h8j,h2j=h7j,h3j=h6j,h4j=h5j;

(31)

分像素e0,0和r0,0及g0,0和p0,0采用镜像倒转的插值滤波系数, 计算过程如下：

分像素f0,0和q0,0及i0,0和k0,0采用镜像相同插值滤波系数, 计算过程如下：

hif=hiq,i=1,2,…,8，

(34)

hii=hik,i=1,2,…,8.

(35)

4 算法复杂度分析

由上述分析可知, 对滤波系数进行对称优化假设可减少计算插值滤波器系数的数据量, 降低求解插值滤波器系数的计算复杂度. 图9为5种自适应插值滤波算法的滤波器系数比较结果. 由图9可见, 相对NS-AIF算法和S-AIF算法, AIF-HEVC算法所需滤波器系数大幅度降低, 与MD-AIF算法滤波器系数相当, 但高于D-AIF算法. 图10为不同算法的滤波器乘法数和加法数比较结果. 由图10可见, 相对S-AIF算法、 D-AIF算法和MD-AIF算法, AIF-HEVC算法极大降低了计算复杂度.

图9 不同算法所需滤波器系数比较结果Fig.9 Comparison results of filter coefficients for different algorithms

图10 不同算法的滤波器乘法数和加法数比较结果Fig.10 Comparison results of multiplicative number and addition number of filter for different algorithms

5 实验结果与分析

为了测试本文算法的性能, 在HM10.0[13]上做IPPP编码结构的仿真实验. 选取HEVC的5种等级视频测试序列, 分别为Traffic,Park Scene,Vidyo1,Basketball Drill和Basketball Pass. 运动估计采用全搜索, 搜索范围为64, 帧率为30帧/s, GOP长度为4帧, 共编码100帧, 量化参数QP分别取20,24,28,32,36. 基于IPPP预测结构不同分像素插值结构编码性能, 结果列于表1.

表1 IPPP编码预测结构实验结果

表1中Δ Bitrate计算公式如下：

(36)

其中: Bitrateother为D-AIF算法、 CMD-AIF算法和AIF-HEVC算法的比特率； BitrateS-AIF为S-AIF算法的比特率. 由表1可见: 相对S-AIF算法, D-AIF算法使PSNR值平均降低0.16 dB, 码率平均提高0.83%; CMD-AIF算法使PSNR值平均提高0.13 dB, 码率平均降低0.49%; AIF-HEVC算法使PSNR值平均提高0.44 dB, 码率平均降低4.18%.

通过仿真测试得到不同视频序列IPPP编码结构的码率-信噪比关系曲线, 分别如图11～图15所示. 由图11～图15可见, 相对于其他算法, 本文算法提高了峰值信噪比(PSNR), 并减少了输出码率, 鲁棒性较强.

图11 Traffic序列码率-峰值信噪比关系曲线Fig.11 Relation curves of bit rate-PSNR of Traffic sequence

图12 Park Scene序列码率-峰值信噪比关系曲线Fig.12 Relation curves of bit rate-PSNR of Park Scene sequence

图13 Vidyol序列码率-峰值信噪比关系曲线Fig.13 Relation curves of bit rate-PSNR of Vidyol sequence

图14 Basketball Drill序列码率-峰值信噪比关系曲线Fig.14 Relation curves of bit rate-PSNR of Basketball Drill sequence

图15 Basket Pass序列码率-峰值信噪比关系曲线Fig.15 Relation curves of bit rate-PSNR of Basketball Pass sequence

综上所述, 本文针对目前自适应分像素插值算法(NS-AIF算法, S-AIF算法, D-AIF算法和CMD-AIF算法)均基于H.264/AVC视频编码框架, 在提高编码增益的同时也增加解码计算复杂度的问题, 提出了一种基于HEVC的自适应插值滤波算法. 该算法先在HEVC视频编码标准框架进行编码, 提高视频编码效率, 再通过滤波器系数对称优化, 降低了码流所需滤波器系数和解码计算复杂度. 复杂度分析结果表明： 与其他算法相比, AIF-HEVC算法乘法复杂度最高降229%, 加法复杂度最高降245%. 编码性能分析表明： 相对其他算法, AIF-HEVC算法有明显的编码增益, 并降低了码率, 具有较好的鲁棒性.

[1] Vatis Y, Ostermann J. Adaptive Interpolation Filter for H.264/AVC [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2009, 19(2): 179-192.

[2] Vatis Y, Edler B, Nguyen D T, et al. Two-Dimensional Non-separable Adaptive Wiener Interpolation Filters for H.264/AVC [R]. Busan, South Korea: ITU-T, 2005.

[3] Kemal U, Jani L, Moncef G.Interpolation Filters with Different Symmetry Properties [EB/OL]. 2007-01-04. http://wftp3.itu.int/av-arch/video-site/0701_Mar/VCEG-AE21.zip.

[4] 李宏伟, 张捷, 吴成柯, 等. 多对称性快速自适应插值滤波算法 [J]. 吉林大学学报(工学版), 2011, 41(5): 1485-1490. (LI Hongwei, ZHANG Jie, WU Chengke, et al. Fast Multi-symmetry Adaptive Interpolation Filter Algorithm [J]. Journal of Jilin University (Engineering and Technology Edition), 2011, 41(5): 1485-1490.)

[5] Wittman S, Wedi T. Separable Adaptive Interpolation Filter [R]. Geneva, Switzerland: ITU-T, 2007.

[6] Rusanovskyy D,Ugur K, Hallapuro A, et al. Video Coding with Low-Complexity Directional Adaptive Interpolation Filters [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2009, 19(8): 1239-1243.

[7] Rusanovskyy D, Ugur K. Adaptive Interpolation with Directional Filters [R]. Shenzhen: ITU-T, 2007.

[8] WU Zhongmou, HE Yun. Combined Adaptive-Fixed Interpolation with Multi-directional Filters [J]. Signal Processing: Image Communication, 2009, 24(4): 277-286.

[9] 刘晓彤. 高效视频编码中自适应插值滤波器的研究 [D]. 长春: 吉林大学, 2014. (LIU Xiaotong. Study on Adaptive Interpolation Filter in HEVC [D]. Changchun: Jilin University, 2014.)

[10] 陆寄远, 刘宇熹, 侯昉, 等. HEVC的高效分像素运动补偿 [J]. 软件学报, 2017, 28(8): 2214-2226. (LU Jiyuan, LIU Yuxi, HOU Fang, et al. High Efficiency Algorithm of Fractional Pixel Motion Compensation for HEVC [J]. Journal of Software, 2017, 28(8): 2214-2226.)

[11] 王刚, 陈贺新, 陈绵书. 基于自适应选择滤波系数的插值算法 [J]. 吉林大学学报(信息科学版), 2017, 35(2): 111-119. (WANG Gang, CHEN Hexin, CHEN Mianshu. Interpolation Algorithm Based on Adaptive Selection Filter Coefficients [J]. Journal of Jilin University (Information Science Edition), 2017, 35(2): 111-119.)

[12] 王刚, 陈贺新, 陈绵书. 面向HEVC的高效插值滤波VLSI架构设计 [J]. 吉林大学学报(信息科学版), 2017, 35(3): 221-228. (WANG Gang, CHEN Hexin, CHEN Mianshu. Design of HEVC-Oriented High-Efficiency Interpolation Filtering VLSI Architecture [J]. Journal of Jilin University (Information Science Edition), 2017, 35(3): 221-228.)

[13] McCann K, Bross B, Han W J, et al. High Efficiency Video Coding Test Model10 (HM10) Encoder Description [R]. Geneva: JCTVC, 2013.