H.264/AVC网络视频的丢包失真评估

刘河潮，常义林，陈玉峰

(1.西安电子科技大学综合业务网理论及关键技术国家重点实验室，710071西安;2.哈尔滨飞行学院，150001哈尔滨)

宽带网络的迅速发展，使得基于IP(internet protocol)网络的实时流媒体服务得到了广泛应用，对视频质量进行实时和准确的评估对视频的编解码发展、网络协议规划、网内质量监控和确保终端用户质量等至关重要［1-2］.IP网络是一个异构、时变、缺乏服务质量控制的网络，视频经编码压缩后再由不稳定的IP网络传输时，视频质量除由量化引起的编码失真以外，网络视频还会遭受到由网络丢包引起的失真.在解码端当包丢失发生时，相关帧或部分视频序列由于包丢失而无法正确解码，解码器通常使用相应的误码掩盖方法进行弥补，误码掩盖可分为:空域误码掩盖和时域误码掩盖［3］.H.264/AVC编码标准的新特性主要是:多模式的帧内预测编码、多参考帧的帧间运动估计、整数DCT变换、先进的环路滤波和基于内容的熵编码［4］.

编码方式确定，视频的失真主要取决于信道状况，评估由信道引起的视频失真可以在接收端也可以在发送端.在发送端，视频的原始信号和编码后的视频都可得到，但信道实际运行状况则无法得到，视频质量评估方法只能基于信道的统计特性进行［5-6］.在接收端信道运行状况可知，但受限于带宽原始视频或不受网络影响的编码后视频信号都不可得到，因此，不需要用到原始视频或编码后视频的无参考视频质量评估方法显得更为可行.近年来研究更多地关注在解码端的视频质量评估方法［7-8］上，文献［7-8］没有考虑误码掩盖和编码器特性对视频质量评估的影响.基于此，本文提出一种在解码端无参考视频质量评估方法，该方法充分考虑了空时域误码传播、误码掩盖算法和编码器特性对视频质量的影响等对视频质量的影响.实验结果表明，该算法测得的MSE和全参考方法计算的MSE具有很好的一致性.

1 信道误码引起的视频失真

1.1 误码引起的失真

由于网络的不稳定性和易错性，同时不同帧类型丢包对视频质量的影响不同［9］，本文分别针对帧内预测和帧间预测的宏块能否正确接收分别进行讨论.

1.1.1 帧内预测块正确接收

当一个帧内编码的宏块正确接收时，宏块的失真可以表示为

其中

1.1.2 帧间预测块正确接收

当一个帧间编码的宏块正确接收时，宏块的失真可以表示为

其中

式中:(xi，yi)为第i个宏块左上角像素的坐标; r为H.264/AVC标准采用的运动补偿多参考帧编码的参考帧的序列索引;分别为横竖方向运动矢量.式(2)表示信道误码引起视频的时域误码传播，主要是由于运动补偿像素值的不匹配而导致.

1.1.3 帧內预测宏块丢失

由于包丢失，一个帧内编码宏块出现错误时，采用空域误码掩盖技术对其进行恢复.此时该宏块的失真可以表示为

其中

式中:(j(l;x，y)，k(l;x，y))，l=1，…，Lx，y为用于差值像素的位置坐标;Lx，y为空域插值像素(x，y)集合的基数;β(l)为权系数，满足为由空域误码掩盖而导致的视频质量的下降;为空域误码传播引起的误差.

1.1.4 帧间预测宏块丢失

由于包丢失，一个帧间编码宏块出现错误时，采用时域误码掩盖技术对其进行恢复.此时该宏块的失真可以表示为

其中

1.2 误码传播引起的失真

1.2.1 空域误码传播引起的失真

由误码引起的失真分析可知，当一个宏块使用帧内预测时，则在该视频帧内形成空域误码传播.H.264/AVC编码标准中允许帧内预测编码模式:像素16×16的宏块和像素4×4的亚宏块.像素16×16宏块又有4种不同的空域预测模式，像素4×4亚宏块又有9种不同的空域预测模式［4］，则整个视频帧由空域误码传播引起的视频失真为

式中:M、N分别为在一帧内宏块在横竖方向上宏块的个数.

在编码端由于使用运动补偿则当前解码后的像素误码会传播到后续解码的像素，所以导致视频的时域误码传播.每一个宏块(16×16像素)可以按以下4种方式分割:1个16×16、2个16×8、2个8×16和4个8×8.8×8的子宏块还可以进一步用4种方式再进行分割:1个8×8、2个4×8、2个8×4和4个4×4，每个分割或子宏块都有一个独立的运动补偿.又由于在H.264/AVC编码标准中编码端允许多参考帧，不同的亚宏块参考同一帧图像.因此，通过计算先前编码过参考帧对后续编码帧的影响得到时域误码传播引起的失真，则时域误码传播引起的失真为

1.3 误码掩盖引起的失真

在解码端所采用的误码掩盖算法，主要依赖于在解码端所使用的解码器、丢失宏块所属的帧类型及测量失真所采用的方法等［10］.文中在解码端将采用传统的参考软件模式，丢失宏块属于帧内编码模式的采用空域误码掩盖算法，而属于帧间编码模式的将采用时域误码掩盖算法［11-12］.本文分别对由空域误码掩盖和时域误码掩盖引起的视频失真进行讨论.

1.3.1 空域误码掩盖引起的失真

视频序列或GoP(group of picture)的第1帧是帧内编码模式I帧，则不能利用时域上的冗余信息进行恢复，只能利用当前帧内的相邻块的信息进行错误恢复.由丢包引起的初始误码在解码端使用零运动误码掩盖方法处理，即丢失的宏块直接用与它最接近的参考帧同一位置上的宏块来代替，对于丢失数据帧则直接用前一参考帧代替，则空域误码掩盖引起的失真为

1.3.2 时域误码掩盖引起的失真

柿子刚摘下来时，硬邦邦的。如果和苹果放在一起，很快就会变软。一个坚毅的人，肩头可扛万般事，但碰到某一个人，心一下子软了。

宏块属于P或B帧丢失时，则编码模式、运动矢量和预测值都不能接收到.根据文献［13］可知，在P帧和B帧中的帧内编码宏块的总数不超过所有宏块总数的4%，不能接收到运动矢量和预测值使用时域误码掩盖对视频质量的影响不相关，则由时域误码掩盖引起的视频失真可以用不能接收到运动矢量和预测值使用时域误码掩盖对视频质量的影响之和表示.设为时域误码掩盖引起的失真;为运动矢量丢失引起的视频失真为预测残差丢失引起的视频失真，则

1)运动矢量丢失引起的失真.

在解码器端对于丢失的宏块且平移运动情况下，基于时域误码掩盖算法得出的预测残差与在编码器端的预测残差的关系，如［14］

其中

其中:

其中:

式中:Lφ为用来计算误码掩盖运动矢量的亚宏块的个数;ωj=2πj/B，ωk=2πk/B.

2)预测残差丢失引起的失真.

当一个宏块丢失时无论用什么误码掩盖算法都没有办法重新得到预测残差，因此只能简单的将预测残差的值设置为0，在本文中使用误码掩盖运动矢量所指参考帧的预测残差的能量来计算预测残差丢失引起的失真，因此丢失预测残差引起的失真为

1.4 去方块滤波对视频质量的影响

在编码时去方块滤波主要是空域滤波，能够平滑由于基于块的运动补偿和变换编码引起视频的方块效应，但是同时也对真正的边缘信息进行平滑而引起误差.基于宏块的运动补偿和变换编码会引起解码后的视频的方块效应，而环内滤波在去方块效应方面是一个很重要的工具.在H.264/AVC标准中，去方块滤波使用的是空域环内滤波的方式，滤波后的像素可以作为后来像素的滤波，则在编码端去方块滤波后的，如

在解码端接收到宏块，同样的滤波方式应用到接收到的宏块，则为没有滤波前的像素为滤波后的像素值，则在解码端去方块滤波后的如

因此信道去方块滤波误差为

2 无参考视频质量评估模型的建立

计算由信道引起的视频失真MSE，如

3 结果与分析

实验视频编解码方式采用H.264/AVC编解码器的基本档次(baseline profile)，使用的标准视频序列格式为CIF(common intermediate format)，编码速率为256 KB/s，帧率为30 f/s，多参考帧数为6，量化参数设为5、8、12、18、25、30、36和40，每一个编码帧分成数个片(slice)，每一片包含一行的所有宏块，编码后的片根据IP/UDP/RTP协议栈进行打包编码，选取代表在空时域复杂度不同的视频序列，视频序列分别为:News、Foreman、Susie、Calendar、Silent、Hall Monitor和Football，丢包率为［0.1%，15%］，采用随机丢包策略.由丢包引起的初始误码在解码端，丢失宏块属于帧内编码模式的采用空域误码掩盖算法，属于帧间编码模式的将使用时域误码掩盖算法.使用本文提出的质量评估方法与文献［8］中提出的质量评估方法对所有失真视频进行质量评估，然后与用全参考方法得到的视频质量比较来评价该方法的性能.

按照VQEG评价视频质量评估模型精度的方法评价本文提出的丢包失真评估方法的性能，主要采用以下3个尺度来量化模型的性能:均方根误差CRMSE(root mean squared error，RMSE)、Pearson线性相关系数 CPLCC(pearson linear correlation coefficient，PLCC)和Spearman秩相关系数 CSROCC(spearman's rank-order correlation coefficient，SROCC).其中:CRMSE为本文给出的方法得到的视频质量和使用全参考方法得到的视频质量的预测精度，CRMSE越小则反映了该模型具有较好的预测精度;CPLCC为本文给出的方法得到的视频质量和使用全参考方法得到的视频质量的相关关系密切程度和相关方向的统计指标，它给出了对预测精度和预测单调性的评价，较大的Pearson线性相关系数值意味着较好的预测精度和预测单调性;CSROCC为另一个相关度指标，较大的CSROCC意味较好的预测精度和预测单调性.

表1给出了两种质量评估模型在丢包率为3%的情况下3个性能指标，由表1可知本文所提方法得到的MSE和视频全参考方法计算的MSE有很好的一致性.为了更方便和清楚的说明本文提出方法的有效性，图1给出几种空域和时域复杂度不同的视频序列在丢包率为3%情况下本文模型的MSE和全参考方法得到的MSE的对应分布图，图1中的每一个数据点对应一个受测失真视频序列，其中:横坐标为全参考方法得到的MSE;纵坐标为视频序列的模型计算得到的MSE，从散点图可以清晰看到本文所提方法可以准确地评估视频的丢包失真，本文提出的方法与全参考方法得到的MSE具有较好的一致性.

表1 丢包率为3%时两种质量评估模型的性能

图1 丢包率为3%时两种算法与全参考方法计算MSE对应分布图

4 结论

1)新一代压缩编码标准H.264/AVC所使用的新的编码技术如:多模式帧内编码技术、多参考帧的帧间预测技术以及先进的环路的滤波技术等，在提高编码效率和性能的同时，也增大了网络传输时误码传播对视频质量的影响.

2)针对H.264/AVC所使用的新编码技术，详细研究了由H.264/AVC所使用的新编解码技术引起信道误码、空时域误码传播、空时域误码掩盖及去方块滤波对视频质量的影响，给出了一种计算网络视频丢包失真MSE的无参考视频质量评估算法.该方法充分考虑了视频内容、误码掩盖算法和编码器特性对视频质量的影响，并且计算复杂度低，可以进行实时网络视频质量监控.实验结果表明，使用该方法得到的视频质量MSE和使用全参考方法得到的视频质量MSE具有很好的一致性.

［1］RAO K R，BOJKOVIC Z S.Packet Video Communications over ATM Networks［M］.Upper Saddle River，New Jersey，USA:Prentice Hall，1999:119-121.

［2］MAISONNEUVE J，DESCHANEL M，HEILES J，et al. An overview of IPTV standards development［J］.IEEE Transactions on Broadcasting，2009，55(2):315-328.

［3］宋彬，常义林.视频通信抗误码方法研究的新进展［J］.电子学报，2002，30(10):1514-1518.

［4］WIEGAND T，SULLIVAN G J，BJONTEGAARD G，et al.Overview of the H.264/AVC video coding standard［J］.IEEE Transactions on Circuits and Systems for Video Technology，2003，13(7):560-576.

［5］STUHLMÜLLER K，FÄRBER N，LINK M，et al. Analysis of Video Transmission over Loss Channels［J］. IEEE Journal on Select Areas in Communications，2000，18(6):1012-1032.

［6］FÄRBER N，STUHLMÜLLER K，GIROD B.Analysis oferrorpropagation in hybrid video coding with application to error resilience［C］//IEEE International Conference on Image Processing.Washington，DC: IEEE Computer Society，1999:550-555.

［7］YANG Fuzheng，WAN Shuai，XIE Qingpeng，et al.Noreference quality assessment for networked video via primary streaming analysis of bit stream［J］.IEEE Transactions on Circuits and Systems for Video Technology，2010，20(11):1544-1554.

［8］YAMADA T，MIYAMOTO Y，SERIZAWA M.No-Reference video quality estimation based on errorconcealment effectiveness［C］//IEEE Packet Video. Washington，DC:IEEE Computer Society，2007:288-293.

［9］刘河潮，常义林，元辉，等，一种网络丢包的无参考视频质量评估方法［J］.西安电子科技大学学报，2012，39(2):29-34.

［10］AGRAFIOTIS D，BULL D R，CANAGARAJAH C N. Enhanced error concealment with mode selection［J］. IEEE Transactions on Circuits and Systems for Video Technology，2006，16(8):960-973.

［11］SULLIVAN G，WIEGAND T，LIM K P.Joint model reference encoding methods and decoding concealment methods［DB/OL］.(2012-03-10).http://wftp3.itu. int/av-arch/jvt-site/2003-09-SanDiego/JVT-I049d0. doc.

［12］Joint Video Team(JVT).H.264/AVC Reference Software Version JM12.3.［DB/OL］.(2011-10-15). http://iphome.hhi.de/suehring/tml/download/.

［13］WANG Yao，WU Zhenyu，BOYCE J M.Modeling of transmission loss induced distortion in decoded video［J］.IEEE Transactions on Circuits and Systems for Video Technology，2006，16(6):716-732.

［14］SECKER A，TAUBMAN D.Highly callable video compression with scalable motion coding［J］.IEEE Transactions on Image Process，2004，13(8):1029-1041.