视频错误掩盖技术进展

.艾 达，杨 珍

(西安邮电大学 通信与信息工程学院，陕西 西安 710121)

视频错误掩盖技术进展

.艾 达，杨 珍

(西安邮电大学 通信与信息工程学院，陕西 西安 710121)

针对2005年到2015年基于H.264/AVC编码标准下的图像错误掩盖技术的发展状况，根据不同类型的编码帧采用的不同掩盖技术，归纳分类了当前已有算法，分析总结了基于传统的错误掩盖技术，即时域掩盖、空域掩盖和时空域结合的掩盖，包括基于场交织的错误掩盖与数字水印技术相结合的错误掩盖，以及基于三维视频的错误掩盖，比较了各算法的优势和局限性，并讨论了其未来发展趋势。关键词: 错误掩盖；立体视频；场交织；数字水印

由于压缩后的视频很大程度上降低了其数据之间的关联性。数据流在不可靠的信道中传输易出错或丢失，使得接收端不能正确解压出原视频图像。因此，针对受损视频图像质量的恢复，必须有一定的差错控制机制来保证视频图像的质量。

差错控制包括各种抗误码技术和检错纠错技术，通常从编码端、信道和解码端展开研究。其中，从解码端展开研究的错误掩盖技术是对出现了错误或丢失的视频数据进行恢复的一种方法。利用视频本身的冗余信息，不改变原始码流结构，不额外增加开销，有效弥补传输中图像的错误，使其在视觉效果上被人眼所接受。

文献[1]中从时域、空域和频域三个角度分析归纳了错误掩盖技术，指出当时已有的各种算法优点和存在的缺点，而且对错误掩盖技术的未来研究方向进行探讨。本文将在文献[1]的基础上，将近十年来开发的一些典型的二维视频和立体视频的错误掩盖算法进行归纳分类和分析比较，并对此进行展望。

1 国内外研究现状及分析

目前，错误掩盖技术在国内外的主流研究方向有3个：传统错误掩盖技术的改进[2]、基于模板匹配的错误掩盖[3]、发送端与接收端结合的错误掩盖[4]。

传统错误掩盖致力于在接收端对受损图像的数据进行各类不同插值算法的恢复，充分利用图像本身的冗余信息对其进行错误掩盖。最常用的插值算法有双线性插值[5]、方向插值算法、多方向插值算法[6]以及加权方向插值算法[7]。

文献[3]中提出的基于模板匹配的错误掩盖方法中，利用主成分分析法为目标或感兴趣区域训练出一个基于内容的模型，从而建立一个先验，捕捉到目标的统计变化，进而用于错误掩盖，修复目标。这种掩盖技术掩盖的质量依赖于训练样本和模型的准确度，修复计算度高，不适用于突发的即时通信。

收发端结合的错误掩盖，是在发送端增加一些冗余数据，使接收端在恢复出错图像时有更多可用数据。各种不同冗余数据均能嵌入到发送端，例如，文献[8]把视频每帧图像的抖动色版本通过数字水印技术嵌入到原始信息中；文献[9]在图像分块后，通过量化离散小波变换后的系数，得到图像块的块描述信息，随后利用最低有效位信息嵌入技术嵌入到图像本身中；文献[10]在编码端把图像重要区域内宏块的运动矢量(Motion Vector,MV)嵌入到该帧图像的背景区域中；之后，文献[11]提出了自适应水印的嵌入。交织编码技术即灵活的宏块排序，将空间相邻的宏块分别排成两个Slice组，这两个组中的数据可用来对其中出错或丢失的一组进行错误掩盖[12]。基于场交织的错误掩盖，大多从发送端入手，直接对图像和视频作分场、分序列的操作[13]。

目前立体视频技术发展极其迅速，对其视频信息进行压缩的技术越来越成熟。立体视频的高效视频编码(High Efficiency Video Code, HEVC)[14-18]近年来已成为研究热点。因此，对立体视频的出错和丢失信息也需进行掩盖。

2 传统错误掩盖的改进技术

传统错误掩盖致力于在接收端对受损图像的数据进行各类不同插值算法的恢复。文献[7]提出的加权平均插值掩盖算法，根据宏块状态来决定该块是否需要错误掩盖。该算法简单易用，但对图像空间冗余信息利用率并不高，对图像内容处理方式单一，缺少对周围像素更多的分析利用，导致修复后的图像有模糊感，对图像纹理、内容边缘等发生错误时的修复效果不理想。

文献[19]提出了边缘检测和方向插值算法。边缘检测算法多用Sobel算子，得到图像错误像素周围的边缘后，采用方向插值来近似恢复出错部分。根据边缘分区，计算出每个方向的边缘强度，有设定的阈值选取合适的插值方法。

文献[20]提出了一种基于块内预测和块内边缘方向相关性的新型空间错误掩盖算法。该算法利用边缘方向和相邻块的高效估计，依次对丢失宏块的每一个像素进行插值，保持了局部边缘的连续性，从而获得视觉上更加可接受的图像。算法实现简单，对恢复错误宏块的细节有很强的可靠性。

文献[21]提出的空间域自适应错误掩盖算法，该算法的实现是基于图像中出错块和周围未出错块之间的纹理变化，选择一个最恰当的纹理模型，然后利用该模型建立出错块的预测块，该预测块与未出错块之间存在一个最小均方差值，由此值即可确定可用像素块的所处位置。

时间域错误掩盖是利用图像序列之间的冗余信息，通过该帧内错误块的相邻宏块的MV来估计该错误块的MV，然后通过运动补偿，在正确接收的相邻帧内寻找替补图像块。该算法在文献[22]和文献[23]提出并分析。其中，文献[23]提出的绝对误差和降低了传统匹配准则的计算复杂度。

文献[24]提出了一种新的基于块和运动补偿视频编码系统的自适应错误掩盖算法。该方法采用一种无监督的人工神经网络模式，即自组织映射(Self-organization Map，SOM)，作为预测来估算受损宏块的MV。然后，估计的MV通过来自参考帧基于边界匹配判据的空间信息来重建受损宏块。由于SOM具有用于可视化和解释高维数据集的大容量，该估计模型可以利用SOM的非线性特性，以更准确地估计丢失的MV。

对于H.264视频编码标准的多预测模式、多参考帧的特点，文献[25]提出了混合非对称交叉多六边形网络搜索算法,采用多模板进行形状的宏块匹配。文献[26]对该算法进行了改进。

3 编解码端结合的错误掩盖

编解码端结合的错误掩盖通过编码端对视频数据进行重新排列或嵌入冗余，使得解码端可利用的冗余信息更丰富。

文献[27]提出的一种基于场交织的错误掩盖算法，将图像分场传输后，在接收端利用丢失场的上下行数据进行加权平均插值恢复。后有学者提出将视频序列分为两个序列，一奇一偶，然后对其中的每一帧图像进行分场，从而一个视频得到4个场描述，最后对其独立编码传输。若图像经分场交织传输过程，丢失了全部奇场描述，在编码端用插值算法来实现错误掩盖。

在解码端进行基于场交织时空域结合的错误掩盖算法中，文献[28]提出根据接收到的描述是odd1、even1还是odd2、even2来选择空域掩盖或时间域掩盖。“odd”表示奇场描述，“even”表示偶场描述，“1”表示奇帧，“2”表示偶帧。

文献[29]提出了基于场交织的新算法，将多向插值引入到该算法中进行恢复，所以，首先对方向进行分区，不同于基于块交织的错误掩盖，本算法并不分为7个方向区，而是分为3个方向区，只利用最可能的像素进行掩盖恢复；其次，完成边界像素的处理，以便于后续掩盖方便；然后通过正确接收的间隔行的像素与改良的Sobel算子进行卷积运算，寻找到两个重要方向，一个称之为主方向，一个称之为次主方向。其中，卷积用到的图像像素包括丢失行的上3行正确像素和下3行正确像素，以避免误差传播。假设丢失像素在通过所有数据方向分类，划分到3个方向区中，对每个方向区计算出边缘强度和一个空间方向向量(Space Directional Vector, SDV)，对比SDV，得到主方向和次主方向，进而利用加权插值对错误像素插值掩盖。

文献[8]提出的水印算法中，嵌入到视频每帧图像的背景区域的水印信息为其感兴趣区的宏块MV。

文献[9]提出的基于最低有效位的数字水印算法，当嵌入错误块中水印信息的块也发生错误，可以利用相邻像素的插值来进行错误块的重建。该技术较利用DCT进行最低有效位嵌入掩盖方法而言，由于利用DWT系数，其嵌入容量增大，方便隐蔽嵌入更多可利用数据，从而恢复出较DCT进行LSB掩盖更高视觉质量的图像。

综上，所提出的平面视频图像的错误掩盖算法如表1所示，将其分为三大类，即基于插值、基于数字水印和基于场交织的算法，分别在应用条件、恢复效果和存在的问题进行分析比较。

4 立体视频的错误掩盖

最初对于立体视频进行的错误掩盖是对丢失或出错的宏块进行操作，如文献[30]中的重叠块运动视差补偿技术，选择候选矢量来构造候选替代块，该候选块中的像素的加权平均可得到新的替代块的像素。这种算法简单易操作，但是其时域相关性没有得到充分利用，当视频的整帧丢失时，该算法易造成严重的错误繁衍。

文献[31]中在时域与帧间结合的而错误掩盖将视点分为奇偶视点，分别以其相邻的帧作为参考帧进行错误掩盖，其中偶视点的第一帧用其左边的帧作为参考帧，奇视点的第一帧用其右边的帧作为参考帧。

表1 平面视频的错误掩盖算法的对比总结

算法应用条件恢复效果存在问题加权平均插值错误块的相邻像素有模糊感,边缘处不平滑空间域的冗余信息利用率不高,周围像素的利用不充分边缘检测和方向插值边缘算子优于单一的加权平均插值,边缘处较平滑不易操作实现,会引起虚假边缘基于数字水印信源中嵌入水印信息优于仅在解码端进行的基于插值算法,但丢包率增大时,恢复质量急剧下降信源轻微降级,编码和解码需要同时进行,算法复杂度高基于场交织高丢包率,图像质量严重受损优于其他算法掩盖数据时局限于加权平均插值或双线性插值

文献[32]根据不同的光照视点变化对立体视频的错误性能产生影响，从而提出了一种基于光照补偿的错误掩盖方法。该方法首先利用立体匹配获得精确的视差向量，在光照变化时，从邻近的宏块进行光照补偿的复制。

文献[33]与文献[34]提出了颜色加深度信息流的立体视频的错误掩盖。其中文献[33]是针对彩色/纹理图像利用深度信息和彩色信息进行错误掩盖,为了掩盖一个错误的左色彩帧，推断出运动矢量进行时域掩盖；利用相应的左色彩帧对出错的左深度帧进行掩盖；对于右色彩帧，采用立体图像变形技术来确定像素匹配以及运动矢量的重建进行错误掩盖；对于右深度帧的错误，使用右色彩帧和左色彩帧的MV进行掩盖。文献[34]对其有所改进，利用深度信息的相关性，接收到的彩色/纹理信息来恢复丢失另一彩色/纹理信息。

分析比较立体视频的错误掩盖算法，将近年来的各种算法在应用条件、恢复效果和存在的问题进行对比总结，如表2所示。

5 总结

本文主要分析了二维视频和立体视频在错误掩盖方面的主要算法，并将其算法的优缺点进行比较。现有的错误掩盖算法面临着很多问题，如方向插值算法虽然对边缘的恢复较理想，但会引起虚假边缘[35]。

表2 立体视频的错误掩盖算法的对比总结

算法应用条件恢复效果存在问题传统时域掩盖时间相关性对于静止或运动小的图像恢复效果较好涉及到之前的帧,不易操作实现,会出现方块效应传统空域掩盖空间相关性良好,一般优于时域算法高丢包率下掩盖效果差重叠快运动视差补偿视点间相关性若无整帧丢失情况,效果较理想易造成严重的错误繁衍基于彩色/纹理信息深度信息和彩色信息一般优于其他算法对深度信息要求较高,在深度信息不准确或有错误的情况下完成错误掩盖需进一步研究基于光照补偿光照视点的变化良好复杂度高,应用较少

文献[29]的新算法中对于恢复错误图像有较好的效果，但其在解码端的插值算法仍局限于已有的加权平均插值或双线性插值。

对于平面视频，可将已有的数字水印技术结合场交织图像的特征，使当前基于场交织图像的错误掩盖技术的掩盖质量得到进一步提高。

立体视频在错误掩盖方面颇具挑战性，因此有几个问题值得注意：参考帧的选取在错误掩盖过程中对于图像的恢复质量起决定性作用，因此选取更有效的参考图像至关重要；进行错误掩盖时算法的复杂度可由预测错误块的方式决定，并且大部分图像都选取多帧参考，因此也应该考虑参考帧中的预测模式信息的有效利用。

[1] GUO Y，CHEN Y，WANG Y，et al. Error resilient coding and error concealment in scalable video coding[J]. IEEE transactions on circuits and systems for video technology, 2009, 19(6): 781-795.

[2] SEILER J, SCHOBERI M, KAUP A. Spatio-temporal error concealment in video by denoised temporal extrapolation refinement[C]//Proc. IEEE International Conference on Image Processing. [S.l.]：IEEE, 2013: 1613-1616.

[3] TRISTA P, MAURICE G B. Fast DCT-based spatial domain interpolation of blacks in images[J]. IEEE transactions on image processing, 2002(9)：729-732.

[4] SUPERIORI L, NEMETHOVA O, RUPP M. Error concealment analysis for H.264/advanced video coding encoded video sequences[J]. E & i elektrotechnik and informationstechnik, 2012, 129(6)：387-399.

[5] 王昊京，王建立，王鸣浩，等. 采用双线性插值收缩的图像修复方法[J].光学精密工程，2010, 18(5):1234-1241.

[6] KUNG W Y, KIM C S, KUO C C J. Spatial and temporal error concealment techniques for video transmission over noisy channels[J]. IEEE transactions on circuits and systems for video technology,2006，16(7):789-802.

[7] 王威, 杨静, 刘西振. 一种基于H.264后处理空域错误隐藏方法[J]. 计算机与现代化, 2011(6): 1-4.

[8] FREITAS P G, RIGONI R, FARIAS M C Q, et al. Error concealment using a halftone watermarking technique[C]//Proc. IEEE SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI). Ouro Preto：IEEE, 2012:308-315.

[9] KIM K S, LEE H Y, LEE H K. Spatial error concealment technique for losslessly compressed images using data hiding in error-prone channels[J]. Journal of communications and networks, 2010, 12(2):168-173.

[10] YAO Y Z, ZHANG W M, YU N H. Adaptive video error concealment using reversible data haiding[C]//Proc. IEEE International Conference on Multimedia Information Networking and Security(MINES). Nanjing：IEEE, 2012:658-661.

[11] 刘志博，范九伦. 基于小波提升的公有水印算法[J].西安邮电大学学报，2004, 15(3)：53-58.

[12] LI D, WU J Q. The test and analysis of fmo model in error concealment based on H.264[C]//Proc. ICCSE International Conference on Computer Science and Education, Final Program and Proceedings. [S.l.]：ICCSE，2011: 330-332.

[13] 赵志刚，陈姝，王国栋，等. 基于运动估计的模糊图像盲复原[J]. 光电子·激光，2012, 23(10): 2010-2016.

[14] SULLIVAN G J , OHM J R , HAN W J , et al. Overview of the high efficiency video coding (HEVC) standard[J]. IEEE transactions on circuits and systems for video technology, 2012, 22(12): 1649-1668.

[15] NIGHTINGALE J. WANG Q, GRECOS C. HEVStream: a framework for streaming and evaluation of high efficiency video coding (HEVC) content in loss-prone networks[J]. IEEE transactions on consumer electronics, 2012, 58(2):404-412.

[16] MULLER K, SCHWARZ H, MARPE D, et al. 3D high-efficiency video coding for multi-view video and depth data[J]. IEEE transactions on image processing, 2013, 22(9): 3366-3378. [17] DOMANSKI M，STANKIEWICZ O，WEGNER K，et al. High efficiency 3D video coding using new tools based on view synthesis[J]. IEEE transactions on image processing, 2013, 22(9):3517-3527.

[18] VAN W G, Van L S, DE C J. 3D video compression based on high efficiency video coding[J]. IEEE transactions on consumer electronics, 2012, 58(1): 137-145.

[19] BEHEIRY E N, MOHAMED E S, MONA L, et al. An adaptive fast and efficient spatial error concealment technique for block-based video coding systems[C]//Proc. IEEE International Midwest Symposium on Circuits and Systems. [S.l.]：IEEE, 2009: 663-668.

[20] KIM M, LEE H, SULL S. Spatial error concealment for H.264 using sequential directional interpolation[J]. IEEE transactions on consumer electronics, 2008，54(4):1811-1818.

[21] NANGAM P, KUMWILAISISAK W, KEAWKUMNERD S. New spatial error concealment with texture modeling and adaptive directional recovery[C]//Proc. IEEE International Conference on Electrical Engineering/Electronics Computer Telecommunications and Technology (ECTI-CON). Chiang Mai：IEEE, 2010: 703-707.

[22] XU Y L, ZHOU Y H. Adaptive temporal error concealment scheme for H.264/AVC video decoder[J]. IEEE transactions on consumer electronics, 2008, 54(4):1846-1851.

[23] GARCIA V M S, GARCIA R A F, RAMIREZ A A A. Image processing for error concealment[C]//Proc. 10th Mexican International Conference on Artificial Intelligence: Advances in Artificial Intelligence and Applications. [S.l.]：MICAI，2011: 133-138.

[24] HUANG Y L , LIEN H Y. Temporal error concealment for MPEG coded video using a self-organizing map[J]. IEEE transactions on consumer electronics, 2006,52(2): 676-681.

[25] YUE W Y, ZHANG N, YIN B. A novel parallel fast motion estimation algorithm[C]//Proc. International Conference on Intelligent Sensing and Information. [S.l.]：ICISIP, 2005: 378-381.

[26] 曹瑞.一种用于H.264的改进UMHexagonS算法[J].电视技术, 2015, 39(9): 28-31.

[27] 艾达, 常义林. 一种新的空间域图像错误掩盖方法[J].光子学报，2008, 37(2): 388-390.

[28] ASHERI H, RABIEE H R, POURDAMGHANI N, et al. A Gaussian process regression framework for spatial error concealment with adaptive Kernels[C]//Proc. IEEE International Conference on Pattern Recognition (ICPR). Istanbul：[s.n.]：2010: 4541-4544.

[29] 艾达，周志慧. 一种新的图像分场描述编码错误掩盖算法[J]. 计算机应用研究，2015，32(8):2558-2560.

[30] XIANG X, ZHAO D, WANG Q, et al. A novel error concealment method for stereoscopic video coding[C]//IEEE International Conference on Image Processing. [S.l.]：IEEE, 2007:101-104.

[31] SHAFAI W E，HRUSOVSKY B， MOSTAFA E K， et al. Joint space-time-view error concealment algorithms for 3D multi-view video[C]//IEEE International Conference on Image Processing. [S.l.]：IEEE， 2011: 2201-2204.

[32] YANG S, ZHAO Y, WANG S G, et al. Error concealment for stereoscopic video using illumination compensation[J]. IEEE transactions on consumer electronics, 2011,57(4): 181-182.

[33] CHUNG T Y，SULL S H，KIM C S. Frame loss concealment for stereoscopic video plus depth sequences[J]. IEEE transactions on consumer electronics, 2012,57(3): 1336-1344.

[34] LIE W N，LIN G H. Error concealment for 3D video transmission[C]//Proc. IEEE International Symposium on Circuits and Systems. [S.l.]：IEEE, 2013: 2856-2859.

[35] AGRAFIOTIS D, BULL D R. Spatial error concealment with edge related perceptual considerations[J]. Signal Processing: Image Communication， 2006, 21(2): 130-142.

Survey of error concealment techniques in video and image

AI Da,YANG Zhen

(SchoolofCommunicationandInformationEngineering,Xi’anUniversityofPostandTelecommunications,Xi’an710121,China)

According to different types of coded frames used by different techniques, traditional Error Concealment (EC) techniques are divided into spatial, temporal or the combination of both types of information to recover the data lost in transmitted video. In this paper, existing EC techniques are reviewed in decade years based on H.264/AVC coding standard, which include traditional EC, based on field interlaced and digital watermarking EC, as well as based on 3D video EC. The paper discusses the advantages and limitations of these algorithms. At the end, the development prospects in the future are proposed.

error concealment; three-dimensional video; field interlaced; digital watermarking

艾达，杨珍.视频错误掩盖技术进展[J]. 电视技术，2017,41(2)：1-5. AI D, YANG Z.Survey of error concealment techniques in video and image[J]. Video engineering，2017,41(2)：1-5.

TN911.73

A

10.16280/j.videoe.2017.02.001

2016-04-26

艾 达(1975— )，博士，高级工程师，硕士生导师，主研数字图像处理研究、多媒体通信；

杨 珍(1992— )，女，硕士生，主研刑侦图像处理。

责任编辑：薛 京