基于多方向自适应加权的空间错误隐藏算法

李玉峰，刘 飞，王宇鹏

(沈阳航空航天大学 电子信息工程学院，辽宁 沈阳 110136)



基于多方向自适应加权的空间错误隐藏算法

李玉峰，刘 飞，王宇鹏

(沈阳航空航天大学 电子信息工程学院，辽宁 沈阳 110136)

为了提高H.264/AVC压缩视频码流在无线信道传输过程中的抗误码性能，提出了一种基于多方向自适应加权的空间错误隐藏算法。该算法首先应用边缘算子检测受损宏块的相邻宏块信息，然后通过多方向自适应加权插值得到受损宏块像素近似值。实验表明，该算法相对传统空间错误隐藏算法，对于不同视频序列图像重构质量有很大的改善，具有较高的应用价值。

H.264/AVC；抗误码性；空间错误隐藏；自适应加权

H.264/AVC是于2003年由联合视频专家组(JVT)制定的新的数字视频通信标准。视频通信标准具有低码流、质量高、抗误码性能以及网络适应性强的特点。但是在视频通信中，无线信道传输环境不稳定，在获得较低的冗余量与高压缩比的的同时，容易产生随机和突发误码，而预测编码和可变长编码的使用会使错误更快地扩散，使视频质量下降。视频差错控制技术一般是在编码端应用复杂的编码方式或者利用增加图像中冗余信息量来提高视频的抗误码能力[1]。

视频编码传输过程中通过加强视频传输通道的安全性从而在根本上降低错误发生概率，或者在传输过程中建立多通道传输，若其中一条发生错误，可以用多种传输通道的视频来保证视频传输质量，但是这样将很大程度上增加了成本。另一种，利用差错控制技术降低视频的受损概率，但是该方法增加了视频传输量[2]。通常错误隐藏算法主要分为空域错误隐藏和时域错误隐藏两类。空域错误隐藏算法根据同一图像中相邻宏块的相关性利用不同插值方式来达到对受损宏块的恢复重建，而时域错误隐藏算法利用视频中相邻图像的相关性，首先对受损宏块进行运动适量的恢复，利用回复后的运动向量对受损宏块进行恢复重建[3]。

在文献[4]中，丁志鸿等提出了基于边界分段匹配的空域视频错误隐藏算法，该算法首先对相邻宏块进行边缘检测，然后利用有效像素点的分布以及方向对受损宏块进行划区域分割，然后分别对各受损区域进行匹配隐藏[4]。在文献[5]中，李强等提出了基于边缘检测及方向加权的H.264帧内错误隐藏算法，该算法根据梯度最大方向进行加权插值对受损宏块进行错误隐藏。在文献[6]中，何骥鸣等在文献[5]的基础上提出了一种改进的H.264自适应帧内错误隐藏算法，该算法首先对受损宏块进行边缘检测，然后经过自适应阈值滤除无效边缘信息并对剩余梯度信息进行统计，最后根据最大梯度进行方向加权插值得到受损宏块像素值。与文献[4]中算法比较，该算法提出的 Intra 帧错误隐藏算法较好，但仍然存在边缘信息判断不准确以及对于纹理性丰富的图片恢复效果较差等缺点。

针对上述存在的问题，本文提出了基于多方向自适应加权的空间错误隐藏算法，该算法根据相邻宏块的具体内容自适应判断有效边缘梯度阈值，并进行多方向加权插值得到受损宏块像素值。实验表明，在相同的受损图片下，无论是主观方面还是客观方面本文算法都一定程度上改善了受损图像重构质量。

1 空间像素加权平均原理(WAVG)

JM测试平台中提供的错误隐藏算法是由P.Salama[7]等提出的空间像素加权平均错误隐藏算法，该算法通过受损宏块周围正确接收宏块与受损宏块相邻的边界像素做双线性加权内插来预测受损宏块内部每个像素点的值，受损像素到边缘像素的距离d1，d2，d3，d4与权值成反比，如式(1)所示

P(x,y)=(p1×d3+p2×d4+p3×d1+p4×d2)/

(d1+d2+d3+d4)

(1)

式中：p1，p2，p3，p4分别为受损宏块4个相邻宏块边缘像素；P(x，y)为受损宏块的像素，如图1所示。空间像素加权平均算法优点是算法复杂度较低，容易实现，且当视频图像比较平滑时，该算法可以获得较好的图像重构效果，缺点是受损图像中的边缘信息或纹理信息较为复杂时，该算法不能较好地恢复受损图像，且容易出现重构图像边缘模糊等现象。

图1 空间像素加权平均原理图

2 基于多方向自适应加权的空间错误隐藏算法

2.1 边缘检测及梯度阈值确定

H.264/AVC特点是一帧图像可以分成多个片组[8]，且在编码的时候应用灵活组织形式(FMO)将图像的宏块进行重新排列并映射在不同的片组中，从而形成不同的片组结构，而视频通信是以片为单位进行传输，这样不同片组结构和灵活组织形式(FMO)就减少了同一图像中宏块与周围宏块共同丢失或者受损的概率。

同一图像中由于相邻像素亮度突变明显形成了图像边缘，具有边界幅度和边界方向两个特征。本文采用Sobel算子对相邻宏块中各像素做幅度和方向检测，如式(2)所示

(2)

式中：Sv和Sk分为纵向算子和横向算子。如果P(x，y)为原图像的中的像素，则其纵向梯度分量和横向梯度分量分别为

gh(x,y)=Sh⊗P(x,y)

(3)

gv(x,y)=Sv⊗P(x,y)

(4)

则像素P(x，y)的边缘梯度和边缘方向分别为

(5)

(6)

视频图像由亮度(Y)和色度(UV)共同组成[9]，根据人眼对只对视频亮度信号的敏感的特点以及受损宏与上、下、左、右的相邻宏块相关性较大的特点[10]，同时为了较少本文算法的复杂度，所以本文算法只对像素亮度信号采用多方向自适应加权插值算法，而色度采用空间像素加权平均算法，同时只取与受损宏块上、下、左、右相邻宏块中距离最近的8行或8列正确接收像素，边缘方向划分为n=8个方向。

2.2 梯度自适应阈值方法

应用Sobel梯度算子对相邻像素做边缘检测后，本文算法首先设定设定一个最小阈值Tm，若所有相邻宏块各像素梯度值均小于Tm，则采用空间像素加权插值算法；否则，根据相邻宏块自适应设定阈值滤除无效边缘梯度信息，然后将有效像素边缘梯度及边缘方向进行统计归类，如式(7)所示

(7)

式中：G(x，y)为在θ(x,y)方向下的梯度和；x与y分别为相邻宏块的横坐标与纵坐标；τa为相邻宏块的自适应阈值，如式(8)所示

τa=μ+c×σ

(8)

式中：μ与σ分别为相邻宏块的有效像素边缘梯度的均值和方差；c为归一化系数，如式(9)所示

(9)

式中：Eq为梯度归一化；ρi为Gi在i方向下有效像素梯度和占所有方向下有效像素梯度总和的比例，如式(10)所示

(10)

式中：Gi为在i方向下有效像素梯度和；Gj为在j方向下有效像素梯度和；n为1～8个任一方向值。

2.3 多方向加权插值方法

文献[5]与文献[6]都是根据边缘梯度最大值来确定插值方向并对受损想像素进行单一方向插值计算。与上述文献不同，本文算法经过自适应阈值滤除无效边缘信息后，通过对受损像素做多方向插值来获得受损像素值，如式(11)所示

(11)

式中：n为边缘方向分类个数，本文算法中n=8；wi是各边缘方向下的加权权值，如式(12)所示

(12)

pi为受损像素在i方向下的插值，如式(13)所示

(13)

式中：d1为边缘像素点p2到受损像素pixel的距离；d2为边缘像素p1到受损像素pixel的距离，如图2所示。

图2 像素插值示意图

基于多方向自适应加权的空间错误隐藏算法流程图如图3所示。

图3 本文算法流程图

3 实验结果

本文算法在官方测试平台JM进行仿真测试，应用MobileIp模拟丢包环境，同时选取Bus(352×288)、Harbour(352×288)和Mobile(352×288)作为仿真图像，分别如图4a、图4b和图4c所示。这些图片具有边缘信息明显，纹理性较为复杂的特点。为了更鲜明地对比，本文对测试序列帧添加同一错误模板，模板如图4d所示，同时本文算法与传统空间错误隐藏算法(WAVG)以及自适应错误隐藏算法作仿真测试，仿真结果分别如图5、图6和图7所示，其中图5a、图6a和图7a为受损图像。

图4 原始测试图及错误模板图

图5 Bus帧序列仿真图

主观方面，从仿真结果图中可以看出空间像素加权平均算法(WAVG)对图像中平滑区域有较好的恢复效果，如图5b中树木、图6b中船帆、图7b白色区域等，但是该算法对于图像中具有边缘信息的宏块恢复效果较差，甚至出现模糊边缘及虚假边缘。自适应错误隐藏算法在边缘信息较强，纹理度较弱的区域恢复效果相对传统空间像素加平均算法(WAVG)较好，如图5c中车窗、图6c中水面、图7c日历中字等。算法仿真比较以及算法复杂度对比如表1、表2和图8、图9所示。

图6 Harbour帧序列仿真图

图7 Mobile帧序列仿真图

表1 算法仿真比较

图像序列(尺寸)PSNR/dB原始图片均值加权算法自适应错误隐藏算法本文算法BUS(352×288)12 608223 223022 633223 4037CITY(704×576)7 763525 965425 592926 3002HARBOUR(352×288)7 847122 723522 764423 0544HARBOUR(704×576)5 645923 956124 640124 6680MOBILE(352×288)7 522019 532118 447619 7229CarPhone(176×144)16 778527 757227 896028 2697

表2 算法复杂度比较

图8 算法仿真比较图

图9 算法复杂度对比图

客观方面，当图像受损时，空间像素加权平均算法可以对受损图像重建质量有一定的提升。自适应错误隐藏算对于边缘特性明显且纹理度较低的受损图像有较好的恢复效果，而对于纹理度较高的受损图像重构质量较低。而本文提出的算法相对前两种算法对受损图像重构质量有一定的提升，同时算法复杂度也较高。

4 结论

本文算法利用受损像素多方向自适应加权是基于传统的自适应错误隐藏的基础上提出的。在确保受损宏块相邻宏块信息正确接收后，该算法通过多方向自适应加权插值得到受损宏块像素近似值，进而对整个丢失宏块进行恢复。实验结果表明，当视频图像中存在边缘信息丰富且纹理度复杂时，本文算法能后获得较好的隐藏效果，对于不同视频序列图像重构质量有很大的改善，具有较高的应用价值。

[1]包宋建，杨守良，许艳英.基于H.264/AVC的自适应视频错误隐藏技术算法[J].电视技术，2012，36(17)：33-36.

[2]周启亚，杨高波，刘志成，等.针对H.264/AVC的时域错误隐藏算法[J].中国图象图形学报，2010，15(9)：1338-1344.

[3]干楠，龚声蓉，王朝晖，等.基于张量投票的空域错误隐藏算法[J].通信学报，2011，32(10)：127-134.

[4]丁志鸿，刘立柱，王刚.基于边界分段匹配的空域视频错误隐藏算法[J].计算机应用研究，2011，28(4)：1586-1588.

[5]李强，何骥鸣，明艳.基于边缘检测及方向加权的H.264帧内错误隐藏算法[J].计算机应用研究，2010，27(12)：4798-4800.

[6]何骥鸣，何石轩，陈昭明，等.一种改进的H.264自适应帧内错误隐藏算法[J].电视技术，2012，36(19)：35-39.

[7]SALAMA P，SHROFF N B，DELP E J.Eorror concealment in encoded video streams[EB / OL].[2014-04-20].http://citeseerx.ist.psu.edu / viewdoc / summary? doi = 10.1.1.159.866.

[8]EVAGGELIA T，LISIMACHOS P K，AGGELOS K.Shape error concealment based on a shape-preserving boundary approximation[J].IEEE Trans.Image Processing，2012，21(8)：3573-3584.

[9]CHAN Y L，CHEUNG H K，SIU W C.Compressed_domain techiques for error-resilient video transcoding using RPS[J].IEEE Trans.Image Processing，2009(2)：357-370.

[10]BARUFFA G，MICANTI P，FRESCURA F.Error protection and interleaving for wireless transmission of JPEG 2000 images and video[J].IEEE Trans.Image Processing，2009(2)：346-355.

李玉峰(1969— )，教授，博士后，硕士生导师，主研视频压缩与传输；

刘 飞(1988— )，硕士生，主研信号与信息处理；

王宇鹏(1981— )，副教授，博士，硕士生导师，主要研究方向为无线移动通信网络、个人无线通信网络、认知无线网络、异构网络融合以及跨层优化设计等方面。

责任编辑：时 雯

Spatial Error Concealment Algorithm Based on Adaptive Multi-directional Weight

LI Yufeng，LIU Fei，WANG Yupeng

(CollegeofElectronicandInformationEngineering，ShenyangAerospaceUniversity，Shenyang110136，China)

In order to improve the H.264/AVC compressed video stream error resilience in wireless channel transmission，spatial error concealment algorithm based on adaptive multi-directional weigh is proposed in this paper.Firstly，the algorithm detects the adjacent information of blocks around the damage block by using the edge operator.Finally，the approximation of the pixel in the damaged macro block is gotten by using multi-direction adaptive weighted interpolation.Experiments show that，image reconstruction quality is greatly improved by using this algorithm，which has higher application value for different video sequence comparing with the traditional spatial error concealment algorithms.

H.264/AVC；error resilience；error concealment；adaptive weight

辽宁省自然科学基金项目(2013024008)

TP391.9

A

10.16280/j.videoe.2015.07.009

2014-05-13

【本文献信息】李玉峰，刘飞，王宇鹏.基于多方向自适应加权的空间错误隐藏算法[J].电视技术,2015，39(7).