基于邻域一致性的数字媒体视频图像超清修复方法

夏弘睿，赵 静

(马鞍山师范高等专科学校 艺术设计系，安徽 马鞍山 243000)

0 引言

当修复数字媒体视频图像时，需要修复破损区域或剔除图像中的多余目标[1]，令修复后的图像信息完整性较好，符合人眼视觉效果[2-4].孙艳敏等通过log函数约束图像修复的秩，利用log函数建立非凸低秩约束的图像修复模型，通过交替方向乘子法求解该模型，完成图像修复，该方法可有效处理不同情况下的像素缺失问题，具备较优的修复效果[5].强振平等通过结构成分法获取优先修复样本块，利用增加结构成分引导法，修复待优先修复样本块，完成图像修复，该方法可有效修复图像[6].上述两种方法在修复图像过程中，无法较好地保持结构部分连续性，修复后的图像纹理部分清晰度不佳.邻域一致性约束能够较好地保持图像结构部分连续性，提升图像清晰度.为此研究基于邻域一致性的数字媒体视频图像超清修复方法，提升数字媒体视频图像超清修复效果.

1 数字媒体视频图像超清修复方法

1.1 确定图像样本块的鲁棒结构稀疏度

利用鲁棒结构稀疏度(Robust Struture Sparsity，RSS)函数S(p)，分析数字媒体视频图形样本块在结构部分的置信度，S(p)的公式如下：

(1)

其中，以数字媒体视频图像待超清修复边界δΩ中p点为中心点的待超清修复样本块是Xp；数字媒体视频图像破损区域是Ω；归一化常数是Z(p)；点p的鲁棒结构稀疏度是S(p)；以点p为中心的邻域块内像素点数量是N(p)；Xp的邻域样本块是Xk；Xk的中心点是k；Xp与Xk间已知像素点的均方距离是d(Xp,Xk)；Xp与Xk间的相似度是ωp,k.

(2)

其中，拉格朗日乘子是α；常数是λ；N(p)内有关点k的函数是E(p)；求解有关点k的偏导数[9]，并令该值是0，则：

(3)

1.2 数字媒体视频图像超清修复的邻域一致性约束

令数字媒体视频图像待超清修复样本块是Xp；Xp内已知与未知信息的标志矩阵是F与G，Xp的M个最佳匹配块是{Xq}q=1,2,…,M；通过M个匹配块稀疏描绘待超清修复数字媒体视频图像样本块，公式如下：

(4)

其中，稀疏表示信息是Xt；常数是λ；稀疏表示系数是β={β1,β2,…,βM}；第q个数字媒体视频图像待超清修复样本块的最佳匹配块是Xq；第q个数字媒体视频图像待超清修复样本块的最佳匹配块稀疏表示系数是βq.

融合上述约束条件获取数字媒体视频图像超清修复时的邻域一致性约束方程，公式如下：

(5)

其中，第i个数字媒体视频图像待超清修复样本块最佳匹配块的稀疏表示系数是βi.

计算式(5)能够得到β={β1,β2,…,βM}，这样就可计算获取Xt，同时展开超清修复.

1.3 数字媒体视频图像超清修复的实现

利用结构稀疏性与邻域一致性，完成数字媒体视频图像超清修复.令待超清修复数字媒体视频图像是I，待超清修复区域是Ω；数字媒体视频图像超清修复步骤如下：

步骤1：求解δΩ中各点p的优先权值P(p)，令数字媒体视频图像待超清修复样本块Xp的同心邻域是Rp；Rp和已知区域相交部分是R′p；以R′p内点q为中心的数字媒体视频图像样本块是Hq；Hq与Xp大小一致，邻域关联因子如下：

(6)

其中，R′p和Rp的面积是A(R′p)、(ARp)；关联系数是θ；Xp和Hq归一化互相关值是B(Xp,Hq)；B(Xp,Hq)的公式如下：

(7)

Xp和Hq相关性越强，则B(Xp,Hq)越大，U(p)也越大[13]；U(p)代表Xp和其邻域的关联性，该关联性与U(p)具有正相关关系[14].

利用U(p)与鲁棒结构稀疏度是S(p)求解数字媒体视频图像超清修复的优先权值P(p)，公式如下：

P(p)=wCS(p)C(p)+wDD(p)+wUU(p)

(8)

步骤2：选取最高优先权值点pm，按照点pm的鲁棒结构稀疏度S(pm)[15]，确定待超清修复数字媒体视频图像样本块窗口半径o、γ与搜索区域半径O；o的公式如下：

(9)

其中，常数是μ1、μ2，且0<μ1≤μ2≤1；δΩ中全部点的最大、最小鲁棒结构稀疏度是pmax、pmax.

邻域一致性约束的权重系数γ的公式如下：

(10)

其中，比例系数是ρ.

O的公式如下：

O=min(max(κ·S(p),40),60)

(11)

其中，参数是κ，通常取值是50.

步骤3：在O内按照最小误差平方和准则寻找前M个最相似匹配块{Xq}q=1,2,…,M；

步骤4：按照γ获取稀疏表示信息，指导{Xq}q=1,2,…,M的稀疏表示，在优先权值点pm的样本块Xpm内填充稀疏表示信息，完成优先权值点pm对应的数字媒体视频图像样本块的超清修复；

步骤5：更新C(p)、Ω与δΩ，再次求解δΩ中新添加点的优先权值，反复操作步骤2至步骤5，以数字媒体视频图像破损区域全部被超清修复为止.

2 实验分析

以某道路监控数字媒体视频图像为实验对象，利用本文方法超清修复该数字媒体视频图像内的破损图像，验证本文方法超清修复的有效性.

在该数字媒体视频图像内随机选择两幅破损图像，破损区域分别为小区域破损与大区域破损，利用本文方法超清修复这两幅破损数字媒体视频图像，超清修复结果如图1、图2所示.

图1 小区域破损图像的超清修复效果

图2 大区域破损图像的超清修复效果

综合图1与图2可知，当数字媒体视频图像出现小区域破损时，本文方法可有效超清修复该幅图像，超清修复后的数字媒体视频图像与真实信息更加接近，能够保持图像结构连贯性与邻域信息的连续一致性，符合人眼视觉需求；当数字媒体视频图像出现大区域破损时，本文方法依旧可有效超清修复该幅图像，符合人眼视觉需求.实验证明：在数字媒体视频图像出现小区域与大区域破损情况时，本文方法均可有效超清修复数字媒体视频图像，超清修复后的图像完全符合人眼视觉需求.

本文方法中邻域一致性约束权重的大小取决于比例系数，利用成功率衡量不同比例系数时，本文方法超清修复数字媒体视频图像效果，其值越高，修复效果越佳，分析结果如图3所示.

图3 成功率分析结果

根据图3可知，随着比例系数的增长，本文方法超清修复数字媒体视频图像的成功率呈先上升后下降趋势，当比例系数达到5时，成功率达到最高，说明此时本文方法的修复效果最佳.实验证明：为提升本文方法的修复效果，比例系数需选取5.

以峰值信噪比PSNR、噪声抑制均方误差MSENS与SA主观分值为衡量本文方法超清修复效果，PSNR值越高，说明超清修复效果越佳；MSENS值越低，说明噪声抑制效果越佳；SA值越高，说明超清修复后的图像主观感受越佳；在不同数字媒体视频图像破损百分比时，本文方法超清修复数字媒体视频图像的效果如表1所示.

表1 本文方法超清修复数字媒体视频图像的效果

根据表1可知，随着数字媒体视频图像破损百分比的增长，本文方法超清修复数字媒体视频图像的PSNR值与SA值随之下降，MSENS值随之提升，当破损百分比达到32%时，PSNR值不再发生改变，稳定至44.08，明显高于PSNR阈值，说明本文方法超清修复效果较佳；当破损百分比达到34%时，MSENS值不再发生改变，稳定至0.127，明显低于MSENS阈值，说明本文方法噪声抑制效果较优；当破损百分比达到34%时，SA值稳定至5.17，明显高于SA阈值，说明本文方法超清修复后的数字媒体视频图像主观感受较好.实验证明：在不同数字媒体视频图像破损百分比时，本文方法超清修复数字媒体视频图像的PSNR值较高，MSENS值较低，SA值较高，总体来说本文方法超清修复数字媒体视频图像效果较优.

3 结论

数字媒体视频图像修复指填充修复破损区域，或去掉图像内需移除的物体，并保持图像完整性的视觉效果，在划痕移除与数字修复等领域意义重大，为此研究基于邻域一致性的数字媒体视频图像超清修复方法，实验结果表明，无论是破损程度较大还是较小的图像，本文方法均可以有效超清修复数字媒体视频图像，为目标识别与检测等提供更加有力的图像数据支持.