基于张量低秩和TV正则化的图像超分辨率重建

刘小花 唐贵进

摘要：由于低秩先验能够有效地学习图像数据的冗余和数据的全局结构，因此低秩约束在矩阵填充中得到广泛应用。以往的研究表明，低秩约束对张量恢复具有显著影响，这些工作往往通过Tucker秩解决，然而Tucker秩不能捕获张量的内在相关性。提出一种新的基于张量链秩1（Tensor-TrainRank-1，TTRl）分解的逼近张量核范数的邻近算子。低秩约束能够很好地捕获数据的全局结构，但不能利用可视化数据的局部平滑性，因此提出将张量低秩和全变分（total variation，Tv）正则化相结合的超分辨率（super-resolution，SR）重建方法，充分利用图像冗余性、全局结构信息和图像局部平滑性，实现图像的SR重建。实验结果表明，相比于Tucker低秩和Tv正则化模型（LRTv-sR），该方法在峰值信噪比指标上平均提高了0.2dB，充分验证了基于TTRl分解的张量低秩约束在超分辨率重建中更能保留彩色图像的全局结构特性。

关键词：张量低秩;全变分;超分辨率重建

DOI：10.11907/rjd k.192112

中图分类号：TP317.4 文献标识码：A 文章编号：1672-7800（2019）012-0187-05

0引言

图像超分辨率（super-resolution，SR）重建目的是从一幅或多幅低分辨率（low resolution，LR）图像中重建高分辨率（high resolution，HR）图像，以获得图像中的更多细节，主要应用于遥感成像、医学诊断及智能监控等方面。SR问题本质上可以转化为图像退化过程的逆问题，但其本质是不适定的，即存在多幅HR图像可以通过降采样生成相同的LR图像。因此，要从LR图像中获得高质量的HR图像，通常会在图像重建过程中引入图像的先验知识作为约束条件，以得到更优解。

现有图像超分辨率重建方法一般分为基于插值的SR方法、基于重构的图像SR方法以及基于学习的图像SR方法3类，其中基于插值的SR（例如经典双线性插值、双立方插值（Bicubic Interpolation，BI）和边缘引导插值方法，）利用基函数或插值核估计HR网格中的未知像素。虽然这些方法非常简单快捷，但很容易模糊高频细节，因此可能导致HR重建图像中出现明显的模糊边缘和不清晰的纹理等失真现象。近年来，为了约束重建过程以提高SR性能引入了许多先验知识，其中全变分（total variation，TV）平滑先验方法得到广泛应用，主要是由于其具有凸性、对图像移位和旋转的不变性以及保持边缘的能力。

基于学习的超分辨率重建方法基本原理是：先构建高/低分辨率图像样本库，然后利用机器学习理论离线学习高，低分辨率样本之间的映射关系，最后利用这种映射关系指导高分辨率图像重建。文献[14]提出了一种基于实例的方法。该方法假定在LR图像中丢失的高频细节可从经过训练的LR和HR块对中学习，也就是说，通过学习这些训练块对之间的共现关系得到HR图像。然而，对于不合适的训练样本，基于实例的SR方法可能会在合成图像中产生明显的伪影和多余的噪声;Chang等提出了另一种基于学习的SR方法，该方法利用流形学习的局部线性嵌入原理，认为在训练图像集中小图像块对具有相同的局部几何，从而减小训练集规模。对于从LR到HR图像的一对多映射，多方面假设并不总是正确;另外，基于深度学习的SR算法也是基于学习的SR方法，Dong等率先提出了基于深度卷积神经网络的SR算法，利用深度学习与传统稀疏编码之间的关系，将图像块提取、非线性映射和图像重建3个阶段统一到深度卷积神经网络框架中，直接学习低分辨率和高分辨率图像之间的端到端映射。该方法具有很好的重建效果，但其存在上下文信息缺乏关联、收敛速度慢等问题。近年来，SR问题作为一种稀疏编码方案得到了扩展和发展，关注越来越多。杨等提出了一种稀疏表示SR方法，可以自适应地选择最相关的重建邻域，从而避免過拟合或欠拟合。但是，当训练数据库中没有纹理时性能就不够好;文献[25]提出了一种基于低秩矩阵补全（low-rank matrix completion，LRMC）的方法重建SR图像。低秩矩阵补全算法最近已被证明能够有效地从已知小样本值中估计矩阵中的缺失值。

基于低秩约束能够很好地捕获数据的全局结构，但不能利用图像的局部平滑性，因此本文把TV作为一个正则化项集成到低秩张量补全模型中，并将其应用于图像超分辨重建问题。为了恢复图像数据，通常采用基于Tucker秩的核范数和SNN（sum ofnuclear norms）来解决低秩约束问题。该方法首先将张量变换成若干展开矩阵形式，然后用矩阵法恢复丢失的数据，最后将恢复的矩阵重构为张量，以恢复丢失的数据。然而，该方法失去了图像，帧之间的约束关系，必然导致图像，帧之间约束关系的丢失。本文所建立的模型是基于一个平衡良好的矩阵化，即张量链秩1（Tensor-Train Rank-l，TTRl）分解，它将张量沿张量模排列进行矩阵化，因此能更好地捕获张量的内在自然关联性。

1理论基础

3实验

将本文提出的方法应用到一组下采样和模糊彩色图像中，评估该方法能否成功恢复原HR图像。为此使用真实的HR图像模拟LR图像，如图2所示。使用标准偏差为0.5的高斯平滑核模糊，然后对模糊图像进行下采样，得到与原始HR图像分辨率一半的LR图像。通过与相应的原始HR图像进行对比，评价所有方法对输人LR图像重建的质量。

为验证本文提出方法（称为LRTV_TTRl）的有效性，采用多种比较方法，包括双立方插值超分辨率方法（BISR）、基于TV的上采样超分辨率方法（TVSR）、基于Tucker低秩和全变分正则化的图像超分辨率（LRTV_SR）方法。

实验采用的10幅测试图像来源于Set5和Set14。表l列出这些测试图像在BISR、TVSR、LRTV_SR和LRT-VSR_TTRl几种SR算法中得到的重建图像PSNR和SSIM值。

为测试本文算法在视觉上的效果，选择baby和bird作为测试图像，对上述4种SR算法的重建图像进行视觉对比，见图3和图4。通过观察，本文方法所重建的图像在保留图像边缘时能恢复较多的细节部分。

进行多组实验验证本文方法的有效性，包括应用不同的模糊算子获得LR图像。实验部分将TV约束的权重参数λ1设置为0.05，张量低秩的约束权重参数λ2设置为0.95，惩罚参数p设置为0.1。对于TVSR算法，将张量低秩的约束权重参数λ2和惩罚参数p设置为0，以实现图像重构。

4结语

为充分利用图像冗余性、全局结构信息和图像局部平滑性等先验信息，本文提出一种基于张量低秩和TV最小化约束的彩色图像SR重建算法模型。提出了一种新的基于TTRl分解的逼近张量核范数的邻近算子，捕获张量数据（即彩色图像）的内在相关性，获得图像的全局结构。由于张量低秩约束没能利用图像数据的局部平滑性，因此将张量低秩和TV正则化相结合实现图像SR重建模型。与多种SR算法进行比较实验，结果表明本文算法模型得到的重建图像边缘和结构信息更加丰富。通过TTRl分解，证明本文用张量核范数最小化方法恢复低阶张量的能力。但是，当视觉数据维数较高时本文方法计算成本较高，下一步工作将从计算效率上优化本文算法模型。