截断核范数低秩张量核矩阵图像修复算法

马瑞虾,张荣国,胡 静,崔红艳,刘小君

(1.太原科技大学 计算机科学与技术学院,山西 太原 030024;2.合肥工业大学 机械工程学院,安徽 合肥 230009)

0 引 言

张量分解技术因其处理海量数据、有效降维、对高阶张量的唯一性、抗噪声鲁棒性强、不破坏原始数据的空间结构和内部潜在信息等优点,在图像处理、机器学习、信号处理及计算机视觉等方面得到了广泛的应用。

在传统的张量分解中,CP分解能确保分解结果唯一,而相应秩解却是NP-Hard难题。Tucker分解中核心张量保留了原张量中的关键信息。在多种张量分解框架下,人们根据不同的张量秩定义提出了许多低秩张量的补全算法。例如基于CP秩[1]、Tucker秩[2]、TT秩[3]、Tubal秩[4]、TR秩[5-6]的算法,但每种秩定义都有其局限性。鲁棒张量主成分分析[7]利用多维结构优势对高维数据操作,通过求解凸问题实现高概率恢复,弥补了鲁棒性主成分分析在张量数据矩阵化时的信息损失和性能下降的不足。张量奇异值分解在高维空间上进行奇异值分解,Krylov-SVD[8]奇异值分解是对稀疏矩阵进行降阶处理。低秩矩阵恢复中,较大奇异值表示矩阵主要信息,核范数对较大奇异值惩罚过度,不能很好地近似矩阵秩函数。目前,基于张量奇异值分解的RTPCA图像修复模型主要集中使用不同的稀疏约束,对张量核范数[9]的分析相对较少,不能充分提取数据的低秩结构,导致结果不理想。

针对上述问题,该文提出基于截断核范数和低秩张量核矩阵的图像修复算法TNN-LTKM。其核心思想是：(1)用截断核范数替换核范数,只极小化对角张量中部分较小的奇异值,对秩函数精确逼近,以更好地描述矩阵的低秩性,提高模型的鲁棒性;(2)重新定义一个新的潜在核范数,在基于t-SVD分解的模型中,从核张量中提取低秩核矩阵,通过增加核心矩阵的核范数来增强核张量的低秩结构;(3)采用增广拉格朗日法和交替方向乘子法对模型进行优化。通过在ZJU、Berkeley和Kodak Lossless 3个数据集上与6个已有算法比较表明,文中算法取得了更好的修复精度和计算复杂度。

1 相关理论基础

1.1 鲁棒张量主成分分析

根据张量的低秩性,鲁棒张量主成分分析模型可以准确地从噪声稀疏张量中恢复出原始低秩张量。如图1,在低秩分量的管秩足够小且稀疏分量足够稀疏的条件下,可以完全恢复张量数据的低秩分量和稀疏分量,该方法用于去除彩色图像中的噪声,凸优化模型表达式如下：

图1 受损张量的低秩分量和稀疏分量的分解图

(1)

1.2 张量奇异值分解

张量X∈Rn1×n2×n3的奇异值分解为：

X=U*S*VT

(2)

其中,U∈Rn1×n1×n3、V∈Rn2×n2×n3是正交张量,S∈Rn1×n2×n3是F-对角张量,如图2所示。

图2 一个N1×N2×N3的三阶张量t-SVD分解图

2 截断核范数低秩张量核矩阵TNN-LTKM算法

2.1 截断核范数奇异值分解

式(1)根据t-SVD计算核范数时,奇异值均同时最小化,因此无法得到张量L良好的秩估计。最大r非零奇异值取值不影响矩阵秩,该文引入截断核范数替代核范数,以提高数据恢复精度及计算速度并改善模型鲁棒性。设张量X∈Rn1×n2×n3的SVD为X=U*S*VT,截断核范数记作‖X‖r：

A=U(：,1：r,：)T,B=V(：,1：r,：)T

则式(1)转化如下：

(3)

2.2 低秩张量核矩阵近似

通过分析图2可知,在t-SVD分解中,核张量F-对角项中仍存在低秩结构。该文利用核矩阵的低秩近似提取核张量中的低秩结构来消除冗余,如图3。在低秩表示核矩阵过程中,利用奇异值近似低秩核张量中的主要分量。通过增加核矩阵的另一个核范数重新定义一个新张量核范数,并进一步提取主成分。

图3 核张量S∈RN1×N2×N3和核矩阵转换

S(1)=[S(：,：,1),S(：,：,2),…,S(：,：,N3)]

(4)

(5)

基于上述分析,可以利用低秩核矩阵逼近求解TNN-LTKM问题。为充分利用核张量S中的低秩结构,结合张量的管秩和核矩阵的秩,重新定义了一个新的张量秩,即：

(6)

(7)

综上所述,结合截断核范数和改进的低秩张量核矩阵鲁棒张量主成分分析,得到如下最优化问题：

s.t. X=L+E

(8)

3 TNN-LTKM算法的有效实现

3.1 三步求解式(8)

(9)

这样,最小化中的最大化问题就可以转化为三步迭代过程。截断核范数低秩张量核矩阵图像修复TNN-LTKM算法三步迭代求解公式(8)的详细流程如下所示。

算法1：TNN-LTKM算法三步迭代求解式(8)

while not do converged do

Step1 L(k)的初始奇异值分解：

[U(k),S(k),V(k)T]=t-SVD(L(k))

Step2 计算A(k)和B(k)：

A(k)=U(：,1：r,：)T,B(k)=V(：,1：r,：)T

Step3 计算L(k+1)：

达到停止条件或最大迭代次数

end while

Output：恢复矩阵L*

从算法1的分析可知,步骤3中考虑了截断核范数和低秩张量核矩阵。如何有效求解它是非常重要的,但其仍是一个复杂的优化问题,简化模型如下：

(10)

其中,A和B是已知张量,‖L‖、Tr(AXBT)和‖E‖1都是凸函数,因此可以采用增广拉格朗日和交替方向乘子进行优化。

3.2 增广拉格朗日求解式(10)

为采用交替方向乘子的方法,将辅助变量W∈Rn1×n2×n3引入式(10),得到如下优化问题：

(11)

构建增广Lagrange函数,其优化问题表示为：

++

(12)

其中,Y1和Y2为对偶变量,ρ>0为惩罚因子。由于同时最小化L,E,W,Y1,Y2比较困难,且算法复杂度较高,因此采用交替方向乘子进行简化。

3.3 交替方向乘子求解式(12)

该文用交替方向乘子法把一个复杂的问题转化为多个子问题求解式(12),即对这三个变量分别进行优化。当优化其中某一变量时,固定其他变量,会出现以下三个子问题,k表示迭代指标。

(13)

对于式(13),首先最小化核矩阵的核范数,优化问题可以表示为：

(14)

其中,λ1为正则化参数,S为M=U*S*VT的核张量,M是临时变量。然后通过张量积得到一个具有低秩核矩阵的张量Zk+1,即：

(15)

最后,最小化式(15)的张量核范数,即：

(16)

(17)

(18)

(19)

3.4 TNN-LTKM算法步骤

算法2：截断核范数低秩张量核矩阵TNN-LTKM算法步骤

输入：从给定图像数据集中选取一幅图像

输出：经算法处理后的修复图像

Step1 while not converged do

Step2 使用算法1计算L(k+1)

Step5 根据公式(5)更新中间张量Z

Step7 根据公式(13)(17)～(19)更新L,E,W,Y1,Y2

Step8 收敛条件：‖Lk+1-Lk‖∞≤tol

Step9 end while

4 实验结果及分析

4.1 数据集及处理

实验均在Windows 10的64位操作系统,Intel(R) Core(TM)i5-5200U CPU @ 2.20 GHz,8 GB内存环境下运行。

在ZJU、Kodak和Berkeley三个数据集上进行了实验。ZJU数据集中的大多数自然图像可看作是一个近似的低秩张量,从观测数据中进行修复。Kodak数据集由24张真彩色图像组成,这些图像由具有高度色彩相关性的传统胶片图像数字化而成。Berkeley数据集包含300幅自然图像和地面的真实数据,每幅图像都有复杂的背景。将文中算法与6种算法进行对比,包括SVT[10]、SVP[11]、Sp-lp[12]、Sp-lp-new[13]、TNNR-ADMM[14]和LNOP[15]。

实验采用峰值性噪比(Peak Signal to Noise Ratio,PSNR)、结构相似度(Structure Similarity Index Measure,SSIM)、相对平方误差(Relative Square Error,RSE)及运行时间(Running Times)这4个指标来评估不同方法下的图像质量。

4.2 实验结果及分析

本节实验中,为证明文中算法对RGB图像核矩阵奇异值的影响,从ZJU和Kodak数据集中选择2幅尺寸大小为256×256×3,从Berkeley数据集中选择1幅256×171×3彩色图像,对所选图像执行奇异值分解。以图5中原始图像(image) (a)(d)(g)为例,图4显示了F-对角张量的三个正面切片经过文中算法新获得的奇异值迅速减小。在图中,奇异值分解后的图像切片所对应的奇异值在开始时非常大,然后迅速下降,越来越趋近于零。核矩阵中占主导地位的奇异值反映了核张量的低秩结构。验证了新定义的张量核范数能更充分利用多维数据结构信息,提高截断核范数的TNN-LTKM的性能。

图4 奇异值曲线

图5 不同图像修复方法分别在ZJU、Kodak、Berkeley数据集上的修复图像

为了直观展示文中算法图像修复的效果,本节从ZJU和Kodak数据集中取6幅,从Berkeley数据集中取3幅共计9幅图像进行实验。实验中,采样率设置为0.4。图5展示了不同方法在不同数据集上的修复情况,表1为PSNR、SSIM、RSE和时间指标的评估结果。

表1 0.4采样率下不同方法在三个数据集上的PSNR、SSIM、RSE

从图5结果可以看出,在采样率为0.4时,Sp-lp-new中图像(b)和(h)的修复结果显示异常,SVT中图像(g)和LNOP的修复效果不明显,TNN-LTKM算法比LNOP、Sp-lp-new和SVT具有更好的细节修复效果。由表1可知,在峰值性噪比方面,TNN-LTKM比TNNR-ADMM结果平均提高0.6 dB以上,比SVT、SVP平均提高1 dB以上,比Sp-lp平均提高2 dB以上,比Sp-lp-new平均提高3 dB以上,比LNOP平均提高4 dB以上;在结构相似度方面,TNNR-ADMM中图像(g)值略高于TNN-LTKM,此外,TNN-LTKM均高于对比算法,且最低提升0.002;在相对平方误差方面,TNN-LTKM值均高于其他算法,原因是提出的TNN-LTKM比核范数更好地实现张量的秩逼近。

在运行时间方面,TNN-LTKM和TNNR-ADMM算法的平均速度优于SVT、SVP、Sp-lp、Sp-lp-new和LNOP算法。与考虑到最小化截断核范数的TNNR-ADMM算法相比,提出的TNN-LTKM算法略慢于TNNR-ADMM算法,但两种算法的计算时间大致相同。

图6～图8为不同算法在不同采样率下修复图5中(imgae)(a)(d)(g)的PSNR曲线。从中可以看出,在低采样率下,TNN-LTKM算法的PSNR值高于其他算法,说明TNN-LTKM算法对一些损坏程度较大的图像修复效果较好,仅当低于0.3的采样率时,图像(g)中,TNN-LTKM的PSNR值略劣于其他算法,但总体上,TNN-LTKM性能表现的最好也最稳定。

图6 ZJU数据集上的评估结果

图7 Kodak数据集上的评估结果

图8 Berkeley数据集上的评估结果

5 结束语

提出的TNN-LTKM图像修复算法具有更好的修复效果。在张量奇异值分解模型中,充分利用张量低秩结构消除冗余,通过截断核范数代替核范数,并增加核心矩阵定义新的核范数,来提高修复精度。综合实验图像质量的各项评估指标,表明TNN-LTKM算法在图像修复方面有显著改进,优于现有的其他图像修复方法。