基于卷积谱与L0正则化的图像盲去模糊

刘光宇，袁 权，张令威，吴哲夫，刘光灿

(南京信息工程大学 自动化学院，江苏 南京 210044)

0 引 言

图像去模糊在模糊核是否已知的情况下可以分为两大类：非盲去模糊方法(non-blind deconvolution)与盲去模糊方法(blind image deconvolution)。早期的图像去模糊算法通常是在假设模糊核已知的情况下对模糊图像进行清晰化处理，也就是非盲去模糊方法。另一类方法是在模糊核未知情况下解决图像去模糊问题，也就是盲去模糊方法。与非盲去模糊方法相比，这类任务更加贴近实际情况，但由于缺乏先验信息，所以相比非盲去模糊任务而言具有更高的病态性，解决起来会更加困难。近些年来随着计算机技术的飞速发展，在盲去模糊方面的研究受到了广泛的关注并取得了巨大的进展。例如Pan的团队为提出了很多有效的盲去模糊算法，其中有基于图像梯度与亮度先验的盲去模糊算法[1]、基于暗通道先验的图像盲去模糊算法[2]、基于低秩先验的盲去模糊算法[3]与对于人脸与文本图像的盲去模糊算法[4]都取得了良好的成效。同时随着深度学习的火爆，也出现了很多基于神经网络的去模糊算法研究[5-11],也取得了很不错的效果。

本文针对空间移不变盲去卷积，提出了基于卷积谱特性[12]与L0正则化先验的盲去卷积算法，在保持L0正则化对文本去模糊任务的优秀性能的同时，增强了对自然图像去模糊的能力，取得了有竞争力的效果。

1 本文算法及思路

一般情况下，图像模糊中的运动模糊和聚焦模糊比较容易通过卷积建模，如式(1)所示

B=I*K+N

(1)

其中，B表示模糊图像，I表示清晰图像，K表示模糊核，N表示图像噪声，*代表卷积操作。正如引言中所提到的，模糊图像可以理解成清晰图像与模糊核卷积在加上随机噪声生成的。在不考虑噪声情况下解决这个问题最直接的方法是同时寻找潜在的清晰图像I与模糊核K，于是问题转换成如式(2)

(2)

(3)

其中，α和β是两个大于零的参数。

图1为模糊图像与其对应的清晰图像。

图1 模糊图像与其对应清晰图像

为解决式(3)的问题，可以将式(3)拆分成如式(4)、式(5)两个子问题进行求解

(4)

(5)

这两个子问题的具体解决细节将在下节详细介绍。

1.1 固定K求I

在文本图像去模糊任务中，通过观察发现文本字符与背景区域在没有模糊的清晰图像中通常具有近似一致的亮度值。如图2(a)为清晰文本图像，图2(b)为其模糊版本。通过图2(c)可以发现，清晰图像的像素值分布集中在两个峰值0和255上，也就是说如果单一考虑零峰值，文本图像的像素值是非常稀疏的。而对于一张模糊文本图像而言，如图2(d)所示，可以发现它像素强度的分布相比于清晰图像更加稠密。对文本图像而言，这一性质是通用的，于是我们给出对于清晰图像I的第一个约束，如式(6)所示

(6)

(7)

于是我们结合以上两种约束，给出完整的L0正则先验，如式(8)所示

(8)

其中，υ为一个权重。由半二次分裂L0极小化法，可以将此问题转化为如式(9)的问题

(9)

(10)

其中，F(·)和F-1(·)分别表示快速傅里叶变换(fast Fourier transform，FFT)和快速傅里叶反变换(inverse FFT)，F(·)*表示傅里叶变换的复共轭矩阵，∘表示矩阵对应元素相乘(element-wise multiplication)

(11)

(12)

图2 清晰、模糊图像像素与横向梯度对比

以上就是解决子问题(4)的算法流程，实验结果表明，使用L0正则方法已经可以很好完成文本图像去模糊任务，但在大部分自然图像去模糊任务中取得的成果却差强人意。

1.2 固定I求K

为了在保持文本去模糊高效的同时增强自然图像去模糊的能力，我们再次引入基于卷积谱特性的先验对模糊核K进行约束。在介绍本节整体算法之前，首先给出卷积矩阵、卷积特征值和卷积特征向量的定义。如式(13)所示

vec(B*K)=C(B)vec(K)

(13)

其中，vec(·)代表将矩阵向量化操作，C(·)代表卷积矩阵，卷积矩阵具有将卷积运算转换为矩阵相乘运算的作用，卷积特征值和卷积特征向量分别对应C(B)TC(B)(设其规模为m×m)的奇异值和右奇异向量。

如图3所示，图3中两段线条分别对应图2(a)与图2(d)的卷积特征值自然对数值的大小，其中上侧线条对应清晰图像的卷积特征值，下侧线条对应模糊图像的卷积特征值。可以发现每个卷积特征值在清晰图像中的自然对数值明显大于其对应在模糊图像中的自然对数值，基于此性质我们给出关于K的目标函数如式(14)所示

(14)

图3 清晰、模糊图像卷积特征值自然对数对比

其中，gi(·)代表矩阵的卷积特征向量，σi(·)代表矩阵的卷积特征值。容易发现这可以转化成g(K)=(vec(K))TH(vec(K))的问题，其中H为Hessian矩阵，求法如式(15)所示

(15)

结合式(15)可以看出，求解子问题(5)本质上是求解一个二次规划问题，在matlab中可以直接运用quadprog函数对此问题进行求解。

1.3 算法总结

为了通过唯一的输入模糊图像B求解清晰图像I与模糊核K，本文提出了对目标函数(3)进行求解的算法，首先运用1.2中交替极小化的算法求解第一个子问题(4)，再运用1.3中求解二次规划的算法解决第二个子问题(5)，交替迭代，当整体算法收敛时即可得到清晰图像I与模糊核K,具体实验结果会在下一章节展示。

2 实验结果与分析

本文的实验分为文本去模糊与自然图像去模糊两个部分，采用的图片大小为300*300，采用的模糊核大小为15*15。本文采用PSNR(峰值信噪比)与SSIM(结构相似度)作为评价指标分，算法实验环境为Intel酷睿i7-6700CPU，16 G内存的戴尔台式电脑，使用MATLAB R2016a平台对算法进行了编程实现。由于篇幅限制，对比实验的可视化结果将选取其中效果最优的两组方法展示出来，完整的对比实验结果将在后文以表格形式给出。

2.1 文本图像去模糊部分实验结果可视化

如图4，图5所示，本文分别与Pan团队提出的盲去模糊算法[1,3]，Liu提出的算法[12]，以及Jia提出的算法[13]进行了实验对比，其中图4为文本图像去模糊部分可视化结果，图5为自然图像去模糊部分可视化结果。

如图4所示，在前3组对比实验中，我们对同一张文本图像的3种模糊版本进行了实验对比，在最后一组实验中，我们选择了另外的文体模糊图像进行了实验对比。在可视化结果中，我们给出了模糊图片，4种对比方法中效果最好的两组和运用本文算法得出的结果。可以发现，本文模型取得了最好的结果。

2.2 自然图像去模糊部分实验结果可视化

如图5所示，展示了3组自然图像去模糊对比实验，引入卷积谱特征先验的本文算法模型取得了最优的效果。

2.3 实验总结

为了验证算法的有效性，本文实验不但分别对比了文体模糊图像和自然模糊图像去模糊的效果，而且在选取图像上也选择了低光照、复杂边缘等不同类型的图像进行了模拟。除了以上的部分可视化结果外，我们将通过峰值信噪比和结构相似度两项评价指标对实验效果进行评估，完整结果通过如表1，表2展示出来，表格中数据结果对应上文7张图片。

图4 文本图像去模糊对比实验的可视化结果

在展示表格之前首先简单介绍一下两项评价指标的含义。其中峰值信噪比(PSNR)是评价图像的客观标准之一，一般是用于最大值信号和背景噪音之间的一个工程项目。其数学上的求解如式(16)所示

(16)

结构相似性(SSIM)是评价图像的另一个常用标准，是一种衡量两幅图像相似程度的指标。其数学上的求解如式(17)所示

(17)

图5 自然图像去模糊对比实验结果

3 结束语

本文提出了基于卷积谱特性与L0正则先验的图像盲去模糊算法。实验结果表明，本文模型可以在50到200次迭代之内收敛，速度优于大部分去模糊算法。相较于以往单一的L0正则先验，本文在其中加入了卷积谱特征先验对模糊核进行约束，使得算法保持了文本图像去模糊优越特性的同时增强了自然图像去模糊的能力，在两种去模糊任务中都取得了良好的效果，所以可以投入更广泛的应用。

表1 PSNR(峰值信噪比)实验结果对比

表2 SSIM(结构相似度)实验结果对比