基于模糊核结构约束的图像盲去模糊算法

岳灿 官斌 杨栩萌

摘  要：模糊核估计在图像盲去模糊问题中十分重要。然而，目前大多數方法都没有考虑到利用模糊核本身的结构信息。针对这一问题，文章首先通过观察发现结构较为集中的模糊核可以恢复出更高质量的图像，然后设计了一种使得模糊核结构更集中的约束项，最后基于该约束项提出了一种图像盲去模糊的模型。实验结果表明，该方法相较于其他方法在峰值信噪比性能上有较大提升，可以更好地恢复出图像细节与纹理。

关键词：图像盲去模糊;模糊核估计;结构先验;变分模型

中图分类号：TP391.41

Image Blind Deblurring Algorithm Based on Fuzzy Kernel Structure ConstraintYUE Can1，GUAN Bin2，YANG Xumeng3（1.Hubei Provincial Corps of Chinese Peoples Armed Police Force，Wuhan  430070，China;2.The Seventh Military Representative Office of Naval Equipment Department in Wuhan，Wuhan  430205，China;3.Jiangsu Automation Research Institute，Lianyungang  222061，China）Abstract：Fuzzy kernel estimation is very important in image blind deblurring. However，most of the current methods do not consider using the structure information of fuzzy kernel itself. In response to this problem，the article first found through observation that the fuzzy kernel with a more concentrated structure can restore a higher quality image，and then designed a constraint that makes the fuzzy kernel structure more concentrated，and finally proposed a image blind deblurring model is based on the constraint. Experimental results show that compared with other methods，this method has a greater improvement in peak signal-to-noise ratio performance，and can better restore image details and textures.

Keywords：image blind deblurring;fuzzy kernel estimation;structure prior;variational model

0  引  言

在现实成像中，经常会因为摄像设备抖动、散焦、衍射等原因产生模糊现象。模糊导致图像信息丢失，图像质量退化，给工作和生活带来了极大的影响。目前，模糊图像处理在日常拍摄、智能监控和智能安防等领域应用广泛。视频监控系统是作者所在单位指挥信息系统的重要组成部分，在遂行任务中发挥着重要作用。在实际应用中，受现场光线和设备性能指标等影响，容易出现图像模糊不清的现象，需要采用模糊图像处理技术，对模糊图像进行清晰化处理，确保视频监控系统高质量运行，提升指挥效能。模糊图像的形成，通常可以理解为清晰图像与模糊核卷积的结果。图像去模糊，就是按照模糊图像形成的逆过程，从退化降质的图像中，尽可能恢复出原始清晰图像。根据模糊核是否已知，图像去模糊可分为非盲去模糊[1]和盲去模糊[2]。

非盲去模糊是指通过各种方法预先获取模糊核信息，然后在模糊核已知的前提下进行图像去模糊复原，此时，模糊图像复原就转化为模糊卷积过程的逆运算问题。经典的非盲去模糊方法有Tikhonov算法、Wiener算法、Richardson-Lucy（RL）算法等。在现实生活中，绝大多数模糊核都是不可预知的，在这种情况下进行模糊图像还原的方法，称为盲去模糊。对于盲去模糊来说，通常我们只有一幅模糊图像，去模糊问题不再是单一的反卷积问题，必须争取从现有的模糊图像获取更多的信息，继而利用先验知识和稀疏约束条件对未知的模糊核进行估计，最终得到清晰图像。图像盲去模糊研究的三大关键问题分别是图像去模糊模型、去模糊方法和质量评价标准。其中，作为一种经典的描述图像模糊过程的方法，图像的退化模型简单易懂，且通过该模型可以很好地理解图像的退化过程;同时，对图像质量的评价也有公认的几种指标准则;最复杂多样的是模糊图像的去模糊方法，所以盲去模糊的研究关键和热点是去模糊方法。近年来，学者对盲去模糊方法进行了大量研究，其中正则化约束与范数结合的方法得到广泛应用，其主要思想是对待估计清晰图像进行不同类型的先验约束。Krishnan等[3]通过添加L0正则项来约束图像的稀疏性，提出基于图像梯度的L0正则项约束去模糊方法，方帅等[4]提出基于图像梯度L1和L2比值形式正则项约束的去模糊方法，能够更有效的进行稀疏约束，PAN等[5]提出一种基于文本图像强度和梯度稀疏先验的L0正则化约束的去模糊方法，并将其去模糊应用范围增至低亮度自然图像。模糊核的估计在盲去模糊中非常关键，结构较为集中的模糊核可以恢复出更高质量的图像，上述这些方法没有考虑到利用模糊核本身的结构先验信息。本文对PAN等[5]提出的算法进行改进和优化，设计了一种使得模糊核结构更集中的约束项，从而获得更为精准的模糊核估计，取得更好的去模糊效果，并通过试验仿真证明了本文算法的有效性。

1  模型图像去模糊的数学模型可以表示为：y=x*k+n

（1）其中，y为模糊图像，也就是现有的图像;x为清晰图像，也就是去模糊后希望得到的图像;k为模糊核;*为卷积算子;n为噪声。由式（1）可知，图像模糊的主要因素是模糊核k。因此，图像去模糊的关键环节就是如何通过模糊图像估计出模糊核。从退化的模糊图像y恢复清晰图像x是一个求逆过程，而求逆是一个不定性问题（ill-posed problem），直接进行逆滤波往往效果很差，正则化模型是能有效解决该问题的一种常用方法。正则化模型的合理构建，是解决去模糊问题的关键环节。研究者通常会在模型中，对待估计的清晰图像和模糊核分别加入一定的先验知识作为求解的限定条件，用能量最小化的方法建立以下模型：-2其中，0为差异性函数，使估计出的图像尽可能地相似于原模糊图像，为了方便求解和计算，一般采用L2范数进行表示;1为建立在图像先验知识上的约束项，用来保持图像的梯度和强度特征;2为建立在模糊核先验知识上的约束项，用来对模糊核进行正则化;λ和γ为权重。将0用L2范数表示后，式（2）转化：-3求解（3）存在两种思路，第一种是在对x和k进行交替迭代估计;第二种是先基于图像退化模糊核进行去模糊复原，再以此为基础，利用非盲图像去模糊算法来估计清晰图像，即先估计k，然后运用非盲去模糊方法估计出x。一般采用第一种思路即交替迭代的方法来求解x和k，可将式（3）拆分为以下两个式子：-4-5式（4）把模糊核k作为已知值，对中间清晰图像x进行估计;式（5）把清晰图像x作为已知值，对模糊核k进行估计。两个过程交替迭代，直到收敛，就能估计出清晰图像x和模糊核k。文献[5]针对文本图像的强度和梯度进行了统计分析，发现相比于模糊图像，清晰图像的强度和梯度都更为稀疏，基于此稀疏特点，得到文本图像的强度和梯度先验：P（x）=σPt（x）+Pt（?x）            （6）其中，Pt（x）为图像的强度;Pt（?x）为图像的梯度;σ为权重。将式（6）代入式（3），并对模糊核用L2范数表示，得到图像去模糊正则化模型：-7文献[5]还分析了几种不同的方法去模糊的效果，如图1所示。（a）模糊图和模糊核（b）方法一还原的图像和估计出的模糊核（c）方法二还原的图像和估计出的模糊核（d）方法三还原的图像和估计出的模糊核图1  文本图像去模糊及模糊核估计结果对比图其中图1（a）为模糊图和原模糊核，图1（b）、图1（c）、图1（d）分别对应三种去模糊方法还原的图像和估计出的模糊核。通过观察可知，图1（b）和图1（c）对应的方法估计出的模糊核结构较散，图像还原的效果很不理想，图1（d）对应的方法估计出的模糊核结构最为集中，还原出的圖像效果最佳。由此可知，结构较为集中的模糊核可以恢复出更高质量的图像。

目前大多数方法都没有考虑到利用模糊核本身的结构信息，为了使估计出的模糊核结构更为集中，在式（7）的基础上，本文提出了一种改进的约束项  ，其中，⊙为两个矩阵的哈达玛积（Hadamard product），结构化权值如下：-8其中，i和j为像素矩阵的行数和列数，ω为权重系数。将改进的约束项应用到式（7）的第三项中，得到本文算法的正则化模型：-9其中，ψ为权重系数。2  算法我们通过交替求解式（10）、式（11）来求解式（9）：-10-11下文具体论述这两个子问题的求解。2.1  通过k估计x由于式（10）中有L0正则化项，最小化式（10）通常被认为是难以计算的。基于半二次分裂L0最小化方法，文献[6]提出了一种交替最小化法来求解。通过引入辅助变量u和g=（gh，gv）T分别代替x和?x，式（10）改写为：-12其中，σ为式（6）中定义的权重，当β和μ接近无穷大时，式（12）的解近似等于式（10）的解。式（12）可以通过固定其他变量，交替地单独最小化x、u、g来有效求解。u和g的值被初始化为零。每次迭代中，通过求解式（13）得到x的解：-13该最小二乘最小化问题的闭型解为：-14其中，F（·）和F -1（·）为离散傅立叶变换（FFT）和离散傅立叶逆运算（IFFT），为复共轭，，?h和?v为水平和垂直方向的微分算子。对于给定的x，通过以下两个式子来计算u和g：-15式（15）是一个像素最小化问题，根据文献[6]，u和g的解为：-16-17算法一归纳了式（12）的求解过程。算法一：输入：模糊图y和模糊核k;x←y，β←2λσ重复通过式（16）得到uμ=2λ重复通过式（17）得到g通过式（14）得到xμ=2μ直到μ>μmax β=2β直到β>βmax输出：中间估计图像x2.2  用x估计k对于给定的x，式（11）是一个最小二乘极小化问题，可以通过快速傅立叶变换方法求解。研究表明直接从式（11）得到的基于强度值的解是通常不准确的[7，8]，可以用式（18）来估计梯度空间中的模糊核k：-18该最小二乘最小化问题的解为：-19得到k后，我们将负元素设为0，并将其标准化，使其元素的和为1。

模糊核估计过程使用图像金字塔以从低分辨率到高分辨率的方式执行。算法二给出了金字塔结构中单独一层的模糊核估计算法的主要步骤。算法二：模糊核k估计算法输入：模糊图yfor I=1：5通过算法一得到x通过式（19）

得到k结束输出：模糊核k和中间估计图像x。

3  实验仿真在这一节中，为了验证本文新提出算法的有效性，我们将本文提出的算法与其他几种相近的去模糊方法对比进行实验评估。参与对比的方法主要是文献[3]和文献[5]提出的去模糊方法。实验采用文献Levin等提供的样品集[9]，由4幅清晰图像和8幅模糊核组成，其中清晰图像尺寸均为255×255，模糊核尺寸最小为13×13，最大为27×27，清晰图像和模糊核如图2所示。通过组合利用模糊核对清晰图像进行退化，共产生32张模糊图像用于本文实验仿真。本论文算法的参数设置为：λ=4e-3，γ=2，σ=1，βmax=23，μmax=1e5。

为客观地展现本文方法的有效性，实验一采用峰值信噪比（PSNR）作为性能指标对所选图像进行了仿真。PSNR是图像处理中常用的评价指标，该值越高说明图像复原的质量越好。32张模糊图采用三种方法去模糊的仿真结果如图3所示。其中，横坐标xi，kj表示输入的模糊图像为第i张清晰图经第j个模糊核退化后得到，纵坐标为计算得到的PSNR值。

实验二选取了Levin样品集中的2张模糊图，对几种去模糊方法的还原效果进行直观评价，实验结果如图4所示。

從图3可以看出，本文提出算法有效提高了PSNR，复原质量比另外两种对比方法更优。

图4可以非常直观地看出，本文方法恢复图像的视觉效果明显好于另外两种方法，可以更好地恢复出图像细节与纹理，取得了更好的图像去模糊效果。

4  结  论

本文提出了一种基于模糊核结构正则化约束的图像盲去模糊算法。该算法设计了一种基于模糊核结构先验的正则项，来使得估计出的模糊核更为集中。通过实验结果证明，本文算法相比于其他去模糊的算法，能够取得更好的视觉效果和峰值信噪比，提升了图像去模糊性能。另一方面，本文算法也存在一定局限性：首先，本文算法中的参数设置都是经验取值，不够鲁棒;其次，本文算法不适用于过/欠曝光图像，因为它们不符合图像成像过程是线性这一假设。因此，在今后的研究中，将考虑研究自适应参数设定和更加有效的先验信息。

参考文献：[1] WHYTE O，SIVIC J，ZISSERMAN A，et al. Non-uniform Deblurring for Shaken Images [J].International Journal of Computer Vision，2012，98（2）：168-186.

[2] LEVIN A，FERGUS R，DURAND F，et al. Image and depth from a conventional camera with a coded aperture [J].ACM Transactions on Graphics（TOG），2007，26（3）：70.

[3] KRISHNAN D，TAY T，FERGUS R. Blind deconvolution using a normalized sparsity measure [C]//Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE，2011：233-240.

[4] 方帅，刘远东，曹洋，等.基于模糊结构图的模糊核估计 [J].电子学报，2017，45（5）：1226-1233.[5] PAN J S，HU Z，SU Z X，et al. Deblurring Text Images via L0-Regularized Intensity and Gradient Prior [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2014：2901-2908.

[6] XU L，LU C W，XU Y，et al. Image smoothing via L0 gradient minimization [J].ACM Transactions on Graphics，2011，30（6）：1-12.

[7] CHO S Y，WANG J，LEE S Y. Handling outliers in non-blind image deconvolution [C]//2011 International Conference on Computer Vision.IEEE，2011：495-502.

[8] LEVIN A，WEISS Y，DURAND F，et al. Efficient marginal likelihoodoptimization in blind deconvolution [C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition.Washington：IEEE Computer Society，2011：2657-2664.

[9] LEVIN A，WEISS Y，DURAND F，et al. Understanding Blind Deconvolution Algorithms [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2354-2367.

作者简介：岳灿（1982—），男，汉族，湖北当阳人，助理工程师，硕士，研究方向：通信与信息系统;官斌（1979—），男，汉族，湖北武汉人，工程师，硕士，研究方向：军事装备系统监造及效能评估;杨栩萌（1988—），男，汉族，江苏连云港人，助理工程师，学士学位，研究方向：军用显控设备软硬件。