全变分极端通道先验的盲图像去噪去模糊

胡 雪，黄成泉，冯 润，周丽华，郑 兰

（1.贵州民族大学数据科学与信息工程学院，贵阳 550025；2.贵州民族大学工程技术人才实践训练中心，贵阳 550025；3.贵州民族大学信息与数据中心，贵阳 550025）

引 言

近年来，图像复原在图像处理领域具有重要的研究价值。由于盲图像去模糊是图像处理中典型的高度不适定问题，为解决这一问题，目前很多学者提出一些有效的统计先验方法来进行盲图像复原。其中效果较好的图像先验方法有最大梯度先验的盲去模糊［1］、局部最小强度先验的盲图像去模糊算法［2］、加权L1范数的有效盲图像去模糊算法［3］、L0正则化先验去模糊［4⁃5］、非线性全变分去噪算法［6］以及暗通道先验去模糊算法［7⁃8］等。最近，Pan 等［9］提出了一种基于暗通道先验的有效盲图像去模糊方法，该算法增强了潜在图像暗通道的稀疏性，但是较大程度的亮像素或噪声会显著影响该算法的性能，因此在这种情况下无法有效地恢复具有复杂结构的图像。Yan 等［10］、Zhao 等［11］又提出一种新的自然图像的亮通道先验盲图像去模糊算法，解决了模型中亮像素所带来的不足，并且提升了算法的鲁棒性，但是复原出的部分图像存在振铃伪影和噪声。全变分（Total variation，TV）算法［6，12］能够有效地去除噪声、振铃伪影和边缘保护，但易产生阶梯效应。由于上述方法大多利用最大后验框架下的图像先验和模糊核模型［3，7，9，10，13］，且都忽略了相邻像素与像素强度之间的关系，而实际图像的复杂结构取决于较大范围内像素之间的连接，因此无法对自然图像的复杂结构进行建模，去模糊效果也非常局限，从而造成图像边缘失真或振铃伪影。

为了更好地解决盲图像复原问题，受文献［9，10］的启示，本文将图像的暗通道通过全变分去噪算法处理暗变为全变分暗通道（Total variation dark channel prior，DCPtv），将亮通道通过全变分去噪算法处理亮变为全变分亮通道（Total variation bright channel prior，BCPtv），用于保护图像的边缘和抑制噪声。同时本文提出一种新的极端通道先验与全变分去噪混合正则化模型，称为全变分极端通道先验模型（Total variation extreme channels prior，ECPtv），用以提高极端先验知识精度和算法的鲁棒性。该模型对模糊噪声图像可以同时进行去噪和去模糊，在平滑图像的同时可以很好地保护图像的边缘细节信息，且模型的抗噪鲁棒性较好。模型可以广泛使用在自然图像去模糊数据集上，包括人脸［14］、低照度图像［15］和自然模糊图像，此外也适用于非均匀去模糊。最后本文通过计算去模糊图像的峰值信噪比（Peak signal⁃to⁃noise ratio，PSNR）和结构相似性指数（Structural similarity，SSIM）、平均结构相似性（Mean structural similarity，MSSIM）、特征相似性（Feature similarity，FSIM）和通用质量指标（Universal image quality index，UQI）［16⁃17］对复原结果进行了客观评价。

1 理论基础

在数字图像处理中，当模糊图像均匀不变时，图像模糊过程可以进行卷积运算，其数学表达式为［18⁃19］

式中：b为模糊图像；k为模糊核；l为清晰图像；n为具有0 均值、标准差为δ的高斯白噪声；⊗为卷积算子［10］。

1.1 极端通道先验理论基础

在自然图像中，在其颜色通道中存在一块非常小的像素值且几乎趋于0，此通道称为暗通道，反之，存在1 块像素在其颜色通道中值非常大几乎趋于1，此通道称为亮通道。

对图像l暗通道定义为［18］

对图像l亮通道定义为［18］

式中：(x，y)和(X，Y)表示图像的像素坐标；Ω(x，y)是以(x，y)为中心的局部图像区域；lc为一个颜色通道；{r，g，b}表示图像的3 个颜色通道RGB。暗通道先验主要用于描述图像像素中的最小值；反之，亮通道是描述图像像素中的最大值。模糊图像与清晰图像的暗通道与亮通道如图1 所示，其中图1(b、e)分别表示模糊与清晰图像的暗通道，图1(c、f)表示亮通道，很明显模糊图像比清晰图像具有更少的稀疏暗通道和亮通道。由此说明图像越清晰，稀疏暗通道和亮通道越多。

图1 模糊图像与清晰图像暗通道与亮通道Fig.1 Blurred image and clear image dark channel and bright channel

1.2 全变分图像去噪理论基础

根据文献［4］定义全变分去噪模型为

对应的欧拉⁃拉格朗日方程为

利用梯度下降法有限差分，求近似解

2 全变分极端通道先验盲图像去模糊

2.1 全变分极端通道模型

正如前文所述，当模糊图像具有显著噪声时，极端通道先验无法对图像模糊核的估计起作用，无法有效地恢复具有复杂结构的模糊图像。全变分模型是偏微分方程在图像处理中的重要应用之一，在盲图像去模糊过程中有很好的去噪效果和很强的边缘保护能力。为了充分挖掘全变分模型的优势，本文将全变分算法引入极端通道先验的暗通道和亮通道中，称为DCPtv 和BCPtv。

对图像l全变分亮通道定义

式中bv和lv分别表示经过全变分处理后的模糊图像和清晰图像。为了在去模糊过程中能够利用DCPtv和BCPtv，以及方便作比较，因此假设模型（1）的模糊图像具有0 均值、标准差为δ的高斯白噪声。设D(bv)和D(lv)表示模糊和清晰图像的全变分暗通道，B(bv)和B(lv)表示模糊和清晰图像的全变分亮通道，则有

设SΩ和SΩl分别表示亮通道贴片Ω(x，y)和Ωl(x，y)的大小，可以推出SΩl=SΩ+P，其中P为补丁大小。式（11）表明模糊图像的亮通道比相应的清晰图像的像素强度更低。所以，引入一个有助于估计模糊核的特性，即模糊过程会清除清晰图像中的零元素，用于减少模糊过程中与潜在图像中像素值相等的像素。因此，模糊图像的零强度像素比清晰的图像更少，或者说是具有更少的稀疏暗通道。利用L0范数稀疏性作为图像去模糊的一种新的正则化项，这可以有效排除清晰图像只有零强度像素情况。设Ω表示图像l的域，如果存在一些像素(x，y)∈Ω，使得l(x，y)=0，则有

式中：L0范数‖ ·‖0计算向量的非零元素；1表示单位矩阵。最亮像素的强度为1，当且仅当Θ(x，y)中所有像素的强度低于1 或彼此相同时，等号成立。无论亮通道补丁的大小如何，此属性都成立。模糊图像与去模糊的亮通道对比图像如图2 所示，其中图2（c，e）分别显示了亮通道和全变分亮通道去模糊结果，图2（d，f）分别显示两种方法去模糊后的亮通道。由图2 可见全变分处理后的亮通道像素强度明显比没处理的亮度通道像素强度更强，说明全变分模型有利于通道亮度最大化，更有助于图像恢复。图3 是模糊图像与2 种稀疏对比度图像，很显然全变分处理过后的图像更暗，说明全变处理过后的图像具有更多的稀疏暗通道，对图像去模糊更有利。

图2 模糊图像与去模糊的亮通道对比图像Fig.2 Comparison of blurred image and deblurred bright channel images

图3 模糊图像与两种暗通道的稀疏对比度图像Fig.3 Blurred image and sparse contrast images with two kinds of dark channel

2.2 拟合全变分极端通道先验

从概率角度来看，如果想通过盲去模糊得到清晰的图像和模糊核，它等价于求解最大后验概率p(l，k b)。在这一部分中，利用暗通道先验和亮通道先验来促进去模糊问题，因此基于传统的最大后验框架的图像先验盲图像去模糊模型为

式中：p(k)和p(l)分别表示模糊核先验和清晰图像先验；γ和λ为权重参数［10］。

L0范数是评价图像稀疏性的标准，为增强极端通道的稀疏性，在文献［9］的启示下，本文提出了一种在最大后验框架下的基于逆全变分亮通道先验图像的L0正则化，表示为

然后，利用所提出的全变分暗通道先验和熟悉的全变分亮通道先验，提出了一种新的图像去模糊全变分极端通道先验，表示为

式中p(lv)和lv分别表示清晰图像的全变分极端通道先验和经过全变分处理后的清晰图像。

2.3 全变分极端通道先验盲图像去模糊

2.3.1 目标函数

2.3.2 模型优化

因为很难直接求出等式的解，交替最小化算法具有明显的时间优势和良好的误差优势［9］，用这种方法求解l和k是目前最常用的方法。因此，式（18）可分为2 个子问题进行优化，即

2.3.3 清晰图像的估计

由于L0正则化的计算难度非常大，因此借助有效的半二次分裂方法求解式（19）。首先，固定模糊核k，由于模型是高度非凸的，这使得计算很难最小化。为了解决这一问题，在半二次分裂方法中引入辅助变量a、p、q，分别对应∇l、D(lv)、1-B(lv)，式（20）重写为

式中α、β为正惩罚参数，当α和β接近于无穷大时，式（21）的解接近于式（19）的解。上述优化问题可以分别交替最小化l、p、q和a解决，求解清晰图像l，目标函数变为

为了便于优化，将1-B(lv)改为D(1-lv)。D(lv)是非线性的，所以用等效线性算子M代替它，M是一个映射矩阵，它将像素映射到全变分暗通道里，并被定义为［7］

利用映射函数求解Ω(x，y)计算区域中的1 个稀疏映射矩阵，从而确定图像在计算范围内的最小值和最小值的坐标。在去模糊过程中，本文使用中间潜在图像来计算M，当中间图像接近清晰图像时，计算出的M就会更接近计算D(lv)［10］，给定了中间的潜在图像l，本文计算了2 个对应于D(lv)和1-B(lv)的映射矩阵Mlv和M1-lv，目标函数变成

给定l，关于a、p和q的子问题可以分别通过式（26～28）求解。

式（26～28）是一个关于像素方面的最小化问题，因此可以通过式（29～31）求解a、p、q。

2.3.4 模糊核的估计

在估计模糊核这个子问题中，使用梯度图像上的快速去模糊方法和数据保真项的L2范数，对给定l的模糊核进行了优化

这是一个最小二乘最小化问题，用FFT 计算解

综上所述，本文通过迭代多尺度盲反褶积对模糊核进行估计，此外将k的负元素设置为零，最后再对k进行归一化［9］。本文去模糊方法的主要步骤如算法1 所示。

算法1全变分极端通道去模糊算法

3 实验及分析

3.1 实验参数

本文实验在3.3 GHz 的Intel（R）内核和8 GB 内存上进行，实验在MATLAB（R2018b）编程环境中完成。模糊噪声图像数据集使用Sun 等［20］的数据集，对自然图像和低光照图像数据集进行了实验结果展示［9⁃10］，另外还对人脸［7］、特殊领域等图像［5］进行了实验评估，并与其他最先进的算法进行比较。为公平比较，本文直接使用文献［1，2，9，10，11］的参数设置方法，其理论基础为网格搜索。本文经大量实验验证，最终选取最优参数：μ=λ=η=0.004，γ=2，迭代次数最大值为5，计算全变分极端通道图像模糊核大小固定为35 像素×35 像素，具体由实验的模糊噪声图像决定。

3.2 评价指标

在评价模型性能时，有许多客观评价标准，本文使用PSNR、SSIM、MSSIM、FSIM 和UQI［17］作为质量评价与模型去模糊性能的客观评价指标［16］。

峰值信噪比表达式为

PSNR 越高，图像的失真越小。

结构相似性表达式为

式中：μl、σl是估计清晰图像的均值和方差；σbl表示模糊图像和估计清晰图像的协方差；C1、C2为常数。SSIM ∈[-1，1]，当SSIM=1 时两幅图像完全相似［16］。

3.3 结果分析与对比

3.3.1 自然图像

为了更好地说明本文模型的有效性，使用自然状态下的模糊噪声图像数据集，该数据集由199 幅原始图像组成，文中只显示了部分结果。在这个数据集上测试了本文方法与其他最新算法［1，10，21］的性能，实验结果利用图像质量评价指标进行比较，并标记出最优值。图4 为部分数据集去模糊后的图像质量评价指标PSNR 值的柱状图，可以看出本文方法平均PSNR 值为33.625 dB，均高于其他方法的PSNR。

图4 不同数据集的平均PSNR 值Fig.4 Average PSNR value of different datasets

图5 是在模糊人脸数据集上的训练结果，将全变分极端通道先验去噪去模糊效果与最具代表性的文献［1，2，9，10，21］提出的方法相比较，本文方法能够获得连续性较好的模糊核，阻止了间断，所对应的清晰图像的恢复效果相对较好，可以获得高质量的清晰图像。为了更直观地反映本文方法的效果，表1 给出了训练数据集中部分图像去噪去模糊后的评价结果，对比可知在数据集“Face1”“Bird1”“Lyndsey”“Face2”“Bird2”和“Toy”上本文方法的PSNR 值最高，但在数据集“Car”上，由于模糊图像含有少量噪声或者没有噪声，全变分在极端通道中的作用失效，图像复原效果不如文献方法，导致PSNR 值稍低，但是差别并不大，由此体现了本文方法的有效性和可行性。

表1 PSNR 实验结果对比Table 1 Comparison of PSNR

图5 模糊人脸图像去噪去模糊结果对比Fig.5 Comparison of blurred face image denoising and deblurring results

本文还测试了现实世界的图像，如图6 所示，使用相同的方法得出的最终结果与文献［1，2，9，10］方法进行比较，其他方法都产生不同程度的振铃伪影，而本文方法恢复的图像较为清晰，在消除图片噪声的同时很好地保护了图像的边缘信息，所恢复出的图像含有较少的伪影和更锐利的边缘，进而可以获得相对高质量的清晰图像。

图6 自然图像去模糊结果对比Fig.6 Comparison of natural image deblurring results

表2 给出了“Face”“Lyndsey”和“Toy”数据集上图像质量评价指标PSNR、SSIM、MS⁃SSIM、FSIM、UQI 的对比情况，其中SSIM、MS⁃SSIM、FSIM 主要是评价图像的结构相似性。从对比结果来看，各项指标值均占优势，因此本文方法在图像复原效果上都是最优的，其中SSIM 值平均提高了10% 以上，较好地反映了去模糊后的主观视觉效果，也体现本文方法具有较好的噪声鲁棒性。

表2 不同去模糊方法在自然图像上的评价指标Table 2 Evaluation index of different deblurring methods on natural images

3.3.2 特定领域

为了验证本文方法的性能，对低光照下的真实图像进行测试，对比近年来最先进的盲图像去模糊方法［1，2，9⁃10，21］结果，证明本文方法效果明显。以图7、8 两个具有挑战性的真实模糊噪声图像为例。从图7 可看出本文方法生成的去噪去模糊图像比其他图像更清晰，所估计的模糊核较其他方法更优，同时文献［1，2，10］方法所估计的清晰图像出现平滑和细节丢失现象。相比之下，本文方法可以很好地改善图像的平滑模糊问题，使恢复的图像细节更清晰，去模糊去噪效果较理想。表3 是不同方法对“House”数据集去模糊后的PSNR 值，本文方法均高于其他5 种对比方法。图8 为文献［1，2，9，10］方法去模糊后消防栓局部放大图，其中图8（b，c）视觉上均含有明显的模糊伪影，图8（d）含有少量的噪声和伪影，图8（e）通过进一步全变分极端通道处理后，输出区域变得更清晰，不仅消除了噪声的影响，还能够在保留更多细节信息的同时抑制了阴影和振铃，充分体现了本文方法的优越性。

图7 复原图像结果对比Fig.7 Comparison of restored image results

图8 低照度模糊图像的去噪去模糊效果图Fig.8 Denoising and deblurring results of low illumination blurred images

表3 House 数据集不同方法去模糊后的PSNR 值对比Table 3 PSNR comparison for House dataset using different methods

3.3.3 时间复杂度对比

表4 给出了几种不同算法的时间复杂度对比。与文献［2，10］方法相比，本文方法在极端通道先验中引入了全变分去噪算法的约束条件，在求解过程中对暗通道的计算增加了全变分的迭代步数，因此增加了部分运行时间。文献［1，9］方法涉及复杂的参数优化，其运行时间远高于其他算法。文献［10］方法同时考虑了暗通道和亮通道，不需要任何复杂的处理技术和边缘选择步骤，因此计算效率比其他算法高。文献［2］方法没有直接使用半二次分裂算法求解，而是在最大后验框架下灵活地对补丁最小像素进行稀疏诱导，避免了现有算法中不明确的近似解，因此具有更高的计算效率。总的来说，本文方法比文献［9］方法具有明显的速度优势，稍优于文献［1］方法，与文献［2，10］方法相比运行时间稍长，但是估计和复原的效果都有较大的提升。

表4 不同方法的时间复杂度比较Table 4 Time complexity comparison of different methods

4 结束语

本文提出了一种基于全变分极端通道先验的盲图像去噪去模糊模型。该模型为复原受全变分极端通道先验约束的潜在图像，分别在极端通道先验模型的暗亮通道中引入全变分去噪算法，利用TV 模型对噪声图像可以平滑去噪和保护边缘信息的作用来提升ECP 模型的性能。实验结果表明，相较于单一的极端先验去模糊和全变分去噪算法，本文方法更好地利用了图像本身的结构信息，对恢复图像细节部分和去除伪影方面具有良好的优势，而且能够减少噪声对模糊核的干扰、提高算法的鲁棒性。在合成图像和自然图像上的实验结果具有更高的PSNR 值和SSIM 值，复原后的图像取得良好的视觉效果，从而验证了本文方法的有效性。由于本文方法在极端通道中引入了全变分去噪算法，增加了迭代步数，算法平均运行时间也有所延长。接下来将围绕这一问题对模型进行进一步深入研究，以提高图片复原效率。