改进的局部最小像素先验遥感图像盲复原算法①

朱 兵 王 晨 朱福珍③ 王曼威

(*哈尔滨工业大学电子与信息工程学院 哈尔滨 150001)

(**黑龙江大学电子工程学院 哈尔滨 150080)

遥感图像复原是改善遥感图像质量的重要方法之一,广泛应用于民用、灾害监测等领域。目前,图像复原算法大多是基于模糊图像的点扩散函数(point spread function,PSF)和噪声的类型已知的前提。但实际场景中,一般无法获得具体降质原因,因此,遥感图像盲复原算法成为近年的研究热点来解决模糊核估计不准确、噪声和伪影等问题。

在图像盲复原中,模糊核未知且不确定,代价函数对此敏感。通常可使用正则化方法将不确定问题变成确定问题。两种常用正则化技术的盲复原方法为Tikhonov 和全变分(total variation,TV)正则化。Chan 和Wong[1]利用TV 正则化模型添加先验信息到模糊图像上最大限度地恢复退化模糊图像[2-3]。Fegrus 等人[4]提出一种去除相机抖动的方法,即利用图像梯度分布来收敛最大后验概率(maximum a posteriori,MAP),估计模糊核与清晰图像,但该算法引入了振铃效应。Shan 等人[5]改进噪声约束模型,解决了振铃问题,但存在误差和细节丢失问题。2008 年,Joshi 等人[6]利用高斯差分提取图像的尖锐边缘,通过多尺度方案来估计复杂模糊核。2010年,Xu 和Jia[7]利用显著边缘提取方法,迭代检测以消除模糊核的噪声,取得一定效果,但该算法未考虑模糊核连续性,导致图像出现振铃现象。2013 年,Pan 等人[8]指出不精确的模糊核估计导致不理想的复原结果。他们通过TV 模型获取图像结构,估计更理想的模糊核来保留边缘信息,尤其适用于模糊核噪声较大的图像。2016 年,Liu 等人[9]发现模糊核对图像金字塔的高级别定向梯度直方图(histogram of oriented gradient,HOG)有显著影响,但对粗级别影响较小,该文算法从自然清晰图像学习通用金字塔HOG 模型,预测潜在清晰图像,根据观测与预测金字塔HOG 模型的差异预测空间核约束来准确估计模糊核大小。Pan 等人[10]提出清晰图像比模糊图像具有稀疏的暗通道,将其用作图像先验,但在原始图像的暗通道不稀疏且受噪声影响时效果不佳。Yan 等人[11]提出极端通道先验,将图像的亮暗通道结合为约束图像复原的先验,提高了算法鲁棒性。李响和何东钢[12]利用极端先验解决了编码曝光运动目标模糊问题。近年来还有其他先验约束被提出,如利用图像块的低秩特性[13]、基于颜色线模型[14]和块先验[15]。2023 年,一种联合正则化与低秩先验的自适应迭代盲图像复原的方法[16]被提出,同时联合2 种先验能有效去除伪影提高模糊核估计的准确性,提升图像复原质量。

随着深度学习在计算机视觉领域带来的突破,许多基于深度卷积神经网络的图像复原方法[17]相继被提出,摆脱了对手工设计先验的依赖,通过有监督或无/半监督的学习方式来构建网络。近年来研究越来越关注在复原结构中引入注意力机制[18]。其中Transformer[19]因其可以建模图像的全局依赖关系而被迁移到图像复原任务中并展现出巨大潜力,如Restormer[20]。然而这些算法需要大量样本数据,导致计算成本高且不同场景中图像复原问题存在较大特异性,限制了深度学习在图像复原问题上的应用。

为了解决上述盲复原算法在复原图像时的模糊核估计不准确、复原图像存在振铃效应等问题,本文提出了一种改进的局部最小像素先验遥感图像盲复原算法。首先,基于局部最小像素先验与极端通道先验结合的盲去模糊算法交替迭代得到潜在清晰图像和模糊核;其次,在图像复原阶段,针对原有的清晰图像复原过程中产生的图像振铃效应,引入联合双边滤波器来抑制振铃,进一步改善图像复原质量。

1 改进的局部最小像素先验遥感图像盲复原算法

将一个图像I分为P个不重叠的图像块,大小为r×r,且,将图像块最小像素定义为

其中,Ωi表示第i个像素的位置的索引集,很容易得到逐块(局部)最小像素。由于模糊过程对于图像像素有平滑效果,局部最小像素在模糊过程后会增加。因此清晰图像的局部最小像素比模糊图像的局部最小像素稀疏。

Yan 等人[11]经过多次实验发现模糊图像和与之相对的清晰图像的图像块中有显著的亮像素点,称为像素极大点并将其定义为亮通道,其模型如式(2)所示。

式中,x是像素位置,Ic为I的颜色通道,Ω(x) 为中心在x的图像块。从式(2)可知,亮通道是求解的最终解。如果I是灰度图像,则只执行后一个操作。对比清晰与模糊图像的亮通道,模糊图像的亮通道像素点相比于清晰图像多,而极端通道先验就是将暗通道与亮通道先验相结合,如式(3)所示。

其中,B(I) 表示图像的亮通道,D(I) 为暗通道。

总之,模糊会导致像素平滑,局部最小像素增多。清晰图像的局部最小像素更稀疏,以此为先验约束潜在清晰图像的局部最小像素。然而,此方法在图像中不包含零像素点时可能失效。局部最小像素先验能够更快恢复图像,而极限通道先验可以同时约束图像的亮暗通道,因此本研究将它们结合,提高了模糊核的估计速度。具体改进的局部最小像素先验遥感图像盲复原算法框图如图1 所示。

图1 改进的局部最小像素先验遥感图像盲复原算法框图

1.1 改进的潜在清晰图像估计算法

为提高潜在清晰图像的估计准确性,本文结合局部最小像素先验和极限通道先验来约束潜在清晰图像;局部最小像素先验可加速图像恢复,极限通道先验可同时约束图像的亮暗通道元素,更好地约束潜在清晰图像的估计。综合这2 种先验,可获得更佳效果的潜在清晰图像,有助于更准确地迭代估计模糊核。局部最小像素先验的图像盲复原模型为

式中,I、k、B分别代表清晰图像、模糊核和模糊图像;P(I) 为局部最小像素先验;‖.‖0为L0范数;γ、μ、α为权重系数;为数据拟合项,即清晰图像卷积模糊核后与模糊图像的误差。相对于采用半二次分裂算法[14],采用文献[21]中更高效的算法来进行求解。求解潜在清晰图像公式为

式中,β＞0 是足够大惩罚参数,它强制‖∇I-,因此G≈∇I。

具体地,式(4)中约束实际上对I的局部最小像素施加了稀疏正则化,所以在迭代过程中使用了一个阈值收缩步骤来对I施加局部最小像素稀疏诱导。给定It,在潜在清晰图像复原子问题的t+1 次迭代中,用表示It的局部最小像素子集,迭代地对施加阈值,经过以下步骤更新I和G。输入:清晰图像I的局部最小像素子集、图像梯度∇I的辅助变量G和阈值参数λ。

输出:迭代后的中间潜在清晰图像估计I和图像梯度∇I的辅助变量G。

步骤1令λ＞0 作为阈值参数,局部最小像素的阈值为

步骤2让Ωt+1,j表示It+1,j中局部最小像素的索引集,将与局部最小像素子集相对应的子集定义为

步骤3通过式(9)更新It+1,j。

式中,PT是P的逆运算。在式(9)中给定It+1,j,梯度子问题求解如式(10),这是一个近似的极小化问题,其解可由式(11)求得。

步骤4通过快速傅里叶变换(fast Fourier transform,FFT)来求解式(12),更新潜在清晰图像:

式中,∇=(∇h,∇v);G=(Gh,Gv)。

应用极限通道先验的潜在清晰图像复原算法求解I的模型为

式中,I、k、B分别代表清晰图像、模糊核和模糊图像;后两项为图像极端通道先验;‖.‖0为L0范数;μ、λ、η为权重系数;为数据拟合项,即清晰图像卷积模糊核后与模糊图像的误差。由于以上公式求解十分困难,所以采用半二次分裂算法求解,通过引入辅助变量,进行快速傅里叶变换求解。

为了充分利用2 种约束在潜在清晰图像估计中的优点,采用2 种约束复原的潜在清晰图像取平均作为最终输出,与模糊核交替迭代估计,最终获得理想的模糊核。图2 是中间潜在清晰图像结果对比,本文估计的中间图像质量更高,伪影更少,有助于模糊核的估计。

图2 中间潜在清晰图像结果对比

1.2 模糊核估计算法

模糊核的估计是通过估计出的潜在清晰图像和输入的模糊图像之间的计算得出的。新估计的模糊核随后与模糊图像再次用于潜在清晰图像的估计,经过多次迭代来获得更为理想的模糊核。目前,已证明梯度基础的模糊核估计方法[7,22]能够提供更准确的核估计。因此,本文采用梯度基础的方法来估计模糊核,具体如式(14)所示。

其中,k可通过如下FFT 来求解:

式中,F(·) 与F-1(·) 表示傅里叶变换和逆变换;表示共轭运算符。

在求解得到k之后,对k进行归一化,使其满足对模糊内核的定义。与现有模糊核估计的方法类似,使用图像金字塔以粗到细的方式来估计[7]。每次最后更新的k将当作下一次更新D的新模糊核的输入。在进行恰当的迭代次数之后,将最终估计出的理想模糊核用于图像非盲复原算法以得到清晰图像。图3 为本文算法估计出模糊核与原算法对比。

图3 估计模糊核对比

1.3 联合双边滤波器去振铃

在处理复杂背景和纹理细节丰富的图像时,上述方法可能会导致一些纹理和细节的丢失。因此,当获得较为理想的模糊核后,本文引入联合双边滤波器[23-25]来抑制振铃伪影,平滑差图像中的细节,提取估计不准确的虚假边缘。对于图像I中某一点,其联合双边滤波结果为

式中,f是高斯中心在p的空域滤波器,g是中心为p的值域滤波器,I为输入图像,D为引导图像,Ω是f的空域范围,q为Ω中的点。

联合双边滤波器需要引入引导图像,这使得其权值更加稳定。因此,先输入图像,再对该输入原图像下采样1/2 获得低分辨率图像,再将其2 倍上采样获得引导图像。具体的联合双边滤波器去振铃算法实现过程如图4 所示。

图4 联合双边滤波器去振铃算法框图

2 实验与分析

2.1 实验环境及参数设置

本文所有的实验都是使用Matlab R2016b进行测试,CPU 型号为Intel(R) Core(TM) i5-4210U CPU,频率为2.40 GHz。本文对35 帧遥感图像进行裁切,获取350 张256 ×256 大小的遥感图像进行测试。首先,采用局部最小像素先验与极端通道先验结合的方法进行模糊核估计,得到理想的模糊核;然后,引入联合双边滤波器进行清晰图像复原算法获得复原图像。设置关于潜在清晰图像的权重系数μ=0.004,α=2;局部最小像素的阈值参数最初设置λ=0.1;关于模糊核的权重系数γ=2;最大迭代次数为5。本文进行了大量遥感图像复原实验,在此仅列出8 幅测试遥感图像,如图5 所示。

图5 测试遥感图像示例

2.2 实验结果与分析

本文分别采用文献[10]方法、文献[21]方法与本文算法进行比较,篇幅所限在此仅列出4 组实验对比结果,如图6～9 所示,其中,前4 个子图是不同复原方法与本文方法的对比,后2 个子图是文献[21]与本文方法估计的模糊核的对比。

图6 第1 组遥感图像复原效果对比及估计的模糊核对比

图7 第2 组遥感图像复原效果对比及估计的模糊核对比

图8 第3 组遥感图像复原效果对比及估计的模糊核对比

从图6 至图9 可以看出,本文算法与文献[10]算法和文献[21]算法相比,复原图像质量更好,恢复的图像边缘清晰、伪影减少。

图9 第4 组遥感图像复原效果对比及估计的模糊核对比

除此之外,还对各个算法进行了定量实验,从客观角度分析各个算法的优劣。E作为无参考评价指标,从信息论的角度衡量图像信息丰富程度。一般来说,E的值越大信息量就越丰富,质量越好。本文选择E作为评价图像复原后信息丰富程度的评价指标,其定义如式(17)所示。

式中,P(i) 为灰度值i出现概率,L为灰度级。本文定量分析结果如表1 所示。

表1 8 组测试遥感图像的信息熵数据对比

由表1 可以看出,本文改进的算法信息熵数值更大,因此,图像复原质量优于其他算法。

为了进一步验证本文算法的有效性,客观且直观地对算法进行评价,本文进一步选择峰值信噪比(peak signal to noise ratio,PSNR)和结构相似度(structural similarity,SSIM)作为图像质量的评价指标。同样地,PSNR 和SSIM 的数值通常越大越好,其定义分别如式(18)和(19)所示。

式中I(i,j) 为原图像,K(i,j) 为复原后的图像,m和n分别为图像的行数和列数,μx和μy为均值,σx和σy为方差,σxy为协方差。

同时,为了获取便于验证算法结果的模糊遥感图像,本文依次对清晰的遥感图像采用如下处理:添加长度10、角度20 的运动模糊,模板为5 的高斯模糊,散焦半径为3 的散焦模糊。图10 为合成的模糊遥感图像复原效果及模糊核的比较。选取其中8 组图像进行测试,测试的实验统计数据对比结果如表2和图11 所示。由图10 可以看出,本文改进的算法对添加合成模糊的遥感图像复原效果较好,振铃和伪影均得到抑制。且本文改进的算法估计的模糊核较为理想,更接近于长度为10、角度为20 的运动模糊核。

表2 8 组测试遥感图像复原结果数据对比

图10 合成模糊遥感图像复原效果对比

图11 测试合成模糊图像复原结果PSNR(dB)和SSIM 数据对比折线图

由表3 可得,本文改进算法在客观评价指标上其PSNR 平均提高约1.40 dB,SSIM 平均提高约0.02。由图11 的折线图可以更加直观地看出改进算法的客观评价指标相较于原算法有很大的提升,所以改进算法更有效。

3 结论

本文提出一种改进的基于局部最小像素先验的遥感图像盲复原算法。首先,在模糊核估计阶段,一方面采用改进的局部最小像素算法,即将局部最小像素先验与极端通道先验进行结合估计出潜在清晰图像,使估计的潜在清晰图像更准确利于模糊核的估计;另一方面利用基于梯度正则化估计模糊核。潜在清晰图像与模糊核交替迭代估计,得到较为理想的模糊核。其次,图像复原阶段,输入得到的模糊核,为抑制图像复原产生的振铃效应,引入联合双边滤波器,最终复原的图像效果更好,振铃伪影较少。实验结果表明,本文方法在客观评价指标上其PSNR平均提高约1.40 dB,SSIM 平均提高约0.02,信息熵E更大,从而验证了本文改进算法的有效性。