一种联合多正则化项的双域去雾模型

2024-12-31 00:00:00徐春雨冀东江薛晰颖
科技创新与应用 2024年26期

摘" 要:在有雾天气下,图像传感器获得的图像可能会出现能见度低、对比度差和其他退化现象。针对暗通道先验算法在景深较大区域可能导致失真的局限性,提出一种联合小波,TV以及轮廓波正则化的模型,该模型旨在提高场景传输率和图像质量。首先,该文通过结合小波,TV和轮廓波惩罚来增强暗通道得到的初始场景传输率,并对此应用高提升滤波来进一步增强边缘与细节,从而得到精细的场景传输率;接下来,使用这种精细后的传输率来获得初步的去雾图像;最后,对得到的这幅图像进行后处理,再次作用小波,TV以及轮廓波惩罚与高提升滤波,在保证平滑的同时保持局部细节。实验结果表明,该算法的去雾结果是有效的,并且主观和客观的评价都表明,该方法表现良好。

关键词:大气散射模型;单幅图像去雾;场景传输率;正则化优化;ADMM

中图分类号:P426.4" " " 文献标志码:A" " " " " 文章编号:2095-2945(2024)26-0080-04

Abstract: In conditions of hazy weather, images captured by image sensors may suffer from reduced visibility, low contrast, and other degradation issues. To address the shortcomings of the dark channel prior algorithm, which can lead to distortion in areas with significant depth of field, a new model is introduced. This model combines wavelet, TV, and contourlet regularization techniques with the goal of enhancing both scene transmission and image quality. First, the initial scene transmission of the dark channel is improved by combining wavelet, TV, and contourlet punishments, followed by highboost filtering to enhance edges and details for a clearer scene transmission. Subsequently, a refined transmission is used to generate a preliminary dehazing image. After completing the processing on the obtained image, we further apply wavelet, TV, and contourlet punishments along with highboost filtering to enhance smoothness while preserving local details.Experimental results demonstrate the effectiveness of the algorithm in removing haze from the original image, with both subjective and objective evaluations indicating strong performance.

Keywords: atmospheric scattering model; single image dehazing; scene transmission rate; regularization optimization; ADMM

当在雾霾天气下,由于环境中的悬浮粒子,会造成光的散射和折射,这降低了最终图像的可见性和对比度,极大地影响了我们观察其特征的能力。因此,除雾研究在各种应用中具有重要的价值。目前,除雾方法可大致分为两类:单图像去雾与多图像去雾。多图像去雾主要涉及使用多个图像或不同的视角来恢复无雾图像[1]。

单图像去雾通常涉及利用图像中的先验信息或者图像中的特定算法来估计雾的浓度或大气光等参数。然后使用这些参数来处理图像和恢复清晰度。Fattal等[2]在光照强度和局部透射不相关的假设下,恢复了场景传输率和大气光值,虽然这种假设在物理上是合理的,但容易在雾较重时失效。Galdran[3]通过多尺度拉普拉斯将一系列伽马校正得到的低曝光图像混合,避免了对场景传输率的估计,得到了较好的去雾结果。Ju等[4]提出了一种名为IDE的增强型的大气散射模型,它在传统模型基础上引入一种新的光吸收参数,然而在光照不均匀的条件下容易造成雾的残留。He等[5]基于大气散射模型,利用先验知识提出了暗通道先验原理(Dark Channel Prior, DCP)。一般来说,DCP对自然场景图像的去雾效果很好,但这一理论在明亮的区域,如天空、水和白色物体的表面容易失效,导致计算出的场景传输率不准确,恢复后的图像效果偏暗。之后,He等[6]提出了一种引导滤波算法,这种优化降低了算法的复杂性,减轻了伪影问题,增强了去雾效果的自然性。Zhu等[7]将广泛使用的DCP算法与分段平滑的概念结合起来,以估计产生更自然的场景传输率。Zhao等[8]提出了一种可以分析局部去雾斑块先验信息的单图像去雾方法,根据这些局部斑块准确地估计了场景传输率,并且为了提高传输图的质量,又采用了加权插值和引导滤波来增强边缘和细节。

本文提出了一种改进的暗通道去雾算法。该方法对初始传输率t应用小波,轮廓波和TV惩罚,并在此之后应用高提升滤波得到一个细化的t,用于获得初始去雾图像J。随后,对J进行后处理。再次作用小波,轮廓波,TV惩罚以及高提升滤波。该方法通过在双域上添加多正则化项,可以更准确地估计传输情况,并通过增强的图像信息生成更清晰、自然的恢复图像。实验比较和分析证明了该算法的可行性、有效性和优越性。

1" 相关理论及方法

大气散射模型由McCartney于1972年提出[9],该模型的数学公式为

," (1)

式中:I表示含雾图像;J表示经算法处理后的干净无雾图像;x=(x,y)表示图像中像素点的位置;A表示大气光值,可以看作无限远处的亮度;t表示场景传输率,表达式可写作t(x)=e-βd(x)。

He等在2010年提出了暗通道先验理论,公式表示为

。 (2)

将式(1)进行改写并根据式(2)就可以得到初始场景传输率

。(3)

本文采用文献[10]中提出的QuadTree Search算法来计算A的值

, (4)

式中:" " " " " ;" " " 表示使用I min返回大气光像素位置的四叉树操作。

因此得到A与t后,J就可表示为

J=+A 。 (5)

2" 本文所提算法

小波变换是一种有效的多分辨率分析方法,可以在不同时域和频域上准确地展示信号的局部特征。这样可以让图像保留更多细节,减少雾造成的模糊;轮廓波变换可以获得图像的稀疏表示,能很好地表示图像的各向异性特征,进而更好地捕获图像的边缘以及纹理特征。在有雾图像中,由于与雾有关的信息主要集中在低频分量中,引入了一个对角矩阵W来对t和J的低频分量进行小波和轮廓波变换。此外,还引入了TV惩罚来增强重建视差图的平滑性。最后,使用高提升滤波[11]进一步抑制低频信息,增强图像的细节与边缘。因此,可以将模型定义为

式中:T和J是输出图像;Φ11和Φ12是db2类型的小波函数;Φ21和Φ22是轮廓波函数;W是二元对角矩阵;其中如果对角线上的像素属于低通带,则此处值为1,否则为0;λ11,λ12,λ21,λ22,β1,β2为正则化参数;k1,k2是权重参数;" " " " " " " " ";J ″(x)=+A。

以公式(6)为例,在此通过引入3个辅助变量r,u1,v来进行ADMM算法[12]。因此,我们将优化问题改写为

式中:ω,l1,l2,θ是拉格朗日乘数;μ,ρ1,ρ2,γ是内半二次惩罚参数。

3" 实验结果

为了验证所提算法的效果,进行了针对真实世界中含雾图像的实验。然后,将其与现有的几种去雾方法,即AMEF[3],Li[13],IDE[4],MGF[14]进行了比较。在实验中,为确保结果的最佳性,所有方法的参数都是手动调整的。图1与表1展示了使用各种去雾算法实验后得到的去雾结果与其相应的评价指标。其中BRISQUE通过分析图像的空间信息,包括自然失真以及噪声等因素来判断图像的质量,数值越高表示图像所含的失真和噪声越多,质量越差;BLIINDS-II用来检测图像的完整性和真实性,数值越低表明图像的质量越高,而BIQI是基于感知和自然图像的质量来量化失真图像的质量,它的数值越低,意味着去雾的方法越有效。

AMEF的结果显示远处的雾并没有被全部去除,但在图像的噪声和失真方面除了Image 5之外都表现得较好,这点从表1中的BRISQUE数值也可以看出,Li的算法对于雾的去除效果较好,但在结果中也产生了像Image 2远处的树木以及Image 5近处的树叶这样的光晕现象,且在Image 1、2、3、4这样颜色较灰暗的图片去雾后饱和度变得更低了。但在Image 1和Image 3中出现了颜色失真,Image 5叶子的颜色也有饱和度过高的现象。MGF的算法在Image 1和Image 5中有较好的效果,但在Image 2和Image 3的结果中颜色偏暗。本文提出的算法在保证去雾的前提下在图像的完整性和颜色的保持方面表现得较好,这点从表1中BLIINDS-II数值也可以了解到,但不可避免的在雾的浓度较厚的情况下发生了一些失真,且这样的情况大都出现在天空区域,这也是后续需要改进的地方。

4" 结论

针对暗通道中天空和景深较大区域易产生伪影和失真的缺点,提出了一种基于小波、轮廓波和TV的去雾改进算法。它将小波、轮廓波和TV正则化应用于初始传输图和初步去雾图像,并分别在作用正则化项后对二者进行了高提升滤波的处理,最后采用ADMM算法求解模型,得到更清晰、更自然的去雾图像。然而,由于暗通道先验算法的限制,在浓雾时天空区域可能出现颜色扭曲的现象。这一缺点将在今后的研究中进行进一步的研究和讨论。

参考文献:

[1] SHWARTZ S, EINAV N, YOAV Y. Schechner. Blind Haze Separation[J]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2006,2:1984-1991.

[2] FATTAL R. Single image dehazing[C].ACM Trans. Graph,2008,27(3):1-9.

[3] GALDRAN A. Image dehazing by artificial multiple-exposure image fusion[J]. Signal Processing,2018,149:135-147.

[4] JU M Y, DING C, REN W Q,et al. IDE: image dehazing and exposure using an enhanced atmospheric scattering model[J].IEEE Transactions on Image Processing,2021,30:2180-2192.

[5] HE K M, SUN J, TANG X O. Single Image Haze Removal Using Dark Channel Prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

[6] HE K M, SUN J, TANG X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409.

[7] ZHU M Z, HE B E, WU Q. Single image dehazing based on dark channel prior and energy minimization[J].IEEE Signal Processing Letters,2018,25(2):174-178.

[8] ZHAO X. Single Image Dehazing Using Bounded Channel Difference Prior[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops(CVPRW),2021:727-735.

[9] MIDDLETON W. E. K. Middleton. Vision Through the Atmosphere. Springer[M]. Springer, Berlin, Heidelberg, Toronto: University of Toronto Press,1954.

[10] JOONGCHOL S, MINSEO K, JOONKI P, et al. Radiance-Reflectance Combined Optimization and Structure-Guidedlt;D:\创新\创新26\3实验报告\美元.tifgt;ell_0lt;D:\创新\创新26\3实验报告\美元.tifgt;-Norm for Single Image Dehazing[J].IEEE Transactions on Multimedia,2020,22(1):30-44.

[11] RAFAEL C G, RICHARD E W. Digital Image Processing (Third Edition)[M]. Publishing House of Electronics Industry,2011,184-187.

[12] HAN D R. A Survey on Some Recent Developments of Alternating Direction Method of Multipliers[J]. Journal of the Operations Research Society of China,2022.

[13] LI Z, ZHENG X P, BHANU B, et al. Fast region-adaptive defogging and enhancement for outdoor images containing Sky[C]. Proceedings - International Conference on Pattern Recognition(ICPR),2020:8267-8274.

[14] THUONG V N, AN G V, CHUL L. Real-time image and video dehazing based on multiscale guided filtering[J]. Multimedia Tools and Applications,2022,81(25):36567-36584.

第一作者简介:徐春雨(1999-),女,硕士研究生。研究方向为图像处理。

*通信作者:冀东江(1979-),男,博士,副教授。研究方向为图像处理。