摘" 要: 由于雨雾天气的影响,清晰图像的获得较为困难,通常存在能见度低、对比度差、细节信息缺失等问题。针对上述问题,文中提出一种鲁棒性高的图像去雾算法。首先,将输入图像转换为细节图像,衰减图像并重新定义三个颜色通道,根据最小颜色损失原则对颜色进行补偿并平衡三个颜色通道的差异;其次,通过改进的大气散射模型EASM和暗通道先验算法解决图像发暗的问题,去雾结果明显、颜色鲜艳、细节清晰。在自然图像和合成图像数据集上进行对比实验并设计消融实验,结果表明,所提算法在信息熵、FADE、自然图像质量评估器(NIQE)、结构相似性(SSIM)等方面表现优于最新的去雾算法,具有较高的鲁棒性和应用前景。
关键词: 图像处理; 图像去雾; 大气散射模型; 颜色校正; 灰色世界假设; 细节增强; 光照补偿; 对比度增强
中图分类号: TN911.73⁃34; TP391.41" " " " " " " " "文献标识码: A" " " " " " " " "文章编号: 1004⁃373X(2024)23⁃0043⁃06
Image dehazing algorithm based on improved atmospheric scattering model
YAN Wenqiang, CUI Lei
(School of Intelligent Manufacturing and Control Engineering, Shanghai Polytechnic University, Shanghai 201209, China)
Abstract: Low visibility, poor contrast and detail information missing will occur to the images due to rainy and foggy weather, so it is difficult to obtain a clear image. In view of this, a robust image dehazing algorithm is proposed. The input image is converted into a detailed image, and then the detailed image is attenuated and the three color channels are redefined. According to the principle of minimum color loss, the color is compensated and the differences among the three color channels are minimized. The image darkening is eliminated by the enhanced atmospheric scattering model (EASM) and dark channel prior (DCP) algorithm. The dehazing results are obvious, with bright colors and clear details. Comparison experiments are performed on natural image dataset and synthetic image dataset and ablation experiments are designed. The results show that the proposed algorithm outperforms the latest dehazing algorithms in terms of information entropy, FADE, NIQE (natural image quality evaluator) and SSIM (structural similarity index measure). Therefore, the proposed algorithm has high robustness and broaden application prospects.
Keywords: image processing; image dehazing; ASM; color correction; gray world assumption; detail enhancement; illumination compensation; contrast enhancement
0" 引" 言
随着计算机视觉的迅速发展,对于雾霾、雨、雾、雪、沙尘暴等恶劣天气中获取的模糊图像的清晰化问题需要得到迅速解决。在雾霾天气中存在大量的雾霾颗粒,极大地降低了图像的能见度,改变了图像的固有色彩[1⁃2]。因此,鲁棒性强的图像去雾技术对于去除不利因素重建模糊信息至关重要。
为了恢复雾霾图像的质量,图像去雾和增强技术得到了广泛的应用[3]。目前的图像去雾算法主要分为基于先验和基于深度学习的算法,基于先验的算法大多以大气散射模型[4](ASM)为基础,通过计算其中透射率和大气光参数进而计算无雾图像。文献[5]提出了暗通道先验算法(Dark Channel Prior, DCP)来估计雾霾图像的分布,在给定大气光照的情况下,通过细化透射率图像可以获得真实的无雾图像,但是对于天空区域会存在颜色畸变,整体图像发暗的问题。通过多通道四叉树算法更准确地估计图像的大气光的值,对提高图像质量有一定帮助,但是在天空和非天空区域的交界处依然会有色彩畸变的现象。文献[6]基于局部像素的分布特征,揭示了饱和度分量和亮度分量的倒数之间的局部像素的线性分布,将透射率的估计转化为饱和线的构建,并将经过严格计算得出的透射率[t]代入大气散射模型,实现了端到端的去雾框架,但是对于雾霾分布不均匀的图像,并不能很好地恢复图像细节。文献[7]根据雾霾图像中饱和度与亮度的差异,对雾霾图像进行透射率的调整和图像的补偿以实现图像的清晰化和色彩修复。目前,深度学习在图像去雾中的应用范围逐渐增大,通常使用卷积神经网络作为基础模型,文献[8]提出了DehazeNet神经网络去雾算法,通过利用DehazeNet网络估计有雾图像的透射率[t],结合图像的先验信息估计全局大气光照值,最后通过ASM模型得到清晰图像。文献[9]提出AOD⁃Net的整体由两个部分组成,分别为K估计模块和清晰图像生成模块,K估计模块估计所需的[K(x)],[K(x)]为清晰图像生成模块的输入来估计出最后的输出[J(x)]。上述基于深度学习的算法在图像去雾方面都取得了较好的结果,但是由于其算法本身高度依赖于清晰与雾霾图像的数据集,对于不同的测试集结果会有较大出入[10],例如在合成模糊图像数据集上训练的网络并不能很好地适用于现实世界的有雾场景。
本文针对去雾后图像发暗的现象,引入改进大气散射模型,经过公式的推导和Matlab的拟合,将关于透射率图的超越方程转化为简单的一元二次方程的解,对于DCP算法处理之后天空区域出现颜色畸变的问题,引入基于最小颜色损失和最大衰减映射融合策略的局部自适应颜色校正方法,对输入的雾图进行颜色校正后再进行去雾会抑制颜色畸变现象的产生。所提算法有效地解决了有雾图像中出现的颜色失真和细节信息缺失等问题,增强亮度和对比度,在视觉效果改善和质量提高方面具有显著优势。
1" 改进暗通道去雾算法
1.1" 改进的大气散射模型
在计算机视觉领域中,大部分算法和视觉系统都是应用于天气状况良好、能见度高的情况下,但是事实上,时常会有雨、雾等恶劣天气产生,例如在有雾情况下,空气中的雾霾颗粒会影响大气光的折射[11],进而影响到摄像头采集的信息完整性。20世纪90年代,Nayar等人提出了大气散射模型(ASM),如式(1)所示:
[I(x)=J(x)t(x)+A1-t(x)]" " " " " (1)
式中:[x]表示像素位置;[I(x)]表示输入的有雾图像;[J(x)]表示输出的无雾图像;[t(x)]表示大气光传播时的透射率;[A]表示图像中的全局大气光。右边第一项表示光线的衰减,也被称为直接衰减,随场景深度[12][d]呈指数衰减;第二项表示大气光的成像。当雾霾颗粒在大气中的分布均匀时,透射率[t]可以表示为:
[t(x)=e-β⋅d(x,y)]" (2)
式中:[d]和[β]分别表示场景深度和散射系数。
在通过大气散射模型去雾的过程中,虽然大气光被当成全局恒定的值[13],但是在不同的位置,图像的昏暗程度会有所差别。对于这种情况,文献[14]提出在光线的传播过程中会被景物的纹理吸收一部分,并且在纹理密度越大的区域,光线的吸收率也随之增大。假设吸收系数为[ε∈(0,1]],则反射光为[(1-ε)·A·σ],在不考虑光线被吸收的情况下,通过ASM产生的无雾图像的景物反射率低于真实图像的场景反射率,即[σASMlt;σreal],由于传统ASM模型并没有考虑到光吸收问题,这就是导致最终图像发暗的原因。
为了减小这个问题,将吸收系数[ε]引入ASM模型,则改进后的大气模型为:
[I(x)=A⋅(1-ε(x))⋅σ(x)⋅t(x)+A1-t(x)]" (3)
式中[ε∈(0,1]],并且随着景深的减小,光吸收系数随之增大。定义光吸收系数表达式为:
[ε(x)=1-d(x)max d]" "(4)
通过式(2)得知景深[d]的表达式,代入式(4)便可进一步得到光吸收系数的表达式,进而代入表达式(1)便可得到改进之后的ASM模型。
[I(x)=A⋅lnt(x)ln(tmin)⋅σ(x)⋅t(x)+A⋅1-t(x)] (5)
根据灰色世界假设[15],假设图像中的场景在不同颜色通道上的平均反射率是相近的,图像呈现出的整体色调接近中性颜色,所以将反射率[16][σ]可以近似为0.5,则ASM模型可改写为:
[I(x)=A⋅lnt(x)2⋅ln(tmin)⋅t(x)+A⋅1-t(x)]" (6)
由于式(6)中包含对数函数,属于无法直接求解的超越方程,对于这个问题,通过Matlab将对数函数拟合为简单函数,其中,[h1=-0.397],[h2=0.777 4]。
[ln(t)≈h1h2+t]" (7)
将式(7)代入式(6)便得到关于透射率[t]的一元二次方程。通过简单的求根公式便可得到输入图像的透射率[t]。
文献[5]通过大量的观察发现,在大多数非天空的自然景观图像中,至少有一个颜色通道的某些像素会有很低的亮度值,接近于零,这一现象被称为“暗通道先验”。DCP算法首先对有雾图像计算其暗通道,对于每一个像素选取其局部窗口的所有像素在三个颜色通道上的最小值,作为该像素点的暗通道值,通过分析暗通道图,选择亮度最高的前几个像素,然后在原图中对应位置找到最亮的像素,作为全局大气光的估计。
经过上述算法得到大气光[A]和透射率[t],将其代入式(3)获得场景反射率[σ],进而得到恢复之后的清晰图像,但是在处理自然图像的过程中会存在颜色畸变的问题,为改进这个问题将在下一节介绍颜色校正算法。
1.2" 颜色校正
对于恢复之后的清晰图像仍存在颜色畸变的问题,本文引入颜色校正[17]并进行优化。
在局部自适应色彩校正中,首先利用最小色彩损失原理获得色彩转移图像,并通过最大衰减图像引导融合方法,在利用色彩转移图像的同时对输入图像的颜色和细节进行调整。
本文将输入图像根据颜色通道的平均值重新定义红绿蓝三个通道,分别表示为:
[IR=1h⋅wi=1hj=1wIR(i,j)IG=1h⋅wi=1hj=1wIG(i,j)IB=1h⋅wi=1hj=1wIB(i,j)]" (8)
式中:[IR]、[IG]、[IB]为三种通道的平均值;[h]、[w]为图像的高和宽;[I]为输入图像。将数值最大、中等、最小的通道定义为[Imax]、[Imedian]、[Imin],即:
[Imax=max(IR,IG,IB)Imedian=median(IR,IG,IB)Imin=min(IR,IG,IB)]" (9)
根据灰度世界假设,自然图像的颜色通道具有相似的平均值,所以将[Imax]、[Imedian]、[Imin]三个通道的颜色损失[L]定义为:
[L=J+k," "J=Imax-Imedian," " k=Imax-Imin]" (10)
对于[Imedian]和[Imin]通道对应的颜色通道,通过式(11)、式(12)进行校正。
[IRmedian=Imedian+(Imax-Imedian)⋅Imax]" "(11)
[IRmin=Imin+(Imax-Imin)⋅Imax]" "(12)
为使每个颜色通道的平均值相似,通过迭代式(11)、式(12),直至满足损失函数:
[minImax,Imedian,IminLcolor=min(J,k)] (13)
式中,本文设置[Lcolor]的阈值为0.2,经过迭代不断优化损失函数,最终得到色彩转移图像[ICT]。
利用最大衰减图像[Q]作为引导图像进行融合,可表示为:
[Qmax=max{1-IαR,1-IαG,1-IαB}]" [(14)]
[ICR=Qmax⋅ICT+(1-Qmax)⋅Ic] [(15)]
最终的颜色校正图像[ICR]可由式(15)得出。
2" 实验结果与分析
本文采用真实图像数据集与公开数据集I⁃HAZE和O⁃HAZE进行实验,并在三个性能指标方面将所提算法与三种算法进行比较,最后对所提算法进行消融实验来评估参数的影响。
2.1" 主观评价
选择真实图像数据集时,需要考虑图像的多样性和代表性,确保覆盖不同场景、不同天气条件和不同程度的雾霾,这样可以更全面地评估算法的性能和鲁棒性。本节从真实图像数据集中选用几张不同程度的有雾图像来测试所提算法、DCP[5]、IDE[14]和SLP[6]算法,并进行对比验证,结果如图1所示。
由图1可知:经DCP算法恢复的清晰图像普遍存在图像发暗的情况,E2中存在天空区域曝光严重的现象且E3有较为严重的色彩畸变,这些是由于大气光的估计不准确所导致;IDE算法在一定程度上改善了图像发暗的情况,然而通过仔细观察可以发现,会存在模糊的图像纹理导致丢失细节信息;SLP算法去雾效果较好,但是同样由于大气光的估计不准确导致图像整体发暗;本文算法在IDE的基础上不仅去雾效果较好,且对图像细节进行增强,减少图像信息的丢失。E1的处理过程中,DCP算法和SLP算法明显存在发暗情况,在IDE和本文算法的对比中,可以明显看出颜色校正之后的效果,整体图像没有发绿的现象。由E2可以明显看出,经过本文算法恢复的大楼部分细节相比IDE算法较为清晰,在色彩方面更加符合人类的视觉感受。
2.2" 客观评价
由于不同的人存在不同的主观感受,对不同算法所恢复的清晰图像无法有一个公平的对比,通过网络搜集的自然图像数据集和合成图像数据集分别测试本文算法的鲁棒性,其中合成数据集为I⁃HAZE[18],O⁃HAZE为公开数据集。本文采用结构相似性[19](SSIM)、信息熵、FADE[20]、自然图像质量评价指标[21](NIQE)四个指标来定量分析本文算法恢复图像的性能。其中:SSIM衡量两幅图像的相似度,数值越接近1表示恢复的清晰图像和真实图像的差距越小,即图像质量越好;信息熵用来估计图像信息的丰富度和信息分布的均匀度,高质量的图像往往具有较高的信息熵;FADE可以估计输出图像的视觉质量、去雾效果和色彩保真度;NIQE用来衡量图像质量,二者都是数值越小代表图像质量越好。
表1为自然图像数据集中不同算法恢复的清晰图像的评价指标,信息熵(Entropy)数值越大越好,FADE和NIQE数值越小表示图像质量越好。从表中可知,本文算法恢复的清晰图像在信息熵和FADE的表现都是最佳或次佳,在NIQE评价指标中,虽然数值方面不如其他算法,但是在视觉方面,表现最优的SLP算法远不如本文算法。为使对比更有说服力,本文进一步在数据集I⁃HAZE和O⁃HAZE上随机选择其中34张图像测试本文算法和其他对比算法,其中,SSIM为参考性指标,需要真实图像参与评价图像质量,测试数据集的指标如表2所示,明显看出本文算法在多个性能指标方面表现优异且数据方面领先较多,这进一步体现了本文算法的优越性。
3" 消融实验
为说明本文方法的每个组成部分的有效性,本文对自然图像进行消融实验,包括Model a:ASM模型[+]暗通道先验;Model b:改进ASM模型[+]暗通道先验;Model c: 改进ASM模型[+]改进颜色校正[+]暗通道先验。表3定量地展示了在自然图像中不同组成部分的结果,表明本文算法的每个组成部分都有助于算法性能的提高。
4" 结" 语
本文提出了一种新的无监督单幅图像去雾算法,该算法由颜色校正模型和去雾模型组成,并取得了较好的结果。通过对真实图像数据集和合成图像数据集的测试,验证了该算法在不同程度雾霾下的优越性和鲁棒性。颜色校正模型的引入有效地提升了图像的色彩保真度,使得处理后的图像更加清晰自然。同时,去雾模型能够有效地去除图像中的雾霾,恢复出更清晰的场景信息,从而提高了图像的视觉质量和信息传递效果,表现出了良好的性能和鲁棒性,显示出了在实际应用中的潜在价值和广阔前景。然而,也意识到在算法改进和优化方面仍有待进一步研究,例如进一步提高算法的处理速度和适用范围以满足实际应用的需求,为人们提供更清晰、更真实的视觉体验。
注:本文通讯作者为崔蕾。
参考文献
[1] 韦金阳,王科平,杨艺,等.基于多重迁移注意力的增量式图像去雾算法[J].系统仿真学报,2024,36(4):969⁃980.
[2] 刘万军,程裕茜,曲海成.基于生成对抗网络的图像自增强去雾算法[J].系统仿真学报,2024,36(5):1093⁃1106.
[3] SANTRA S, MONDAL R, PANDA P. Image dehazing via joint estimation of transmittance map and environmental illumination [EB/OL]. [2017⁃12⁃01]. https://api.semanticscholar.org/CorpusID:54445909.
[4] NARASIMHAN S G, NAYAR S K. Contrast restoration of weather degraded images [J]. IEEE transactions on pattern analysis and machine intelligence, 2003, 25(6): 713⁃724.
[5] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior [J]. IEEE transactions on pattern analysis and machine intelligence, 2011, 33(12): 2341⁃2353.
[6] LING P Y, CHEN H A, TAN X. Single image dehazing using saturation line prior [J]. IEEE transactions on image processing, 2023, 32: 3238⁃3253.
[7] ZHU Q S, MAI J M, SHAO L. A fast single image haze removal algorithm using color attenuation prior [J]. IEEE transactions on image processing, 2015, 24(11): 3522⁃3533.
[8] CAI B, XU X, JIA K. DehazeNet: An end⁃to⁃end system for single image haze removal [J]. IEEE transactions on image processing, 2016, 25(11): 5187⁃5198.
[9] LI B Y, PENG X L, WANG Z Y. AOD⁃Net: All⁃in⁃one dehazing network [C]// 2017 IEEE International Conference on Computer Vision (ICCV). New York: IEEE, 2017: 4780⁃4788.
[10] LI B Y, PENG X L, WANG Z Y. An all⁃in⁃one network for dehazing and beyond [EB/OL]. [2022⁃12⁃01]. http://arxiv.org/abs/1707.06543.
[11] LEE S, YUN S M, NAM J H. A review on dark channel prior based image dehazing algorithms [J]. EURASIP journal on image and video processing, 2016(1): 4.
[12] JU M Y, DING C, GUO Y J. IDGCP: Image dehazing based on gamma correction prior [J]. IEEE transactions on image processing, 2020, 29: 3104⁃3118.
[13] TANG H Q, LI Z, ZHONG R B. Sky⁃preserved image dehazing and enhancement for outdoor scenes [C]// 2021 IEEE 4th International Conference on Electronics Technology (ICET). New York: IEEE, 2021: 1266⁃1271.
[14] JU M Y, DING C, REN W Q. IDE: Image dehazing and exposure using an enhanced atmospheric scattering model [J]. IEEE transactions on image processing, 2021, 30: 2180⁃2192.
[15] BUCHSBAUM G. A spatial processor model for object colour perception [J]. Journal of the Franklin Institute, 1980, 310(1): 1⁃26.
[16] ANCUTI C O, ANCUTI C. Single image dehazing by multi⁃scale fusion [J]. IEEE transactions on image processing, 2013, 22(8): 3271⁃3282.
[17] ZHANG W D, ZHUANG P X, SUN H H. Underwater image enhancement via minimal color loss and locally adaptive contrast enhancement [J]. IEEE transactions on image processing, 2022, 31: 3997⁃4010.
[18] ANCUTI C O, ANCUTI C, TIMOFTE R. I⁃HAZE: A dehazing benchmark with real hazy and haze⁃free indoor images [EB/OL]. [2018⁃08⁃13]. http://arxiv.org/abs/1804.05091.
[19] WANG Z, BOVIK A C, SHEIKH H R. Image quality assessment: From error visibility to structural similarity [J]. IEEE transactions on image processing, 2004, 13(4): 600⁃612.
[20] CHOI L K, YOU J, BOVIK A C. Referenceless prediction of perceptual fog density and perceptual image defogging [J]. IEEE transactions on image processing, 2015, 24(11): 3888⁃3901.
[21] MITTAL A, SOUNDARARAJAN R, BOVIK A C. Making a″completely blind″ image quality analyzer [J]. IEEE signal processing letters, 2013, 20(3): 209⁃212.
作者简介:闫文强(1998—),男,山西太原人,硕士研究生,研究方向为图像去雾。
崔" 蕾(1981—),女,山东烟台人,博士研究生,副教授,研究方向为工业生产过程的自动控制与状态监控。