雾霾线求解透射率的二次优化方法

黄鹤,胡凯益,宋京,王会峰,茹锋,郭璐

(1.长安大学电子与控制工程学院,710064,西安; 2.西北工业大学无人机系统国家工程研究中心,710072,西安)

视觉系统成像时易受到雾霾等因素干扰,导致图像质量退化[1]。目前主流的去雾方法是基于物理模型,场景深度的获取是求解模型参数的关键,而透射率则描述了光线的传播能力,与场景深度密切相关。因此,国内外学者通过分析雾霾图像特征,提出了诸多先验假设条件,通过定义满足目标函数和约束方程,使用优化方法求解模型参数并复原图像。目前主流的是局部先验理论,如Tan等人提出的最大化图像局部对比度理论,通过马尔可夫模型实现图像去雾[2],但在提高图像局部对比度过程中可能造成图像颜色畸变和失真,且在景深不连续区域去雾不均匀。He等人提出的暗通道先验理论是目前去雾领域最成熟的先验理论[3],但对含雾图像中天空及白色区域部分不成立,易出现失真[5-6]。Zhu等人提出了颜色衰减先验理论[14],较好地缓解了天空部分失真严重的问题,但对浓雾区域去雾效果不佳,且透射率求取精度不高,易出现“光晕效应”。因此,局部先验理论针对实际场景复杂多样,往往理论不成立、忽略图像区域间内容的相关性易受极值区域影响,导致透射率求解精度较低。Berman等人通过分析含雾图像在RGB颜色空间的像素分布,首次提出了雾霾线非局部先验理论[8],并对该理论进行了进一步完善[9],避免光晕和伪影效应,提高了透射率估计精度,但仍存在偏差,且簇内像素数量较少时估计精度降低,导致透射率含有噪点。

因此,本文提出一种雾霾线求解透射率的二次优化方法,针对雾霾线先验理论求解透射率估计存在偏差的问题,进行最小通道透射率修正。同时针对透射率图像含有纹理信息,设计了优化的相对总变分正则化方法,提升了透射率估计精度,改善了浓雾及景深突变区域的复原图像质量。

1 大气散射模型

根据大气散射模型[1],将环境光参与成像过程描述为入射光衰减和大气光成像过程,如下所示

E(d,λ)=Ed(d,λ)+L(d,λ)

(1)

式中:d为成像像素对应景深;λ为波长;E(d,λ)为采集的光强;Ed(d,λ)是物体表面反射衰减后的光强;L(d,λ)为散射后的大气光。已知d和L(d,λ),通过大气散射模型和降质图像可以反演未衰减的真实场景图像。在观测距离较短且大气介质均匀条件下,初始能量为E0,波长为λ的入射光线穿过厚度为dx的含雾空气时,单位体积内光强变化量为dE,则距离为xd处的光强变化为

(2)

式中,β(λ)为散射系数。对式(2)两侧同时在距离x为0到d区间内积分,可得

(3)

进一步化简可得

Ed(d,λ)=E0(λ)e-β(λ)d

(4)

式中:E0(λ)是物体表面未经衰减的反射光强。散射系数β(λ)为常量时,采集入射光强随距离增大呈指数衰减。全局光照均匀时,采集的环境光强随距离增大而增大,与入射光衰减过程类似,对大气光成像过程建模,如式(5)所示

L(d,λ)=L∞(λ)(1-e-β(λ)d)

(5)

式中L∞(λ)为无穷远处的大气光强。

根据大气散射模型,采集的光强应为目标场景的降质反射光及沿光路传播的大气光叠加形成,因此式(1)可由式(4)、式(5)改写为

E(x|d)=E0(λ)e-β(λ)d+L∞(λ)(1-e-β(λ)d)

(6)

令I(x)=E(d,λ)代表含雾降质图像,J(x)=E0(λ)代表清晰图像,t(x)=e-β(λ)d为该点位置上光线的传播能力即透射率,A=L∞(λ)为大气光强度,可得简化后的雾天图像降质模型如下

I(x)=J(x)t(x)+A(1-t(x))

(7)

可以看出,关键是对t(x)及A的估计值求解。

2 雾霾线先验理论

在RGB颜色空间中,清晰图像里数量为MN个色彩及亮度相似的像素点可以聚为若干像素簇,簇内像素点差异很小,一般散布在不同景深区域。含雾降质像素值大小仅与透射率t(x)相关,如式(8)所示

I(x)=t(x)J(x)+(1-t(x))A=

t(x)(J(x)-A)+A

(8)

由于J(x)与A在簇内可视为常量,定义t(x)(J(x)-A)为J′(x),可以看出I(x)大小及方向由t(x)来决定,且同一簇内不同t(x)对应的I(x)终点位于同一直线上,如图1a所示。因此,清晰图像中同一簇内像素点在受到雾霾影响时,在RGB空间沿同一直线分布,定义为雾霾线。图1b中红、绿色标记位置为两束像素簇的像素点的图像分布,图1c、图1d为这两簇像素点在RGB颜色空间的分布,可以看出分布大致呈线型。

(a)雾霾线

(b)含雾图像及像素点位置

(b)红色位置像素分布

(d)绿色位置像素分布

3 基于雾霾线理论的透射率估计

雾霾线先验理论求解透射率的关键是找出图像中存在的雾霾线,为便于计算,将图像转换到以大气光估计为中心的球面坐标系。假设A已知,定义含雾像素亮度与大气光强度的差值IA(x)为

IA(x)=I(x)-A

(9)

利用大气散射模型对式(9)变形,可得

IA(x)=t(x)(J(x)-A)

(10)

将IA(x)转换到球面坐标系下便于聚类,有

IA(x)=[r(x),θ(x),φ(x)]

(11)

定义r为球面坐标系中去除大气光亮度后像素点到坐标原点的距离,θ(x)和φ(x)分别为球面坐标系下IA(x)的俯仰角和方位角。由式(11)知,当场景内容一定时,在球面坐标系中任意簇x的方位角φ(x)和俯仰角θ(x)相同,即r(x)的值仅与t(x)取值相关。球面坐标系下,t(x)的改变并不影响θ(x)和φ(x)。因此,若像素点x1、x2在球面坐标系下存在θ(x1)≈θ(x2)和φ(x1)≈φ(x2),则无雾图像中也应该具有相的RGB值,表达式如下

{θ(x1)≈θ(x2),φ(x1)≈φ(x2)} ∀t(x)⟹J(x1)≈J(x2)

(12)

若两像素点有相似的θ(x)和φ(x),则在空间上沿同一直线分布,属于同一条雾霾线。因此,可以按θ(x)和φ(x)的相似性对像素进行聚类,求解像素点所属簇类。为简化聚类过程,将球面坐标系按角度提前划分为1 000个位置,构建临近查找树,分别计算像素点与这些位置的相似性,归为不同簇类。将IA(x)的模r(x)命名为像素点x的辐射度,可得r(x)与场景深度d(x)关系如下

r(x)=t(x)‖J(x)-A‖=‖J(x)-A‖/e-βd(x)

(13)

根据雾霾线理论,在簇内像素点充足的条件下,存在未受到雾霾影响或影响很小的像素点x0,对应透射率t(x0)为1。由式(13)可知,x0的辐射度与清晰图像和大气光之差的模相等,将其记作簇内最大辐射度rmax,计算公式如下

rmax=‖J(x0)-A‖

(14)

结合式(13)(14)可知,对于簇内其他受雾霾影响的像素点,透射率可由该点辐射度r(x)与簇内最大辐射度rmax的比值近似表示

t(x)=r(x)/rmax

(15)

求解透射率粗估计如图2所示。显然,基于雾霾线理论求得的透射率粗估计与辐射度最大像素位置密切相关,且求解过程忽略了图像内容的局部相关性,导致透射率图中存在部分噪点。这些噪点位置上透射率可靠性较低,需进一步优化。

(a)含雾图像

(b)透射率估计图

4 基于最小通道的透射率修正

采用式(15)求解透射率时,假设像素簇内有部分像素点位于场景深度较小、受雾霾影响较轻的区域。这在绝大多数区域成立,但对于部分像素数量较少的像素簇,簇内可能不存在无雾像素点,使透射率估计值存在偏差。若上述像素簇求得辐射度为rm,根据式(13)得rm

tm(x)=r(x)/rm>t(x)

(16)

此时该簇内像素点透射率估计产生偏差,普遍偏大,影响复原图像质量。为了解决这一问题,提出了一种基于最小通道的透射率修正方法。

4.1 透射率可靠性计算

根据雾霾线理论,簇内像素点数量越多,辐射度最大的像素点受雾霾影响的可能性越小,rm与rmax越接近,透射率估计越准确;当簇内像素沿雾霾线分布间隔越大,即像素点在图像中越分散,求得雾霾线方向越准确,透射率精度越高。定义透射率可靠性计算公式为

W(x)=min(N/150,1)[min(λ1(r(x)/rmax)+

λ2(rmax-rmin)/rmax,1)]

(17)

式中:N为簇内像素点数量;rmin为簇内像素点最小辐射度;λ1、λ2为权重系数,大量实验证明,其分别为0.9和0.1较为合适。评价像素点可靠性时,首先统计判断N是否小于150(经多次实验证明,N取150时可靠度较为准确),若是则视为簇内像素点数量过少,估计值可能不可靠,设定可靠度为为N/150,否则可靠度为1。然后,利用式(17)计算该点透射率的可靠性。图2b透射率可靠性结果如图3所示。由于在近景地面存在影响透射率精度的噪点,相应像素透射率的可靠性较低,且随着景深增大,透射率的可靠性进一步降低。

图3 透射率的可靠性Fig.3 The reliability of transmittance

4.2 基于最小通道的透射率修正

针对透射率粗估计不准确且含有噪点的问题,提出一种基于最小通道的透射率修正方法。根据透射率估计的可靠性,利用最小通道求解的透射率和透射率粗估计共同对可靠性较低的像素进行修正。大量实验表明,最小通道图中含有丰富的景深信息且计算简便,因此将景深信息表达如下

(18)

由最小通道图求得的透射率估计tmin(x)为

(19)

式中:Ac为对应通道c的大气光估计值;w为去雾系数。tmin(x)包含场景深度信息,还含有表面纹理信息。为避免复原图像在景深突变处出现光晕,修正不可靠点的同时保留了原有纹理信息。为了提高修正透射率的准确度,应在有效修正不可靠点的前提下,尽可能减小与修正前可靠点透射率的偏差。透射率修正问题即转化为求最优估计的问题。引导滤波的正则化系数决定平滑及参考信息强度。根据这一特性,以tmin为引导图像H,用雾霾线理论求得的透射率粗估计t作为待滤波图像g,按照透射率可靠性函数W(x)重定义损失函数的平滑项系数,得到损失函数如下

minE(ak,bk)=

(20)

式中:Wk为可靠性函数的局部滤波窗口;k为滤波窗口索引;i为像素索引;ε为平滑常数;Hi为第i个像素的引导图像;ak、bk为窗口滤波系数,计算公式如下

(21)

(22)

hi=akHi+bk,∀i∈wk

(23)

式中:hi为滤波输出;μk为局部滤波窗口k的均值;σk为k的方差。结合损失函数及滤波输出函数公式可知,像素点透射率可靠性越低,正则项系数越大,滤波器平滑力度越大。此时引导滤波按照透射率的区域相关性,利用t与tmin及其临近像素点的加权值,对该点透射率共同修正。透射率可靠性较高的像素点,正则项系数较小,平滑力度减小,尽量保持原值输出,实现透射率中不可靠点的修正。图4为透射率修正图像,透射率图像是对原图中场景深度信息的映射,更强调保留边缘信息(即景深信息)而不是清晰程度,同时减少细节纹理。对比图2b可知,修正后透射率噪点数量明显减少。

(a)最小通道对应透射率图

(b)修正后透射率图

5 基于相对总变分模型的透射率二次 优化

最小通道方法能够改善雾霾线理论局部区域不连续、噪点较多的问题,但修正后透射率图中仍存在大量纹理干扰信息,如图4b中地面、树木纹理。透射率图仅反映光线传播能力,纹理等信息存在会导致局部区域透射率估计偏差,因此需要二次优化处理。然而,采用双边滤波、引导滤波等方法是按灰度变化程度设计滤波强度,透射率图内部只含有表征场景深度变化的结构信息,无法有效区分纹理信息,极大影响了透射率估计精度。因此,采用相对总变分(RTV)模型对透射率进行二次优化处理。

5.1 RTV模型

RTV能有效区分图像纹理结构,描述为

(24)

式中:前项为数据保真项,用来控制模型输入M与输出S的偏差,使S接近输入M;后项为RTV正则项,D为窗口总变分,F为窗口固有变分,正则项系数γ用来控制模型的平滑能力;R(p)为以像素p为中心的局部区域。定义水平方向x和垂直方向y窗口总变分的求解方式如下

(25)

(26)

式中:q为区域R(p)内某一像素;gp,q为高斯权重函数,根据局部相似性定义如下

(27)

式中,σ为高斯标准差,用于控制窗口尺度。

为了有效区分图像纹理与固有结构,定义x和y方向窗口固有变分F如下

(28)

(29)

分析式(25)～(29)可以发现,区域内像素梯度的方向和强度决定了窗口总变分的大小。

5.2 改进的RTV透射率优化

RTV优化透射率时存在计算复杂、区域间平滑强度恒定等问题,需要改进模型及其求解过程。对于区域内不同强度的纹理和结构信息,由于正则项输出不同,使模型平滑力度有差异,因而可以有效滤除纹理信息。然而,在区域间,无论窗口位于图像中任何位置,r为固定值会使得模型对其任意窗口内RTV的约束均相同,即对像素点同时叠加的平滑倍数均相等。根据Liu等人研究,此时模型输出存在过度平滑的可能[13]。优化透射率时需要保留较为可靠的透射率估计,而对于可靠性较低且为纹理的点需要滤除。因此,采用式(15)的可靠性函数来调整正则化系数,得到透射率优化模型

(30)

RTV涉及了求梯度运算,计算量较大。因此,考虑到透射率图像具有临近相似性,在几乎不影响图像质量的前提下,通过尺度变换,尽可能减少采样点实现加速计算。RTV优化透射率前,先将输入透射率图像压缩到原始尺寸的1/s,计算公式如下

tsubest=fsubsample(test,s)

(31)

式中:test为修正后的透射率粗估计;s为缩放系数;tsubest为下采样后的透射率估计;fsubsample为下采样函数,此时需要数据量仅为原始的1/s。

利用RTV对下采样后的透射率估计tsubest进行正则化处理,即以式(32)作为损失函数,求其输出值最小时的最优解tsmest。其中,输入为下采样后的透射率粗估计tsubest,输出为正则化后的透射率tsmest,具体表述为

(32)

将RTV正则项分解为非线性项与二次项,则优化过程可以转化为求解一组线性方程的问题,采用类似于迭代加权最小二乘法得到最优解的近似估计。最后,将正则化后的透射率tsmest上采样处理,得到最终透射率估计td,如下所示

td=fupsample(tsmest,1/s)

(33)

式中:fupsample为上采样函数;1/s为缩放系数。

6 实验结果与分析

本文方法流程如下:①根据He方法求解大气光估计;②将图像转换到以大气光估计为原点球面坐标系下,对各像素点按方位角及俯仰角进行聚类,分为若干簇,用雾霾线理论对同一簇内像素点求解透射率粗估计;③计算各像素点透射率可靠性,利用最小通道方法修正透射率粗估计;④通过RTV对修正后的透射率进行正则化处理,求解最优透射率估计;⑤根据求得的大气光及透射率估计,按照含雾图像降质模型求解复原图像。

6.1 主观评价

实验选取两组具有代表性的浓雾图像和景深突变含雾图像,如图5和图6所示,列举采用He方法[3]、Zhu方法[14]、Cai方法[4]优化后的透射率图像,以及基于雾霾线理论的透射率粗估计方法[9]和本文算法优化后的透射率图像。其中,文献[3]和文献[4]都采用了引导滤波优化方法,文献[14]采用快速引导滤波优化方法。

(a)含雾图像1

(b)文献[3]方法优化后

(c)文献[14]方法优化后

(d)文献[4]方法优化后

(e)文献[9]方法优化后

(f)本文二次优化法优化后

从优化后透射率图可以看出,这类基于边缘保持滤波器的方法能够保持景深突变的边缘,但保留了大量纹理无关信息。如图5中树木及地面纹理,图6中墙面、窗户及草丛等物体表面纹理。这些纹理信息使局部区域内透射率估计产生偏差。与对照算法相比,二次优化后透射率图像不仅去除了透射率粗估计中存在的噪点等不可靠点,在景深变化处保持了场景深度的变化情况,还较好抑制了透射率图像中纹理等无关信息,因此求解的透射率更加准确。

透射率图像直接评估去雾效果比较抽象,为了更加直观对比不同算法去雾性能,

按照上面求解的

(a)含雾图像2

(b)文献[3]方法优化后

(c)文献[14]方法优化后

(d)文献[4]方法优化后

(e)文献[9]方法优化后

(f)本文二次优化法优化后

透射率,将本文算法与文献[3-4,9,14]进行去雾效果对比,复原图像如图7～图10所示。图7为浓雾树木图像,可见复原图像中树木的数量,能直观反映图像能见度的大小。其中:文献[4,14]和雾霾线透射率粗估计方法复原效果相似,图中远景能够辨识的树木数量部分增加,但树木清晰度不高;文献[14]复原图像的色彩饱和度较高,但图像亮度过暗。本文算法的复原图像远景能够分辨树木的数量明显增加,远景地面也更清晰。

(a)含雾图像1

(b)文献[3]方法

c)文献[14]方法

(d)文献[4]方法

(e)文献[9]方法

(f)本文二次优化方法

图8为景深突变的含雾图像,由图可见近景树木与远景墙面构成景深突变区域,能够评估算法在景深突变区域的复原效果。其中:树木及墙面色彩可以评估色彩还原能力;文献[3]及[14]复原效果接近,远景墙面清晰度有部分提升,但文献[3]在树木与墙面交界处出现光晕效应,影响视觉效果;文献[4]和文献[9]复原图像的雾霾浓度依然较高,墙面色彩饱和度及清晰度较低;本文算法复原图像有效避免景深突变区域存在光晕的问题,同时近景植物及远景墙面色彩饱和度及清晰度较高。

(a)含雾图像2

(b)文献[3]方法

(c)文献[14]方法

(d)文献[4]方法

(e)文献[9]方法

(f)本文方法

图9为低光照强度农田图像,雾霾浓度较大,文献[3-4]的复原图像仍有薄雾,地面植物清晰度不高。文献[14]复原图像中地面植物色彩鲜艳,但亮度过低导致图像清晰度下降。粗估计复原图像亮度接近原始场景,但色彩饱和度较低,影响视觉效果。而本文算法复原图像亮度与原始场景相近,近景地面植物色彩更加鲜艳,远景区域清晰度更高。

图10为景深突变的浓雾图像,远景区域包含了大量近似白色的建筑物,且雾霾浓度较高。此时,对照算法得到的复原图像近景树叶清晰度及色彩饱和度有部分提升,但远景建筑物及道路清晰度依然较低。本文算法的复原图像中远景房屋轮廓及纹理更加清晰,同时色彩饱和度也有一定程度提升。

(a)含雾图像3

(b)文献[3]方法

(c)文献[14]方法

(d)文献[4]方法

(e)文献[9]方法

(f)本文方法

(a)含雾图像4

(b)文献[3]方法

(c)文献[14]方法

(d)文献[4]方法

(e)文献[9]方法

(f)本文方法

6.2 客观评价

采用雾霾感知密度[16]、平均梯度[17-18]、信息熵[19]及模糊系数[20]等图像去雾客观评价指标对复原质量进行评价,结果如表1和表2所示。可以看出,除个别指标外,本文算法得到复原图像的雾霾浓度、平均梯度、信息熵及模糊系数优于对照算法。只有图9的信息熵指标,本文算法比文献[3]和粗估计算法指标略低,但结合前文主观评价,文献[3-4]的复原图像仍有薄雾,去雾不彻底,地面植物清晰度低。文献[14]复原图像中由于地面植物亮度过低导致图像清晰度下降。而粗估计复原图像色彩饱和度较低,影响图像视觉效果。由此看来,本文算法优势明显。这是由于采用了基于非局部信息的雾霾线理论,避免了局部先验理论过度依赖局部信息而导致透射率估计容易产生偏差的缺陷。同时,基于最小通道图的透射率修正方法和基于RTV的透射率优化方法,能够有效改善原始透射估计中存在噪点等不可靠点和大量纹理的问题,并且为透射率估计过程引入了局部相关性,有效提高了透射率求解精度。因此,结合主观及客观评价结果可以看出,本文提出的雾霾线求解透射率的二次优化方法,能够有效改善复原图像能见度与色彩饱和度,提升图像质量。

表1 雾霾感知密度和平均梯度的客观评价

表2 信息熵和模糊系数的客观评价

7 结 论

本文分析了局部先验理论的缺陷,提出了一种雾霾线求解透射率的二次优化方法。为验证有效性,分别与主流方法进行实验对比并采用主、客观评价指标分析。实验结果表明,本文算法能够有效改善含雾图像能见度,提高图像质量,同时避免局部先验理论过度依赖局部像素,导致浓雾区域能见度提升不显著、去雾不均匀等问题。