基于暗原色先验去雾算法的研究与改进

聂 宁, 吴四九, 朱 明, 程卫东

(1.成都信息工程学院电子工程学院,四川成都610225;2.成都信息工程学院信息中心,四川成都610225;3.成都信息工程学院控制工程学院,四川成都610225)

0 引言

近些年雾霾天气给人们生产生活带来了很大影响,在雾天户外作业时,由于空气折射散射等因素的影响,采集到的图像质量降低,一般很模糊,使得后续工作很难进行。这给户外监测、视频监控、目标跟踪、图像处理等方面带来了很大困难。因此对雾天图像进行去雾处理成为近些年的研究热点。

近年来国内外许多专家学者在图像去雾方面都做了大量研究。国外对图像去雾方面研究比较早,早期的许多去雾方法都是对同一场景进行长年观测[1-5],得到多幅图像,通过这些图像对比,得到该区域的景深,能见度等参数,利用这些参数进行去雾,这种方法主要用于理论研究,在生产生活方面利用还不是很广泛。近几年主要是针对单一图像进行去雾分析[6-7],只有图像本身信息,主要方法是利用增强图像对比度来去雾,真正利用雾霾成因和大气散射物理模型的不多,进展也不大。文献[8]是用直方图均衡化来处理雾天图像,将图像所在区域的灰度进行非线性拉伸,通过均衡图像像素来抑制雾霾影响。文献[9]是对直方图均衡化进行改进,通过局部部分区域进行有目地直方图增强,可以改善部分图像区域,但是需要人工参与区域的选取。文献[10]利用晴天对比度较雾天高的先验,提出通过增强图像的局部对比度来进行去雾,这种方法在薄雾情况下效果很好,图像的细节和结构能较好的恢复,但图像有时候会因为不连续而出现许多空的块。文献[11]是利用大气调制转移函数估计大气对图像影响并且得到图像的景深,通过得到图像距离,对衰减的雾天图像进行有目地的补偿以达到去雾目的。文献[12]则是通过对物体散射和辐射等方面的具体研究得到物体的反射率,再结合环境光影响得到景深等参数恢复图像,但是其应用条件有限。文献[13-14]是基于同态滤波进行去雾,将雾天环境影响分为照射分量和反射分量,通过对其进行对数运算,滤波去雾,在实际过程中还是不能很好的区分照射分量和反射分量。何凯明等人提出基于暗原色先验去雾方法[15],通过对大量有雾图像进行分析,得出所有有雾图像都存在暗原色区域,通过对该区域分析可以估计环境光和大气光,从而恢复出原图像,但其运算速度太慢,不能对图像进行实时性处理。文献[16-17]分别是将暗原色先验去雾算法用于航拍和遥感去雾图像处理。论文将介绍暗原色先验去雾算法并加以改进。

1 雾天条件下的图像增强

1.1 大气散射物理模型

何凯明[15]的暗原色先验去雾方法是基于文献[18]的大气物理散射模型(如图1、图2所示)进行的,该模型在计算机视觉和计算机图形中被广泛使用。

图1 衰减模型

图2 环境光模型

根据衰减模型和环境光模型可以得到:

I(x)指平时拍摄到的有雾图像,J(x)为要恢复的无雾图像,A(x)环境光成分,t(x)是透射率,图像去雾就是通过估算环境光A(x),透射率t(x),求出无雾图像J(x)。方程中的第一项J(x)t(x)为衰减模型,第二项A(x)(1-t(x))是环境光模型。

1.2 暗原色先验

何凯明通过对500多幅无雾图像进行观察实验对比得到:大多数无雾图像在其(R,G,B)3个通道至少有一个颜色通道具有像素值很低的区域,也就是说,区域光的强度值是一个很小的数,对于图像J,定义为:

Jc是J的颜色通道,Ω(x)是暗原色区域,研究表明,图像的暗原色区域强度接近为0。J代表无雾图像,Jdark是无雾图像J的暗原色,将以上图像颜色通道存在低像素的规律统称为暗原色先验。

1.3 暗原色去雾算法

因为任何图像都要受到周围环境影响,其大气光A不可能为0,并且同一区域的透射率基本相同,对(1)式两边同时取最小值,可得:

对R,G,B三通道进行最小值运算,可得:

又因为无雾图像的暗原色趋近于0,即:

又因为Ac总为正数,故得出

将(6)式代入(4)式中,可得到透射率和t:

在去雾过程中,完全去雾会使图像看起来不是很真实,而且会失去深度感,因此在(7)式中引入一个常数 ω(0＜ω＜1),保留部分远处的雾,(7)式变为:

通过(8)式可以得到折射率的基本估算方法,但它并不是很精确,何凯明在其文献中用了软抠图来求图像的透射率分布函数t(x),通过解方程可得到透射率t。

λ为引入的参数,L是拉普拉斯描图矩阵,算出透射率t(x)以后,只要再估算出大气光A的值,将透射率和A值代入(1)式中就可恢复出J(x):

大气光A的估计方法:在原图像中,将各像素点亮度递减排列,取前0.1%的点所在位置处的最大值做为A值。

2 常见的各种去雾效果比较

基于物理模型和非物理模型在去雾思路上大为不同,非物理模型本质上是增强图像的对比度和对图像的颜色进行较正,它并没有针对雾天图像的形成机理进行有效补偿,去雾效果有限。后者是基于大气物理散射的规律建立图像还原模型,但要知道大气光和环境光,场景深度、空气折射率等参数[19]。

图3 图像大小为320*240的去雾比较

图4 图像大小为640*480的去雾比较

图5 图像大小为800*600的去雾比较

通过上面3组实验图片对比可以看到直方图均衡化方法对于薄雾天气下的图像恢复还是不错的,如图5(b)所示,细节等方面也比较接近现实,但是在浓雾条件下,图像大部分显示为灰色,使得原始有用信号对比度降低,而且用直方图均衡化时,灰度拉伸到整个图像区间,图3(b)中,图像经过处理以后出现了明显的饱和失真,于是寻找更好的滤波方法。同态滤波方法对于薄雾图像恢复也可以,图像中有雾部分变化比较缓慢,可以看成是图像的低频部分,通过降低低频成分,增强高频成分可以达到到去雾效果。但是浓雾条件下它的效果很差,许多情况下图像过于饱和,有些区域会出现图像失真,如图5(c)。通过对上面3组图像的对比,可以看出暗原色先验去雾后的图像色彩较为真实,细节更为丰富,整体上来说比较令人满意。

文献[15]通过对图像进行分析,发现了暗原色这一规律,在实际过程中用暗原色先验去雾时发现,该方法最大的问题在于对透射率t的计算并优化。在计算图像的暗原色区域时需要对图像的每一个像素点进行比较,该方法比较耗时。具体实验过程中,通过对每个相素对比得到暗原色区域,运算量较大,文中将对暗原色先验算法进行改进,结合小波分解去除低频方法进行快速去雾。

3 暗原色先验算法改进

由式(1)可以得到:

其中式子左边I(x)是输入的有雾图像,即平时所观察到的图像,式子右边第一项J(x)t(x)为图像衰减模型,第二项A(x)(1-t(x))为环境光模型;

将(11)式中的环境光设为V(x),即:

(11)式改写为:

如果能估算出环境光V(x)和大气光A,则我们可以得到复原图像:

何凯明[15]认为无雾图像的暗原色区域所在的某一个色彩通道的像素值近似为0,因为有雾的影响,这一部分区域所在的某一个色彩通道为0的像素值被雾霾值所替代。

雾霾会在图像中表现出一定的特性:色彩过渡趋于平缓,像素值变化不大,而且在频率上属于图像的低频部分。因此如果将雾天图像分为雾霾图像和目标原图像两部分,其雾霾图像在频域上的分布状况应是集中分布在极低的低频域区,而目标原图像应是较为均衡的分布在相对较高的频域区上。因此可以将雾近似看成图像的低频,而将要恢复的目标区域看成图像的高频,这样通过抑制低频,放大高频,就可以去除雾霾的影响。

对有雾图像来说,有雾部分色调变化比较平缓,纹理结构比较简单,可以将雾影响部分看成图像低频部分,为很好的得到雾影响部分区域,可以对图像进行小波变换,图像经过小波变换后,可通过在分解的低频图像上,识别出雾区域,即环境光V(X)。下面将采用Mallat算法[20]进行小波分解,并将其原理表述如下:

定义3个“二维小波”如式(15)所示,其中v2j(j∈Z)是L2(R2)的可分离多分辨分析,并且令 φ(x,y)=φ(x)φ(y)是对应二维尺度函数,而 φ(x)是与尺度函数对应的一维标准正交小波。

则:

分别是L2(R2)内的标准正交基。设f=f(x,y)∈v2j为待分析图像信号,其二维逼近图像为:

根据小波函数和尺度变换正交性,由(15)、(16)、(17)式可得:

引入矩阵算子,二维Mallat分解算法为:

二维Mallat小波分解算法结构框图如图6所示,从图中可以看出,小波变换就是把图像信号分解成多个低频子带分量,并且每一层小波分解都将上一层图像分解成4个子带图像,即,低频信息子图(亮度分量图像)和3幅高频子图(水平边缘、垂直边缘和对角线边缘子图)。这样逐级分解就会形成塔形分解结构。图7是图像三级小波分解示意图。通过该金字塔结构能很好地将表示图像内容的低频信息与表示图像细节的高频信息分离出。因此,小波变换能用不同的方法,并且在不同的尺度上增强不同频率范围内图像的细节分量。

图6 二维Mallat小波分解算法示意图

图7 图像三级小波分解示意图

在图像的各层分解子图中,低频子图具有最大的均值、方差和一阶熵。图像的方差越大,说明子图含有的信息越多,反之,子图含有的信息越少。图像的信息主要集中在低频子图中,随着频率的升高,它所包含的能量越小,这也说明小波系数的能量集中程度较好,通过多次分解可使低频包含雾霾和少量图像信息,对其余图像信息进行增强。图8是小波分解结合暗原色先验与原算法的效果对比。

暗原色先验去雾与文中所用方法效果对比:

图8 图像大小为320*240的去雾比较

图9 图像大小为640*480的去雾比较

图10 图像大小为800*600的去雾比较

在实验中分别将3组图在操作系统为Windows XP,CPU为酷睿2双核3.30GHZ,内存8GB RAM的PC上进行测试。

所用时间如表1所示。

表1 算法处理时间对比(单位:s)

从表1可以看出,利用小波变换的多分辨率分解可以有效区分图像的低频和高频部分,将图像中含雾的低频分离出来,得到图像的高频透射区域图像,对图像低频进行滤波的同时,对图像高频透射区域进行增强。基于小波分解的暗原色先验去雾算法比文献[15]去雾效果更好更明显,图像细节更加丰富,色彩更加真实,并且在图片的清晰度和运算速度有了很大的改进。

4 结束语

文中算法的主要优点是在速度快、方法简单的条件下取得了较好的去雾效果。但是算法本身也存在一定的不足,如在估计环境光时的精确度偏低以及对浓雾情况下恢复的图像效果欠妥,小波分解所采用的层数过多过少都会影响后期去雾效果,今后将进一步改进算法,以寻找更有效更适合的模型和参数使其效果更好。

[1] Narasimhan S G,Nayar S K.Vision and atmosphere[J].International Journal of Computer vision 2002,48(3):233-254.

[2] Narasimhan S G,Nayar S K.Contrast restoration of weather degraded images[J].Pattern Anal Mach Intell.2003,25(6):713-724.

[3] Narasimhan S G,Nayar S K.Interactive weathering of image using physical model[EB/OL].Http://www.cs.columbia.edu.

[4] Narasimhan S G,Nayar S K .Vision in bad weather in Proceedings of the 7th International Conference on Computer Vision,1999:128-134.

[5] Narasimhan S G,Nayar S K Chromatic Framework for Vision in Bad Weather[J].In Proceedings of the IEEE Coference on Computer Vision and Pattern Recognition 2000:235-240.

[6] 王勇,单幅雾天降质图像复原方法研究[D].合肥工业大学,2010:66-69.

[7] 祝培,朱虹,钱学明,等.一种有雾天气图像景物影像的清晰化方法[J].中国图像图形学报,2004,9(1):126-130.

[8] Oakly J P,Satherley B L.Improving image quality in poor visibility condition using a physical model for contrast degradation[J].IEEE Transactions On Image Processing,1998,7(2):167-179.

[9] Joung-Youn Kim,lee-Sup Kim,Seung-Ho Hwang.An advanced Contrast Enhancement using patrially overlapped Sub-Block Histogram Equalization[J].IEEE Transactions on Circuits and systems for Video Technology,2001,11(4):475-484.

[10] R.Tan.Visibility in bad weather from a single image[C].In IEEE Conference on Computer Vision and Pattern Recognition.CVPR,2008.

[11] Fatttal R.Single image dehazing[J].ACM transactions on Graphics,SIGGRAPH,2008,3(27):1-9.

[12] Schechner Y Y,Narasimhan S G,Nayar S K.Instant Dehazing of Images Using Polarization[J].Proc of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Kauai USA,2001,1:325-332.

[13] 陈功,王唐,周荷琴.基于物理模型的雾天图像复原新方法[J].中国图象图形学报,2008,13(5):888-893.

[14] Yang Wei,Xiao Zhi Tao,Wang Qing Jie,et al.A Method for Improving the Definition of Scene in Fog Image[C].Proc of International Conference on Computational Intelligence and Software Engineering.IEEE,2009.

[15] He kai ming,Sun Jian,Tang xiao ou.Single image haze removal using dark charnel erprior[C].proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR).miami,FL,USA:IEEE Computer Society,2009;1956-1963.

[16] 嵇晓强,戴明,尹传历,等.航拍降质图像去雾处理技术[J].光学精密工程,2011,19(7):1660-1668.

[17] 王时震,万惠琼.应用暗原色先验规律的遥感影像去雾技术[J].测绘科学技术学报,2011,28(3):183-189.

[18] Mc Cartney E J.Optics of Atmosphere:scattering by Molecules and Particles[M].New York:John Wiley and Sons,1976:23-32.

[19] 桑梓勤,丁明跃,张天序,雨雾天气下的户外场景成像[J].电子学报,2000,28(3):131-133.

[20] Mallat S.A theory for multiresolution signal decomposition:The wavelet representation[J].IEEE Trans,PAMI,1989,11(7):674-693.