李武劲 彭怡书 欧先锋 吴健辉 郭龙源 晏鹏程 张一鸣 黄锋
摘要:根据大气散射模型,提出一种基于Retinex理论的单幅雾霾图像清晰化算法。该算法首先将降质图像转换至hsv色彩空间,然后针对亮度通道调整大气散射模型表达式,使用基于双边滤波的Retinex算法提高图像对比度,并进行图像饱和度的指数调整,最后组合各通道处理结果获得清晰化图像。实验结果表明该方法能增强雾天图像对比度,达到图像去雾的目的。
关键词:雾霾; 大气散射模型;圖像增强;Retinex理论
中图分类号:TP391 文献标志码:A
文章编号:2095-5383(2019)02-0005-04
Abstract: Based on the atmospheric scattering model,a method for color image defoggingbased on Retinex theory was presented.Firstly,the degraded image was converted into the hsv color space,the expression of the scattering model was adjusted for the luminance channel,and the image contrast was improved using Retinex algorithm based on bilateral filtering,and then an index adjustment of the image saturation was performed.Finally,the processing results of each channel were combined to obtain a clear image.The experimental results show that the method can enhance the contrast of foggy images and achieve the purpose of image defogging.
Keywords:fog; atmospheric scattering model; image enhancement; Retinex theory
雾天时,弥漫在空中的雾气使得景物的能见度大幅降低,图像中蕴含的许多特征都被覆盖或模糊。图像退化程度跟图像景物到摄像头的距离相关,距离越远,退化越严重。除了一些特殊图像(如某些航拍图)外,这种退化在空间上是不均匀的。
图像去雾算法主要经历了3个研究阶段:1)传统图像增强方法,比如直方图处理[1]、小波方法[2]、Retinex[3-4]和曲波变换[5]等。由于雾天退化图像的空间不均匀,这类方法效果有限。2)基于物理模型的多图像(或多数据源)复原方法。通过多图像(或多数据源)得到图像深度信息后利用物理模型达到复原的目的。Narasimhna等人提出了多种提取场景深度信息的方法,有些需要用到不同天气状态下相同景物的图像[6],有些利用偏振光的方法[7]。基于大气散射模型的方法能够在雾天图像增强上达到较好的效果,但要求多图像(或多数据源),因此在实际应用上具有一定的局限性。3)基于物理模型的单幅图像复原方法[8-13]。由于考虑了雾天成像的物理模型和仅使用单幅图像,这类方法是近年来研究的热点和难点,也取得了很大的进展。相对于雾天图像,Tan[8]发现无雾图像的对比度更高,因此他提出了基于局部对比度最大化的单幅图像去雾算法; Fattal[9]假设光照传输和物体阴影是不相关进而估计场景的反射率;He[10]通过大量实验发现暗通道先验,提出一种简单有效的算法,获得很好的效果。
然而目前的恢复算法都着重于透光率的估计,缺乏对后期恢复算法的研究。而透光率的估计是一个欠定问题,现有算法无法完全准确估计,获取的往往是物体间的相对距离关系;同时,在降质严重区域,信号强度弱,信噪比低,直接套用物理模型会放大噪声;设定阈值防止噪声放大,会抑制弱信号的增强效果。
针对上述图像恢复存在的问题,考虑到图像去雾目的是提高图像的对比度。因此,本文将提出一种基于物理模型和Retinex理论的单幅雾天图像增强算法。相对于图像恢复算法,本文算法通过图像增强算法提高图像对比度,避免了透光率的准确估计问题。
1 大气散射模型
1.1 大气散射模型
其中:等式右边第一项是物体反射回来的亮度;第二项是大气光产生的亮度;场景点对应的图像点的亮度E为它们的和。其中:x表示空间位置,I∞表示天空环境光,认为为一个常量,ρ∈[0,1]表示场景点的反射率,β是大气的散射系数,d是场景点的深度。在大气模型中假设散射系数对所有波长都是相同的。从以上模型中可以看到,将大气光产生的亮度从场景点对应的亮度中去除,即达到了天气退化图像增强的目的,而其中最重要的是获得场景的深度或βd。之前的方法主要有以下几种,一是通过雷达等直接取得场景点的深度,二是通过获取多幅同一位置不同天气状况下的图像[6],三是利用偏振光的方法[7]。
1.2 Retinex理论
1977年Edwin Land[14]首次提出了一种被称为Retinex的色彩理论。Retinex理论主要包含了两个方面的内容:物体的颜色是由物体对光线的反射能力和光照强度决定的;物体的色彩不受光照非均性的影响,具有一致性。
2019年第2期李武劲,等:基于大气散射模型和Retinex理论的雾霾图像清晰化算法
其中:L为入射到物体的总能量,Retinex假设L缓慢变化的;R为物体的反射系数。Retinex算法就是将一副图像分解为反射图像R和照度图像L,得到的反射图像R即可消除照度不均的影响。
基于中心/包围(center/surround) 形式的Retinex算法[1-16]应用最为广泛。其数学描述为:
其中:(x,y)为当前像素在图像中的位置;Ii(x,y)为当前像素在第i个通道中的原始亮度值;F(x,y)为包围函数;Ri(x,y)为当前像素在第i个通道中的Retinex 输出值;表示卷积。
本文对大气物理模型公式进行变换,运用Retinex原理实现图像去雾算法。
2 本文提出的雾霾图像增强算法
2.1 基本流程
为了减少图像增强中的参数和处理方便,改写原模型的数学表达式为:
注意到,式(4)跟Retinex理论模型具有相同的形式。且A仅跟雾的浓度和物体距离相关,在等距离物体上变化缓慢,因此假设A为光照强度,引入Retinex理论,达到图像去雾的目的。
图2是本文使用方法的基本流程图。首先,将原RGB彩色空间转换到HSV空间,对亮度分量L和饱和度分量进行Retinex算法增强和指数调整,最后将处理后的结果转换回RGB空间,获得处理后的结果。其中,为了避免滤波前出现负数,取图像最大值作为天空大气光I∞的估计值。
2.2 基于双边滤波的Retinex算法
基于中心/包围(center/surround) 形式的Retinex算法(如SSR)中,往往由于包围函数(如高斯函数)在平滑图像的同时,会模糊图像的边缘,从而造成Halo效应。
为避免此情况,采用双边滤波函数作为包围函数,模板大小为15×15。
其中:c(ξ,x)和s(f(ξ),f(x))分别表示空间和亮度值之间的距离函数,采用常用的高斯函数。
2.3 图像饱和度增强
另外,由于雾较浓或场景点很远,会造成图像饱和度很低,需要进行增强。为了保证增强后的图像色彩更加分明,对饱和度分量进行了非线性指数调整以扩大色彩变化的动态范围、增强其对比度。指数拉伸的数学模型为:
其中:α为拉伸因子,决定拉伸程度。
3 实验仿真与分析
3.1 实验条件
为了验证本文增强算法的有效性,本文使用MATLAB作为实验工具软件,分别用多幅从网络获得的雾天图像做实验,并与文献[10]中基于暗通道先验的方法作为对比。
3.2 实验结果
为了比较不同算法的效果,本文采用均方差比较图像细节,用对比改善系数比较图像的对比度改善程度。对比度改善系数的定义为:
其中:Coriginal和Cprocessed分別为处理前后对比度均值。
图3~5分别为不同场景下雾天图像的处理结果,表1为量化对比结果。实验结果表明,本文提出的算法在均方差和对比改善系数均优于暗通道先验方法的效果。均方差方面,本文方法较有雾图像和较暗通道优先方法平均提高9.66和1.15;对比度改善系数方面,本文方法较有雾图像和较暗通道优先方法平均提高1.60和0.04。
由图3~5可以看到,有雾图像中物体被雾气覆盖,不能很好分辨远处物体。暗通道优先方法处理结果有比较明显的去雾效果,然而图像对于较远处目标如上方区域处理效果一般,这是由于该方法限制恢复强度造成弱信号恢复受到抑制。本文提出的算法结果能有效平衡远景物体和近景物体的增强强度,提升整幅图像对比度,获得很好的去雾效果。
4 结语
本文提出了一种形式简单的基于物理模型和Retinex理论的单幅图像去雾算法。实验表明,本算法能有效提高雾天图像对比度,达到了图像去雾的目的。
但本算法采用双边滤波处理,算法速度较慢,达不到实时处理的要求,需要在以后工作中改进。
参考文献:
[1]STARK J A.Adaptive image contrast enhancement using generalizations of histogram equalization[J].IEEE Transactions on Image Processing,2000,9(5):889-896.
[2] RUSSO F.An image enhancement technique combining sharpening and noise reduction[J].IEEE Transactions on Instrumentation and Measurement,2002,51(4):824-828.
[3] 刘海波,杨杰,吴正平,等.基于暗通道先验和Retinex理论的快速单幅图像去雾方法[J].自动化学报,2015,41(7): 1264-1273.
[4] 马忠丽,文杰.融合边缘信息的单尺度Retinex海雾去除算法[J].计算机辅助设计与图形学学报,2015,27(2):217-225.
[5] PARLEWAR P.Image enhancement by curvelet,ridgelet,and wavelettransform[C]// International Conference on Digital Image Processing,2010.
[6] NARASIMHAN S G,NAYAR S K.Chromatic framework for vision in bad weather[C]// IEEE Conference on Computer Vision & Pattern Recognition,2002.
[7] SCHECHNER Y Y,NARASIMHAN S G,NAYAR S K.Polarization-based vision through haze[J].Appl Opt,2003,42(3):511-525.
[8] TAN R T,PETTERSSON N,PETERSSON L.
[IEEE 2007 IEEE intelligent vehicles symposium-Istanbul,Turkey (2007.06.13-2007.06.15)] 2007 IEEE intelligent vehicles symposium-visibility enhancement for roads with foggy or hazy scenes[J].2007:19-24.
[9] FATTAL R.Single image dehazing[J].Acm Transactions on Graphics,2008,27(3):1-9.
[10] HE K,JIAN S,TANG X.Single image haze removal using dark channel prior[C]// IEEE Conference on Computer Vision & Pattern Recognition,2009.
[11] 南棟,毕笃彦,马时平,等.基于景深约束的单幅雾天图像去雾算法[J].电子学报,2015,43(3): 500-504.
[12] 刘杰平,黄炳坤,韦岗.一种快速的单幅图像去雾算法[J].电子学报,2017(8):1896-1901.
[13] 肖进胜,高威,邹白昱,等.基于天空约束暗通道先验的图像去雾[J].电子学报,2017,45(2): 346-352.
[14] LAND,EDWIN H.The Retinex theory of color vision[J].Scientific American,1977,237(6):108-128.
[15]JOBSON D J,RAHMAN Z,WOODELL G A.Properties and performance of a center/surround Retinex[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,1997,6(3):451-462.
[16] LAND E H.An alternative technique for the computation of the designator in the Retinex theory of color vision[J].Proceedings of the National Academy of Sciences,1986,83(10):3078-3080.