吴永盛,卿粼波,熊淑华,吴晓红
(四川大学电子信息学院,成都 610065)
基于暗原色先验的高空定点图像去雾算法
吴永盛,卿粼波,熊淑华,吴晓红
(四川大学电子信息学院,成都 610065)
室外高空定点监控系统、卫星遥感系统、无人机航拍系统等以其实时获取图像数据的优势,在工业中获得越来越广泛的应用。然而在雾霾气候下,这类系统拍摄的图像,由于大气光的散射作用,图像整体呈灰白色,清晰度降低,物体特征被掩盖难以辨认,影响图像后期的处理。针对这一问题,总结高空定点图像的主要特点,改进一种基于暗原色先验的高空定点图像去雾算法,该算法通过分割思想,将图像分为天空与非天空部分,并对这两个部分采用不同的去雾方案。实验结果显示,相对于原算法,改进算法在天空区域平滑过渡,整体去雾效果清晰自然,去雾图像经客观质量评价较原算法有明显提升。
高空定点图像;暗原色先验;去雾;天空区域
室外高空定点监控系统、航拍等技术以其实时监控、方便快捷等特点,在工业中得到广泛的应用。然而,在使用过程中有些地区因气候因素常出现大雾天气,此时拍摄的图像清晰度差、色彩失真、图像信息被隐藏,极大地增加了后期图像处理的难度。所以对高空定点图像去雾的分析并提出解决方案具有重要的实际应用价值。
去雾是一个极具挑战性的问题,目前国内外研究依据是否建立大气散射模型分为两类:一种是基于非物理模型,另一种是基于物理模型。基于非物理模型的去雾算法重点在于,通过提升对比度[1]将雾天图像中的特征信息表现出来。通常有双边滤波、直方图均衡化以及Retinex算法[2]等三种方法,相对来说这类算法中的系数对结果的影响比较大,不同的系数会造成局部图像偏白或偏黑,且会丢失一部分图像信息。另一种基于物理模型的算法是景物经过大气光的散射作用,透射率的比例叠加到景物最终形成的雾图。此类算法通过逆推成像过程,改善了第一类算法的缺点,恢复得到的图像清晰自然,不会丢失图像信息量。Tarel[3]在一幅图中基于大气耗散函数寻找最大值,经过颜色调整后获得去雾的图像,但该算法在景深变化很大的区域易产生色彩失真与方块效应。Fattal[4]是建立在统计学基础上的去雾算法,通过单独估计透射率,获得较好的去雾效果,但该方法要求图像颜色信息高和差异性大。He等人[5]统计过大量室外的无雾图像之后,得出暗原色先验假设,这种算法对满足假设的单幅图像去雾效果优良。然而这个假设并不能针对含有天空等远景的图像,该算法的有效性主要是建立在暗原色先验的基础之上,去雾图像中远景区域呈现色彩失真[6]。通过分析上述问题,提出了一种针对于暗原色先验的高空定点图像的去雾算法。
在计算机视觉中,公式(1)所表述的是雾天图像形成模型:
式(1)中,I表示原始图,J表示恢复得到的去雾图像,A表示全球大气光值,t则表示透射率。多项式中J(x)A(x)叫做直接衰减项,A(1-t(x))则是大气光照成分。J(x)A(x)讲述了物体光通过大气介质衰减之后得到的,由光的散射造成的大气光成分,可能会造成图像物体的色彩失真。采用此算法就是把模型中原始图I恢复后得到去雾图像J。
He等[5]通过分析批量的室外无雾图像得出结论,先验法则认为:无雾的室外图像中的大部分非天空局部块中,RGB分量中接近于0的通道亮度值最少有一种。也就是说在这样的小块区域中最小的亮度值接近于0。通过公式表示上述法则,定义暗通道的概念。对于给定的一幅图像J,得到其暗通道图Jdark:
式(2)中,Jc表示图像J的某一RGB通道,Ω(x)表示以像素点x为中点的局部像素块。一幅暗通道图是两次最小操作的结果:对每一像素执行mincϵ{r,g,b}操作,而minyϵΩ(x)是一个最小滤波器,这两个最小值操作是可以互换的。
依据暗原色先验法则可知,J是一幅不含雾的室外图像,那么除去天空后的暗通道图的亮度值很小甚至是近似为0:
式(3)表示的统计结论为暗原色先验原理。
根据(2)可以得到透射率预估计值t͂(x):
前面假设已经知道大气光值A,实际上可以通过Jdark在原图中获得该值。首先选取Jdark中亮度值最大的前0.1%像素,通常位于雾的浓度非常稠密的区域。
通过所选取的像素,探索它们在原图I中的亮度值,并把最大亮度像素点的值设为大气光值A。
结合大气光值A和透射率图t(x),依据公式(5)能够获得去雾图像。但是当透射率t(x)接近于0时,直接衰减项J(x)t(x)会非常接近于0,直接恢复得到无雾图像J可能引入噪声。因此,通过最低值t0来对透射率t(x)进行限定,对雾霾稠密的部分保存少量的雾[6]。
高空定点图像和一般景物图像相比拥有它的特点:①飞行器是从空中向下拍摄取景,当水平方向慢慢旋转垂直方向向下时,拍摄取景框中各物体受雾霾影响大致相同;②对于建筑类图像中有大面积白色建筑物、高速道路、开发土地等;③图片一般包含大面积亮度高的天空等远景区域。这类图片若直接经过基于暗原色先验的去雾方法处理之后结果呈现色彩的失真,天空部分常常呈现分块现象和纹理。如图1所示:去雾之后天空部分的色彩偏离原图像比较严重。
图1 暗原色去雾算法结果
若原图满足暗原色先验基础下,He的算法[5]取得良好的效果。然而当图片中有天空区域,计算得到的大气光值存在偏差,使得去雾图像呈现不同程度的色彩偏移。其原因从计算大气光值A出发,是将暗通道图像中亮度最大0.1%的像素,放到原图像中最大亮度像素作为A值,那么A基本就是原图中明亮的区域。在求取t͂(x)时,当A和I的值相近,t͂(x)的值就越小。由于天空区域与A相近,天空区域的t͂(x)会趋于很小的值,因此天空区域不满足暗原色先验条件,这样对天空区域t͂(x)的计算是不准确的[6]。
事实上,在天空没有雾的情况下,像素值很大没有接近于0暗原色点[7],所以暗原色先验对于天空部分是不成立的。在此基础上,扩展原有算法,增强算法的适应性。
在估计透射率时应该采用不同的策略,增强非天空区域对比度,适当减少天空区域的增强比例。首先将一幅雾图像分为天空和非天空部分,在天空部分估计大气光值A之后分别计算两个部分的t͂(x),最后恢复J(x)得到无雾图像[8]。算法具体步骤如下:
(1)对原图像I转换为灰度图Igray(x);
(2)对灰度图像进行Sobel检测获得梯度信息图G(x);
(3)对梯度信息图G(x)进行滤波和去噪;
(4)根据亮度阈值和梯度阈值对梯度信息图G(x)进行二值化,得到天空候选图Gsky(x):
式中,θ表示亮度和τ表示梯度阈值。
(5)对Gsky(x)进行边缘跟踪,当连通部分内像素点个数大于整幅图像素点5%就把它视为天空,剩余部分视为非天空,最终获得分割后的图像Gfinal(x)。
(6)为实现天空区域平滑过渡到非天空区域,对分开后的图高斯羽化。
如果图像中没有天空区域,则按原算法计算;如果图像中含有天空,取天空部分的暗通道图中亮度在前0.1%的像素点亮度的平均值作为A值。得到大气光值A后,通过暗原色先验和天空识别Gfinal(x),计算出t͂(x),再经过导向滤波进行优化后,去雾恢复得到J(x)。
为验证本文算法的有效性,获取高空定点的图像数据作为测试集,并与暗通道原理He的算法[5]进行了去雾效果对比实验。在暗通道去雾过程中,求得初始透射率图像时按照块处理的方式窗口Ω大小为15×15,保存一定量的雾系数ω=0.95,导向滤波半径为r=60。
实验结果如图2所示,图2(a)为雾天获取的原始图像。图2(b)为将原始图像分割为二值图,天空区域为白色,非天空区域为黑色,便于后续对两个区域透射率的粗略估计。从去雾效果上看,对于非天空区域原算法和本文的算法具有较好的去雾能力,还原了近处景物的细节信息。对于天空区域原算法出现了块效应和色彩偏移,这是因为天空区域透射率估计过小,噪声和颜色范围比例增大。本文算法能较好的保留天空区域,使得天空区域平滑过渡,噪声得到抑制,图像的整体视觉得到提高。
图2 含天空区域去雾效果对比
如表1所示,从图像客观质量评价结果得出,在清晰度、对比度和信息熵方面改进算法较He的算法有所提升。
表1 图像去雾结果评价
本文针对高空定点图像的特点以及图像后期处理的需求,基于暗原色算法提出了一种适用高空定点图像的去雾算法。全面介绍了暗原色先验知识和去雾原理,重点阐述了针对天空区域暗原色先验不成立的问题,提出了将天空区域和非天空区域分割之后,分别求透射率有效的保留天空区域,最后增强恢复图像使得图像整体质量提升。实验结果得出,本方法在得到去雾效果的同时,恢复更多图像细节,方便后续的图像处理。
但是,本文算法不具备通用性,针对不同的场景需要微调梯度阈值才能得到较好的结果。其次,在浓雾下,无法消除雾对图像的影响。最后在导向滤波计算精确的透射率,无法满足实时去雾的需求,需要将原图进行下采样处理。进一步的研究包括自适应雾气浓度分割图像,算法快速实现以应对复杂、多变的室外环境。
[1]Tan R T.Visibility in Bad Weather from a Single Image[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington,D.C.,USA:IEEE Computer Society,2008:2347-2354.
[2]汪荣贵,傅剑峰,杨志学.基于暗原色先验先验模型的Retinex算法[J].电子学报,2013(6):1188-1192.
[3]Tarel J P.Fast Visibility Restoration from a Single Color or Gray Level Image[C].Proceedings of IEEE International Conference on Computer Vision.Kyoto,Japan:IEEE,2009:2012-2208.
[4]Fattal R.Single Image Dehazing[A].In SIGGRAPH[C],2008:1-9.
[5]He Kaiming,Sun Jian,Tang Xiao-ou.Single Image Haze Removal Using Dark Channel Prior[A].CVPR[C].2009:1956-1963.
[6]代书博,徐伟,朴永杰,陈彦.基于暗原色先验的遥感图像去雾方法[J].光学学报,2017,37(03):0328002.
[7]李加元,胡庆武,艾明耀,严俊.结合天空识别和暗通道原理的图像去雾[J].中国图象图形学报,2015,20(4):0514-0519.][DOI:10.11834/jig.20150407.
[8]雷琴,施朝健,陈婷婷.基于天空区域分割的单幅海面图像去雾方法[J].计算机工程,2015,41(5):237-242.
Abstract:Outdoor high altitude fixed point monitoring system,satellite remote sensing system,UAV aerial system with its real-time access to image data advantages in the industry to obtain more and more widely used.However,in the haze climate under the image of such systems,the scattering of atmospheric light to reduce the image quality,the overall image was gray,reduced clarity,object features are difficult to identi⁃fy the cover,affecting the image of the latter part of the treatment.Aiming at this problem,summarizes the main characteristics of high alti⁃tude fixed point images,and improves a high altitude fixed point image defogging algorithm based on dark primary color a priori.The algo⁃rithm divides the image into sky and non-sky parts by dividing the idea.The two parts use different defogging schemes.The experimental results show that compared with the original algorithm,the improved algorithm has a smooth transition in the sky area,and the overall fog effect is clear and natural.The fog image is improved by the objective method.
Keywords:High Altitude Fixed Point Image;Dark Primary a Priori;Defogging;Sky Area
High Altitude Fixed Point Images Defogging Based on Dark Channel Prior
WU Yong-sheng,QING Lin-Bo,XIONG Shu-hua,WU Xiao-hong
(Image Information Institution,College of Electronics and Information,Sichuan University,Chengdu 610065)
1007-1423(2017)26-0067-04
10.3969/j.issn.1007-1423.2017.26.017
吴永盛(1993-),男,硕士研究生,研究方向为通信与信息系统
卿粼波(1982-),男,博士,副教授,研究方向为通信与信息系统
熊淑华(1969-),女,博士,副教授,研究方向多媒体通信与信息系统
吴晓红(1970-),女,博士,副教授,研究方向为电路与系统、实时信号分析与处理、图像处理与识别及通信
2017-06-29
2017-09-10