基于图像分割的去雾算法

李林飞，孙　鑫

(西南科技大学 信息工程学院，四川 绵阳　621000)



基于图像分割的去雾算法

李林飞，孙鑫

(西南科技大学 信息工程学院，四川 绵阳621000)

针对雾霾条件下，所得的单幅图像出现降质现象，因而对视觉效果要求高的图像进行复原具有必要性；基于图像分割的去雾算法以暗通道先验模型为基础对大气光矢量A值的求取和透射率t(x,y)的处理方法实现改进；首先对单幅图像进行阈值分割找到天空区域，在所获取的天空区域部分结合skyline算法，可以找到精确的大气光矢量A值；进而对初始透射率t(x,y)采用改进的约束最小二乘方滤波进行优化，得到优化透射率t1(x,y)，最后将所得的大气光矢量A值和优化透射率t1(x,y)利用大气光传输物理模型复原；改进算法的去雾结果具备保留细致的边缘细节，同时具有高效的去除图像噪声能力；实验结果表明，与he方法相对比，改进去雾算法的处理时间大程度缩短的同时，图像效果得到了提升。

暗通道；阈值分割；skyline；最小二乘方滤波；去噪

0　引言

近年来，许多去雾算法被提出，去雾图像的质量也在不断地提升。基于大量的户外图像分析之后，Tan[1]发现图像在雾气状态比清晰状态之下具有更高的对比度，因而Tan的主要去雾思想是对雾气图像增加尽可能大的对比度，通过这种方式能够得到较好的去雾图像效果。然而，真实场景的对比度是不能够完全复原的，对雾气图像增加的对比度会使得图像出现过饱和现象并且效果不自然；Fattal[2]则假定场景表面的阴影不会影响传输介质，由此估计得到场景反照率。该方法基于大量的统计信息并且具有好的处理效果；Kratz[3]针对单幅图像选用马尔科夫随机场，将场景反照率和景深作为两个相互独立的统计量，并且得到期望的最大值，同时能够保留尽可能多的无雾图像微小细节，但是输出图像的效果被过度增强；Jing[4]提出了一种快速去雾算法，此种方法采用快速双边滤波算法处理大气光值A。但是由于双边滤波算法的处理时间比中值滤波算法慢，因而Kratz[3]方法比采用中值滤波算法的Tarrel[5]算法处理速度慢。通过对比大量去雾算法，He[6]得到无雾图像至少有一个通道的像素值很低的结论，即暗原色先验理论，该原理适用于大多数户外图像，但是当图像中存在与天空相似的场景时则会失效。

通过对于大量国内外去雾算法的研究，He[6]方法更具优势。但是，由于He[6]方法引入了拉普拉斯矩阵，会消耗大量的处理时间。本文采用改进的He[6]方法不仅能够提升图像质量，也能够节约算法的处理时间。

1　背景

1.1大气光传输物理模型

大气光传输的物理模型[7]被广泛地应用于机器视觉以及计算机图形图像处理之中，能够采用下公式概括：

(1)

图1　环境光散射模型

式中，F(x,y)表示雾天图像在像素点(x,y)的像素值的大小；R(x,y)则表示无雾图像在(x,y)处的像素值的大小；t(x,y)表示传输介质的透射率，即被摄像头捕获到的光线的多少；A为大气光值；R(x,y)t(x,y)表示直接衰减的部分，也就是在介质中被辐射和衰减的部分。此外A(1-t(x,y))则代表光线在大气中被散射的部分。大气传输的物理模型目标是从雾气图像中获取R(x,y)，A和t(x,y)。在具有n个像素点的彩色图像F(x,y)中，含有3n个约束量以及4n+3个未知量，这些变量的存在使得去雾操作更加具有挑战性。

在均匀的介质中，透射率t(x,y)能够采用以下公式进行表述：

(2)

其中：β为大气光的散射系数，当d(x,y)为场景深度，该公式表示场景中的光线与距离之间的关系，呈指数型衰减。

1.2暗通道

在非天空区域，至少存在一个通道的像素值很低并且接近于0，下式能够表达清晰图像中随机一点的暗通道模型：

(3)

依据暗通道的定义，假定R(x,y)是一幅无雾图像并且不存在天空区域，则其暗通道值很低甚至接近于0。

(4)

该模型为暗通道先验模型，其极低的像素值主要是由这三个原因所造成的：阴影(都市高楼大厦的遮影)，彩色目标物体的表面(例如绿色的植物，红色，黄色或者蓝色的目标物体)这些物体的暗通道值均很低。

2　改进的暗通道先验算法

2.1阈值分割划分区域

阈值分割算法[9]的目的是将目标物体从背景中分割出来，进而将天空与其他景物分离，得到大气光值A。阈值分割算法的主要步骤是分割阈值的选取，先验知识可知，天空部分的像素值接近于255，因而本文选定手动设置阈值的方式用以节约处理时间。本文选择简单阈值分割算法(灰度级阈值分割算法，通过阈值的设定将图像划分为背景和目标这两个部分)。该方法首先将图像转换为灰度图像，进而依据每一级灰度出现的概率绘制直方图。设定原始图像为F(x,y)，分割图像为F1(x,y)，T为选定的阈值，基本公式能够表述为：

(5)

设定阈值为150，180以及200，如图2所示，将阈值设定为200，将天空区域S和原始雾天图像F(x,y)实现分离。大多数阈值分割方法自动设定阈值分割天空区域将花费算法的大部分处理时间，例如OTSU(大津法)，其选取阈值的方式为：

OTSU=Max[w0(t)*(u0(t)-u)^2+

(6)

图2　阈值分割

式中，t为阈值，w0为整个图像的背景所占比值；u0为背景的平均灰度值；w1整个图像中的目标物体所占的比值；u1为目标物体的平均灰度值；u为整幅图像的平均像素值。

2.2Skyline算法搜索大气光值A

采用阈值分割的方法得到雾气图像天空部分的区域S1；进而采用Skyline算法[10]搜索全球大气光值A。Skyline算法的目标是寻找最优解，本文采用Skyline算法寻找天空区域中像素的最大值，并且将该值设定为A。算法的实质是点E1控制点E2，即点E1的值在任何一个坐标维度上其值均不小于点E2，并且E1至少存在某个维度上的值大于E1。可以采用E1=[E[1],E[2],...,E[n]]控制E2=[E[1],E[2],...,E[n]]，当E[i]≥E[j]时，至少存在一个维度的值满足E[i]>E[j]。

图3　Skyline模型

图中，E2和E4被E1所控制，E4和E5被E3所控制，E7被E6所控制。E1，E3和E6没有控制它们的点，因此其为Skyline点，Skyline点中具有所要查找的最大值点。本文采用Skyline算法搜索雾天图像的天空区域，得到全球大气光值A。

2.3改进的最小二乘滤波优化透射率

由于初始透射图会出现深度断续的现象。He[6]采用软抠图的方式处理初始透射率，但是该方法占用处理时间的70%以上。本文选用改进的最小二乘滤波方法[11]处理透射率，传统的滤波方式处理后边缘细节易丢失，并且很难获得好的去噪效果。改进的最小二乘滤波方法保边去噪的能力强。

最小二乘滤波的数学模型是基于二维离散卷积的复原滤波模型，并且需要引入约束条件。该模型中，f(x,y)为待处理图像，n(x,y)为相关噪声，而g(x,y)为降质图像。

(7)

该离散模型的二维变换如下式所示：

(8)

改进的最小二乘滤波给出线性算子B1和B2,采用‖B1t(x,y)‖2+∫‖B2t(x,y)‖2构建透射率t1(x,y)，并且其最小值满足‖g·Ht(x,y)‖2=‖n‖2，采用拉氏算子λ构建下式：

(9)

采用不同的操作数获取J(t1(x,y))和t(x,y)的最小比例值，如下式：

2λHTg+2λHTt(x,y)=0

(10)

设定Rt1(x,y)和Rn为t1(x,y)和n的自相关矩阵，并且能够定义为B1TB1=Rt(x,y)Rn,B2TB2=CTC

(11)

(12)

D,A,B,E为对角阵，并且定义H=WDW-1,Rt(x,y)=WAW-1,Rn=WBW-1,C=WEW-1。

(13)

将式(13)变换到频域，则可得：

(14)

初始透射图以及经过改进的最小二乘滤波处理之后的透射如图4所示，与He[6]方法处理所得的透射图相比，更接近于真实值。

图4　透射图

2.4本章小结

本文首先采用阈值分割划分天空区域，进而采用Skyline算法找到全球大气光值最大值A；然后采用改进的最小二乘滤波算法处理透射率t(x,y)得到t1(x,y)，最后采用公式(1)还原得到清晰无雾的图像。

3　实验结果

本文在Windows XP操作系统，Inter corei7-990X CPU5GHz具有4GB内存的计算机上运行Visual Studio 2012，配置opencv 2.4.5，采用改进算法实现去雾的目的。改进算法不仅能够节约处理时间提高处理效率，同时能够得到较为自然的图像处理结果。

3.1与其他去雾方法对比

本文选择大量测试图像进行去雾算法的对比，通过和He[6]方法和Retinex[8]方法的对比，处理之后的图像质量得到提升并且其效果接近真实自然的无雾图像，如图5、图6所示。

图5　本文和其他算法降质图像

图6　本文和其他算法降质图像

3.2处理效率对比

以分辨率为600*800的图像为例，He[6]方法的处理速度为19 560 ms，其中软抠图部分的耗时为14 083 ms，该部分占用了大量处理时间。改进算法的处理时间为1 117 ms，处理速度得到显著提高。Retinex[8]的图像处理速度为1 205 ms，但其图像处理效果失真明显。表中给出不同分辨率图像的各算法处理时间，本文算法提高图像处理质量的同时缩短了处理时间。

表1　不同算法的处理时间

4　结论与展望

本文对大气光矢量A的求取方法进行改进，已有的基于大气光物理模型的去雾方法一般取整幅图像像素最大值，或者图像像素的最大的百分之一的平均值。He[6]采用的软抠图占用了整个算法70%的处理时间。本文先采用阈值分割确定天空的区域，再利用skyline实现A值的较准确定位。进而对初始透射图利用改进的约束最小二乘方滤波实现优化。该方式兼得了传统最小二乘方滤波去噪能力强的优点，并尽可能完整的保持了边缘细节。本文所采用的阈值分割结合Skyline确定A值，并且采用改进的约束最小二乘方滤波优化初始透射率是本文的创新之处。与He[6]方法相较，本文方法的处理速度得到显著提高，并且获得较好的去雾效果。

下一步主要将本文算法应用在视频处理中。

[1] Tan R. Visibility in bad weather from a single image[A]. Proc of IEEE CVPR08[C]. 2009:1-8.

[2] Fattal R. Single image de-hazing[J]. ACM Transactions on Graphics(0730-0301), 2008, 27(3):1-9.

[3] Kratz L, Nishino K. Factorizing scene albedo and depth from a single foggy image [A].Proceedings of the 2009 IEEE 12th International Conference on Computer Vision[C]. 2009:1701-1708.

[4] Jing Y, Chuangbai X, Dapeng L. Physics based fast single image fog removal[A]. Proceedings of the IEEE International Conference on signal Processing[C]. 2010: 1048-1052.

[5] Tarel J P, Hautiere N. Fast visibility restoration from a single color or gray level image[A].Proc. IEEE international conference on computer vision(ICCV)[C]. 2009:2201-2208.

[6] He K,et al. Single image haze removal using dark channel prior[A]. Proc. of IEEE CVPR09[C]. 2009:1956-1963.

[7] 幸山，严华，雷印杰.一种快速暗通道去雾算法[J].计算机测量与控制，2015,23(12):4141-4143.

[8] 石丹，李庆武，范新南，等.基于Courourlet变换和多尺度Retinex的水下图像增强算法[J].激光与光电子学进展，2010,47(4):15-18.

[9] 范新南，郭建甲.一种新的自适应工程图像分割算法[J].计算机测量与控制，2006,14(3):395-397.

[10] 朱琳，关佶红，周永康. Skyline计算研究综述[J].计算机工程与应用，2008，44(6):160-165.

[11] 阎雪飞，许廷发，白廷柱.变参式正则化图像复原算法[J].Laser & Optoelectronics Progress, 2013, 50(5):51-58.

Rapid Defogging Algorithm Based on Image Segmentation

Li Linfei, Sun Xin

(School of Information Engineering, Southwest University of Science and Technology, Mianyang621000,China)

Directed at the haze conditions, the resulting single image degradation, therefore, the images that require high visual effects need to restore. The optimized algorithm based on dark channel prior improve the way of getting the atmospheric light vector A and the transmittancet(x,y). First using single threshold segmentation find the sky region, then combine with skyline algorithms can locate the precise atmospheric light vector A; then adopting improved Constrained least-square filter optimize the initial transmittancet(x,y) and get optimized transmittancet1(x,y), and finally restore degrade image by physical model of atmospheric with the resulting atmospheric light vector A and optimal transmissiont1(x,y). the improved defogging algorithm not only retained meticulous edge detail, but also has removed image noise efficiently. Experimental results show that compared with the he method, the improved method short defogging processing time, and improve the image effect simultaneously.

dark-channel; threshold segmentation; skyline; least-square filter; defogging

1671-4598(2016)04-0272-03DOI：10.16526/j.cnki.11-4762/tp.2016.04.078

TP391.4

A

2016-01-24；

2016-03-25。

四川省教育厅重点项目(15ZA0118);特殊环境机器人技术四川省重点实验室开放基金(13zxtk0505);西南科技大学博士基金项目(13zx7112)。

李林飞(1995-)，男，四川乐山人，本科生，主要从事图像处理、DSP方向的研究。