王金鹏,张荣荣
(中国海洋大学 信息科学与工程学院,山东 青岛 266100)
基于新成像模型的水下图像增强
王金鹏,张荣荣
(中国海洋大学 信息科学与工程学院,山东 青岛 266100)
光在水中传播时会受到水体的吸收和散射作用,从而导致水下图像整体模糊、颜色失真。针对这些问题,提出一种基于新成像模型的水下图像增强算法,该模型是针对光照不均问题通过对典型的水下成像模型进行改进得出的。另外通过分通道处理,解决了暗原色先验不适用于水下图像的问题。最后在去除后向散射噪声的同时对图像颜色进行校正。实验对比结果表明,该方法能较为有效地解决后向散射噪声和颜色失真问题并适用于光照不均的情况。
水下图像;图像增强;光照不均;后向散射噪声;颜色校正
图像增强作为图像处理领域的重要技术之一,经常用来对图像进预处理,以改善图像的质量。对于水下图像,由于成像过程中水介质和水中杂质的吸收和散射效应影响,导致图像模糊,噪声多,颜色失真,对比度低,整体偏暗,不利于信息的提取和分析,严重影响其使用价值,这样水下图像增强技术显得尤为重要。
目前已有的水下图像增强技术主要包括直方图处理算法、滤波算法、颜色恒常算法、衰减补偿算法、图像融合算法、基于简化成像模型的算法以及若干种对以上算法进行综合的算法。其中直方图处理主要包括直方图均衡化[1]、规定化以及对比度拉伸等,这类算法可以增强图像对比度,但是同时会导致因色阶的丢失造成的信息丢失以及噪声放大问题,文献[2]提出的基于滑动拉伸的图像增强算法:先在RGB空间内进行对比度拉伸,然后转换到HIS空间对饱和度和亮度分量进行拉伸。而滤波算法又可以分为空域滤波和频域滤波,这类算法可以在一定程度上去除噪声,但是也会导致图像细节丢失。经典的算法有均值滤波、中值滤波、维纳滤波以及双边滤波等[3]。颜色恒常类算法主要用来校正颜色,消除色偏,这类算法能从一定程度上解决颜色失真问题,但是对于噪声问题无能为力。典型的算法有白平衡[4]、Retinex算法[5-6]等。此外另一种颜色校正算法是衰减补偿算法,这类算法针对光在水中传播时产生的衰减进行补偿以消除色偏,文献[7]中提出的算法就包括这种作用。以上提到的算法都是在一幅图像的基础上进行图像增强,而图像融合算法是在多幅图像基础上进行的,如TREIBITZ T等人[8]通过改变光源位置获得多幅图像,然后对这些图像进行高斯金字塔和拉普拉斯金字塔分解,最后基于一些融合准则进行图像融合获得清晰图像[8]。该类算法的关键是图像的采集以及融合准则的选取。近年来受到去雾算法的启发,出现了很多基于散射介质中成像模型的图像增强算法,如文献[9-11]都是基于简化的成像模型先去除后向散射噪声然后再进行颜色校正,但是这些算法在去除后向散射时是基于暗通道先验[12],而该先验不适用于水下图像,因此效果常常不理想。本文针对这一问题做出了改进。
水下图像颜色失真严重导致暗通道先验不再适用,因此本文提出通过分通道处理来解决这一问题。此外由于水下环境的复杂性以及光在水中的衰减特性,水下图像常常存在光照不均的问题,常见的水下成像模型将背景光看作常量,然而这常与实际不符。本文针对这一问题提出一种新的成像模型,然后根据该成像模型提出一套水下图像增强算法,该算法能复原清晰图像并校正图像颜色,同时能改善光照不均问题。
经典的水下成像模型是MCGLAMERY B L于1979年提出的,他将成像过程分为三部分:直接传输部分、前向散射部分和后向散射部分[13]。但是此模型涉及众多水质参数和相机参数,难以实用。因此这里对其进行简化,忽略前向散射和部分参数,同时将水下图像常存在的光照不均问题考虑进去,最终获得如下成像模型:
Ic(x)=Jc(x)tc(x)+Bc(x)[1-tc(x)],
c∈{r,g,b}
(1)
Ic是捕获的图像,Jc是未退化的清晰图像,Bc(x)是背景光,tc(x)是透射率。
文献[12]中提出了著名的暗通道先验并将其用于去雾算法,该先验在估算透过率、大气光方面简单好用,效果突出,然而它不适用于水下图像。水下图像的后向散射噪声和水上图像中的雾霾有些相似,但又不同,雾是灰白色的,而后向散射噪声通常偏蓝绿色的。暗原色先验去雾的原理是:未降质的图像大部分区域存在暗通道,而雾是灰白色的,它均匀地增加图像中的RGB各通道值,因此,原来值最小的加上雾之后的值仍然是最小的,这样找出这个通道,应用暗原色先验,这里认为该通道的值全部是雾贡献的,这样就知道了雾的浓度。然而在水中“雾”的RGB三通道值不相等,原本值最小的通道在加上雾之后可能不是最小的了,这样就没法直接用暗通道先验估计“雾”的浓度了。
因此本文提出将R G B三通道分开处理,对每个通道应用分通道后的暗通道先验,即将图像分块求每块的各通道最小值,此时的暗通道先验可以表示为:
(2)
为了估算tc(x),现将成像模型改写成如下形式:
(3)
然后对等式两边同时取最小值:
(4)
最后应用分通道后的暗通道先验:
(5)
与水上图像不同,水下图像常常存在光照不均问题,因此本文提出将成像模型中背景光改为变量,然而如此背景光的估算又成为新问题。这里假设背景光在局部区域内基本不变,这样可以分区域进行估算,为了消除块效应,在估算之后进行平滑滤波处理。
由于背景区域通常亮度较大,因此估算Bc(x)时取以x为中心的局部区域的rgb各通道值的前10%的交集部分,即:
(6)
Bc(x)=Ic(y)
(7)
为了保证估算的背景光平滑,不出现块效应,应当保证分块尺寸较大,另外滤波时的滤波半径也要设置得大一点。
估算出tc(x),Bc(x)后,将成像模型做变形处理,同时给透射率设置下限t0,最终用下式复原清晰图像:
(8)
此时只是去除了后向散射噪声,颜色失真问题依然没有解决,这里采用一个系数μc进行颜色校正:
(9)
本文算法处理结果展示如图1所示。
图1 图像增强前后对比图
本文分别对水池实验、浅海实验采集的图片以及从网上下载的深海图片进行了处理,并与文献[11-12]提出的方法处理结果进行对比。图2的三幅原图分别是水池实验图、浅海实验图和网上下载的深海图,从处理结果可以看出文献[11-12]的方法对于颜色失真严重的图片和光照不均的图片处理效果较差,而本文提出的方法对颜色失真严重的图片仍然有效,同时在一定程度上解决了光照不均问题,而对于颜色失真较轻的图片处理效果也优于前两种方法,因此本文提出的改进模型和分通道方法能适用于水下图像增强。
图2 水下图像增强效果对比
本文对典型的水下成像模型进行了改进,并基于改进的成像模型和简化的暗通道先验提出了一种水下图像增强方法。经实验证明,该模型适用于水下图像, 而本文基于该模型所提的方法能有效提高水下图像质量,同时改善了水下图像常见的光照不均问题。
[1] ZUIDERVELD K. Contrast limited adaptive histogram equalization[C]. Graphics GEMS IV, Academic Press Professional, InC. CA, USA, 1994:474-485.
[2] IQBAL K, SALAM R A, OSMAN A, et al. Underwater image enhancement using an integrated colour model[J]. IAENG International Journal of Computer Science, 2007, 34(2):239-244.
[3] 赵欣慰. 水下成像与图像增强及相关应用研究[D]. 杭州:浙江大学, 2015.
[4] MALONEY L T, WANDELL B A. Color constancy: a method for recovering surface spectral reflectance[J]. Journal of the Optical Society of America Aoptics & Image Science and Vision, 1986, 3(1):29-33.
[5] CHAMBAH M, RIZZI A. Underwater color constancy: enhancement of automatic live fish recognition[J]. Proceedings of SPIE-The International Society for Optical Engineering, 2008, 5293:157-168.
[6] 李涛. 多尺度Retinex算法的分析与改进[J]. 微型机与应用,2016,35(4):40-43.
[7] CHIANG J Y, CHEN Y C. Underwater Image Enhancement by Wavelength Compensation and Dehazing[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2012, 21(4):1756-1769.
[8] TREIBITZ T, SCHECHNER Y Y. Turbid scene enhancement using multi-directional illumination fusion[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2012, 21(11):4662-4667.
[9] Lu Huimin, Li Yujie, SERIKAWA S. Underwater image enhancement using guided trigonometric bilateral filter and fast automatic color correction[C]. IEEE International Conference on Image and Graphics, 2015: 137-147.
[10] CARLEVARIS-BIANCO N, MOHAN A, EUSTICE R M. Initial results in underwater single image dehazing[C]. Oceans, IEEE, 2010:1-8.
[11] TAREL J P, HAUTIÉRE N. Fast visibility restoration from a single color or gray level image[C]. International Conference on Computer Vision. IEEE, 2010:2201-2208.
[12] He Kaiming, Sun Jian, Tang Xiaoou. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2011,33(12):2341-2353.
[13] MCGLAMERY B L. A computer model for underwater camera systems[C]. Proceedings of SPIC 0208 Ocean Optics VI, 1980: 221-231.
Underwater image enhancement based on new imaging model
Wang Jinpeng, Zhang Rongrong
(School of Information Science and Engineering, Ocean University of China, Qingdao 266100, China)
As light transmitts in the water, it will suffer from attenuation and scattering caused by the medium. So the image in water are usually veiled in haze with color cast. Therefore, we present an approach for underwater image enhancement based on a new imaging model. Derived from the typical underwater imaging model, the new model takes the effect of non-uniform illumination into consideration. Besides, by processing each color channel separately, the problem that the dark channel prior does not apply for underwater image is solved. Finally, the backward scattering noise is removed and the colors are corrected. Comparison experiment results show that the proposed image enhancement method can eliminate backward scattering noise and reduce color cast, especially suitable for non-uniform lighting images.
underwater image; image enhancement; non-uniform illumination; backward scattering noise; color correction
TP391
A
10.19358/j.issn.1674- 7720.2017.14.015
王金鹏,张荣荣.基于新成像模型的水下图像增强[J].微型机与应用,2017,36(14):46-48.
2017-01-22)
王金鹏(1989-),男,硕士研究生,主要研究方向:水下图像复原、水下图像增强。
张荣荣(1990-),男,硕士研究生,主要研究方向:水下运动目标检测与跟踪。