基于图像融合的水下光照不均匀图像增强算法

李广豪,席志红

(哈尔滨工程大学信息与通信工程学院,黑龙江 哈尔滨 150001)

1 引言

水下探测严重依赖获取的水下图像的质量,由于水下环境复杂,水体会对光产生散射和吸收效应,使光在水下严重衰减,从而获取的水下图像质量往往较差。为了能获得高质量的水下图像,水下图像增强是必不可少的处理环节。2003年,Chambah[1]等人针对水下图像的偏色问题,通过颜色恒常理论提出了一种基于非监督式的增强算法,使后续特征提取式的效率大大增加;2007年,Iqbal[2]等人提出的RGB和HIS色彩空间的滑动直方图拉伸连续在两个色彩空间中进行均衡化处理,有效解决了水下图像的偏色和低对比度等问题;2012年,Ancuti[3]等人提出了一种基于图像融合的水下图像增强算法,解决了水下图像的偏色和视觉模糊等问题,同时可避免图像中出现伪影和色晕现象。2017年,余义德[4]等人提出了限制对比度自适应的颜色校正模型,较好的提高了水下图像的视觉效果和对比度。2018年,王永鑫等[5]提出了一种基于同态滤波的水下图像增强与色彩校正模型,可以有效保证水下图像的清晰度和色彩恒定性。2020年5月,林森[6]等人提出了一种基于多输入融合对抗网络的增强算法,其生成网络采用编码解码结构,通过卷积层滤除噪声,利用反卷积层恢复丢失的细节并逐像素进行细化,该算法改善后的水下图像色彩鲜明并且对比度提升。

自适应伽马校正算法[7]对于空气中光照不均匀图像有较好的校正效果,但是水下环境复杂,无法直接应用于水下。本文提出一种改进的水下融合算法,将自适应伽马校正算法,,改进的MSRCR算法[8],CLAHE,图像锐化和水下图像融合增强算法[3,9]相结合。通过自适应伽马校正算法改善图像光照不均匀区域;通过CLAHE扩大局部对比度,降低噪声;利用MSRCR算法弥补由于局部对比度增大造成的颜色失真;利用图像锐化弥补伽马校正造成的细节损失;通过图像融合算法融合不同图像的优势。可以有效的改善水下图像光照不均匀、色偏、低对比度等问题。

2 算法描述

本文算法是应用于水下光照不均图像的图像增强算法。通过结合自适应Gamma校正和多尺度图像融合增强算法来达到增强水下图像的目的,使得强光照的区域减弱,光照不足的区域得到补偿。具体算法流程如图1所示。

图1 算法流程图

图2 自适应伽马校正流程图

2.1 限制对比度自适应直方图均衡

对于图像中存在明显比其它区域暗或亮的区域,传统的直方图均衡不能将该区域的细节信息描述出来,自适应直方图均衡算法(AHE)通过在当前处理像素周边的一个矩形区域内进行直方图均衡,来达到扩大局部对比度,获取平滑区域的细节信息。但是AHE对局部对比度提高过大,导致图像失真,还会放大图像中的噪声。

为了解决这些问题,本文使用限制对比度自适应直方图均衡(CLAHE)去扩大局部对比度,并减少噪声的放大情况。

2.2 改进的MSRCR增强算法

由于CLAHE在扩大图像局部对比度时,图像会有一定的色彩失真,为了解决这一问题,本文尝试引入改进的带色彩恢复的多尺度视网膜增强算法(MSRCR)[8]的理论模型,其计算公式如下

RMSRCRi(x,y)=G*[Ci(x,y)RMSRi(x,y)+b]

(1)

式中RMSRCRi是第i张图像的MSRCR反射光分量,RMSRi(x,y)是第i张图像的MSR反射光分量,G和b分别是最终增益量和偏移量,Ci(x,y)表示第i张图像的色彩恢复函数,β是增益系数,α是控制非强度系数。在本文中,将参数值分别设置为G=194,b=-30,β=46,α=125。

2.3 多尺度融合算法

为了得到具有突出优势的最佳图像,本文使用了4种权重,用于确定在图像融合中输入图像所占的比重,这几种权重分别是拉普拉斯对比度权重(WL),显著性权重(WS),饱和度权重(WSat)和曝光权重(WE)。

1) 拉普拉斯对比度权重

拉普拉斯滤波器可以增强图像中灰度突变的区域,减弱灰度的缓慢变化区域,其表达式如下

(2)

拉普拉斯对比度权重通过计算拉普拉斯滤波器输入到每个亮度通道的值,并取绝对值,最后得到全局对比度。

2) 显著性权重

通过使用Achantay[10]等的显著性估计器,去获取水中不突出物体的显著性水平,用于增加图像中亮暗区域的对比度,从而加强图像全局对比度。其表达式如下

Ws=Iμ-Iω

(3)

式中Ws为显著性权重,Iu为Lab色彩通道的平均值,Iω表示在Lab通道经过高斯低通滤波后的结果,其截止频率为ω=π/2.75。

3) 饱和度权重

通过调节图像区域饱和度,使彩色图像能够用于图像融合算法。表达式如下

(4)

式中Rk,Bk,Gk分别为RGB通道中R,G,B各单通道在像素k点的值,Lk时Lab通道中亮度分量在像素点k的值。

4) 曝光权重

WE用于评估图像中像素的曝光程度,当归一化后的像素值接近平均值0.5时,WE表示高斯模型函数到平均归一化范围值(0.5)的距离。其具体计算公式如下

(5)

式中Ik(x,y)表示图像Ik中点(x,y)处的像素值,σ是标准差,常设置为0.25.权重WE(x,y)值越大,则说明该点像素更可能是曝光不足或曝光过度区域。

计算完上述几种权重后,便可以通过多尺度融合算法进行图像融合。将输入图像在每个像素点(x,y)处的权重进行融合便可得到重建后的图像R(x,y)

(6)

2.4 光照不均匀图像增强算法

该算法通过将图像转化到HSV空间,通过多尺度高斯函数对明度通道V提取光强分量,将光照分量作为二维伽玛函数的输入,对不同亮度值给予不同的γ值,最后转换至RGB空间,得到校正后的图像。

2.4.1 光照分量的提取

光照分量的提取有多种方法,例如基于顶帽变换的方法[11],基于mean-shift的方法[12],基于Retinex模型的方法[13],基于线性引导滤波的方法[14]等。本文使用Retinex理论中涉及的多尺度高斯滤波器的方法[15],去提取光照分量,如下式

(7)

式中λ为归一化常数,使高斯函数G(x,y)满足∬G(x,y)dxdy=1的条件,c为尺度因子,*代表二维卷积,I(x,y)是估计处的光照分量,F(x,y)是输入图像。

为了光照值得到较好的局部特性和全局特性,使用多尺度高斯卷积求和。首先对N值取3,使尺度因子c分别为20,75,225,并使用不同权重(ω1=1/2,ω2=ω3=1/4)求和就可最终估计出光照分量,如下式

(8)

2.4.2 自适应伽马校正

在获取光照分量后,为了进一步抑制高光照区域,增强低光照区域,本文使用自适应伽马校正算法对输入图像进行对比度校正。如下式

(9)

式中O(x,y)为输出图像的亮度值,F(x,y)为输入图像,γ是校正参数,m是光照分量的亮度均值,I(x,y)为光照分量。对于光照值高于均值m的区域,将该区域光照值减弱;对于光照值低于均值m的区域,将该区域光照值增加。

在自适应伽马校正处理完后,将V通道图像和H,S通道重新结合,并变换至RGB通道,即可获得最终的校正后图像。

3 实验结果与分析

本实验使用的水下数据集包括公开的水下图像集UIEB[16],OceanDark[17]和自己拍摄的水下零件数据集。作为参照对比的算法主要有自适应伽马算法[7], Single image haze removal using dark channel prior[18],Enhancing Underwater Images and Videos by Fusion[3],Color Balance and Fusion for Underwater Image Enhancement[9]。

3.1 定性分析

图3是7幅不同水下图像经过不同方法增强后的图像对比结果。图3(b)采用暗通道先验的方法,可以较好地去除图像中的雾,而水下光受到散射和吸收的影响,大多呈现蓝绿色调,图3(b)对比图3(a)没有明显的变化,表示没有较好的增强效果,所以大气中的暗通道先验方法不能直接应用于水下;刘志成等的自适应Gamma校正对空气中的光照不均匀图像有较好的校正效果,但从图3(c)可以看出,该算法只能增强较小的对比度,没有了空气中的良好效果;图3(d)是Ancuti等基于图像融合的水下图像增强结果,可以看到图像1,2,5,7都有着很好的增强效果,不仅去除了图像的蓝绿色调,而且提升了图像一定的对比度,但是图像3,4中出现了较为严重的伪影;图3(e)是Ancuti等经过改善后提出的新算法对图像的增强结果,可以看到图像3,4中的伪影都被尽可能的去除,但是从图像6,7能看出,文献[9]对于光照不均匀的水下图像没有较好的增强效果,图像7中左侧的过曝区域没有被抑制,且图像7右侧的偏暗区域也没有变得明亮;图3(f )是应用本文算法得到的增强结果,可以看到,相对于图3(d),图像3,4中的伪影都完全被去除,图像2中未去除的蓝色调也得到了很好的改善,而相对于图3(e)而言,图像4,6,7等光照不均匀图像在图3(f )中都得到了很好的改善,图像4的背景对比度得到了一定的增强,左侧下角落的过曝区域也得到了较好的抑制,图像7中左侧的过曝区域也得到了良好的抑制,而右侧的偏暗区域也得到了很好的增强,可以较清楚的看见右侧的木杆。从此可以得出,从主观视觉角度上,本文算法相对于其它算法可以更好的解决水下图像光照不均匀的情况,而且可以去除伪影,较好的提高对比度,更加符合人眼的主观认知。

图3 不同算法的实验结果比较

3.1 定量分析

为了进一步验证本文算法的性能,本文采用全面图像评价指标(PCQI)[19],平均梯度(AG)和水下图像质量标准(UIQM)[20]作为实验指标去评估本文算法和文献[3],[7],[9],[18]处理水下图像得到的结果图像。PCQI在每一个patch中计算平均强度,信号强度和信号结构,并从这三个方面去评价图像的失真情况,可以较好地评价两个图像对比度的差异,PCQI值越小,则图像的失真情况越严重,对比度越差;平均梯度(AG)可用来反映图像中的细节信息,平均梯度越小,则图像越模糊,图像的质量越差;水下图像质量指标UIQM是一种综合性的评价指标,包括对比度、色度和饱和度等,当UIQM的值越大时,表明处理后的图像质量越好。采用以上3种指标对7组不同的图像进行评估,表1展示出本文与其它4种算法的实验结果,为了方便观察,将表1转换为柱状图,如图4,5,6。

表1 图像1不同算法分析

表2 图像2不同算法分析

表3 图像3不同算法分析

表5 图像5不同算法分析

表6 图像6不同算法分析

表7 图像7不同算法分析

图4 不同算法的平均梯度指标对比

图5 不同算法的UIQM指标对比

图6 不同算法的PCQI指标对比

从表1,2,3,4,5,6,7和图4,5,6可以看出①本文算法得到的平均梯度的平均值是最好的,这说明本文算法得到的处理图像是比较清晰的,但图像3中平均梯度最高的是Ancuti等[3]的结果,虽然其平均梯度较大,但是由图3(d)可知,图像3出现了较为严重的伪影,所以综合来说,本文算法相对于平均梯度而言,效果最优;②本文算法得到的UIQM值不管是平均值还是单个图像都是最大值,这说明本文得到的水下处理图像的质量是最优的;③本文算法得到的PCQI指标相对于其它算法而言,值是最大的,这表明本文算法得到的水下图像失真情况最少,且对比度最好。

结合定性分析和定量分析可知,本文提出的基于图像融合的水下光照不均匀增强算法可以有效解决水下图像色偏,光照不均匀,低对比度以及红色伪影等问题,从而可以获取到清晰度较高的水下图像。且相对于其它算法,本文算法复杂度并没有明显增加;本文算法不仅可以处理光照不均匀水下图像,而且普通的水下图像一样有较好的处理效果。所以本文算法的适用面较广。

4 结论

针对水下图像存在光照不均匀,低对比度和色偏等问题,提出了一种基于图像融合的水下光照不均匀图像增强算法。通过与不同算法处理结果对比,表明本文算法可以较好解决水下图像光照不均匀情况,可以有效增强图像的对比度,解决色偏问题,降低伪影的引入。然而,由图3(f )中的图像3和图像7可见,该算法对于深蓝的水下图像和过暗的水下图像处理效果一般。对深蓝水下图像处理效果较差是因为深层水域光的衰减过于强烈,只剩下少量蓝光;对过暗水下图像处理效果较差是因为过暗区域接收的散射光过少。在下一步工作中,这两个是重点的研究方向之一。