邱啟蒙,张亚加,高智强,邵建龙
〈图像处理与仿真〉
基于颜色校正的水下照明图像融合方法
邱啟蒙1,张亚加2,高智强3,邵建龙3
(1. 武警贵州省总队医院,贵州 贵阳 550005;2.云南开放大学 城市建筑学院,云南 昆明 650500;3. 昆明理工大学 信息工程与自动化学院,云南 昆明 650500)
针对水下照明图像存在不均匀色偏、对比度低和细节模糊等问题,提出了一种基于颜色校正的水下照明图像融合方法。首先利用图像通道间的像素相关性,对红通道进行补偿;然后基于颜色校正图像,利用非线性反锐化掩蔽(Nonlinear unsharp masking)技术获得锐度增强图像,采用具有瑞利分布的限制直方图获得全局拉伸图;最后通过多尺度融合策略生成融合图像。在自建数据集(Real underwater lighting image,RULI)上的实验结果表明:本文方法能够去除混合光照在成像过程中的不均匀散射干扰,并大幅度提高图像的细节清晰度。其图像质量评估指标(Underwater image quality measures,UIQM)和(Image entropy,IE)的平均值分别为4.7399和7.7617,优于现有文献涉及的相关算法。
水下图像增强;颜色校正;非线性反锐化掩蔽;多尺度融合
目前,水下机器人被广泛应用于深海探测、海洋考古和科研考察等领域[1]。在线视频图像是水下机器人获取信息的主要手段。然而,光在水介质中传输时会受到吸收和散射作用,导致采集到的图像存在颜色失真、对比度低和细节模糊等问题[2],这给后续的计算机视觉任务带来了诸多不利的影响。
近年来,该领域学者不断探索出针对采集到的水下图像进行清晰化的方法,按处理方式的不同可分为:基于图像复原和图像增强的方法。其中图像复原的方法[3-12]是利用降质图像的先验信息完成水下成像模型的逆求解。研究者们在暗通道先验(Dark Channel Prior,DCP)[3]的基础上,扩展得到逆向红色暗通道先验(Red Dark Channel Prior,RDCP)[4]、广义暗通道先验(Generalized Dark Channel Prior,GDCP)[6]以及新型暗通道先验[8]等方法。此类方法能够有效去除自然光照在成像中的散射影响,但在深水域探索过程中,通常存在人造光和自然光的混合光照,现有的水下成像模型未能考虑光源造成的散射干扰,导致复原图像仍存在局部色偏和细节模糊等问题。因此,赵欣慰等[13]对不同光照条件下的水下成像背景光进行了建模研究,分析得出:水下图像的背景光强度主要与水体光学参数、相机到目标的距离、相机到光源的距离以及相机成像角等因素有关,但求解该模型需要手动测量部分参数,导致图像重建工作变得复杂。相较于复原的方法,增强方法[14-19]不考虑水下物理成像过程,通过运用图像处理技术来改善图像的整体或局部特征,传统方法主要包括基于直方图均衡(Histogram Equalization,HE)、限制对比度直方图均衡(Contrast Limited Adaptive Histogram Equalization,CLAHE)以及白平衡算法,但上述方法容易加强源图像中的噪声干扰。而在过去几年中,提出了基于图像融合[14-15]和颜色恒常性理论[16-17]的方法,能大幅度提高图像的对比度和清晰度,但此类方法应用在混合光照场景中采集的图像时,色彩均衡效果不理想。
针对上述问题,本文提出了一种红通道补偿算法以消除各种照明或介质衰减特性而导致的色偏、一种基于非线性反锐化掩蔽技术的图像边缘增强算法、一种满足瑞利分布的限制直方图的图像全局对比度增强算法,提取融合图像的显著特征进行多尺度融合。
本研究将基于颜色校正图像获得融合图像输入对,其流程如图1所示,其中Input1为边缘锐化图像,Input2为全局对比度增强图像。从图1可以看出,融合过程分为3个步骤:颜色校正、融合图像对获取和多尺度融合。
在自然光稀疏的深水区,往往需要人造光源的辅助照明。然而,由于照射区域内光子密度较为集中,四周逐渐减小所引起的光照不均匀现象以及成像距离变化导致的光线透过率变化均会在非光照区域产生颜色畸变。为了纠正图像色偏,受去马赛克算法重建颜色样本的思想启发,设计红通道补偿函数为:
式中:(,)为像素坐标;R(,)为红通道值;Temp1为补偿量;Temp2为补偿控制项。为了弥补红通道的损失,基于以下二个观察设计函数:①与红色通道相比,绿色和蓝色通道在水下保存较好;②补偿应主要影响红色通道值较小的像素,而不该改变已经包含的红色分量像素,可理解为既要避免在过度曝光区域引入红色伪影,又对高度衰减的区域中执行补偿。在数学上,可将每个像素位置(,)处红通道进行补偿,计算公式为:
式中:Icc是拉伸结果;iin是红通道补偿图像;omin和omax分别是输出图像的最小值和最大值;imin和imax分别是颜色校正图像的最小值和最大值。图2展示了颜色校正前后的红通道图和直方图。
尽管颜色校正对于恢复图像颜色至关重要,但仅使用此步骤不足以解决图像模糊问题。本节工作将基于多尺度融合策略,引入一对输入分别增强颜色校正图像的边缘锐度和自然度,并定义权重映射,以保留对应输入的优势。
1.2.1 图像锐化
反锐化掩蔽(Unsharp masking)技术通过将图像的模糊背景与边缘锐化的图像融合以获得锐化图像,如式(4)所示:
=+(4)
式中:是增强图像;是输入图像的背景,通常使用低通滤波器获得;细节信息可利用输入图像减去背景信号:=-;用作比例因子来控制细节信息的幅值。在实践中,反锐化掩蔽技术可能会出现以下两个问题:①包含了噪声信号和高频细节信息,过大会导致噪声信号突出以及图像过饱和;②使用低通滤波器提取背景会在图像边缘处产生负作用,进而导致中锐化边缘的过冲和欠冲现象。因此,本研究考虑了边缘保持滤波器和自适应增益控制因素,提出用非线性反锐化掩蔽技术对图像边缘进行增强,其算法流程如图3所示。其中⊕和Ä为广义系统[20]中的加法和乘法运算,定义为:
Å=-1[()+()] (5)
式中:表示非线性函数;和为信号输入;为增益标量。因此,可以将式(4)用广义运算表示为:
式中:为保持更高的通用性,函数()可以是线性的或者非线性的,这表明可以对背景信号进行可选的二次处理。自适应增益()为选择性地增强边缘细节信号的函数。
从图3可以看出,该阶段可分为背景信号提取、对比度增强和自适应增益3个步骤。在介绍前,首先根据非线性函数必须遵循严格凸和可微的原则[21],选择log变换函数,数学表示为:
()=log[(1+)/(1-)],Î(-1,1) (8)
式中:为输入图像,考虑到函数输入范围在(-1,1)之间,首先对输入图像进行归一化处理,然后应用线性变换(:=2-1),使输入图像处于(-1,1)范围内。
图3 非线性反锐化掩蔽算法流程
然后分别对上述3个步骤进行说明:①为避免在提取背景信号时出现光晕伪影,使用了改进的混合中值滤波器[22](modified Hybrid Median Filter,mHMF)估计背景信号。mHMF通过计算正方形、交叉和对角线3个窗口中值,然后选择三者的中间值作为最终结果。来自交叉和对角窗口的信息有助于mHMF更好地保留边缘区域;②传统图像处理技术中,若先进行直方图均衡化,再进行高频加强,图像亮度会呈现较强的两级分布,并且获得的图像边缘不突出,对比度差。但提出的技术将输入图像分离为背景信号和细节信号,可以分别对每种信号进行处理,因此本次研究使用了限制对比度自适应直方图均衡(CLAHE)对背景信号进行二次处理;③细节信号中包含了:(1)图像边缘;(2)高频噪声;(3)过冲和欠冲。mHMF滤波可以有效减少过冲和欠冲数量,此外,由于log变换自动解决了超值问题,因此高频噪声的干扰也得到了减少。本文使用了一个简单的指数变换,它从最大值max逐渐减小到最小值min,数学方程如式(9)所示:
()=+×exp(-||) (9)
式中:为控制()下降速率的参数,在实验测试中,为避免图像过饱和,设为0.5。细节信号处于(-1,1)范围内,因此可得:
max=(0)=+(10)
min=(1)=(-1)=+×(exp(-1)) (11)
要增强图像细节,增益必须大于等于1,因此min设为1。较大的max值可以使边缘锐化更突出,因此本文将max设为5。最终将min和max的值代入式(10)和(11)中,得到和。图4中展示了反锐化掩蔽和所提方法对图像增强的结果。
图4 三种方法的锐化增强结果。(a)源图像;(b)颜色校正图像;(c)反锐化掩蔽;(d)非线性反锐化掩蔽
1.2.2 全局对比度增强
非线性反锐化掩蔽旨在增强图像的边缘锐度,能弥补颜色校正中损失的细节部分,但代价是会过度增强图像的局部区域。为解决这一问题。根据文献[23]可知,瑞利分布对水下图像保持自然性是理想的,故将具有瑞利分布的直方图拉伸引入,得到与锐化图像相对应的第二输入。瑞利分布的概率分布函数(PDF)可表示为:
式中:为像素坐标;为输入图像;为分布参数,本次研究默认为0.4。将式(3)代入到式(12)得到限制直方图的瑞利拉伸分布方程:
所提方法还在拉伸过程中使用限制,且限制仅应用于输出图像。从统计数据中发现:输出图像的强度值在4%~96%之间可以在局部对比度增强和全局视觉质量之间进行很好的权衡,可表示为:
式中:如果输出图像的最小拉伸值大于R、G、B通道最小值的4%,则该输出值设为原始直方图的最小值,否则,输出图像的最小值设为R、G、B通道中的最小值。同样,输出图像的最大拉伸被确定为:
1.2.3 图像融合
权重图用于使具有较大权重值的像素突显在结果当中。因此,它们是基于图像的显著性特征来定义的,具体权重图的定义如下:①拉普拉斯对比度权重L通过计算输入图像亮度通道上拉普拉斯滤波器的绝对值来估计全局对比度,赋予边缘和纹理较高的值。②显著权重s通过对图像HSV颜色空间中的色调、饱和度和亮度分量进行综合衡量,可表示为:
式中:是一个小的正则化项,确保每个输入对输出都有贡献,这里设为0.1。对应权重如图5所示。
式中:R()为输出图像金字塔;为金字塔层数,本次研究取5层;final()为最终输出图像;U[R()]为=2-1的上采样算子。
图5 融合图像权重图。(a)图像颜色校正前后;(b)融合输入对;(c)拉普拉斯权重;(d)显著权重;(e)归一化权重
本文实验通过MATLAB R2018a平台实现,主机配置为i7-7700HQ CPU(2.80GHz),16GB内存,Windows10操作系统。为了使本文方法更具有代表性,要求数据集包含各种深度、各种极端条件(不均匀光和过度曝光等)和各种目标的水下图像。因此,本文建立了一个真实的水下照明图像数据集,用于水下照明图像增强算法的研究。数据集中的图像为在Similan Island(斯米兰岛)水深40m内使用人造光源辅助拍摄的混合光照场景。根据不同的场景类型选取了300幅具有代表性的图像组建数据集,并命名为RULI,图6展示了部分示例。
图6 RULI数据集部分实例
2.2.1 主观定性评估
本文在RULI数据集中进行了实验测试,在测试过程中将所提方法与几种具有代表性的方法进行了比较,其中包括文献[6]中GDCP复原方法、文献[15]中融合增强(Fusion)方法、文献[17]方法和文献[24]方法。从测试结果中选取了6幅具有代表性的图像,分别为:幼鲨、海星、鱼、珊瑚、乌龟和洞穴图像,此类图像受混合光照的干扰,存在不均匀色偏以及细节模糊问题,结果如图7所示。
图7 RULI数据集上实验结果。(a)原图;(b)GDCP;(c)Fusion;(d)文献[17];(e)文献[24];(f)本文方法
从图7中可以看出,GDCP方法加剧了图像的颜色失真,造成这种结果的原因主要是复原类方法没有使用颜色校正算法处理图像,容易造成图像过饱和。而基于Fusion和文献[24]的方法在纠正人造光照射所带来的不均匀色偏时,更容易忽略非光照区域,进而导致局部区域呈现模糊感。文献[17]方法虽然在图像的色偏纠正上有着显著的效果,但对细节的处理较为粗糙,使得边缘轮廓不清晰,图像整体模糊。相较之下,本文方法不仅能够准确地纠正不均匀色偏,而且也提高了边缘细节的清晰度。
2.2.2 客观定量评估
接着,选取了两种常用的水下图像质量评价指标对实验结果进行定量比较,其中包括水下图像质量指标UIQM[25]和图像信息熵IE。UIQM使用图像色彩度量、清晰度度量和对比度度量来评估图像的质量,其值越大,表明图像的视觉效果越好。IE反映了图像的平均信息量,IE值越大,表明图像的清晰度越高,细节信息越丰富。表1分别为UIQM和IE指标对比结果,其中红色加粗部分为最优值。
从表1可以看出,5种方法按照评估质量的平均度量可分为三个等级。第一等级(黑色加粗),基于GDCP和文献[17]的方法在所有方法中的最优值占比最小,这表明色偏严重和细节模糊的图像不利于指标的评估。第二等级(蓝色加粗),对于Fusion和文献[24]两种方法,从2.2.1中可以观察到:两种方法产生的结果相似,但前者在所有图像上的评估值均大于后者,这表明与Fusion方法相比,文献[24]方法在纠正色偏和增强细节方面仍存在不足。第三等级(红色加粗),本文方法的UIQM和IE平均值均大于其它对比方法,尤其在UIQM值上提升更为明显。对于每幅图像的评价,每项指标都优于或接近于其它对比方法。结果表明:本文方法应用在人造光和自然光的混合光照场景时,能有效去除光源造成的不均匀散射干扰,有效均衡了图像色彩,提高了图像的细节清晰度。
表1 指标定量评价结果
本文针对水下照明图像存在不均匀色偏、对比度低和细节模糊等问题,提出了一种基于颜色校正的水下照明图像融合方法。该方法首先对源图像进行颜色校正,用以纠正人造光照射所带来的不均匀色偏,然后分别采用非线性反锐化掩蔽和满足瑞利分布的直方图拉伸方法获得一对互补的增强图像,实现了图像的多尺度融合。最后在自建数据集(RULI)上的实验结果表明,与现有文献提出的方法相比,本文方法在不需要任何先验信息的条件下,能够从水下照明图像中有效纠正不均匀色偏和提高图像的对比度和清晰度,为水下计算机视觉任务提供了预处理手段。但本文方法仍有局限性。例如,红通道补偿算法是对源图进行像素级的补偿,增加了计算复杂度。如何准确快速地进行图像色偏纠正,是未来一项重要的工作。
[1] MENG L S, LIN Y, Gu H, et al. A new type of small un-derwater robot for small scale ocean observation[C]//, 2016: 152-156.
[2] LI C Y, Anwar S, Hou J, et al. Underwater image enhancement via medium transmission- guided multi-color space embedding[J]., 2021, 30: 4985-5000.
[3] HE K M, SUN J, TANG X. Single image haze removal using dark channel prior[J]., 2011, 33(12): 2341-2353.
[4] Galdran A, Pardo D, Picón A, et al. Automatic red-channel underwater image restoration[J]., 2015, 26: 132-145.
[5] Drews P L J, Nascimento E R, Botelho S S C, et al. Underwater depth estimation and image restoration based on single images[J]., 2016, 36(2): 24-35.
[6] PENG Y T, CAO k, Cosman P C. Generalization of the dark channel prior for single image restoration[J]., 2018, 27(6): 2856-2868.
[7] 朱佳琦, 周丽丽, 闫晶晶, 等. 结合改进红通道先验与幂律校正CLAHE的水下图像复原方法[J]. 红外技术, 2021, 43(7): 696-701. ZHU J Q, ZHOU L L, YAN J J, et al. Underwater image restoration method combining improved red channel prior and power law correction-based CLAHE algorithm[J]., 2021, 43(7): 696-701.
[8] SONG W, WANG Y, HUANG D, et al. Enhancement of underwater images with statistical model of background light and optimization of transmission map[J]., 2020, 66(1): 153-169.
[9] 刘玉珍, 迟凯晨, 林森. 基于背景光估计与透射率优化的水下图像复原[J]. 激光与光电子学进展, 2020, 57(14): 141010. LIU Y Z, CHI K C, LIN S. Underwater imagerestoration based on background light estimation and transmittance optimization[J]., 2020, 57(14): 141010.
[10] ZHOU J C, WANG Y Y, ZHANG W S, et al. Underwater image restoration via feature priors to estimate background light and optimized transmission map[J]., 2021, 29(18): 28228-28245.
[11] 简梦真, 李旦, 张建秋. 基于非均匀入射光成像模型的水下图像复原[J].光学学报, 2021, 41(15): 1501003. JIAN M Z, LI D, ZHANG J Q. Underwater image restoration based on non-uniform incident light imaging model[J]., 2021, 41(15): 1501003.
[12] YU H, LI X, LOU Q, et al. Underwater image enhancement based on color-line model and homomorphic filtering[J]., 2022, 16(1): 83-91.
[13] 赵欣慰, 金韬, 池灏, 等. 不同光照条件下水下成像背景光的建模与研究[J].物理学报, 2015, 64(10): 104201. ZHAO X W, JIN T, CHI H, et al. Modeling and simulation of the background light in underwater imaging under different illumination conditions[J]., 2015, 64(10): 104201.
[14] Ancuti C, Ancuti C O , Haber T, et al. Enhancing underwater images and videos by fusion[C]//, 2012: 81-88.
[15] Ancuti C O, Ancuti C, De Vleeschouwer C, et al. Color balance and fusion for underwater image enhancement[J]., 2018, 27(1): 379-393.
[16] 张彩珍, 康斌龙, 李颖, 等. 基于差异通道增益及改进Retinex的水下图像增强[J]. 激光与光电子学进展, 2021, 58(14): 1410004. ZHANG C Z, KANG B L, LI Y, et al. Underwater image enhancement based on differential channel gain and improved retinex[J]., 2021, 58(14): 1410004.
[17] LI C, TANG S, Kwan H K, et al. Color correction based on cfa and enhancement based on Retinex with dense pixels for underwater images[J]., 2020, 8: 155732-155741.
[18] ZHANG W D, PAN X P, XIE X Y, et al. Color correction and adaptive contrast enhancement for underwater image enhancement[J]., 2021, 91: 106981.
[19] LI C Y, Anwar S, HOU J, et al. Underwater image enhancement via medium transmission-guided multi-color space embedding[J]., 2021, 30: 4985-5000.
[20] DENG G. A Generalized unsharp masking algorithm[J]., 2011, 20(5): 1249-1261.
[21] Nielsen F, Nock R. Sided and symmetrized bregman centroids[J]., 2009, 55(6): 2882-2904.
[22] KIM G, LEE S, KANG B, Single image haze removal using hazy particle maps[J]., 2018, E101-A(11): 1999-2002.
[23] Ghani A S A, Isa N A M. Underwater image quality enhancement through integrated color model with Rayleigh distribution[J]., 2015, 27: 219-230.
[24] ZHANG W, ZHUANG P, SUN H H, et al. Underwater image enhancement via minimal color loss and locally adaptive contrast enhancement[J]., 2022, 31: 3997-4010.
[25] Panetta K, Gao C, Agaian S. Human-visual-system-inspired underwater image quality measures[J]., 2016, 41(3): 541-551.
Underwater Illumination Image Fusion Method Based on Color Correction
QIU Qimeng1,ZHANG Yajia2,GAO Zhiqiang3,SHAO Jianlong3
(1. General Hospital of Police in Guizhou Province (GHPGP), Guiyang 550005, China;2. College of Urban Construction, Yunnan Open University, Kunming 650500, China;3. Faculty of information engineering and automation, Kunming University of Science and Technology, Kunming 650500, China)
We proposed a color-corrected underwater illumination image fusion method based on color correction to address uneven color shifts, low contrast, and blurred details in underwater illumination images. First, we exploited the pixel correlation between image channels to compensate for the red channel. Then, based on the color-corrected image, a sharpness-enhanced image is obtained using a nonlinear unsharp masking technique, and a global stretching map is obtained using a restricted histogram with Rayleigh distribution. Finally, we generated the fused image using a multi-scale fusion strategy. The experimental results on a self-built dataset (RULI) showed that the proposed method could remove the inhomogeneous scattering interference of mixed illumination in the imaging process and substantially improve the detail sharpness of the image. The mean values of the image quality assessment metrics UIQM and IE were 4.7399 and 7.7617, respectively, better than those of related algorithms in the existing literature.
underwater image enhancement, color correction, nonlinear unsharp masking, multiscale fusion
TP751.1
A
1001-8891(2023)11-1153-08
2022-09-14;
2022-11-14.
邱啟蒙(1998-),男,硕士,研究方向:图像处理和计算机视觉。E-mail:1057709887@qq.com。
邵建龙(1965-),男,硕士,教授,研究方向:智能信息处理。E-mail:sj-long@163.com。
国家自然科学基金(61971208)。