基于暗原色先验原理的水下图像增强

朱振杰，王红茹,2



基于暗原色先验原理的水下图像增强

朱振杰1，王红茹1,2

(1. 江苏科技大学机械工程学院，江苏 镇江 212003；2. 江苏科技大学江苏省船海机械先进制造及工艺重点实验室，江苏 镇江 212003)

针对水下光衰减和散射导致的图像严重降质问题和用传统方法进行水下图像增强产生色偏现象，提出一种新的水下图像增强方法。基于暗原色先验原理进行水下图像增强，用软抠图的方法对图像暗通道进行细化；在图像前0.1%最亮的像素点中，用中值滤波算法计算出这些像素点的中值，再计算这些像素点和与之对应的中值的差值，差值最小的像素点作为背景光的预估值，并用该像素点所在区域颜色饱和度方差来判断预估背景光的准确性；利用Retinex算法和图像各颜色通道的衰减系数比对增强后的图像进行颜色校正。实验表明，该方法能有效地去除水下图像中的雾色、校正图像色偏问题，进而提高图像对比度。

水下图像增强；暗原色先验；背景光估计；颜色校正

光在水中传播时，一部分光在海水中发生衰减[1]，一部分光受各种微粒的影响产生散射，散射是导致水下图像退化的主因，前向散射导致目标景物变得模糊，后向散射导致图像对比度下降。常用Gray-World算法[2]、四元法[3]、直方图均衡化方法[4]等方法对水下图像进行增强处理。

Gray-World算法对陆上图像增强技术比较成熟，但用于水下图像的增强会产生色偏现象，甚至会产生光晕现象；基于四元法的图像增强算法能较好地均衡图像颜色，但是在对比度提升方面效果不好，因为仅用像素点颜色空间的变换，很难对水下图像进行去雾；直方图均衡化方法对图像的灰度级进行均衡化处理，图像增强效果良好，但该法只描述各通道取值的统计分布，没有考虑位置信息，容易将噪声和图像细节一起增强，也会使图像某些区域产生过饱和，图像易失真。

文献[5]首先将原始图像进行降噪和对比度提升得到两幅输入图；再以原始图像的显著图为引导，结合照度和色度图作为图像融合的权重图，并根据权重图对两幅输入图像进行自适应加权求和，从而实现图像增强的目的。该方法对图像的边缘和轮廓信息增强效果明显，但去雾能力不强，有色偏。

许多学者研究了水下模糊图像增强问题，提出了不同的增强算法[6-9]。HE等[10]提出的基于暗原色先验的户外图像去雾算法，通过试验证明该算法对户外有雾图像进行去雾非常有效。

本文根据水下成像特点，结合暗原色先验原理，提出一种既能有效进行水下图像增强，又能校正色偏的新算法，并从3个方面进行研究：①根据光在水下传输特性，结合暗原色先验原理对图像颜色通道的传输图进行计算，并用软抠图方法精细化；②选取图像中前0.1%最亮的像素点，用中值滤波算法计算这些像素点的中值，把像素点值和与之对应的中值的差值最小的像素点作为预估背景光，并用区域颜色饱和度方差判断预估背景光的正确性；③利用图像各颜色通道衰减系数比结合Retinex算法对增强后的图像进行色偏校正。

1 水下成像模型

1.1 光在水中的传播特性

由光在水中的衰减和散射特性可知，光在水中的能量衰减遵从Lambert-Beer经验定律[11]，假设传播介质是均匀的，光在水中的传输函数为

水下光衰减主要由吸收和散射两方面原因引起，因此衰减系数可表示为

1.2 水下成像物理模型

根据光在水中的传输特性，在不考虑人工光源对成像的影响，水下成像由直接传输部分、前向散射部分和背景散射部分组成，如图1所示，相机接收的光强为

其中，为直接传输分量；为前向散射分量；为背景散射分量；为图像中某个像素点。

直接传输和前向散射来自图像中目标物的反射光，背景散射是由于周围的环境光与水中微粒相互作用而成。直接传输部分可表示为

背景散射部分表示为

假设场景与相机的距离不大，那么由前向散射造成的图像模糊可以忽略不计，式(7)可以简化为

2 基于暗原色先验原理的水体透射率求取

2.1 暗原色先验原理

由于水下退化图像的形成原理与户外退化雾色图像较为近似[12]，因此，本文将暗原色先验原理用于对水下退化图像进行去雾处理。

2.2 水体透射率求取

在不同水质、不同水域和不同的光照条件下，水下图像退化程度差异大，相应的退化函数具有不确定性，因此目前对于水下图像的复原技术尚鲜见系统定量研究[13]。

根据暗原色先验原理，得

则式(11)变为

由式(13)可求出水体的透射率为

因红光衰减系数最大，水下图像R通道的传输率值最小，用暗通道先验原理估算出的传输图认为是水下图像R通道的传输图，即

式(15)估计出的传输图较为粗糙，需要对传输图进行优化处理。文献[10]用软抠图的方法对粗糙的传输图进行精细化，实验结果显示该法处理效果较好，用式(16)的稀疏线性矩阵方程来求解细化后的传输图[14]，即

图2所示为水下原始图像，图3是R通道的透射率图，从图3(a)中可以看出，预估的传输图有很强的块效应，图3(b)是R通道原始传输图精细化的结果，在景深突变不明显时，使用软抠图算法对传输图进行精细化处理可有效消除预估传输图的块效应，也能清楚地表现景物边缘的变化情况。

文献[15]指出，水下图像的全局背景光与散射系数成正比，与衰减系数成反比，即

在Ⅰ类和Ⅱ类海水中，通过实验测得不同水域中的9组不同波长对应散射系数的数据，使用最小二乘回归分析法得到散射系数与波长的关系为

图2 水下原始图像

图3 R通道透射率对比

则G通道和B通道的传输图为

3 改进的背景光准确估计算法

在用本文方法估计出的水下图像背景光(图5长矩形框中红点所示)和使用文献[10]方法估计出的水下图像背景光(图5短矩形框中紫点所示)进行比较中发现，本文估计出的背景光落在图像颜色饱和度方差最小的区域内，而文献[10]方法估计出的背景光落在图像颜色饱和度方差较大的区域内，说明该方法在背景光的估计中受环境光影响较大，存在偶然性，估计不准确。如图6所示，文献[10]方法估计的背景光参数进行图像增强，增强后的图像偏亮，用本文方法估计得到G、B颜色通道的传输图如图7、8所示。

图4 背景光估计流程图

图5 无穷远处背景光

图6 文献[10]方法增强后水下图像

则用本文算法增强后的水下图像如图9所示，图像细节突出、轮廓鲜明、亮度适中、视觉效果较好。

图8 本文方法B通道的传输图

图9 本文增强后的水下图像

4 基于Retinex理论的颜色校正

将图像每个颜色通道的像素转换到对数域分别进行处理，则有

图10是对增强后的水下图像进行颜色校正的结果。从图10中可以看出，用本文算法进行颜色校正，增强后的图像色偏现象得到明显改善，图像的局部细节被突出，提高了图像整体的视觉效果。

图10 颜色校正后的水下图像

5 实验与分析

本文在Windows7平台上用MATLAB2014a软件对各算法进行实验对比，实验采用图11中3幅水下原始图像，用直方图均衡化算法(HE算法)[19]、基于暗原色先验的算法[10]、带色彩恢复的多尺度视网膜增强算法(MSRCR算法)[20]、同态滤波算法[21]和本文提出的算法进行实验对比，结果如图12~16所示。

图11 水下原始模糊图像

图12 HE算法

图13 同态滤波算法

图14 基于暗原色先验的算法

图15 MSRCR算法

图16 本文算法

5.1 定性分析

图12中，直方图均衡化方法处理结果的视觉表现较好，但颜色通道被过度拉伸，图像有些失真；图13中，同态滤波算法去雾效果明显，但图像亮度被降低，有色偏现象；图14中，基于暗原色先验的算法能有效地对水下图像进行增强，但对水下图像色偏现象同样不能有效处理，目标与背景的区分度不高；图15中，MSRCR算法虽然能很好地恢复图像细节，目标与背景能有效区分，但图像整体颜色淡化，而且图像有轻微失真；图16中，本文算法增强效果明显，目标与背景对比度高，色偏得到有效校正，适合观察者对水下物体进行特征分析。对比图12~16中第(a)组图的局部区域中红色矩形框中的条纹鱼可以看出，本文算法结果中鱼更加清晰，颜色校正后的鱼身颜色更加鲜明真实。

5.2 定量分析

峰值信噪比(peak signal to noise ratio，PSNR) 是一种常用的评价算法，文中各算法结果的PSNR值见表1。从中可以看出，用本文算法处理后的3幅图的PSNR值大于同态滤波算法和暗通道先验原理处理后的PSNR值；本文算法和直方图均衡化算法处理后的PSNR值基本一致。在第(a)组图中，用本文算法处理后的PSNR值小于MSRCR算法处理后的PSNR值，在第(b)和(c)组图中，本文算法PSNR值大于MSRCR算法处理后的PSNR值，这是因为水下原始图像严重模糊，没有一幅清晰的图像作为标准来进行对比，用原图作为标准来进行对比并计算PSNR值不能真实反映算法的有效性，有时原始图像降严重，而算法处理效果较好，使处理结果与原图产生较大差别，导致均方差(mean square error，MSE)较大，PSNR值降低。

表1 图12~16 PSNR和MSE比较

对图像进行主观判断其正确性是有限的，因此，需用客观方法对图像处理结果进行分析。图像对比度是判别水下图像增强效果的一个重要指标，文献[22]定义图像某区域内的局部对比度为

本文通过计算各算法结果图的整体对比度来比较算法的性能，原图及各算法的对比度见表2，从中可以看出，本文算法结果图的整体对比度是最高的，图像整体的视觉效果也是最好的。

图像清晰度也是评价图像增强效果的重要指标，本文对各算法结果用图像灰度差和边缘强度两个指标进行清晰度评价。灰度差越大，图像越清晰，图像中的高频分量也越多；边缘值越大，图像越清晰，边缘值越小，图像越模糊。对图11中的第(a)、第(b)和第(c)组图像用各算法进行清晰度评价计算，如图17~19所示，在3组实验中，本文算法的两个清晰度指标都是最高的。

表2 图11~16图像对比度

图17 图11~16第(a)组结果清晰度评价

图18 图11~16第(b)组结果清晰度评价

图19 图11~16第(c)组结果清晰度评价

为了进一步论证本文算法的有效性，将与文献[23]中的算法进行对比。采用文献[23]中的原始图像(图20)和该文3种指标来判断算法的性能：亮度均值、方差均值和图像信息熵。

图20 原始图像

由图21和22对比可知，本文算法图像细节更加突出，色偏现象得到明显改善，文献[23]的结果中，图像色偏比较严重，影响辨识度。客观上分析，文献[23]中该图的亮度均值约为150，方差均值约为14，图像信息熵约为6.8。本文算法结果的图像亮度均值约为160，方差均值约为16，图像信息熵约为7.8。因此，从主客观两方面分析，本文算法更具优越性。

图21 文献[23]算法结果

图22 本文算法结果

6 结束语

本文提出了一种有效的水下图像增强算法，基于水下成像模型的基础之上，结合暗原色先验原理对水体透射率进行求取，再用中值滤波算法和区域颜色饱和度方差对无穷远处背景光进行估计，可有效避免人工光源、噪声和白色物体等对背景光的影响；最后用Retinex理论结合各颜色通道的衰减系数比对增强后的图像进行色偏校正，可减轻由环境导致的图像偏蓝绿色的影响，提升图像视觉效果。实验表明，本文提出的算法优点在于对严重模糊的水下图像增强效果良好，图像不易失真，色偏校正后适宜辨识细节特征。通过与其他算法结果进行对比，用本文算法进行水下退化图像增强效果显著。

[1] SCHETTINI R, CORCHS S. Underwater image processing: state of the art of restoration and image enhancement methods [J]. EURASIP Journal on Advances in Signal Processing, 2010(1): 1-14.

[2] 金黄斌, 秦兴, 郭斌林. 基于灰度世界和白点检测的自动白平衡算法[J]. 电子器件, 2011, 34(2): 226-231.

[3] 高朝邦, 周激流. 基于四元数分数阶方向微分的图像增强[J]. 自动化学报, 2011, 37(2): 150-159.

[4] 姜柏军, 钟明霞. 改进的直方图均衡化算法在图像增强中的应用[J]. 2014, 44(6): 702-706.

[5] 曹风云, 赵凯, 王筱薇倩, 等. 自适应水下彩色图像增强算法[J]. 电子测量与仪器学报, 2016, 30(5): 772-778.

[6] 郭相凤, 贾建芳, 杨瑞峰, 等. 基于水下图像光学成像模型的清晰化算法[J]. 计算机应用, 2012, 32(10): 2836-2839.

[7] 敖珺, 孙宗凯, 马春波. 基于加权引导滤波的水下图像增强算法[J]. 桂林电子科技大学学报, 2016, 36(2): 113-117.

[8] 杨淼, 纪志成. 基于模糊形态筛和四元数的水下彩色图像增强[J]. 仪器仪表学报, 2012, 32(7): 1601-1605.

[9] 胡玉娟, 曹风云. 基于图像融合的水下彩色图像的增强方法[J]. 合肥工业大学学报, 2013, 36(8): 948-953.

[10] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior IEEE Transactions on [J]. Pattern Analysis and Machine Intelligence, 2011: 33(12): 2341-2353.

[11] GORDON H R. Can the Lambert-Beer law be appli-ed to the diffuse attenuation coefficient of water [J]. Limnology and Oceanography, 1989, 34(8): 1389-1409.

[12] 杨淼, 纪志成. 基于模糊刊态筛和四元数的水下彩色图像增强[J]. 仪器仪表学报, 2012, 33(7): 1601-1605.

[13] 张赫, 徐玉如, 万磊, 等. 水下退化图像处理方法[J]. 天津大学学报, 2010, 43(9): 827-833.

[14] LEVIN A, LISCHINSKI D, WEISS Y. A closed-form solution to natural image matting IEEE Tran-sactions on [J]. Pattern Analysis and Machine Intelligence, 2008, 30(2): 228-242.

[15] ZHAO X W, JIN T, QU S. Deriving inherent optical properties from background color and underwater image enhancement [J]. Ocean Engineering, 2015, 94(2): 163-172.

[16] TAN R T. Visibility in bad Weather from a single image [C]//IEEE Conference on Computer Vision and Pattern recognition, CVPR 2008. New York: IEEE Press, 2008: 1-8.

[17] 陈超. 水下图像增强算法研究及其应用[D]. 大连: 大连理工大学, 2016.

[18] LAND E H, MC CANN J J. Lightness and retinex theory [J]. Journal of Optical Society of America, 1971, 61(1): 1-11.

[19] 吴成茂. 直方图均衡化的数学模型研究[J]. 电子学报, 2013, 41(3): 598-602.

[20] 李锦, 王俊平, 万国挺, 等. 一种结合直方图均衡化和MSRCR的图像增强新算法[J]. 西安电子科技大学学报, 2014, 41(3): 103-109.

[21] 程新. 基于同态滤波的图像增强算法研究[D]. 西安: 西安邮电大学, 2016.

[22] SCHECHNER Y Y, KARPEL N. Recovery of underwat-er visibility and structure by polarization analysis [J]. IEEE Journal of Oceanic Engineering, 2005, 30(3): 570-587.

[23] 张凯, 金伟其, 裘溯, 等. 水下彩色图像的亮度通道多尺度Retinex增强算法[J]. 红外技术, 2011, 33(11): 630-634.

Underwater Image Enhancement Based on the Principle of Dark Channel Prior

ZHU Zhenjie1, WANG Hongru1,2

(1. School of Mechanical Engineering, Jiangsu University of Science and Technology, Zhenjiang Jiangsu 212003, China; 2. Key Laboratory of Advanced Manufacture and Process for Marine Mechanical Equipment in Jiangsu Province, Jiangsu University of Science and Technology, Zhenjiang Jiangsu 212003, China)

In view of the serious degradation of the underwater images caused by underwater light attenuation and scattering, a new method of underwater image enhancement is proposed in this paper. The new method based on the principle of dark channel prior conducts underwater image enhancement and image thinning on dark channel by the method of soft matting. In the first 0.1% brightest pixels of the image, the medians of these pixels are calculated through the median filtering algorithm. Then, the differences between these pixels and their corresponding medians are calculated, and the pixel of minimum difference is employed as an estimate of the background light. The accuracy of the estimated background light is judged by the color saturation variance of the region around the pixel. Afterwards, the Retinex algorithm and the ratio of attenuation coefficients for each color channel are adopted to conduct color correcting for enhancement images. It is shown by experiments that the proposed method can effectively dehaze the underwater images, correct the color cast of images and further enhance the image contrast.

underwater image enhancement; dark channel prior; background light estimation; color correction

TP 391

10.11996/JG.j.2095-302X.2018030453

A

2095-302X(2018)03-0453-10

2017-07-14；

2017-09-28

江苏省重点项目(BE2016009)；江苏省研究生科研与实践创新计划项目(SJCX17-0606)；江苏科技大学2016年研究生科研实践计划项目(YSJ16S-06)

朱振杰(1991-)，男，江苏南通人，硕士研究生。主要研究方向为机器视觉与图像处理。E-mail：JXJIE2015@163.com

王红茹(1979-)，女，河南南阳人，讲师，博士。主要研究方向为智能机器人。E-mail：wangrh@126.com