水下图像增强方法研究现状

王 建，宋占杰，李重仪，张莉云

（1.国家海洋技术中心，天津　300112；2.天津大学　电子信息工程学院，天津　300072；3.天津大学　理学院，天津　300072）

水下图像增强方法研究现状

王 建1，2，宋占杰3，李重仪2，张莉云2

（1.国家海洋技术中心，天津300112；2.天津大学电子信息工程学院，天津300072；3.天津大学理学院，天津300072）

光线在水下传播过程中，它的失真程度会随波长不同而发生改变。导致水下图像视觉质量下降的3个主要原因是吸收、散射和颜色失真。有关水下图像处理的研究在近十几年来得到了广泛的关注，取得了重要进展。文中着重讨论水下图像增强处理技术，探讨其中的典型算法和研究成果，对部分算法的测试结果进行定性和定量分析比较，最后总结水下图像增强技术研究现状，并展望了未来可能的发展方向。

水下图像；图像增强；颜色失真；性能比较

我国是个海洋大国，拥有1.8万km长的海岸线和300多万km2的海洋国土，海洋资源的探索和开发对我国的国民经济和国防安全都有重要的意义和价值。自主式水下机器人（简称AUV）在海洋资源勘探开发、海洋生态监测，以及军事等领域都有广泛应用。现在的AUV大都配备了光学成像及图像处理识别系统，而可见光图像是AUV的主要信息来源之一。但受到水下恶劣成像环境的限制，获取到的水下图像普遍存在对比度低、模糊、偏色等不利因素。图像可视质量的下降会严重影响后续特征提取和目标识别等过程的性能。因此，借助图像处理技术提高原始水下图像视觉质量具有重要的科学意义，得到了越来越多研究者的关注，相关研究日益增多。

已有的水下图像处理方法主要分为两类［1］：第一类是基于图像增强的方法，这类方法针对水下图像质量下降的表现（如对比度下降、偏色、图像模糊等），选取相应的图像增强技术，改善图像质量。这类方法可以利用现有的图像增强技术，灵活构建处理方案，但由于没有考虑水下图像降质原因，其增强结果不一定能正确反映图像的真实面貌。第二类方法是基于物理模型的方法，这种方法借鉴水下图像成像机理，通过研究水中悬浮颗粒对入射光的散射及吸收作用，建立合理的水下成像模型，在此基础上反演出未降质图像。如果模型选取得当，复原后的图像将接近于真实图像。但由于水下成像过程复杂多样，现有模型普遍存在参数过于简单、通用性差的缺点，制约了这类方法的使用。

本文将主要讨论基于增强技术的水下图像处理方法最新进展。现有国内外文献中涉及水下图像增强技术的综述文献较少［2-3］，并且缺少对不同方法的定性定量比较。本文通过整理比较已有方法，从中选取部分有代表性的方法，重点介绍这些方法的原理和实现过程，并对各种方法的处理结果进行定性和定量比较，最后总结有关水下图像增强技术的研究现状，指出几个可能的发展方向。

1　方法综述

有关水下图像增强的研究始于21世纪初，目前国内外能检索到的论文（包括学位论文）已近百篇。根据各方法所用图像增强技术的不同，大致可分为以下4类：

（1）基于空域增强的方法：常用技术有对比度拉伸、直方图均衡等；

（2）基于频域增强的方法：常用技术有同态滤波、小波变换等；

（3）基于颜色恒常性理论的方法：常用技术有自动白平衡、Retinex理论等；

（4）综合方法：以上几种方法的综合。

1.1基于空域增强的方法

图像空域增强技术包括对数（或幂律）变换、对比度拉伸、直方图均衡、锐化［2］等。降质后的水下图像对比度较低，影响了图像的可视质量。线性拉伸是一种简单有效的对比度拉伸技术，式（1）给出了一种典型的实现方式。

式中：f和g分别表示输入图像和增强图像，f1和f2的取值与f有关，如可以令f1和f2分别取f的最小值和最大值；gH与gL是g所能取得的最大值和最小值。

Iqbal［3］等人提出了一种基于集成颜色模型（ICM）的算法。该算法先对RGB三颜色通道采用相同的策略进行拉伸，将处理结果转换到HSV空间，并进一步拉伸S和V分量。这类方法能有效展宽图像各通道的显示范围，实现对比度增强，但由于没有考虑各强度值的统计分布以及位置信息，导致部分区域增强效果并不理想。

直方图均衡化（简称HE）是另外一种常用的空域增强方法。HE方法考虑了各通道取值的统计分布，但仍没有考虑位置信息，容易将噪声和图像细节一起增强。一种典型改进思路是采用自适应直方图均衡技术（简称AHE），将图像划分为若干个子块，对每一个子块进行直方图均衡。AHE方法有效克服了HE方法的不足，但由于各子块互不重叠，子块边界处容易出现块效应。虽然增加子块的重叠率可以有效抑制块效应，但计算量也随之增加。Karel提出的对比度受限直方图均衡技术（简称CLAHE）［4］是一种经典的AHE方法，在空域图像增强领域应用广泛。Garcia等人［5］较早地将CLAHE技术用于水下图像处理，并与对比度拉伸方法相结合，取得了不错的效果。Hitam等人［6］提出了一种混合CLAHE方法（简称CLAHE-Mix）用于水下图像增强。该方法在RGB空间只对R分量进行直方图均衡化处理，然后转换到HSV空间对S和V分量再进行直方图均衡处理，最终将两次处理结果组合，得到增强结果。除此之外，研究者还尝试在CIELAB色彩空间进行水下图像增强［7-8］，但实验结果表明，与RGB或HSV空间相比，CIELAB色彩空间处理结果并没有明显优势。

总的来说，基于空域的图像增强技术较为成熟，因此这类方法实现简单，处理后的水下图像对比度增强较为明显，但这类方法没有考虑偏色情况，另外噪声没有得到很好抑制。图1（b）～图1（d）所示为使用HE、CLAHE、CLAHE-Mix和ICM 3种技术对两幅水下图像进行增强的结果比较。由图可见，基于HE方法的处理结果对比度增强最明显，偏色情况得到一定改善，但噪声抑制效果最差，部分区域颜色出现过饱和情况；基于CLAHE方法和CLAHE-Mix方法的处理结果都不够理想，对比度略有提高，但颜色失真情况几乎没有变化；与前面3种方法相比，基于ICM方法处理结果的对比度和偏色情况都得到了一定改进。

图1　基于空域增强技术处理结果对比

1.2基于频域滤波的方法

光线在水下环境传输时，受到悬浮颗粒散射作用的影响，物体成像变模糊，细节信息部分丢失。该退化过程相当于使用低通滤波抑制图像高频成分，因此可以考虑借助频域高通滤波方法增强图像细节。

同态滤波是一种典型的频率滤波技术，它以照明-反射模型为基础，如式（2）所示：

式中：f是照射分量i和反射分量r相乘的结果。同态滤波的实现过程是利用取对数的方式，将式（2）所示的乘性关系转换为加性关系，变换到频域，并选用合适的滤波器（如高斯高通滤波器）进行处理，然后变换回像素域，最后借助指数变换得到最终结果。Garcia等人［5］比较了对比度拉伸、CLAHE和同态滤波3种方法的处理结果，发现同态滤波方法结果最佳。但笔者进行的仿真结果发现，与空域增强方法相比，同态滤波的处理结果并没有优势。陈从平等人［9］提出了一种基于改进巴特沃斯同态滤波器的水下图像增强算法，但实验结果仍不够理想。还有研究者使用小波变换去除水下图像的后向散射噪声［10］。与空域增强技术相比，针对基于频域的水下图像增强开展的研究工作较少，进展缓慢。

1.3基于色彩恒常性理论的方法

色彩恒常性（color constancy）是一种人类视觉系统的特有功能。它的含义是：当物体表面照射光的颜色在某一个范围内发生变化时，人们对物体的色彩感知基本保持不变。色彩恒常性最有代表性的理论是由Land博士［11］提出的视网膜大脑皮层理论（简称Retinex）。该理论认为人类视觉感觉到的颜色主要取决于反射分量r，而非投射到人眼视网膜的f。根据Retinex理论，设法将r从f中分离，降低i对图像的影响，达到增强图像的目的。

早期的方法使用基于路径或迭代的Retinex算法，但这类算法参数调整困难、算法复杂度高。目前常用的Retinex算法包括单尺度Retinex（简称SSR）算法［11］、多尺度Retinex（简称MSR）算法［12］，以及带有彩色恢复功能的多尺度Retinex算法（简称MSRCR）［12］。其中，MSRCR方法由于兼顾多尺度分析和颜色恢复的功能，应用最为广泛。

自动白平衡（简称AWB）是另外一类基于颜色恒常性的方法，主要解决在不同光照条件下物体偏色（color cast）问题。已有经典方法有White Patch，Gray World，Shade of Gray等。针对水下图像普遍存在的偏色问题，研究者尝试利用AWB技术进行偏色校正。Henke等人［13］提出了一种基于改进的Gray World方案用于水下图像增强，他们首先将图像划分为前景与背景，只对前景区域进行白平衡处理。Fu等人［14］所提方法先对输入水下图像进行偏色校正，然后利用Retinex方法分离反射和照射分量，并分别采用不同策略增强两类分量，最后合成增强结果。图2给出了3种基于颜色恒常性理论方法的增强结果对比。Henke方法处理结果的对比度和偏色校正结果都不够理想，MSRCR和Fu方法都能有效提高对比度和校正偏色，两者相比，Fu方法的处理结果颜色更自然，而MSRCR方法处理结果的细节更明显。

图2　基于颜色恒常性理论方法处理结果对比

1.4综合方法

比利时Hasselt大学的Ancuti等人［15］将图像融合思想用于水下图像增强。该算法首先采用Shade of Gray技术进行颜色校正，得到增强图像A；再对A进行去噪和对比度增强处理，得到增强图像B；分别计算两图的拉普拉斯对比度图、局部对比度图、显著性特征图和曝光度图等4种特征图；根据各特征图计算权重图，并做归一化处理；最后利用多分辨率分析合成增强图像。针对Ancuti方法计算复杂度较高的不足，Fang等人［16］提出一种简化方案。Petit等人［17］提出了一种基于四元法的水下图像偏色校正算法。在ICM算法基础上，Iqbal等人［18］提出了一种改进的无监督彩色校正（UCM）算法。与ICM相比，UCM算法在预处理阶段加入了白平衡技术，并区分处理3个颜色通道，增强结果有所提高。Li等人［19］提出了一整套水下图像增强方案。他们先使用去雾算法去除散射衰减的影响，接下来依次采用颜色补偿、直方图均衡、饱和度-强度拉伸等增强技术处理水下图像，最后使用双边滤波进行去噪。实验结果验证了该方法的有效性。

2　方法评测

本节选取几种代表性的水下图像增强算法进行性能测试和比较。与其他类型降质图像的增强方法评测相比，水下图像增强算法评测具有一定特殊性。增强后的图像并没有真实图像作为参考，只能对增强图像本身评测或者与原始退化图像进行对比。

2.1客观评价准则

目前有关水下图像增强性能客观评价标准的文献很少，只有Yang［20］讨论了水下图像质量评测标准。但该文提出的两个评价标准都与退化模型相关，需要事先确定模型参数。针对水下降质图像的主要表现，本文采用Li等人［21］提出的两个性能指标来衡量增强图像的对比度和偏色情况。

在CIE L*a*b*色彩空间计算两性能指标。用L表示亮度分量，取值范围是［0，1］，两色度分量用a*和b*表示，取值范围都是［-1，1］。只使用L分量计算衡量对比度的性能指标，用CNT表示，它定义为：

式中：M表示图像中分块的数目；Nm是第m个分块的像素数；Lm（x）表示第m个分块在x位置上的亮度值；μLm表示第m个分块亮度值的均值。如果某图像的CNT值越大，表示该图像的对比度越高。

使用a*和b*分量计算衡量偏色度的性能指标，用CCR表示，它定义为：

式中：μa*和μb*分别代表整幅图像a*和b*分量的均值，Da*和Db*定义为：

式中：H和W分别表示输入图像的高度和宽度。如果某图像的CCR值越大，表示该图像的偏色程度越明显。

使用上述两个指标，计算增强后水下图像综合评价指标，用QUA表示，它定义为：

式中：参数α和β用来调整CNT和CCR在QUA中所占的比重，本文取α=β=1。

2.2方法比较结果与分析

根据已有方法的分类情况，我们选取6种典型方法用于性能对比，它们是：

（1）ICM［3］；

（2）CLAHE-Mix［6］；

（3）MSRCR方法；

（4）Fu的方法［14］；

（5）UCM［18］；

（6）Photoshop®自动增强方案。

上述方法中，方法1和2属于空域增强方法，方法3和4属于基于颜色恒常性理论的方法，方法5是一种综合方法。另外选用商业软件Photoshop® CS5提供的“自动对比度”和“自动色调”增强方案进行对比。共选用4幅图像进行性能比较，分别是“fish”“ship”“coral”和“diver”。图3所示为不同方法处理结果的比较。观察处理结果发现，基于空域增强的方法（如ICM和CLAHE-Mix）对于图像偏色处理效果不佳，部分处理结果图像的偏色有所增强（如“fish”图像）。MSRCR方法能够提高图像对比度，也具有一定的颜色校正能力，但是视觉质量并不理想。Fu方法和UCM方法处理结果的总体视觉质量最佳。两者相比，Fu方法处理结果的色彩更自然，对比度更强；UCM方法处理结果偏亮，颜色饱和度稍低。Photoshop处理结果与CLAHE-Mix方法接近，尤其是偏色情况没有明显改进。

图3　不同方法处理结果对比

表1所示为6种方法的定量比较结果。表中每一张图像的最佳指标值用加粗字体标出。不难发现，除了图像“fish”的CNT指标最佳值是由MSRCR方法取得之外，其他图像各项指标的最佳值均由Fu方法取得。根据各项指标值，可以得到如下结论：Fu方法最佳，其次是MSRCR方法，以及UCM方法和ICM方法，然后是PS方法，CLAHE-Mix方法最差。这与由图3得到的分析主观评价结果基本一致。需要指出的一点是，虽然UCM方法的各项指标值并不高，但其处理结果的视觉质量优于MSRCR和ICM方法，说明本文所选用的性能指标与主观评价结果还有一定误差。

表1　定量比较结果

3　总结与展望

阐述了国内外有关水下图像增强技术的研究现状，对已有方法进行了分类，重点介绍了各典型方法的工作原理和实现过程，最后选取部分代表性的方法进行了主观对比和客观评价。水下图像增强相关研究工作取得了一定的进展，但仍存在一些不足。在未来的研究工作中，研究人员可考虑在以下几个方面开展相关工作：

（1）算法的自适应调整能力有待改进：现有方法并不适用于所有水下场景，一般需要手动调整参数。然而大部分计算机视觉系统都需要增强算法自动进行处理，不需要或者需要很少的人工调整。理想的算法应该能自动分析输入水下图像的数据，针对不同场景和不同光照条件进行自适应调整，满足复杂情况的需求。

（2）增强算法的性能有待提高：很多方法没有考虑吸收衰减所引起的偏色现象，对3个颜色通道不加区分处理。大部分方法没有考虑噪声影响，将有用信息和噪声都进行增强。绝大多数方法没有考虑水下图像模糊现象，细节成分增强不明显。

（3）客观评价体系有待于完善：目前研究人员主要采用主观方式评价水下图像增强结果，还没有形成一致认可的客观评测体系，这对算法性能的评估带来了不便。建立一个针对水下图像增强领域的标准化客观评测体系是一个亟待解决的重要问题。

［1］Schettini R，Corchs S.Underwater Image Processing:State of the Art of Restoration and Image Enhancement Methods［J］.EURASIP Journal on Advances in Signal Processing，2012:1-14.

［2］Sahu P，Gupta N，Sharma N.A Survey on Underwater Image Enhancement Techniques［J］.International Journal of Computer Applications，2014，87（13）:19-23.

［3］Iqbal K，Salam R A，Osman A，et al.Underwater Image Enhancement Using an Integrated Colour Model［J］.IAENG International Journal ofComputer Science，2007，34（2）:239-244.

［4］Zuiderveld K.Contrast Limited Adaptive HistogramEqualization［M］.Graphic Gems IV.San Diego:Academic Press Professional，1994: 474-485.

［5］Garcia R，Nicosevici T，Cufi X.On The Way to Solve Lighting Problems in Underwater Imaging［C］//Proceedings of IEEE Conference on OCEANS，Biloxi，MI，USA，2002:1018-1024.

［6］Hitam MS，Kuala Terengganu，Yussof Wnjhw，et al.Mixture Contrast Limited Adaptive Histogram Equalization for Underwater Image Enhancement［C］//Proceedings ofInternational Conference on Computer Applications Technology，Sousse，Tunisia，2013:1-5.

［7］Karam G S，Abood ZM，Saleh R N.Enhancement ofUnderwater Image UsingFuzzyHistogramEqualization［J］.International Journal of Applied Information Systems，2013，6（6）:1-6.

［8］Sonam B.Lab Based Contrast Limited Adaptive Histogram Equalization for Underwater Images［J］.International Journal of Computer Application，2015，5（4）:165-174.

［9］陈从平，王健，邹雷，等.一种有效的低对比度水下图像增强算法［J］.激光与红外，2012，42（5）:567-571.

［10］张学梦.基于小波理论的水下图像后向散射降噪研究［D］.青岛:中国海洋大学，2010.

［11］Jobson D J，Rahman Z，Woodell G A.Properties and Performance of a Center/Surround Retinex［J］.IEEE Transaction on Image Processing，1996，6（3）:451-462.

［12］Jobson DJ，Rahman Z，WoodellGA.AMulti-Scale Retinexfor Bridgingthe Gap Between Color Images and the Human Observation of Scenes［J］.IEEE Transaction on Image Processing，2000，6（7）:965-976.

［13］Henke B，Vahl M，Zhou Z L.Removing Color Cast of Underwater Images through Non-Constant Color Constancy Hypothesis［C］//Proceedings ofInternational Symposiumon Image and Signal Processingand Analysis，Trieste，Italy，2013:20-24.

［14］Fu X Y，Zhuang P X，Liao Y H.A Retinex-Based Enhancement Approach for Single Underwater Image［C］//Proceedings of IEEE International Conference on Image Processing，Paris，France，2014:4572-4576.

［15］Ancuti C，Ancuti C O，Haber T，et al.Enhancing Underwater Images and Videos by Fusion［C］//Proceeding of IEEE Conference on Computer Vision and Pattern Recognition，Rhode Island，USA，2012:81-88.

［16］Fang S，Deng R，Cao Y，et al.Effective Single Underwater Image Enhancement by Fusion［J］.Journal of Computers，2013，8（4）: 904-911.

［17］Petit F，Capelle-Laize A S，Carre P.Underwater Image Enhancement by Attenuation Inversion with Quaternions［C］//Proceedings of IEEE International Conference on Acoustics，Speech and Signal Processing，Taiwan，2009:1177-1180.

［18］K Iqbal，Odetayo M，James A，et al.Enhancing the Low Quality Images Using Unsupervised Colour Correction Method［C］//Proceedings ofthe IEEE International Conference on Systems Man and Cybernetics，Istanbul，Turkey，2010:1703-1709.

［19］Li C Y，Guo J C.Underwater Image Enhancement by Dehazing and Color Correction［J］.J Electron Imaging，2015，24（3）:033023（1-10）.

［20］Yang M，Sowmy A A.NewImage Quality Evaluation Metric for Underwater Video［J］.IEEE Signal Processing Letters，2014，21（10）: 1215-1219.

［21］Li F，Wu J，WangY，et al.AColor Cast Detection AlgorithmofRobust Performance［C］//Proceedings ofIEEE International Conference on Advanced Computational Intelligence，Nanjing，China，2012:662-664.

Research Progress of Underwater Image Enhancement Methods

WANG Jian1，2，SONG Zhan-jie3，LI Chong-yi2，ZHANG Li-yun2
1.National Ocean Technology Center，Tianjin 300112，China；
2.School of Electronic Information Engineering，Tianjin University，Tianjin 300072，China；
3.School of Science，Tianjin University，Tianjin 300072，China

When traveling through water，light rays are distorted according to different wavelengths.Absorption，scattering and color distortion are the three major reasons for the decrease of visual quality of underwater images.The research field of underwater image processing has received considerable attention in the last decade，obtaining important achievements.This paper focuses on recent enhancement-based underwater image techniques，and presents some typical algorithms and research results，with qualitative and quantitative evaluation conducted on the testing results from a portion of algorithms.Finally，it summarizes the research progress of underwater image enhancement methods and proposes future research directions.

underwater images；image enhancement；color distortion；performance comparison

TP391.4

A

1003-2029（2016）02-0076-07

10.3969/j.issn.1003-2029.2016.02.014

2015-10-27

国家自然科学基金资助项目（61002030，61372145）

王建（1976-），男，博士后，讲师，研究方向为图像处理、计算机视觉。E-mail：jianwang@tju.edu.cn