基于图像融合的水下彩色图像的增强方法

胡玉娟， 曹风云

（合肥师范学院 公共计算机教学部，安徽 合肥 230061）

水下世界能见度较差是海洋应用中存在的主要问题之一［1－2］。为了更好地了解水下世界，人们常常借助光电系统对水下物体进行成像［3］，但是水体对光具有很强的衰减作用。事实上，水下可见度受光和介质的交互作用影响，相当多的悬浮颗粒以较大的尺寸和密度存在于介质中，它们对光的散射和吸收导致了较差的对比度、低亮度和受限制的能见度，而且水体越浑浊，散射部分所占比例越大。因此，在对数据进行分析和理解之前需要对它进行预处理，即消除衰减所带来的误差。

当前对于水下图像增强的方法主要是基于物理模型方法［4］，通过偏振成像提高自然照明条件下的水下彩色图像能见度［5－6］，还有预测处理滤波复原算法［7］、四元素衰减系数反转复原处理算法［8］、集成色彩模型增强算法［9］、点扩散函数 PSF处理算法［10］和RETINEX算法等水下彩色图像增强方法［11－12］。本文提出了一种基于融合技术的高效率、低复杂性的水下图像增强方法。

1 水下成像模型与算法架构

基于普遍的和共同的最优化模型［13］，如图1所示，获取的图像模型可以分为由对象直接反射的光以及由介质颗粒多重散射的背景光2个部分。该模型可以描述如下：

其中，x为水下场景中的点；I（x）为采集到的水下图像；J（x）是场景x处的光辐射；B为反映全局光的常量；T（x）为介质的传输映射，即光在水下场景点x反射后并到达相机后的残余能量的比率。假设是均匀介质，则T（x）可表述为：

其中，d为采集设备和观测点x之间的距离；β为介质的散射系数。

图1 水下成像模型

（1）式的第1部分J（x）T（x）［14］为对象在水下直接衰减后到达采集设备的光，第2部分B（1－T（x））是多重散射的背景光。

根据上述分析可以看出，水下成像图像的质量下降主要体现在2个方面：① 光的衰减，要采取的对策是增加对比度；② 色彩的改变，需要对源图像进行白平衡，把扭曲的色彩恢复正常。为此，本文根据这2个方面的因素进行了有针对性的处理。需要特别指出的是，本文提出的算法，摒弃了传统的水下图像增强的物理模型方法，从图像融合的角度实现了单幅水下图像的复原。该算法主要通过对单幅图像的多种图像信息提取后再融合，进而提高采集图像的整体质量，获取理想的结果。算法主要框架结构如图2所示。

图2 算法框架图

本文的算法通过选取适当的输入图像及权重图来反映图像的基本特征及必要信息。图2中输入图像I1和I2分别是对原始采集图像进行白平衡及全局对比度提升的处理图像；选取原始图像的照度图、色度图及显著图作为其相应的权重图；将2幅输入图像根据其相应的权重图进行加权融合后，能够实现对水下图像有效的增强处理。

3 算法描述

3.1 输入图像

输入图如图3所示。

图3 输入图

光线在通过水面时，会被吸收和散射，导致颜色的偏移和光强变弱，需要进行白平衡来恢复自然光。白平衡是指不管在任何光源下，都能将白色物体还原成白色。对在特定光源下拍摄出现的偏色现象，通过加强对应的补色可进行补偿。白平衡是描述显示器中红（R）、绿（G）、蓝（B）三基色混合后生成白色的精确度的一项指标。这样以白色为基准，纠正色彩的偏移。白平衡后实现了图像亮度值的归一化，将其压缩至［0，1］的范围内。该步骤有效地减小了亮度值之间的显著差异，为接下来的图像增强做准备。由此，得到第1幅输入图像I1，即对源图像白平衡操作。

在光线衰减后，为了得到清晰的图像，需要对源图像做一个全局对比度提高的操作。本文采用直方图均衡化方法实现全局对比度的提高，此方法具有简洁明了、复杂度小的优点。其缺点是在增强污染区域可见度的同时，也会弱化其他部分的细节。然而，这些缺陷不影响对比度增强的整个过程并且会在下面的图像融合中得到解决。由此，得到增强图像I2。

3.2 权重图及权值

3幅权重图的效果如图4所示。

（1）色度图。色度是指色彩的纯度，即用来描述图像的饱和度，饱和度越大，图像色彩越鲜艳，用色度图权衡能使图像的饱和度得到更好的体现。色度图表示如下：

其中，S表示每个象元的饱和度值；取标准差σ＝0.3；Smax为饱和度最大值。由（3）式可以看出权值d与S的变化关系。饱和值大，才能显示鲜艳的图像。所以，当d接近于0时，才是更好的效果。由此，分别得到2幅输入图的色度图。

图4 权重图

（2）照度图。照度是指物体被照亮的程度，用来描述图像的亮度信息。为了更好地中和I1和I2，本文提取2幅图像之间的亮度值进行计算，以达到均衡的效果。将2幅输入图像从RGB空间转换到HSV空间，因为V分量即为亮度分量，再计算每幅输入图的R、G、B通道与各自的亮度通道的标准差，由此，得到照度图的效果，并且这个权值图起到了均衡亮度的结果。

（3）显著图。图像的主要信息只集中在少数的关键区域中，而人们所关注的通常也集中在图像轮廓曲度最大或轮廓方向突然改变的区域，这些信息可由显著图来体现。显著图刻画了图像中较为突出、能够吸引人们注意的区域。更确切地说，显著图体现了某个特定区域与相邻区域的对比度；对比度越明显的区域，就越容易引起人们的注意，也就具有更大的显著性。与增强全局对比度不同的是，显著图可以使原始图像的边缘得到突出；提取出局部区域的轮廓之后，进一步增加其相应的权重值，从而达到增强图像对比度的效果。对于显著图的获取有多种方法，代表方法主要为文献［15］的方法。本文采用一种更加简单高效的算法［16］来产生显著图，并且可以产生全分辨率的显著性图，比之前的算法具有更加优越的效果。

3.3 图像融合算法描述

图像融合是将源于多源通道所采集的关于同一目标或场景的图像经过一定的处理，提取每个通道的互补信息，最后综合成信息更加丰富、对同一场景和目标的描述更准确、全面、可靠的图像或图像特征。对源图像做上述处理得到输入图和相应的3幅权重图之后，本文采用多尺度图像融合［17］方法对初始的降质水下图像进行增强，以得到实际所需的结果。具体算法如下。

得到2幅输入图像I1和I2后，分别提取出对应于I1和I2的3幅权重图，即wL－1、wL－2（照度图），wC－1、wC－2（色度图）和 wS－1、wS－2（显著图）。为便于后续的加权融合，对各个权重图都进行归一化处理，即

按照同样方法得到 NwC－1、NwC－2，NwS－1、NwS－2。然后对3个加权值进行线性融合，用W来表示最终的权值，其计算方法为：

其中，a、b、c分别表示3个加权值的系数。对于a、b、c 3个参数的确定可以采用机器学习的方法，在本文的实验中，a、b、c的通常取值为趋近于1的值，则输出图像可以描述为：

其中，mk表示2个输入图像I1和I2的系数。

输出图F（i，j）的每个像元点（i，j）由输入图的像元点和与之对应的标准化权值图的像元点加权求和得到。

为了进一步提高输出结果的质量，本文采用多分辨的金字塔对处理结果进行改进，对输入图像进行Laplacian金字塔处理，对标准化权值¯W进行Gaussian金字塔［18］处理，分层进行相应的加权融合。

由于Laplacian与Gaussian金字塔具有相同的层数，对于输入图像与相应权值的融合也在每一层中分别进行，对应表达式为：

其中，l为金字塔层数。

拉普拉斯金字塔源于图像的高斯金字塔分解，高斯金字塔的生成包含低通滤波和下采样的过程。金字塔模型如图5所示。

图5 金字塔模型

4 实验结果与分析

为验证本文算法的有效性，进行各种类型的对比性实验。对比图如图6～图8所示。

文献［13］根据存在于背景光中的不同颜色通道的剩余能量的比例深度估计，必然存在估计误差，而且存在针对性，算法的适应性不强。由图6看出本文的结果色彩更真实，细节更清晰。

图7是与文献｛11］的试验对比。该方法通过水下彩色图像亮度通道下的多尺度MSR算法处理。由这组对比图看出，无论在颜色的鲜艳程度还是细节的表现方面都更加令人满意。并且文献［11］运用卷积运算，而本文采用像素级处理，计算效率也更高。

文献［20］采用暗原色先验的方法。该方法先采用中值滤波估计深度图之后结合黑通道再建场景图，最后采用色彩增强的方法。但是该方法存在估计误差，并且容易造成色彩的真实度偏差。由图8看出本文方法在最大化保证真实色彩的情况下增强了水下图像。

总体而言，本文算法能够很好地突出细节，同时又不会造成颜色失真，因此得到的结果具有更好的视觉效果。此外，在计算效率方面，本文算法有着明显的优势。当图像的大小合适时，能够适应实时处理的应用场合。

图6 对照实验一

图7 对照实验二

图8 对照实验三

5 结束语

本文首先分析了水下图像质量降低的本质原因为光的衰减和色彩的改变2个方面。然后，有针对性地提出基于图像融合策略的单幅水下图像增强的算法。该算法通过选取最优的输入图像及权重图，利用加权融合即可实现良好的增强效果。与其他的算法相比，该算法能够对单幅图像进行处理，且无需对成像设备进行改进。尤其重要的是，本文算法计算效率高，计算代价与图像大小成线性关系，能够满足实时应用的需要。大量真实图像实验结果表明，该算法可以有效地实现水下降质图像的实时处理，在细节增强和颜色保真方面能够取得较好的效果。

［1］Lebart K，Smith C，Trucco E，et al.Automatic indexing of underwater survey video：algorithm and benchmarking method［J］.IEEE J Ocean Eng，2003，28（4）：673－686.

［2］Yuh J，West M.Underwater robotics［J］.Adv Robot，2001，15（5）：609－639.

［3］Jin Weiqi，Wang Xia，Cao Fengmei，et al.Review of underwater opto－electrical imaging technology and equipment：Ⅱ［J］.Infrared Technology，2011，33（3）：125－132.

［4］Treibitz T，Schechner Y Y.Instant 3 Descatter［C］／／Proc IEEE Computer Vision and Pattern Recognition，Vol 2，2006：1861－1868.

［5］Schechner Y Y，Karpel N.Recovery of underwater visibility and structure by polarization analysis［J］.IEEE J Ocean Eng，2005，30（3）：570－587.

［6］LI Hailan，Wang Xia，Zhang Chuntao，et al.The development and analysis of target detection research based on polarization imaging technology［J］.Infrared Technology，2009，35（5）：695－700.

［7］Bazeille S，Quidu I，Jaulin L，et al.Automatic underwater image pre－processing［C］／／CMM’06Caracterisation Du Milieu Marin，2006：1－18.

［8］Petit F C，Capelle－LaizéA，CarréP.Underwater image enhancement by attenuation inversion with quaternions［C］／／ICASSP，Proc IEEE，2009：1177－1180.

［9］Kashif I，Rosalina A S，Azam O，et al.Underwater image enhancement using an integrated colour model［J］.IAENG International Journal of Computer Science，2007，32（2）：239－244.

［10］Hou W，Gray D J，Weidemann A D，et al.Comparison and validation of point spread models for imaging in natural waters［J］.Optics Express，2008，16（13）：9958－9965.

［11］Zhang Kai，Jin Weiqi，Qiu Su，et al.Multi－scale retinex enhancement algorithm on luminance channel of color underwater image［J］.Infrared Technology，2011，33（11）：630－634.

［12］Ancuti C O，Ancuti C，Bekaert P.Effective single image dehazing by fusion［C］／／200117th IEEE International Conference on Image Processing，2010：3541－3544.

［13］Chiang J Y，Chen Y C.Underwater image enhancement by wavelength compensation and dehazing［J］.IEEE Transactions on Image Processing，2012，21（4）：1756－1769.

［14］McFarland W N.Light in the sea：correlations with behavior of fishes and invertebrates ［J］.Amer Sci Zoology，1986，26（2）：389－401.

［15］Achanta R，Hemami S，Estrada F，et al.Frequency－tuned salient region detection［C］／／CVPR，2009：1597－1604.

［16］Cheng Mingming，Zhang Guoxin，Mitra N J，et al.Global contrast based salient region detection［C］／／CVPR，2011：409－416.

［17］Burt P J，Adelson E H.The Laplacian pyramid as a compact image code［J］.IEEE Transactions on Communications，1983，31（4）：532－540.

［18］Gonzalez R C，Woods R E.Digital image processing［M］.2nd ed.Prentice Hall，2002：224－233.

［19］Yu Zhangming，Gao Fei.Laplacian pyramid and contrast pyramid based image fusion and their performance comparison［J］.2004，21（10）：128－130.

［20］Yang H Y，Chen P Y，Huang C C，et al.Low complexity underwater image enhancement based on dark channel prior［C］／／2011Second International Conference on Innovations in Bio－inspired Computing and Applications，2011：17－20.