基于加权L1正则化的水下图像清晰化算法

杨爱萍 张莉云 曲 畅 王 建②



基于加权L1正则化的水下图像清晰化算法

杨爱萍*①张莉云①曲 畅①王 建①②

①(天津大学电子信息工程学院 天津 300072)②(国家海洋技术中心 天津 300112)

水体对光能量有较强的吸收和散射作用，造成水下图像颜色失真，对比度下降。传统的图像增强方法和复原方法处理水下图像时各有不足，该文结合水下成像物理模型和基于Retinex理论的图像增强算法，提出水下图像清晰化方案。首先，基于图像统计特性给出一种简单的颜色校正方法，以去除颜色失真；在水下图像成像理论框架下，利用边界约束求得初始透射率，再使用自适应维纳滤波进行优化；在此基础上，提出加权L1正则化模型对亮度层进行增强，最后再进行自适应Gamma校正。实验结果表明，算法可以有效去除颜色失真，而且能够大幅提升图像的对比度和清晰度。

图像处理；颜色校正；透射率；加权L1正则化；自适应Gamma校正

1 引言

水下图像在海洋能源勘探、海洋环境监测与保护以及海洋军事等领域有着广泛的应用，由于水体对光能量有较强的吸收和散射作用，造成水下图像对比度下降，颜色失真和细节模糊等[1,2]。因此，开展水下图像清晰化研究对国民经济和军事具有重要的价值和意义。

现有的水下图像清晰化方法主要分为两类：一类是不考虑图像退化的真正原因，从图像增强的角度改善水下图像质量；另一类是考虑水下图像退化过程，根据成像物理模型复原图像。由于水下图像与雾天图像成像模型类似，不少学者采用基于暗通道先验的去雾方法增强水下图像[3,4]。但该方法忽略了红通道的影响，导致估计的透射率偏大，复原图像偏暗。针对该问题，文献[5]提出只求蓝、绿通道的暗通道，但该方法可能因缺少红通道信息导致透射率估计偏小。文献[6]提出通过设置阈值判断是否利用红通道估计透射率，但该方法不能对三通道透射率独立求解。Chiang等人[7]提出一种基于波长补偿和去雾的复原算法(Wavelength Compensation and Image Dehazing, WCID)，但该算法需要预先知道成像环境等附加信息。文献[8]提出通过水下图像三颜色通道间光衰减差估计景深，但该方法并没有考虑不同颜色通道的衰减差异。文献[9]提出基于红通道的水下复原算法，通过对红通道反转和添加饱和度分量，减少衰减严重的红通道和人工光源对透射率估计的影响。虽然上述算法都取得一定的效果，但通常需要有关成像环境的衰减系数等附加信息，应用范围受限。近期，文献[10]提出了一种基于Retinex理论的水下图像增强方法，可有效增强图像的亮度和细节，但该方法并没有考虑水下图像的降质过程。

本文结合水下图像成像模型[11]和图像增强算法，提出新的水下图像清晰化方案。首先根据图像的统计特性，给出一种简单的颜色校正方法；然后在水下成像模型框架下，通过图像的边界约束获得初始透射率，并利用自适应维纳滤波对透射率进行优化；最后提出加权L1正则化模型对亮度层进行增强，再进行自适应Gamma校正。实验结果表明，本文算法复原的图像颜色鲜艳，细节清晰可见，视觉效果更加自然。

2 水下图像成像模型

根据Jaffe-McGlamery成像模型，水下图像可以表示为3个分量的线性叠加：直接分量，前向散射分量和背景散射分量[11]，如图1所示[12]。

直接分量是物体的反射光在传播过程中没有被散射的部分；前向散射分量是反射光在传输过程中发生小角度散射的部分；背景散射分量是背景光经悬浮颗粒散射后返回相机的部分。一般情况下，场景与相机距离不大，可以忽略前向散射带来的影响，只考虑成像过程中的直接分量和背景散射分量[11]，成像模型可以简化为

图1 水下图像成像模型

根据Beer-Lambert定律，吸收和散射引起的光能量衰减与介质的厚度成正比[13]，假设介质是均匀的，透射率可表示为

3 本文算法

由于不同波段光的吸收和散射系数不同，导致图像呈现蓝(绿)色基调，为了更好地复原图像，需先对水下图像进行颜色校正；由于水体对光的吸收和散射造成水下图像亮度降低，因此还需要增强图像亮度。针对传统增强方法与去雾算法用于水下图像恢复时所出现的问题，本文提出一套新的水下图像清晰化方案：先进行颜色校正，然后基于Jaffe- McGlamery成像模型增强图像亮度。主要包括4部分：(1)颜色校正；(2)透射率求解及优化；(3)加权L1正则化亮度增强；(4)自适应Gamma校正。算法整体流程如图2所示。

3.1 颜色校正

光在水下传输时，红光波长最长衰减最大传输距离最短，蓝(绿)光波长较短衰减较小传输距离较远，导致图像呈现蓝(绿)色基调。为了更好地复原图像，可先对水下图像进行颜色校正。文献[10]提出了一种简单有效的颜色校正方法，但其没有考虑不同背景基调、不同颜色通道其衰减系数的差异。因此，本文根据图像背景基调对RGB颜色通道分别处理。首先计算RGB颜色通道的均值和均方差，然后通过式(3)进行颜色校正：

图2 算法流程图

图3 颜色校正图

3.2 透射率求解及优化

(5)

3.2.2 基于局部自适应维纳滤波的透射率优化 由式(5)得到的透射率在块内是恒定的，但实际情形下，块内透射率并不是恒定不变的，尤其是在景深突变的边缘，会导致透射率图出现严重的块效应，重建图像出现晕轮伪影[14]。另外，透射率图谱的局部细节信息越接近输入图像，恢复图像丢失的细节信息越多[15]。因此，需要对透射率进一步优化。He等人[16]提出的软抠图算法和Meng等人[14]提出的正则化方法计算量大，耗时长。为了提高计算效率，恢复出更多图像细节，本文采用文献[17]的局部自适应维纳滤波算法对式(5)得到的透射率进行优化。透射率优化前后部分结果如图4所示。可以看出，优化后的透射率块效应明显减少。

图4 透射率及其优化

3.3 加权L1正则化亮度增强

3.3.1 加权L1正则化亮度增强模型 文献[10]提出基于Retinex理论的水下增强算法可有效增强图像的亮度，但其没有考虑图像的退化过程，导致恢复图像颜色偏白。针对上述问题，本文结合Jaffe- McGlamery水下图像成像模型，提出一种基于加权L1正则化的亮度增强方法。将式(1)改写为

(7)

则式(6)可写为乘积形式：

式中，第1项为保真项，第3项为对多方向边缘的L1正则化约束。表示的是通过3.2节得到的优化后的透射率。“”表示元素点乘，“”表示元素卷积。第2项中，是对高斯滤波后的结果，加入该项是为了避免亮度变化过大。,是正则化参数。为滤波算子，包括8个Kirsch 边缘检测算子和1个拉普拉斯算子[14]。是权值函数，其值可由色差确定：

(10)

由收缩定理[18]，其解可表示为

(13)

式(14)为最小二乘问题[19]，可用快速傅里叶变换(FFT)进行求解：

(15)

3.4 自适应Gamma校正

(17)

3.5 算法流程

本文所提算法如表1所示。

表1 本文算法流程

4 实验与结果分析

使用Matlab 2011a 实现算法编程。实验过程中，,为清晰图像的下边界，取30是为了避免过小，为清晰图像的上边界，取300是为了避免过大。式(11)中正则化参数值越大越能较好的保护背景，因此取500；正则化值越大图像越模糊，因此取值1；正则化参数取值逐步增大，初始值为，并以比率逐步增大，迭代终止条件是小于。

4.1 主观评价

为了验证本文算法的有效性，首先与文献[10]基于Retinex的图像增强算法进行对比。图5为Stone图像和Gars图像实验结果对比图，可以看出Retinex图像增强算法虽然能够很好的恢复图像细节，增强图像对比度，但是恢复的图像颜色偏白，色彩失真严重。与该算法相比，本文算法得到的图像颜色鲜艳，细节清晰可见，视觉效果更佳。

为了进一步验证本文所提算法的性能，与目前主流的图像清晰化方法文献[5]基于新光学成像模型的复原方法、文献[7]WCID算法、文献[8]基于Chromatism去雾算法、以及文献[20]联合双边滤波去雾算法进行对比。选取Coral, Multi-fish, Iron, Single-fish作为实验图像，Multi-fish和Coral为绿色基调，Iron, Single-fish为蓝色基调，图6–图9为实验结果，可以看出，基于新光学成像模型复原的图像远景处红色分量被过度补偿, 且未有效恢复图像细节；WCID算法虽然增强了图像亮度，但未能有效去除图像失真；基于Chromatism去雾算法增强后的图像，整体亮度低且细节丢失严重；联合双边滤波去雾算法可以较好地处理近景，但不能很好地处理远景；相比之下，本文算法可以有效提高图像亮度，恢复出更多的图像细节，具有更好的视觉效果。

4.2 客观评价

为了从客观方面进行评价，本节计算3种性能指标：色偏，对比度和平均梯度。图像色偏与图像色度分布特征有关，采用文献[21]中定义的色偏值评价图像色偏程度，值越大，图像色偏越严重。

图5 Stone和Gars图像增强结果对比

图6 Coral清晰化对比

图7 Multi-fish清晰化对比

图8 Iron清晰化对比

图9 Single-fish清晰化对比

通过亮度分量计算图像的对比度：

灰度平均梯度(Gray Mean Grads, GMG)可用来衡量图像的清晰度，反映图像中微小细节反差和纹理变化特征。平均梯度越大，图像越清晰纹理越分明。

表2为几种典型算法下，对4幅水下图像处理后，各指标计算结果，粗黑体显示每组数据的最优值。色差整体显示，本文算法有效降低了图像色偏值，可有效去除图像颜色失真。对比度和平均梯度数据显示，本文算法可以有效提高图像的整体亮度和局部对比度，可以恢复出更多的图像细节和纹理特征。本文方法忽略了人工光源的影响，在实际情况下，人工光源的存在会严重影响水下光学特性参数的估计。由Single-fish的实验结果可以看出，本文算法可以有效提高图像的对比度，但是色偏值较高。

就计算量而言，由于本文运算量主要集中在L1正则化模型求解上，运算量稍大。一幅764×1024图像需要耗时49 s左右，一幅296×399图像需要耗时30 s左右。而相关算法如基于Retinex的水下图像增强算法处理一幅764×1024图像需要耗时12 s左右，一幅296×399图像需要耗时6 s左右；文献[5]一幅764×1024图像需要耗时40 s左右，一幅296×399图像需要耗时15 s左右。

5 结束语

由于水下特殊的成像环境，导致水下图像颜色失真、对比度下降。受Retinex水下图像增强算法启发，结合水下图像成像模型，本文提出一种有效的水下图像清晰化方案：根据水下图像的统计特性去除颜色失真；使用边界约束求初始透射率并使用局部自适应维纳滤波进行优化；基于Jaffe- McGlamery成像模型和Retinex理论，提出加权L1正则化模型对亮度层进行增强，可有效提高图像亮度和对比度，并能有效抑制噪声；最后根据亮度的平均强度对亮度图像进行自适应Gamma校正。大量实验结果表明本文算法可有效去除颜色失真，保护图像细节，增强图像对比度。本文在求解过程中忽略了人工光源对水下光学特性的影响，导致复原的图像色偏值较高，在未来的研究中将考虑该因素，然后与本文方法相结合并寻求合适的解决方法。

表2 各算法相关指标对比

[1] JAFFE J S. Underwater optical imaging: The past, the present, and the prospects[J]., 2014, 40(3): 683-700. doi: 10.1109/JOE.2014. 2350751.

[2] SCHETTINI R and CORCHS S. Underwater image processing: State of the art of restoration and image enhancement methods[J].g, 2010: 746052. doi: 10.1155/2010/ 746052.

[3] LIU Chao and MENG W. Removal of water scattering[C]. IEEE International Conference on Computer Engineering and Technology, Chengdu, China, 2010: 235-239.

[4] YANG Hungyu, CHEN Peiyin, SHIA U Yeuhorng,. Low complexity underwater image enhancement based on dark channel prior[C]. IEEE International Conference on Computer Science and Automation Engineering (CSAE), Zhangjiajie, China, 2012: 791-795.

[5] WEN Haocheng, TIAN Yonghong, HUANG Tiejun,. Single underwater image enhancement with a new optical model[C]. IEEE International Symposium on Circuits and Systems (ISCAS), Beijing, China, 2013: 753-756.

[6] GUO Junkai, SUNG Chiachi, and CHANG Henghua. Improving visibility and fidelity of underwater images using an adaptive restoration algorithm[C]. IEEE Oceanic Engineering Society 2014, Taipei, China, 2014: 1-6.

[7] CHIANG J Y and CHEN Y C. Underwater image enhancement by wavelength compensation and dehazing[J]., 2012, 21(4): 1756-1769. doi: 10.1109/TIP.2011.2179666.

[8] NICHOLAS C B, ANUSH M, and EUSTICE R M. Initial results in underwater single image dehazing[C]. IEEE Oceanic Engineering Society 2010, Seattle, WA, USA, 2010: 1-8.

[9] ADRIAN G, DAVID P, ARTZAI P,. Automatic red- channel underwater image restoration[J].&, 2015, 26: 132-145. doi: 10.1016/j.jvciy.2014.11.006.

[10] FU Xueyang, ZHUANG Peixian, HUANG Yue,. A retinex-based enhancing approach for single underwater image[C]. IEEE International Conference on Image Processing (ICIP), Paris, France, 2014: 4572-4576.

[11] JAFFE J S. Computer modeling and the design of optimal underwater imaging systems[J]., 1990, 15(2): 101-111. doi: 10.1109/48.50695.

[12] 杨爱萍, 郑佳, 王建, 等. 基于颜色失真去除与暗通道先验的水下图像复原[J]. 电子与信息学报, 2015, 37(11): 2541-2547. doi: 10.11999/JEIT150483.

YANG Aiping, ZHENG Jia, WANG Jian,. Underwater image restoration based on color cast removal and dark channel prior[J].&, 2015, 37(11): 2541-2547. doi: 10.11999/ JEIT150483.

[13] Gordon H R. Can the lambert-beer law be applied to the diffuse attenuation coefficient of ocean water[J]., 1989, 34(8): 1389-1409. doi: 10.4319/lo. 1 989.34.8.1389 .

[14] MEN Gaofeng, WANG Ying, DUAN Jiangyong,. Efficient image dehazing with boundary constraint and contextual regularization[C]. IEEE International Conference on Computer Vision (ICCV), Sydney, Australia, 2013: 617-624.

[15] WANG J B, HE N, ZHANG L L,. Single image dehazing with a physical model and dark channel prior[J]., 2015, 149(PB): 718-728. doi: 10.1016/j. neucom.2014.08.005.

[16] HE Kaiming, SUN Jian, and TANG Xiaoou. Single image haze removal using dark channel prior[J]., 2011, 33(12): 2341-2353. doi: 10.1109/TPAMI.2010.168.

[17] ANDERES E. Robust adaptive Wiener filtering[C]. IEEE International Conference on Image Processing(ICIP), Quebec, Canada, 2012: 3081-3084.

[18] YANG J and ZHANG Y. Alternating direction algorithms for1-problems in compressive sensing[J]., 2011, 33(1): 250-278. doi: 10.1137/ 090777761.

[19] SHAN Q, JIA J Y, and AGARWALA A. High-quality motion deblurring from a single image[J]., 2008, 27(3): 1-10. doi: 10.1145/1360612.1360672.

[20] SERIKAWA S and LU H. Underwater image dehazing using joint trilateral filter[J].&, 2014, 40(1): 41–50. doi: 10.1016/j.compeleceng.2013.10.06.

[21] LI Fang, WU Jinyong, WANG Yike,. A color cast detection algorithm of robust performance[C]. IEEE International Conference on Advanced Computational Intelligence, Nanjing, China, 2012: 662-664.

Underwater Images Visibility Improving Algorithm with Weighted L1Regularization

YANG Aiping①ZHANG Liyun①QU Chang①WANG Jian①②

①(,,300072,)②(,300112,)

Due to the absorption and scattering when light is traveling in water, there are two major problems of underwater imaging: color distortion and low contrast. Traditional enhancement and restoration methods can not handle these problems very well, so, this paper proposes a new approach based on the underwater optical imaging model and a Retinex-based enhancing approach. Firstly, a simple color correction method based on statistical method is adopted to address the color distortion. Then the adaptive Wiener filter is used to optimize the initial transmission map with the boundary constraints. In order to make the result more naturalness, a weighted L1regularization model is proposed to enhance the luminance layer. Finally, an adaptive Gamma correction operation is adopted for post-processing. Experimental results demonstrate the effectiveness of the proposed method in restoring the original color of the scene and enhancing image contrast and the visibility.

Image processing; Color correction; Transmission map; Weighted L1regularization model; Adaptive Gamma correction

TP391

A

1009-5896(2017)03-0626-08

10.11999/JEIT160481

2016-05-10；改回日期：2016-10-31；

2016-12-20

杨爱萍 yangaiping@tju.edu.cn

国家自然科学基金(61372145, 61201371)

The National Natural Science Foundation of China (61372145, 61201371)

杨爱萍： 女，1977年生，副教授，研究方向为视觉计算、压缩感知理论和应用等.

张莉云： 女，1990年生，硕士生，研究方向为水下图像处理.

曲 畅： 男，1992年生，硕士生，研究方向为水下图像处理.

王 建： 男，1976年生，讲师，研究方向为彩色图像处理、恶劣天气/环境条件下的图像复原、生物特征识别等.