基于色调映射和暗通道融合的弱光图像增强

杨爱萍，赵美琪，宋曹春洋，王金斌



基于色调映射和暗通道融合的弱光图像增强

杨爱萍，赵美琪，宋曹春洋，王金斌

(天津大学电气自动化与信息工程学院，天津 300072)

针对阴天或夜晚等弱光条件下拍摄的图像具有亮度低、对比度低和细节模糊等问题，提出了一种基于色调映射和暗通道融合的弱光图像增强方法．首先，根据弱光及其反转图像的特点，提出面向弱光图像的透射率估计方法，进而获得场景深度信息，并将其融入色调映射函数设计；同时利用暗通道图像区分光源区域，以修正色调映射函数参数，使其能够根据场景深度自适应调整图像亮度；另一方面，增强后的暗通道图可有效突出图像的细节信息，将经过色调映射后的V通道图像和暗通道图进行加权融合，得到最后的增强结果．实验结果表明，本文方法不仅显著改善图像亮度、增强对比度、恢复出更多的图像细节，还能有效去除块效应和晕轮伪影，视觉效果理想．

图像增强；深度信息；色调映射；暗通道；融合

阴天或夜晚等弱光条件下拍摄图像时，由于周围环境光照不足，拍摄到的图像存在大量的暗区，亮度和对比度较低，造成大量细节丢失，难以得到感兴趣的信息．因此，弱光图像增强具有重要的研究意义．

目前常用的弱光图像增强方法主要有两类：基于物理模型的方法和非物理模型方法．非物理模型方法主要有直方图均衡化、Retinex方法、色调映射等．直方图均衡化方法[1]能提高图像的亮度，但细节信息恢复效果不佳．Retinex方法[2-4]基于人类视觉系统特性，通过平滑操作估计照射分量进而得到反映图像细节信息的反射光分量，并进行对比度拉伸；其缺点是对于存在较多亮区和暗区的图像难以估计照射分量，增强效果差，且颜色失真严重．Drago等[5]提出一种色调映射方法，将图像从RGB空间转换到YUV空间，然后在表征图像光照的Y空间进行映射，提高图像的整体亮度；但是该映射函数中参数固定，不能根据图像亮度自适应调整增强程度；同时由于图像整体亮度偏低，仅根据像素强度设计映射函数，容易导致噪声被放大．Zhou等[6]提出基于全局亮度提高和局部对比度增强(overall brightness and local contrast adaptive enhancement，OBLCAE)算法；但是该方法在计算局部均方差的过程中时间复杂度较大，整体亮度增强效果不佳，且对夜间图像处理时导致噪声放大.该类方法计算简单、增强效果较好，但是由于缺乏对景深信息的估计，不能有效改善景深较大处场景的对比度和色彩．针对非物理模型方法的不足，Dong等[7]根据弱光反转图像和白天条件下雾天图像之间的相似性，基于大气散射模型，通过去雾[8]方法对弱光图像增强，但是该方法导致增强后的图像存在块效应．

针对目前弱光图像增强方法的缺陷，本文将基于物理模型的方法和非物理模型方法相结合，通过估计深度信息，设计自适应色调映射函数，基于色调映射和暗通道融合方法增强弱光图像．首先针对弱光图像的特点，改进暗原色先验计算方法，估计场景透射率，进而得到图像的深度信息；同时利用暗通道图像区分光源特性，设计自适应色调映射函数，对V通道进行亮度增强；并且由于增强后的暗通道图能有效突出细节信息，最后将增强后的V通道图像和暗通道图进行加权融合．

1 基于暗原色先验的弱光图像增强

1.1 基于暗原色先验的图像去雾

大气散射模型[9-10]描述了雾天图像的退化过 程，即

 (1)

 (2)

由式(2)可得有雾图像透射率

 (3)

以及去雾后的图像

 (4)

1.2 基于暗原色先验的弱光图像增强

研究发现，弱光图像的反转图像和雾天图像非常相似，因此可以通过图像去雾的方法来增强弱光图像[7,11]．

 (5)

代入式(4)，得到反转后的弱光图像的去雾图像

 (6)

2 基于色调映射的图像增强

色调映射利用映射函数对图像中的每个像素的灰度值进行映射，将其变换为接近于正常光照下的灰度值．Drago等[5]提出一种色调映射函数，取得了较好的增强效果，函数表达式为

 (7)

 (8)

 (9)

3 本文算法

传统的基于非物理模型的图像增强方法没有考虑图像的景深信息，增强后的图像在景深较大处对比度和色彩处理效果较差．同时已有的色调函数参数固定，并不能根据图像的不同区域自适应调整增强程度，且某些算法亮度增强效果不理想，细节信息模糊.

针对上述问题，本文结合图像成像物理模型，估计场景深度信息，同时利用暗通道图像区分光源区域，设计自适应色调映射函数；并将映射后的V通道图像和暗通道图进行加权融合，提出基于色调映射和暗通道融合的弱光图像增强方法．

3.1 面向弱光图像的深度估计

在无雾条件下，有些图像区域(如天空、白云等明亮区域)3通道值很大，并不满足暗原色先验，根据He等[8]的方法估计得到的透射率偏小，导致复原图像颜色失真[12]．由于弱光图像反转后含有大片明亮区域，其并不满足暗原色先验假设，因此，本文首先对透射率估计方法进行改进．

(10)

 (11)

 (12)

3.2 色调映射函数改进及V通道增强

获得场景深度后，将其用于色调映射函数改进，使设计得到的色调映射函数能够根据图像局部结构自适应调整图像亮度，提高景深较大处图像的对比度和亮度．

由图2可知，对于像素较低的暗区，直接采用式(8)进行映射，容易导致过增强，且放大噪声．本文将式(8)修改为

 (13)

 (14)

 (15)

 (16)

因此，设计自适应参数为

 (17)

基于自适应色调映射对V通道进行亮度增强为

 (18)

图3 不同参数下色调映射结果

3.3 基于色调映射的暗通道图像增强

图4 灰度图与暗通道图

因此，本文基于色调映射方法对点暗通道图进行增强，增强后的点暗通道图整体亮度有所提高，且能有效突出图像的细节信息，如图5(d)所示．映射公 式为

 (19)

3.4 V通道和暗通道加权融合

 (20)

4 本文算法流程

综上，本文根据弱光图像及其反转图像特点，提出面向弱光图像的深度估计，并将深度信息用于色调映射函数设计；同时利用暗通道图区分光源区域，以改进色调映射函数参数，使能根据图像深度自适应调整图像亮度；最后将增强后的V通道图像和暗通道图加权融合以获得丰富的图像细节．具体算法流程如下．

步骤2 由式(10)计算改进后图像的透射率，并进行局部自适应维纳滤波．

步骤3 由式(12)求出深度信息并进行归一化．

步骤4 由式(15)区分光源区域．

步骤5 由式(17)计算图像的自适应参数．

步骤6 由式(18)对V通道色调映射增强亮度．

步骤7 由式(19)对暗通道图色调映射突出细节.

步骤8 由式(20)对增强后的V通道和暗通道加权融合，并进行双边滤波．

步骤9 由HSV空间转到RGB空间，得到最终的增强图像．

结束

5 实验与结果分析

5.1 主观评价

为了验证本文所提算法的有效性，首先与文献[6]基于OBLCAE的算法进行对比．图7为夜晚带有人工光源图像的增强结果，可以看出OBLCAE算法可有效改善图像整体亮度，但是在光源区域增强程度较大，细节信息丢失．相比之下，本文算法得到的图像亮度显著提高，细节信息更加丰富，近景光源区域增强效果自然．

图7 OBLCAE和本文算法增强结果

为进一步验证本文算法的性能，将所提算法与目前典型的多尺度retinex(multi-scale retinex，MSR)算法、OBLCAE算法[6]以及文献[7]提出的基于去雾模型的增强算法进行对比，并给出各方法增强效果．选取House、Sunset、Carport、Highway和Shop进行图像增强．其中，House为白天弱光图像，Sunset为傍晚弱光图像，Carport为有强光源的夜间图像，Highway为有弱光源的夜间图像，Shop为无光源的夜间图像，几种算法的增强结果如图8～图12所示．可以看出，MSR算法亮度增强程度有限，且图像容易产生颜色失真；OBLCAE算法[6]虽然能提升图像的亮度和增强细节信息，但是其增强后图像整体亮度偏低，在边缘处存在明显的晕轮伪影，尤其在处理夜间图像时，噪声较大；基于去雾的弱光图像增强算 法[7]虽然能较好地提高图像整体亮度，但在景深变化处块效应严重；相比之下，本文对不满足暗原色先验的亮区进行透射率补偿并利用维纳滤波优化，得到更加准确的深度信息，能有效地去除块效应和晕轮伪影；通过弱光图像的亮度信息和深度信息设计参数对V通道图像进行自适应色调映射，提高弱光图像的亮度；由于暗通道图像能准确反映当前像素与周围像素的关系，对暗通道图像增强，使图像恢复更多的细节信息；在此基础上将二者进行融合，所提算法能有效提高图像亮度的同时可恢复更多图像细节，增强对比度，视觉效果理想．

图8 图像House采用不同方法的增强结果

图9 图像Sunset采用不同方法的增强结果

图10 图像Carport采用不同方法的增强结果

图11 图像Highway采用不同方法的增强结果

5.2 客观评价

为了从客观方面进行评价，现计算3种性能评价指标：信息熵、平均亮度和平均梯度．信息熵反映图像中包含信息量的多少，信息熵越大表明图像包含更多的信息量；平均亮度反映图像的整体亮度，影响人眼从图像中获取信息的容易程度，平均亮度越高，视觉效果越好；平均梯度反映图像细节信息的丰富程度，平均梯度越大，图像细节越丰富，图像纹理特征越明显，图像越清晰．

表1为几种典型算法下，对5幅弱光图像处理后各指标计算结果．可以看出，本文方法与其余方法相比，图像的平均亮度较高，说明本文方法能有效提升图像的整体亮度，原因是使用了自适应色调映射函数对图像增强；信息熵和平均梯度都基本高于其他方法，说明本文方法能恢复更多的图像细节．

图12 图像Shop采用不同方法的增强结果

表1 不同方法相关指标比较

Tab.1 Comparison of relevant indexes of different methods

6 结 语

本文提出一种基于色调映射和暗通道融合的弱光图像增强算法．首先根据弱光图像及其反转图像特点，给出面向弱光图像的深度估计方法，并将其用于色调映射函数设计；同时利用暗通道图区分光源区域，以修正色调映射函数参数；基于改进的色调映射函数分别对V通道和暗通道图像进行自适应增强，并将二者进行加权融合得到最终增强结果．实验结果表明，本文方法可显著改善图像亮度、增强对比度、恢复出更多的图像细节，视觉效果理想．

［1］ Chen S D，Ramli A R. Preserving brightness in histogram equalization based contrast enhancement techniques[J].，2004，14(5)：413-428.

［2］ Rahman Z，Jobson D J，Woodell G A. Multi-scale retinex for color image enhancement[C]//. Lausanne，Switzerland，1996：1003-1006.

［3］ Wang Wen，Li Bo，Zheng Jin，et al. A fast multi-scale retinex algorithm for color image enhancement[C]//. New Jersey，USA，2008：80-85.

［4］ Jin X. Image enhancement based on selective retinex fusion algorithm[J].，2012，7(6)：1187-1194.

［5］ Drago F，Myszkowski K，Annen T，et al. Adaptive loga-rithmic mapping for displaying high contrast scenes [J].，2010，22(3)：419-426.

［6］ Zhou Zhigang，Sang Nong，Hu Xinrong. Global brightness and local contrast adaptive enhancement for low illumination color image[J].，2014，125(6)：1795-1799.

［7］ Dong Xuan，Wang Guan，Pang Yi，et al. Fast efficient al-gorithm for enhancement of low lighting video[J].，2011，10(7)：1-6.

［8］ He Kaiming，Sun Jian，Tang Xiaoou. Single image haze removal using dark channel prior[J].，2011，33(12)：2341-2353.

［9］ Narasimhan S G，Nayar S K. Vision and the atmosphere [J].，2002，48(3)：233-254.

［10］ Kratz L，Nishino K. Factorizing scene albedo and depth from a single foggy image[C]//. Kyoto，Japan，2009：1701-1708.

［11］ Jiang X，Yao H，Zhang S，et al. Night video enhancement using improved dark channel prior[C]//Melbourne，Australia，2013：553-557.

［12］ 蒋建国，侯天峰，齐美彬. 改进的基于暗原色先验的图像去雾算法[J]. 电路与系统学报，2011，16(2)：7-12.

Jiang Jianguo，Hou Tianfeng，Qi Meibin. Improved algorithm on single image haze removal using dark channel prior[J].，2011，16(2)：7-12(in Chinese).

［13］ Anderes E. Robust adaptive wiener filtering[C]//. Quebec，Canada，2012：3081-3084.

［14］ Zhu Q，Mai J，Shao L，et al. A fast single image haze removal algorithm using color attenuation prior[J].，2015，24(11)：3522-3533.

［15］ Narasimhan S G，Nayar S K. Contrast restoration of weather degraded images[J].，2003，25(6)：713-724.

(责任编辑：王晓燕)

Low-Light Image Enhancement Based on Tone Mapping and Dark Channel Fusion

Yang Aiping，Zhao Meiqi，Song Caochunyang，Wang Jinbin

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

Images captured at night or under low light conditions have the problems of low intensity，low contrast and blurring of details．This paper proposed a new low-light image enhancement method based on tone mapping and dark channel fusion．Firstly，an improved transmission estimation method was presented to obtain the depth information by using the statistics characteristics of low light image and its inversion．Then，the tone mapping function was designed by incorporating the scene depth．In addition，the pixel-wise dark channel was used to recognize the light source region with the purpose of modifying the parameter of the tone mapping function，and so the image brightness can be adjusted adaptively．In order to preserve more image details，the pixel-wise dark channel was enhanced and fused with the enhanced V-channel image to get the final results．Experimental results show that the proposed method not only improves the image brightness and contrast with more details，but also removes block effects and halo artifacts with ideal visual effects.

image enhancement；depth information；tone mapping；dark channel；fusion

10.11784/tdxbz201704044

TP751.1

A

0493-2137(2018)07-0768-09

2017-04-14；

2017-11-30.

杨爱萍（1977—），女，博士，副教授.

杨爱萍，yangaiping@tju.edu.cn.

国家自然科学基金资助项目(61372145，61472274，61771329).

the National Natural Science Foundation of China(No.,61372145，No.,61472274 and No.,61771329).