基于色调映射的快速低照度图像增强

陈迎春

武汉大学 数学与统计学院，武汉430072

1 引言

计算机视觉和多媒体算法需要高可见性的输入图像[1]。然而，在弱光条件下拍摄的图像通常能见度较低。一般来说，图像增强技术可以使输入图像看起来更好，更适合于特定的算法[2-3]。现有的图像增强技术可分为两大类：全局增强[3-12]和局部增强[1-2，13-15]。全局增强对所有图像像素执行相同的处理，而不考虑它们的空间分布。然而，全局增强可能会使明亮的区域饱和，导致细节损失。为了避免这个问题，一些图像增强方法采用非线性单调函数（如幂律[16]、对数[17]和函数[18]）进行增强。直方图均衡化（Histogram Equalization，HE）[19]是另一种避免饱和的方法，它可以有效地提高对比度，成为一种应用广泛的技术。HE 的许多扩展考虑了一些限制，如亮度保持[3-4，20]和对比度限制[5]。然而，全局增强可能会导致局部区域的细节丢失，因为全局处理不能确保所有局部区域都得到很好的增强。

考虑到像素的空间分布，局部增强可以获得更好的效果，成为当前技术的主流。局部直方图均衡化[8，21]采用滑动窗口策略局部执行HE。在观察到反向的弱光图像接近于烟雾图像的基础上，借鉴去雾技术解决了低光图像的增强问题[22-23]。然而，上述方法的基本模型在物理解释[1]中存在不足。为了给图像增强提供一个有物理意义的模型，Retinex 理论假设到达观察者的光量可以分解为两部分：亮度光照和反射光照。大多数基于视网膜的方法通过去除亮度光照部分[13]得到增强效果，而其他方法[1-2，14]保留一部分亮度光照以保持自然性。然而，这些方法可能会受到过增强和增强不足的影响。

为了避免增强过程中丢失细节，文献[24]提出一种基于最优加权多曝光融合机制的保细节欠曝光图像增强方法，通过求解能量函数获得局部对比度、饱和度和曝光度的最优权值。

除了单一的图像增强之外，目前还有很多针对低亮度视频的增强算法，如文献[25]提出一种基于分区曝光融合的不均匀亮度视频增强方法。文献[26]提出一种基于区域系统和图像融合的视频增强方法。

为了更快地实现增强，并获得更好的增强效果，本文受到HDR（High-Dynamic Range，高动态范围图像）色调映射技术[27]的启发，结合图像分解和双边滤波，自适应地对图像进行全局色调映射处理以及恢复色彩饱和度，提出一种新的快速低照度图像增强算法。实验结果表明，与现有的几种低照度图像增强算法相比，该算法的增强效果显著，运行时间更短。

2 本文算法

整个算法的流程为：

（1）将图像从RGB 颜色空间变换到YUV 颜色空间，对亮度通道进行双边滤波，得到基本层和细节层。

（2）对基本层图像进行自适应全局色调映射，再叠加细节层图像信息。

（3）恢复图像色彩饱和度，并重新变换到RGB空间。

2.1 双边滤波

为了达到降噪平滑、保持边缘的效果，文献[28]提出了一种新的非线性滤波器，即双边滤波。双边滤波的权重不仅考虑了像素的空间距离，还考虑了像素间的相似程度，对于图像I，双边滤波定义为：

其中，J 是滤波后的图像，BF 为双边滤波器，f 是空间距离项相关的光滑函数，g 是亮度项相关的光滑函数，k(x)是归一化项，设为：

与高斯滤波相比，双边滤波在构造过程中，增加了一个基于像素的高斯滤波函数，可以根据像素值相似性自动调节权重，这种差异化的权重处理方式确保边缘附近像素值得到较好的保持。

在增强低照度图像时，图像的边缘部分有时会出现光晕和伪影，双边滤波可以保持图像边缘[29]，有效避免图像增强后的光晕和伪影现象。对图像亮度数据进行滤波处理，得到图像的基本层和细节层：

其中，Lbase为图像的基本层，Ldetail为图像的细节层。

2.2 自适应色调映射

受文献[27]启发，对图像基本层进行全局映射。根据韦伯-费希纳定律[30]，人类视觉系统感知亮度近似为对数函数。使用文献[30]中给出的映射函数：

其中，Lp为全局自适应输出，Lbase为图像基本层，Lbasemax为图像基本层数据的最大值，Lˉbase为文献[31]中的对数平均亮度，设为：

其中，N 是图像中像素的总个数，δ 是个很小的值，以避免图像中有像素为零的点而产生奇点。

利用式（6），充分压缩了整个场景的亮度值，对低照度图像有着明显的调节作用。图像基本层信息和其最大亮度值除以对数平均亮度，这使得式（5）具有一定的适应性。

采用式（5）和（6），对基本层进行映射压缩后，利用细节层中的信息进行细节补偿：

其中，α 为细节调整参数，α ＞1时为细节增强，本文取α=1.2，Lg为映射后的亮度分量图像。

另外，若直接对输入图像做全局映射而不是先对亮度图像进行双边滤波处理，输出图像会产生光晕和伪影，丢失细节信息，如图1所示。

图1 有无双边滤波的对比结果

2.3 恢复色彩饱和度

一般来说，对亮度分量处理之后，再转换到RGB 空间，图像会出现饱和度一定程度丢失的现象。为了尽量减少输入图像和输出图像之间的颜色饱和度变化，根据文献[32]对R、G、B通道应用如下修正公式：

其中，Y′为映射后的亮度分量，Y 为输入的亮度分量。将分量R′、G′、B′连接，即得到最终的增强图像。

3 实验结果与分析

3.1 实验结果

将本文算法与近三年来的主流算法进行比较，包括LIME[33]、CRM[34]、BIMEF[35]、RRM[36]。所 有 代 码 都 在Matlab R2016a 中，保证了时间比较的公平性。所有的实验都是在一台运行Windows 10操作系统的机器上进行的，机器的内存为64 GB，CPU为2.4 GHz。

本文共做了三组实验，如图2～图4所示。其中图（a）为输入图像，图（b）～图（e）为其他算法，图（f）为本文算法。

与图2（f）相比，图2（b）增强效果不明显，其他算法产生了肉眼可见的光晕伪影，如男人肩膀处，图（e）还会产生过度平滑。

与图3（f）相比，图3（b）增强效果不明显，其他算法虽然图像亮度提升得更好，但在边缘处效果失真，对天空白云的恢复也出现失真。

与图4（f）相比，图4（b）增强效果不明显，图4（c）、（d）产生大量噪声，图（e）增强效果明显，对大面积低像素图像也具有鲁棒性，但运行速度非常慢，由表1 可知。综合来看，本文算法对大面积低像素图像增强效果更好。

3.2 客观评价

对于低照度图像增强算法，不仅要根据图像的直观评价来进行对比，还要使用客观评价值，使实验结果更加精确，有说服力。

目前，对于弱光图像的增强评价还没有提出标准的客观指标。在本研究中，使用Entropy（信息熵）、NIQE（Natural Image Quality Evaluator，自然图像质量评价）[37]、LOE（Lightness Order Error，亮度阶误差）[38]、运行时间这四个评价标准。

Entropy 作为常用的图像增强质量评价指标，用于衡量增强图像中信息丰富程度，信息熵越大，表明图像中包含的细节信息越多。

NIQE是基于自然图像统计模型的图像质量评价指标，与人眼主观质量评价有着很好的一致性，评价过程中利用待评价图像特征模型参数与预先建立的模型参数之间的距离来确定图像质量。

图2 第一组实验的结果对比

图3 第二组实验的结果对比

图4 第三组实验的结果对比

根据NIQE模型，NIQE值越小，图像失真度越低。

LOE 可以客观测量增强图像的亮度失真。LOE 定义为：

其中，RD(x)是原始图像P 与增强后图像P′的亮度相对阶差，定义如下：

其中，m 为像素数量，⊕代表异算子，L(x)和L′(x)分别为输入图像与增强图像在x 处的三个颜色通道之间的最大值，如果p ≥q，函数U(p,q)返回1，否则返回0。

根据LOE模型，LOE值越小，图像自然性保持得越好。用40 张低照度图像进行增强处理，最后结果取40张图像的指标结果平均值。表1 给出了不同增强算法的评价结果。

表1 多组实验的客观评价对比

由表1 可以看出，本文算法信息熵和NIQE 数值与其他算法相比相差不大，处于中等水平。除了算法LIME，本文算法的LOE值远小于其他算法，亮度失真度小。从表中时间一列可知，本文算法运行时间最短，特别的，比RRM 算法快了将近400 倍，能快速实现增强效果。所以，本文算法既能提升速度又能保证增强后的图像自然不失真，增强效果有了很大的提升。

3.3 算法局限性

虽然本算法可以快速实现增强，但也存在一定的局限性，对于单一强光源图像，强光源区域可能会曝光过度，处理效果不够好。

4 结论

本文提出了一种新的低照度图像增强方法，即结合双边滤波的自适应全局映射图像增强算法。首先为了克服由于映射而产生的光晕现象，在映射操作之前，对图像的亮度信息进行双边滤波处理，使得边缘的处理效果更加明显。其次利用映射公式，在全局范围内改变图像亮度，同时为了使图像更加清晰，对细节进行增强处理，使得增强后的图像质量更好。最后为了使图像更具有色彩饱和度，对R、G、B 三通道分别运用修正公式，增强后的图像颜色饱和度得到保持。经过实验对比后发现，本文算法可以快速实现图像增强，增强效果明显，且对有大面积低像素的图像处理得更好，算法的综合结果明显优于其他主流算法。