基于像素级和块级的低照度图像增强

王时巨，王 欣，鞠铭烨

(南京邮电大学 物联网学院，江苏 南京 210003)

0 引 言

在室内、夜间或光照条件较差的环境下,成像设备受光线暗、曝光不足等因素影响,导致所采集图像整体亮度偏低,纹理特征严重衰弱,难以直观提取有效信息,给后续机器视觉系统带来严峻挑战[1]。因此,低照度条件下的图像增强研究变得极为重要。

目前主流的低照度图像增强算法主要分为两类:基于传统的方法和基于深度学习的方法。前者中较为常见的如直方图均衡化[2],其通过改变像素的灰度分布提升图像对比度,但会使图像局部区域细节丢失;伽马校正以非线性增强方式改变灰度范围,但其处理后的图像颜色较为暗淡,饱和度低。

近些年,基于Retinex理论的算法被广泛应用于图像增强领域[3-6]。如Guo等人[4]以R(Red)、G(Green)、B(Blue)通道中的最大值作为初始光照图,并利用结构先验对其进行精细化处理,进而通过Retinex模型获得增强结果,但处理后存在过增强现象;Ren等人[6]将低秩先验注入Retinex模型以抑制反射分量中的噪声干扰,该方法可排除低照度图像中的强噪声；Ju等人[7]提出增强大气散射模型,并在此基础上设计出一种兼顾图像去雾与增强的算法,可有效解决图像过饱和问题。

受益于深度学习的快速发展,卷积神经网络(convolutional neural network，CNN)被广泛应用于图像增强任务中[8-12]。与传统的图像增强方法不同,此类方法主要利用神经网络强大的学习能力拟合低照度图像与对应清晰图像间的深度映射。如Lore等人[8]设计出一种基于深度编码器的网络架构LLNet,该网络可同时实现图像亮度的提升与噪声的剔除。Wei等人[9]将传统的Retinex模型用于深度学习并设计出RetinexNet,该方法利用分解网络和增强网络进行提亮操作,但增强后的图像会损失一定的边缘信息。为解决低照度图像过度依赖成对数据集的问题,文献[12]提出的Zero-DCE将低照度图像增强任务转化为高阶曲线的学习,并用该曲线对输入图像的灰度范围进行像素级调整以获得增强结果。

由于低照度图像受光源影响较大,距光源越近,光照强度越高,反之越低,传统的增强方法对图像增亮时并不能有效解决光源引起的颜色失真现象,难以兼顾图像亮度与饱和度的双重提升[13]; 基于深度学习的方法在图像增强任务中能够取得不错的效果,但其过度依赖训练集的选取,且真实场景下的数据集难以收集。

针对当前算法的不足,该文从HSV(hue,saturation,value)色彩空间设计低照度图象增强模型,提出一种基于像素级和块级的图像增强算法，分别对亮度通道和饱和度通道进行像素级和块级增强。该算法充分结合了像素级低复杂度和块级信息丰富度,在提升图像整体亮度的同时有效恢复场景色彩,且不需要任何训练过程。实验结果表明该算法在低照度图像增强任务中具有良好的性能。

1 背景介绍

1.1 伽马校正

伽马校正(gamma correction，GC)是一种非线性图像处理方式,通过调整伽马值改变图像灰度值范围,进而改变图像的对比度和亮度。

其数学表达式为:

R(x,y)=L(x,y)Γ

(1)

其中,x,y是像素点的坐标,R表示增强后的图像,L为低照度图像,Γ代表伽马值。伽马值等于1时为线性变换,并不会改变图像灰度值范围;当伽马值大于1时,图像灰度值被压缩,图像色彩整体偏暗;当伽马值小于1时,图像灰度值被拉伸,图像色彩整体偏亮。

由于伽马校正具有改善图像视觉效果、运算简单等优点，故广泛应用于图像处理领域。但传统的伽马校正以全局方式提高图像亮度,尚未考虑图像内部像素点的空间分布及物理含义,无法保证图像中过亮或过暗区域得到视觉提升。文中算法在传统的伽马校正基础上进行改进,采用像素级处理方式对亮度通道进行增强,其主要思想是根据图像中每个像素值的不同设计出对应的伽马值,达到自适应增强效果。

1.2 大气散射模型

大气散射模型(atmospheric scattering model，ASM)[14]是雾天降质图像清晰化研究的物理模型,其数学表达式为:

I(x,y)=A·ρ(x,y)·e-β·d(x,y)+A·(1-e-β·d(x,y))

(2)

其中,I指代有雾图像,A表示大气光,ρ为清晰图像,β代表散射系数,d指代场景深度图。e-β·d(x,y)又称之为透射率,即光线穿透空气的能力。

大气散射模型通常用于图像去雾领域,与先验知识或约束条件相结合求解出清晰无雾图像。文献[15]将该模型用于低照度图像增强任务,Dong等人研究发现,反转后的低照度图像与雾天降质图像具有极高的相似性,故将其代入大气散射模型,并利用现有的去雾算法实现低照度图像增强。受此启发,文中算法将亮度通道进行取反并代入大气散射模型,构建仅含有一个未知参数的数学模型, 结合约束条件实现图像的亮度增强。

2 算法的原理与实现

2.1 算法描述

HSV色彩空间由色调、饱和度和亮度构成,相比于RGB(red,green,blue)色彩空间,其更接近人眼视觉对色彩的生理感知,同时由于各通道之间具有较强的独立性,故便于图像分通道处理[3]。亮度通道反映图像的整体亮度,传统的伽马校正对其进行灰度范围拉伸时具有不适定性,为此,提出一种新的像素级增强模型,使每个像素均有与其对应的校正因子,并结合大气散射模型与全局搜索策略求得模型中的未知参数,对亮度通道进行像素级自适应增强;考虑到增强后的亮度图像转化至RGB色彩空间中不可避免地出现颜色损失现象[16],提出一种基于块的饱和度增强模型,利用增强因子有效扩充饱和度,丰富图像色彩。

所提算法具体步骤如下:

输入:低照度图像。

步骤1:将原始低照度图像转化至HSV色彩空间。

步骤2:构建亮度通道增强模型。

步骤3:结合传统伽马校正,将亮度通道进行取反操作代入大气散射模型,求解出增强模型中的伽马矩阵。

步骤4:利用最大信息熵约束求解出增强模型中的增强系数,获得增强后的亮度通道。

步骤5:对饱和度通道进行分块处理,每一块均有与其对应的增强因子。

步骤6:利用最小信息丢失率约束条件遍历整幅图像获得增强后的饱和度通道。

步骤7:采用导向滤波精细化饱和度通道。

步骤8:将增强后的亮度通道、饱和度通道和原始色调通道转化至RGB色彩空间,获得最终增强结果。

输出:增强后的低照度图像。

算法实现过程如图1所示。

图1 文中算法流程

2.2 亮度通道像素级增强

不同低照度图像所包含的对比度、梯度等信息并不相同,需分别设置不同的伽马值进行图像增强,故存在手动设置参数的缺陷。此外,采用单一伽马值对图像过亮或过暗区域进行校正时,增强效果并不理想。因此,文中将传统的伽马值设定为矩阵表述形式,即每一个像素均有对应的伽马值,构建像素级增强模型:

(3)

为求得Γ的表述形式,借助文献[15]中所提反转策略,将低照度图像反转后视为有雾图像,对亮度通道进行反转:

(4)

式中,Rv表示对亮度通道采用公式(1)得到的增强结果。假定反转后的Lv与Rv满足大气散射模型约束条件,同时假定反转后场景中的大气光值为1,结合公式(1)、(2),Γ可以表示为:

(5)

由于公式(5)右侧为矩阵的表述形式,单一伽马值Γ并不满足上式成立条件,故此时Γ为矩阵形式,即伽马矩阵Γ(x,y)。上式仅参数β和d未知,为此,假设所处理的低照度图像均处在均匀空气介质下,即β值默认为1[17];然而,精确的深度信息难以计算,考虑到RGB色彩空间中蓝色通道的像素分布近似深度图[18],故采用蓝色通道代替深度图。

d(x,y)=mean(LB(x,y))

(6)

式中,LB表示低照度图像的蓝色通道;mean(·)为均值滤波操作,以排除额外的纹理干扰,同时降低计算复杂度。至此,伽马矩阵Γ可表述为:

(7)

一旦求得Γ,则公式(3)仅含有增强系数ω未知,为此,文中结合信息熵约束,采用全局一维搜索策略对其进行求解。信息熵的大小反映图像信息的丰富程度,图像的灰度级范围越大,信息熵越大,图像所具有的信息量也就越多。反之,图像的灰度级范围越小,信息熵也越小,图像本身的质量也就越低。信息熵的计算公式为:

(8)

(9)

式中,Φ(·)表示计算信息熵,θ为正则化参数,防止ω过大,文中取θ=0.7。由于最优解的搜索过程是在整幅图像上进行一维搜索,因而可以获得全局最优解。

求得Γ、ω后,亮度通道的最终增强结果可表示为:

(10)

2.3 饱和度通道块级增强

低照度图像除亮度较低外,其色彩饱和度也整体偏低;且转化至RGB空间后,由于亮度通道的改变导致饱和度通道色彩损失,使增强图像颜色暗淡,不符合直观视觉感受。

针对此问题,提出一种基于块级的饱和度增强算法,将饱和度通道分为若干块,假设每个块对应的增强因子相同,构建块级增强模型:

(11)

(12)

其中,Ψ(·)指计算信息丢失率,即一幅图像中值越界像素所占的比率。由于上式仅求得第i块的最优值αi,故需遍历整幅图像获取增益矩阵α。需要说明的是,公式(9)和公式(12)均可通过一维搜索获取最优解,故选用二次插值法加速收敛过程以降低算法的时间复杂度。

分块处理可以有效解决不同区域下饱和度过低的问题,但难以避免地引入块状效应至增强图像。为此,文中对αi设置阈值上限,减弱因αi最优值差异过大引起的边缘割裂现象;同时采用导向滤波算法[19]精细化饱和度通道Rs以消除块状效应。导向滤波可平滑图像细节、保持图像边缘信息,其处理过程需要一幅导向图作为引导,使输出图像边缘梯度与导向图相似,在结构信息不变的情况下去除噪声干扰。导向滤波假定输入图像与导向图之间存在局部线性关系:

q(x,y)=ak·G(x,y)+bk,∀(x,y)∈Ωk

(13)

(14)

其中,GF(·)为导向滤波操作。在块的选取方面,8×8小尺寸的块会导致计算复杂度过大,而32×32大小的块处理后块状效应过于明显,且计算精度降低,故将每个块划分为16×16大小的像素区域进行处理。该方法采用块级增强策略,对每个块进行自适应增强操作,相比亮度通道的像素级增强策略,块中含有更加丰富的像素信息,此类信息对饱和度通道的增强具有重要指导作用。

3 实验结果与分析

为评估所提算法的有效性,采用多种图像增强算法对不同数据集中的低照度图像进行仿真实验,并对其进行主观比较和客观评价。其中,对比算法主要分为两大类,包括基于传统的伽马校正、Retinex、LIME[4]算法和基于深度学习的Retinex-Net[9]、Zero-DCE[12]、Fan[20]等人提出的算法;实验数据集包含GLADNet-Dataset[21]、LOL[9]、Synthetic Dataset[22]、LSRW[23]和FD-LOL,其中,FD-LOL为真实场景下拍摄的低照度图像,其余均为合成数据集。为确保实验公平性,上述对比算法均在Intel(R) Core(TM) i5-10210U CPU @ 1.60 GHz 2.10 GHz,8 GB RAM上进行测试。

3.1 主观比较

该部分从上述数据集中选取7幅图像,按光照程度由强到弱依次排序,处理结果如图2所示。可以看出,伽马校正虽然能在一定程度上提高图像的对比度,但对图像的细节处理较差,难以看清图像纹理,如图2(b)中鲜花的轮廓;Retinex算法处理后的图像依然存在对比度低、亮度弱等现象,增强效果不明显,如图2(c)中花瓶周围的物体存在较大暗区域;LIME算法处理后的图像亮度有明显提升,远处的人像也能被清楚地展示出来,但颜色过于饱和,图像整体不自然,如图2(d)中斑马下方的草地;Retinex-Net处理后图像边缘信息损失严重,细节部分被过度锐化,如图2(e)中人物衣服上的褶皱;Zero-DCE对图像对比度的增强和色彩的恢复均有不错的处理效果,但亮度提升较弱;Fan等人[20]设计的网络对阴影部分的处理具有很好的增强效果,图像整体增亮幅度较大,但普遍出现薄雾现象,如图2(g)中天空区域;此外,上述算法对图像S5周围白色边框的恢复均有不同程度色彩损失。与其他算法相比,所提算法有效提升了图像整体亮度,色彩恢复效果接近真实场景,视觉效果更加自然。

图2 文中算法与其他对比算法在合成数据集的对比

为比较上述算法在真实场景下的增强效果,从FD-LOL数据集和现实世界中选取6张低照度图像并分别进行增强处理,结果如图3所示。

从图3(b)、(c)可以看出,伽马校正和Retinex算法对真实图像的增亮程度并不显著,依然存在较大的暗区域;LIME算法对天空区域的处理出现不同程度的色差,且光源部分被过度增强;Retinex-Net处理后的天空区域出现光晕和块状现象,视觉感受较差;Zero-DCE和文献[20]对真实图像的处理效果与合成数据集类似,前者增亮程度不显著,后者会出现薄雾现象;在真实场景下,所提算法能够在增亮场景的同时很好地恢复色彩,且对景深较远的暗区域具有良好的纹理恢复能力。

3.2 客观评价

为进一步评估所提算法与其他算法的增强性能,分别采用基于峰值信噪比(peak signal to noise ratio，PSNR)、结构相似性(structural similarity，SSIM)的有参考指标和基于自然图像质量评估(natural image quality evaluator，NIQE)的无参考指标对上述实验进行客观评价。其中,PSNR和SSIM值越大表示增强后图像抗噪性和结构性越强,即图像的质量越高;NIQE值越小代表图像的处理效果越真实。

表1展示了不同算法对图2中合成数据集的性能表现,可以看出,所提算法对大多数图像都取得最优和次优的PSNR、SSIM和NIQE值。

表1 合成数据集下各算法的指标值(粗体代表最优值,斜体下划线表示次优值)

表2展示了图3中真实图像的评价指标,由于真实图像无对应的参考图,故仅采用NIQE对其进行客观评估,由表2可以看出,所提算法对真实图像的处理均取得最优或次优的NIQE值。

表2 真实场景下各算法的指标值(粗体代表最优值,斜体下划线表示次优值)

图3 文中算法与其他对比算法在真实场景下的对比

上述实验结果表明,无论是主观视觉比较还是客观指标评价,文中算法对低照度图像的处理效果均优于其他对比算法。

续表1

4 结束语

为改善低照度图像的视觉效果,提出一种基于像素级和块级的增强算法。首先，将输入图像转化至HSV色彩空间。其次,对传统的伽马校正算法进行改进,提出一种新的像素级增强模型增强亮度通道,其利用大气散射模型获得伽马矩阵的表述形式,并采用全局一维搜索策略求得增强系数,进而对亮度通道进行像素级自适应增强;为解决恢复后图像色彩失真问题,对饱和度通道进行分块处理,结合最小信息丢失率进行局部搜索求得每一块对应的增强因子。最后,将处理后的亮度通道、饱和度通道和原始色调通道转化至RGB空间得到最终结果。实验结果表明，所提算法亮度提升明显,色彩恢复自然,图像整体视觉感受趋近真实,且客观指标也优于其他算法。但由于文中算法需对输入图像进行全局最优搜索和每个块的局部搜索,导致搜索空间过于庞大。因此,接下来将着重研究如何缩减算法搜索空间,在输出结果不变的情况下获得更高的处理效率。