一种多图像局部结构化融合的低照度图像增强算法

徐少平 张贵珍 林珍玉 刘婷云 李崇禧

标准成像设备在背光、微光、夜间等照明条件不佳的环境下采集到的低照度图像必须经过增强处理后才能用于后继的各类图像处理任务[1−3].早期,低照度图像增强(Low-light image enhancement,LLIE) 算法主要采用直方图均衡化(Histogram equalization,HE)技术实现[4−5].HE 方法本质上是通过拉伸图像像素点灰度值的范围让它们在系统允许范围内均衡分布,从而达到增加对比度的目的.因其实现复杂度低,得到了广泛的应用,但这类算法很容易出现过增强、欠增强、细节保护不佳等问题[6−8].近十年来,研究者发现倒置后的低照度图像从直观角度看起来很像雾霾图像[9−10],因此借用去雾技术实现了一类视觉增强效果不错的LLIE 算法[9−10].这类算法虽然在大多情况下能产生较为理想的增强效果,但其结果缺乏令人信服的物理模型解释,增强后的图像中有时存在明显的颜色失真.

在过去的十多年中,基于Reinex 光照物理模型实现的一类LLIE 算法[11−14]获得了研究者的广泛关注.该类算法通常利用对数函数将光学中照射分量(Illumination)与反射分量(Reflectance) 乘性关系转换为加性关系处理,然后采用某种先验正则项构建目标函数,并通过寻优的方法估计照射分量,将低照度图像中的照射分量分离后得到反映场景对象本身性质的反射分量,从而实现图像增强.例如,Guo等[12]提出了一种称为LIME (Low-light image enhancement)低照度图像增强算法.LIME 算法首先对低照度图像照射分量进行初步估计,然后利用结构先验知识对初步估计结果进行优化,最后根据优化后的照射分量实现图像增强.此外,为了抑制增强图像时引入的噪声,LIME 算法采用了经典BM3D (Block-matching and 3D filtering)[15]降噪算法完成增强图像的后处理.上述各类LLIE 算法在设计上均是仅利用单一的低照度图像作为算法的输入,虽然在视觉上可以获得比较理想的增强效果,但由于要完成照射分量和反射分量的分离,在执行效率上偏低,在对执行时间有严格要求的应用中受到一定的限制.另外,单幅低照度图像中所蕴含的有效信息毕竟有限,导致这些算法不能全面有效地展示图像中所有的细节.因此,为充分利用自然图像中所蕴含的先验知识达到提高增强效果的目的,基于机器学习的LLIE 算法成为研究者关注的热点[16−17].例如,Lore等[16]利用深层自动编码器构建了称为低照度图像增强网络的增强算法.Lore 算法能在对比度增强中有效地克服噪声的影响,在一些常见测试图像中能达到不错的增强效果.Park等[17]基于Retinex 模型原理将叠加式和卷积型两种自动编码器相结合,提出了一种基于训练的LLIE 新算法,实现了低照度图像增强和降噪功能.该算法首先使用带有少量隐藏单元的堆叠式自动编码器估计输入图像的空间光滑照射分量,然后使用卷积自动编码器来处理图像,以减少对比度增强过程中引入的噪声.一般来说,基于机器学习实现的LLIE 算法,虽然能够获得比传统方法更具优势的增强效果,但其性能仍然在一定程度上受到限制,其主要原因在于采集用于训练模型的图像数据集合比较困难.

近年来,研究者们受高动态范围技术(将同一场景中拍摄的一组不同曝光度的图像,通过图像融合方法获得高质量输出图像)启发,基于给定的低照度图像及基于它生成的多幅不同曝光度的图像,通过将它们之间互补性的图像信息融合在一起,获得了更好的图像增强效果[18−24],是研究LLIE算法的新方向之一.例如,Fu等[19]首先在Reinex模型下快速地将低照度图像分解为照射分量和反射分量,对于照射分量使用局部和全局优化技术增强.然后,根据图像质量指标设置像素点级的权重值,将原始、局部和全局优化后的3 幅照射图像在多尺度融合框架下融合为一幅最佳照射图.最后,通过将优化后的照射图补偿到反射分量上获得最终的增强图像.Fu 算法采用多尺度融合的方式提高了增强图像的视觉质量,在细节增强、局部对比度改善和自然度保持方面获得了最佳平衡.但是该算法输出的增强图像中某些区域的可见性仍然不够高.Liu等[22]提出了一种基于最优加权多曝光融合机制的LLIE 算法.该算法首先使用多个色调映射函数构造关于低照度图像的多幅不同曝光度版本,接着根据视觉感知质量度量自适应地从所有的多曝光图像序列中定位出局部最佳曝光区域,然后将它们无缝地集成到一个曝光良好的图像中.经过Liu 算法增强的图像,能达到理想的颜色保真效果,同时也保留了低曝光图像中的一些细节,但是处理曝光度非常低的图像仍无法取得令人满意的效果.Ying等[18]提出了一种基于互信息最优伪曝光技术的LLIE 新算法.该算法基于给定的低照度图像,首先基于互信息最大化的原则利用伪曝光技术获得一幅关于低照度图像的适度曝光图像,然后根据图像像素亮度值设置权重将低照度图像和适度曝光图像两幅图像在像素级上完成融合.总体上,Ying 算法实现效率高且增强效果不错,然而Ying 算法在计算融合图像的权重时仅是考虑图像像素点本身曝光度,这种图像加权的方式对于自然图像复杂的局部结构过于简单,且对噪声比较敏感,导致最终在增强后的图像中仍然有很多图像细节未能很好地得到保护和增强.此外,Ying 算法仅采用一幅曝光适度的伪曝光图像作为低照度图像的互补图像,所能提供的有用信息仍然不够全面.在适度曝光的图像中,仍然存在曝光不充分的区域需要增强.

受Ying 等算法启发,为了获得更好的图像增强效果,本文提出了一种在多图像局部图像结构化融合框架下的LLIE (Multi-image local structured fusion-based LLIE,MLSF-LLIE)算法,从待融合图像制备和局部结构化融合两个方面对Ying算法进行改进.基于给定的低照度图像,MLSFLLIE 算法先利用预先训练的最佳曝光度预测模型(Optimal exposure ratio prediction model,OERPM)预测其最佳曝光度值,在伪曝光模型下制备用于融合的适度增强图像和过曝光图像(采用比最佳曝光度值更高的曝光度值生成)各一幅.此外,还将Fu 算法[19]输出的增强图像作为适度增强图像参与融合.基于Reinex 光照物理模型构建的Fu 算法所输出的增强图像,在细节保护、图像保真度、噪声抑制方面可以与Ying 伪曝光模型生成图像形成很好的互补作用.另一方面,为了更好地保持图像的边缘和纹理细节,采用了局部结构化分解和重构的融合技术将之前制备的图像融合后作为最终的增强图像.实验结果表明: 所提出的MLSF-LLIE 算法不仅能对低照度图像中的对比度进行合理调整,展现出更多的图像内容,而且很好地保护了图像的边缘细节,在主客观图像质量评价指标上优于现有大多数主流算法,这主要得益于充分利用了多幅不同曝光度图像中的互补性信息和局部结构化的融合.

1 相关的工作

1.1 Ying 算法简介

Ying 算法[18]本质上属于在像素点级上完成融合的低照度图像增强算法,其核心框架可以形式化地描述为

其中,K是待融合图像的数量,c={r,g,b},(i,j)表示待融合图像集中第k幅图像c通道上在空间位置 (i,j) 处对应的像素点的亮度值,(i,j) 表示(i,j)的权重值,Rc(i,j)表示融合后图像c通道上在像素点(i,j)处的亮度值,Ying 算法对图像中不同空间位置处的像素点采用不同的权重进行融合,其中,对曝光良好的像素点赋予更大的权重,反之则赋予较小的权重.在融合前利用归一化操作保证各个待融合图像同一像素点位置的权重满足图1给出了Ying算法的执行流程框图,其主要步骤为: 首先,基于给定的低照度图像获得一幅曝光适度的伪曝光图像,Ying 算法采用亮度转化函数(Brightness transform function,BTF)Ie=g(Io,δ) 生成一幅伪曝光图像.函数g(·,·)中的参数Io是低照度图像,δ是曝光度,而Ie则是依据基于Io和δ生成的伪曝光图像.具体实现时,Ying 算法仅生成一幅伪曝光图像,而确定伪曝光图像所需要的曝光度的过程则是通过穷举搜索δ ∈[3,8]范围内[18]所有可能曝光度的伪曝光图像,并与输入低照度图像计算互信息,采用互信息最大值所对应的曝光值作为最佳曝光度,故执行效率比较低.待融合图像制备完成后,Ying 算法根据低照度和伪曝光图像中对应像素点位置曝光程度的好坏确定各个像素点权重,并利用式(1)完成像素级的图像融合.由于Ying 算法仅使用两幅图像进行融合,所以融合过程可以简化描述为

图1 Ying 算法中实现低照度图像增强的融合框架Fig.1 Fusion framework of low-light image enhancement in Ying algorithm

1.2 Ying 算法优缺点分析

从图1 中可以看出,原始低照度图像经过BTF函数伪曝光后,图像中曝光不足的区域在伪曝光图像中得到适度曝光.同时,在原图像曝光正常的区域,伪曝光图像中也存在曝光过度的情况.这样,原低照度图像和伪曝光图像正好可以形成互补,因此通过合理融合后可以获得令人满意的增强效果.然而,在伪曝光图像中可以观察到人物区域的对比度仍然有待进一步提高,Ying 算法所确定的最佳曝光度仅是从图像全局角度出发,在所有可能的曝光度范围内选择一幅与原低照度图像具有最高互信息的图像参与融合.因此,在图像中仍有很多局部细节无法得到充分的曝光,也存在过增强情况.故为了获得更好的图像增强效果,应该使用更多图像参与融合.此外,Ying 算法中像素点融合权值是根据像素点曝光度好坏直接确定,仅由像素点亮度值来决定,没有考虑图像局部结构的细节信息,因此融合后的图像中存在对纹理细节保护不够的问题.

2 MLSF-LLIE 算法

2.1 改进思想

本文从获得更多、更好且与低照度图像具有互补性图像和改进图像融合权重设置机制两个方面入手,试图进一步改进Ying 算法的性能.所提出的MLSF-LLIE 算法分为两个阶段来完成:

1)待融合图像制备阶段.首先,采用与图像质量评价(Image quality assessment,IQA)算法类似的实现方法,在样本图像数据库上通过训练的方法构建图像质量感知特征(主要用来刻画对比度等反映低照度图像质量的特征)与最佳曝光度之间映射函数,得到OERPM 最佳曝光度预测模型.一旦模型训练完成,利用该模型可以直接基于低照度图像得到它的最佳曝光度值δopt,从而基于δopt利用BTF 函数即可生成一幅最佳伪曝光图像(作为适度增强图像),无需像Ying 算法那样穷举搜索最佳曝光度值.同时,还可以在最佳曝光度值δopt的基础上提高△δ(△δ=1 为经验值),生成一幅过曝光图像使得最佳伪曝光图像中仍然有可能未得到充分曝光的区域得到充分曝光.另外,本文将Fu 算法[19]所输出的图像作为适度增强图像来使用,让其参与图像融合.Fu 算法能够在背光、非均匀光照和夜间拍照等情况下实现较好的增强效果(在局部对比度增强和图像自然保持度方面具有优势,但图像整体偏暗).故将其输出图像作为适度增强图像,与Ying算法生成的适度增强图像可形成互补.

2)融合阶段.改变Ying 算法基于像素点级别且仅依赖像素点曝光度设置权重系数的融合策略,采用在图块级上完成图像融合的方法,具体分为3个步骤实现: a)提取待融合图块集合并完成结构化分解[25].以 (i,j) 像素点为中心像素点的融合过程为例,提取K个融合图像在 (i,j) 像素点处的图块集合{Pk(i,j)|1≤k ≤K},并将这些图块分解为对比度(Contrast)值、纹理结构(Structure)矢量和亮度值(Brightness)三个分量.b)分别完成三个分量的融合.对于对比度分量来说,由于对比度分量是人眼感觉图像内容最重要的决定性因素,因此在各个待融合图块中具有最高对比度值的分量值直接作为融合后图块的对比度分量值;纹理结构分量主要是用来刻画图像的边缘细节信息,各个待融合图块的纹理结构分量在最终融合图块中所占权重将根据(i,j)处相位一致性(Phase congruence,PC)系数值来设置;对于亮度值分量,理论上亮度值越高,人眼的关注度更高,各个待融合图块的亮度值在最终融合图块中所占的权重将根据 (i,j) 处视觉显著度(Graph-based visual saliency,GBVS)系数值[26]来设置.c)重构图块.按照分解过程的逆过程将融合后的三个分量重构为图块,作为融合后图像在(i,j)处的图块.

2.2 伪曝光图像制备

2.2.1 图像质量感知特征

所提出的OERPM 模型是基于训练策略在大量典型图像上构建对比度感知特征值与最佳伪曝光度之间的回归预测模型,类似于IQA 算法的工作框架,只是目标函数值为最佳伪曝光度值而已.其中,提取能够反映给定低照度图像质量的感知特征矢量是基础性的工作.为了刻画低照度图像的图像特性,本文采用了3 种类型的特征值.第1 类为基于对比度能量定义的特征值[27],其定义为

其中,Y(Ic)=((Ic ⊗ch)2+(Ic ⊗cv)2)1/2,c={r,g,b}分别表示彩色图像I的3 个通道,ch和cv分别代表高斯函数的水平和垂直方向的二阶导数.参数α=max[Y(Ic)],θ控制对比度增益,ϕc作为阈值来限制噪声的影响.第2 类为在PC 相位一致性映射图基础上定义的熵

其中,IPC是图像I对应的灰度图像上的PC 映射图,其具体定义可参见式(10).第3 类为反映图像锐度的特征值,其主要通过计算图像小波子带的对数能量来定义.为计算该特征值,首先使用9/7 离散小波变换(Discrete wavelet transform,DWT)滤波器将灰度图像在3 个尺度上进行分解,获得分解后的子带分量为{LHl,HLl,HHl|l=1,2,3},然后计算每个子带能量的对数值

其中,n分别代表LH (Low-high)、HL (High-low)和HH (High-high)子带,而Nl是在l尺度的DWT系数值的总数,基于此,最后计算每个尺度上的对数能量

其中,参数ω=4,其目的是给予 H H 子带上更大的权重.由于尺度1 对图像质量描述能力差,故仅选用在尺度2 和尺度3 上获得的能量对数特征值作为描述图像质量的感知特征值Fs={LE2,LE3}.这样,共选6个特征值来刻画图像质量的优劣,即F={CEr,CEg,CEb,EPC,LE2,LE3}.

2.2.2 构建OERPM 模型

对于任意给定的一幅用于训练的低照度图像,采用穷尽搜索的方法在δ∈[3,8] 范围[18]内以间隔0.1 的步长生成一系列对应的伪曝光图像,并利用无参考的图像质量评价(No-reference image quality assessment)算法度量每个伪曝光图像的图像质量,从中选择质量最好的伪曝光图像并记录对应的曝光度值δ.这样,对于给定的低照度训练图像集合,依据上述方法可以从每幅低照度图像中提取的特征矢量Fi={CEr,CEg,CEb,EPC,LE2,LE3}及其对应的最佳曝光度值δi从而构成训练集{(F1,δ1),(F2,δ2),···,(FN,δN)}⊂F ×R.基于此,可以通过训练的方法获得预测函数φ(·),以实现图像质量感知特征矢量到最佳曝光度值之间的映射.鉴于深度置信网络(Deep belief network,DBN)[28]强大的预测非线性映射能力,本文采用DBN 网络实现上述的预测模型.

2.3 局部结构化融合

2.3.1 信号分解

为了充分利用像素点及其邻域像素点的局部结构关系,实现在图像增强过程中更好地保护图像中的纹理边缘细节信息,MLSF-LLIE 算法采用在图块级上进行图像融合[25].首先,用{Pk(i,j)|1≤k ≤K}表示一组在K幅不同曝光程度图像的同一空间位置 (i,j) 像素点处提取的K个图块集合.对于Pk图块将其列矢量化为cN2维的列矢量Pk,c是每幅输入图像的通道数(灰度图像时值取1,彩色图像时值取3),N是图块的长和宽大小.对于Pk所表示的列矢量,可以将其分解为由对比度值、纹理结构矢量和亮度值3 个分量构成

其中,φ1,φ2,φ2分别是各个分量的融合函数.

2.3.2 对比度分量融合

融合后图块的对比度分量直接采用所有参与融合的对比度值中最大值

2.3.3 纹理结构矢量融合

为了在融合后结构矢量分量中保留更多结构信息,利用相位一致性PC 值来加权各个sk.PC 值作为在频率域上定义的度量值,是一个无量纲的量,它的值在[0,1]范围内.它原本是一种检测图像边缘特征的方法,可以检测出边缘细节特征且能很好地反映人眼视觉特点,尤其是PC 值的大小不会因为原始图像的亮度和对比度而受到影响.根据文献[29],PC 可以从构建能量模型角度定义为

其中,|E(i,j)|表示在空间位置上 (i,j) 像素点的局部能量,是局部振幅.en和on分别是偶和奇对称log-Gabor 滤波器的响应[30].由式(10)可知,PC 值即为局部能量与所有局部振幅之和的比值,它实质上是图像各个频率成分的相位相似度的一种度量.普通边缘检测算子的原理是基于灰度图像像素值梯度的变化程度实现边缘的检测,其检测结果严重依赖于图像亮度和对比度,然而PC 值对于图像中的边缘细节检测能力却很强,即使是在对比度非常弱的区域,也能够检测到边缘细节的存在,因为它不受图像亮度或对比度变化的影响.为了保护好参与融合图块中的{Pk(i,j)|1≤k ≤K}的纹理边缘信息,本文从待融合图像上获得的PC 映射图系数值作为加权系数,其归一化后为

这样,融合后的纹理结构矢量可以计算为

为了更加直观地展示PC 度量值实际加权效果,图2 列出了一幅低照度图像的原始图像、适度曝光和过曝光图像及其它们对应的PC 映射图.其中,图2(a)是原图,图2(b)是利用BTF 函数根据模型预测最佳曝光度δopt下生成的适度曝光的图像,图2(c)则是在曝光度δopt+1 下生成的过曝光图像.图2(d)～ 2(f)则是分别与之对应的PC 映射图,在PC 映射图中,亮度越高表示该像素点处的纹理结构强度更高.由图2(a)～ 2(c)可以看出: 随着图像曝光度逐渐增强,石屋门的上方原本不易观察的区域在亮度和对比度方面逐渐改善,这在PC 映射图上得到相应反映,PC 映射图也越来越亮.这意味着适度曝光图像或者过曝光图像中这些区域中的像素点在未来融合时所占的权重系数将更大一些,符合设计要求.

图2 待融合图像纹理结构权重的比较分析Fig.2 The weight analysis of the texture structure component for images to be fused

2.3.4 亮度值分量融合

本文利用GBVS 视觉显著性度量[26]作为各个Pk图块中亮度值分量在融合时所占的权重系数,具体步骤如下: 首先,获取多尺度的亮度信息.对输入的图像Ik转化成的灰度图,使用高斯金字塔低通滤波器对其进行滤波.高斯金字塔的每一层都是一个二维高斯低通滤波器

其中,(i,j) 为图像中点的位置,σ称为尺度因子.其次,获取多尺度的方位信息.用Gabor 金字塔滤波器组对原始灰度图像Ik进行滤波,以得到方向上的信息.二维Gabor 滤波器表示为

其中,σ为尺度因子,f为正弦波频率,θ为方位.一般情况下可以取θ=[0,π/4,π/2,3π/4].即在4 个方向上滤波,可以得到4 组不同尺度下的滤波结果.然后,求不同尺度和不同特征图的马尔科夫平衡.对上述每个通道内每个尺度的滤波结果,根据其像素间的差异和欧氏距离建立各自的马尔科夫链,然后求其马尔科夫平衡分布.最后在所有组、所有尺度的滤波结果依次计算出平衡分布后,将结果按照通道叠加起来并归一化得到显著图.与PC 映射图的用法类似,对于参与融合的图像Ik,在计算其各个待融合图像的GBVS 映射图后,以GBVS 映射图数值作为加权系数,其归一化后为

这样,融合后图块的亮度强度分量可以计算为

为了展示GBVS 视觉显著度对分量的加权的处理效果,图3(d)～ 3(f)给出了图3(a)～ 3(c)对应的GBVS 映射图.在各个GBVS 映射图中,容易观察到的区域用显著的颜色标出,颜色越红表示关注度越高.从图3(d)～ 3(f)中可以看出,随着曝光度的增高,人眼对图像的关注点从完全专注于图像的背景部分(远处房屋密集区)开始逐渐向前景部分(近处屋顶周围)扩展,这与低照度图像经过伪曝光后,图像前景部分的对比度增强有显著对应关系,表明在适度曝光和过曝光图像中,前景房顶区域将在未来融合的时候所占据权重将更大,这与设计目标相一致,故采用GVBS 映射图作为加权系数可以更好地反映人眼视觉关注图像信息的特点.

图3 待融合图像亮度值权重的比较分析Fig.3 The weight analysis of the brightness component for images to be fused

2.3.5 重构

一旦由式(9)、式(12)和式(16)分别确定、、分量,可得到融合后的矢量.根据式(7)的逆过程,可得到融合后的图块.上述融合过程在图块级上完成的,在具体实现时,以光栅扫描过程提取重叠的(Overlapped)图块并进行融合.融合图像某一空间位置 (i,j) 处的像素点亮度值其实是以(i,j)处周围相邻像素点为中心像素点各个重叠重构图块在 (i,j) 处亮度值的均值[31].

2.4 噪声抑制

与文献[12,19,32]采取的策略相同,在低照度图像完成增强完成后,本文利用经典BM3D 降噪算法[15]完成噪声抑制.文献[12,19,32] 在利用BM3D 算法降噪时并没有考虑到不同低照度图像增强后图像中噪声的严重程度是不同的,而是使用某个固定噪声水平值σ(或人工设置)作为BM3D入口参数值,这使得BM3D 算法完成降噪任务时并不能在噪声抑制和图像细节保护之间获得最佳的平衡.为此,本文基于笔者之前在文献[33]中的工作,利用所提出的噪声水平估计 (Noise level estimation,NLE)算法估计增强后图像中的噪声水平值大小,并将该值作为BM3D 算法的入口参数值.这样可以根据增强图像中噪声的严重程度自适应完成降噪,从而在图像降噪和细节保护两个方面实现最佳的平衡,相关的实验结果在下一节中给出.

3 实验与分析

3.1 测试环境

为了验证所提出的MLSF-LLIE 算法对低照度图像的图像增强效果,从文献[11,18,34]、文献[19−20]、文献[35]、文献[36]和文献[37]中选取了15 幅、22 幅、41 幅、8 幅和4 幅(共90 幅)低照度图像.这些图像没有无失真图像作为参考图像,只能用无参考IQA 评价指标进行度量.另外,从文献[37]中随机选取了90 幅低照度图像(有原始对应的无失真图像作为参考图像,可用无参考和有参考IQA 评价指标来进行度量).测试图像集中8 幅有代表性的低照度图像如图4 所示.选取了7 个主流LLIE 算法参与对比,即HVS[38]、Fu2016a[20]、Fu2016b[19]、Ying[18]、LIME[12]、Li[11]和FFMD[32].其中,对比算法均采用其默认的最优参数,而所提出的MLSF-LLIE 算法由于采用4 幅图像参与融合,过度曝光值采用在最佳曝光度值的基础上提高1,故MLSF-LLIE 算法关键参数设置为K=4 ,∆δ=1.采用NIQMC (No-reference image quality metric for contrast distortion)[39]、BIQME (Blind image quality measure of enhanced)[40]、BOIEM (BIQME-optimized image enhancement method)[40]和IL-NIQE (Integrated local natural image quality evaluator)[41]四个无参考IQA 指标以及IWPSNR (Information content weighted peak signal to noise ratio)[42]和IW-SSIM (Information content weighted structure similarity index measure)[42]两个有参考IQA 指标衡量各个算法的图像增强效果.其中,NIQMC、BIQME 和BOIEM (后两个指标考虑了亮度、色彩等失真情况)三个指标值越高,表示图像中的对比度越好,但对图像整体的图像质量描述能力相对较弱,并不表示整体的图像质量就一定好.ILNIQE 是一个通用型的无参考IQA 指标,所评价的失真类型比较全面,该指标值越小则表示图像整体质量越好.IW-PSNR 和IW-SSIM 这两个有参考IQA 指标值越大,则表示与原始无失真图像越接近,图像增强的效果越好.相对来说,有参考评价指标比无参考评价指标度量图像质量更为准确一些.实验的硬件平台为: Inter(R) Core(TM) i7-4770、3.40 GHz CPU、16 GB 内存,软件环境为:Windows 7.0 操作系统,MATLAB R2017b 编程环境,全部实验都是在以上的统一环境下完成.

图4 测试集中选出的8 幅有代表性的图像集合Fig.4 Eight representative images selected from the test set

3.2 代表性图像增强效果分析

为了更加直观地评价各个对比算法的视觉增强效果,图5～ 7 列出了不同光照情况的低照度图像经过各算法增强后的效果图.其中,图5 给出了在夜晚(极差照明条件下)拍摄的Tree 图像的增强效果图.从视觉上看,图5(b)和图5(c)依然比较暗,表明其分别对应的HVS 和Fu2016a 算法对这类严重的低照度图像增强效果不佳.图5(d)和图5(f)中树区域部分则增强得过亮并且亮区和暗区的交界处出现了马赛克现象(箭头所指处),这说明Fu2016a和LIME 算法在增强图像的同时不能很好地保持图像局部纹理结构.图5(e)也出现了马赛克现象,并且图像整体上有雾化感觉,其主要原因是Ying算法是通过伽马校正函数来调整图像中像素点的亮度,难以保证颜色不失真.另外,该算法没有考虑图像局部的结构信息,从而导致增强后图像也有马赛克现象.图6(g)整体图像不够清晰,这是由于Li 算法在增强的同时做了降噪处理,但在去除噪声的同时也导致图像的一些纹理和细节信息被模糊了.图5(h)则雾化效果更为严重,这是由于FFMD 算法只是简单地用相机响应模型调整图像的对比度,采用BM3D 降噪时也模糊了图像的纹理细节.图5(d)是Fu2016b 算法输出的图像,它作为所提出的MLSF-LLIE 算法的待融合图像.可以发现图5(d)中存在的过亮和马赛克现象并没有最终出现在图5(i)中,表明MLSF-LLIE 算法的局部结构化融合策略充分利用了其他待融合图像中更为合理的信息抑制了图5(d) 中视觉效果不好的内容,所提出的PC和GBVS 映射图作为加权系数起了一定的作用.从表1 中所列各子图对应指标值来看,相比较而言,所提出的MLSF-LLIE 算法在BOIEM、BIQME和NIQMC 三个指标上处于中等以上的水平,表明对低照度图像的对比度进行了适度的增强,而在对图像质量有着更为全面衡量的IL-NIQE 指标上则是排名第一,显著优于其他对比算法.这说明MLSFLLIE 算法在主观感觉上比较符合人眼视觉感受,图像整体增强效果比较协调.

图5 各个算法在Tree 图上增强效果对比Fig.5 Visual comparison of the results obtained with competing algorithms on Tree image

表1 各个对比算法对Tree 图像增强后的无参考指标值比较Table 1 Performance comparison of each algorithm on Tree image

图6 展示的是傍晚拍摄的一幅低照度(微光照明条件) Tower 图像,图像的前景部分很暗,而背景天空部分则曝光较好.与图5 中的情况类似,图6(f)部分区域也出现了明显的马赛克现象(如箭头所指处).为了更加直观地比较各算法对细节的增强效果,提取图像局部区域内容进行放大观察.只有利用MLSF-LLIE 算法所得到的图6(i)在塔的墙面纹理保持得最为清晰,塔上两个窗口状的结构清晰可见,而亮度也比较高,达到图6(f)的水平,却没有显著的马赛克现象.图6(d) (作为MLSF-LLIE 算法的待融合图像)中较为模糊的信息并未带入图6(i)中,再次说明了局部结构化融合机制能将各个待融合中最有利于视觉观察的信息保留下来,PC 和GBVS映射图作为加权系数起了一定的作用.总之,MLSFLLIE 算法一方面保持了低照度图像中曝光好的区域,另一方面在增强图像低曝光区域时也能很好地保持图像的纹理细节.从表2 所列指标数据来看,IL-NIQE 指标值排名第一,NIQMC、BIQME 和BOIEM 指标值处于前列,表明对比度进行了适度增强,这充分说明了MLSF-LLIE 算法在处理低照度图像时的优势.

表2 各个对比算法对图像Tower 增强后的无参考指标值Table 2 Performance comparison of each algorithm on Tower image

图6 各个算法在Tower 图上增强效果对比Fig.6 Visual comparison of the results obtained with competing algorithms on Tower image

图7 展示的是各算法在室内低照度图(光照条件适度良好,因拍摄角度的问题导致图像质量比较差)上的增强效果.从表3 列出的指标来看,MLSFLLIE 算法IW-PSNR 和IW-SSIM 两个有参考指标上均获得第一,在无参考指标IL-NIQE 上排名第二.从图7 可以看出,MLSF-LLIE 算法在图像增强、细节保护、色彩保真、避免过度曝光等方面的综合性能是最佳的,这都得益于选用多个互补性很强的待融合图像和局部结构化的融合机制将各个待融合图像中最佳的纹理细节信息保留在最终的融合图像中.

表3 各个对比算法对图像Class 增强后的无参考指标值Table 3 Performance comparison of each algorithm on Class image

图7 各个算法在Class 图上增强效果对比Fig.7 Visual comparison of the results obtained with competing algorithms on Class image

3.3 噪声抑制效果对比

一般来说,低照图像中处于暗区域的噪声会在增强后的图像中不同程度地放大,对噪声不加以抑制会严重影响图像的整体质量.Community 图像就是一幅在图像增强后噪声非常突出的实例.这里采用笔者之前提出的NLE 算法[33]对图像中的噪声水平值进行评估,作为抑制噪声效果的度量.噪声水平值越低表示图像中噪声严重程度越低,噪声抑制效果越好.如图8 所示,图8(b)和图8(c)中仍然存在明显的噪声,其对应的噪声水平值σ分别为4.20 和3.47,表明Fu2016b 和LIME 在所有算法中的抑制噪声的能力较弱.图8(d)、图8(e)和图8(f)的局部细节放大图像增强视觉效果比较接近,噪声水平值σ分别为2.28,1.78 和1.50.其中,所提出MLSF-LLIE 算法噪声水平值指标最低,且是图8(d)、图8(e)和图8(f)中层次感觉最好的,这说明MLSFLLIE 算法对边缘的保护能力是最好的,尤其体现在窗户上端突出部分(边缘清晰,层次分明).从图像整体的增强效果来看,图8(f)是图8(d)、图8(e)和图8(f)中整体对比度最好的.图8(f)的对比度恰到好处,说明MLSF-LLIE 算法对对比度增强是适度的,没有出现图8(c)那样过度增强的情况.

图8 各个算法在Community 图像上抑制噪声效果对比Fig.8 Comparison of denoising effect of each algorithm on Community image

3.4 总体性能比较

为了全面判定各个LLIE 算法的性能优劣,本文 在以上数据集 (含180 幅图像)上完成了测试,并计算了各个算法在各个指标上的平均值.数据记录在表4 和表5 中(排名前两名用加粗字体表示).由表4 可知,MLSF-LLIE 算法在ILNIQE 指标上排第一,说明本文算法在增强图像的同时能有效地保护图像的纹理结构,图像质量是最优的.而在BOIEM、BIQME 和NIQMC 这三个指标取得中等以上的成绩则说明MLSF-LLIE 算法对低照度图像的对比度进行适度增强.由表5 中可知,MLSFLLIE 算法在2 个有参考指标IW-PSNR 和IWSSIM 上均获得第一,在无参考的IL-NIQE 指标上也是排名第一.综上所述,MLSF-LLIE 算法在大量测试数据集上图像增强能力是最好的.此外,执行效率是度量低照度图像增强算法性能好坏的另一项重要指标,表6 中列出了各个参与对比算法在90幅有参考低照度图像上的平均执行时间.其中,HVS、Fu2016a、Ying 和LIME 算法的执行时间比较短,均控制在1 s 以内,但这4 个对比算法对低照度图像的增强效果往往不够理想.所提出的MLSFLLIE 算法的执行时间在所有参与对比算法中处于中等水平,由于该算法需要利用Fu2016b 和Ying算法分别生成两个待融合的适度曝光图像,以及利用BTF 函数生成1 幅过曝光图像进行融合,加上图像融合所需的执行时间,故总执行时间达到了4 s左右,但仍然控制在所有参与对比算法中的中等水平.从表4 和表5 中所列的各种客观图像质量评价指标数据来看,MLSF-LLIE 算法的增强能力是最好的.因此,综合考虑执行时间和增强效果两个方面,MLSF-LLIE 算法在两者之间达到了一个可接受的平衡点.

表4 各个算法在90 幅无参考低照度图像上的无参考指标的平均值Table 4 Average performance of different competing algorithms on 90 low-light images without reference images

表5 各个算法在90 幅有参考低照度图像上的无参考和有参考指标的平均值Table 5 Average performance of different competing algorithms on 90 low-light images with reference images

表6 各个算法在90 幅有参考低照度图像上的平均执行时间比较(s)Table 6 The average execution time of the competing algorithms on 90 low-light images with reference images (s)

4 结束语

本文提出了一种称为MLSF-LLIE 的多图像局部结构化融合的低照度图像增强算法,该算法从待融合图像制备和多图像融合两个方面对现有的Ying 算法进行了改进.改进算法可以充分利用中心像素点周围局部的结构化信息,在增强图像对比度的同时有效地保持图像的边缘和纹理细节,图像失真程度低.

当然,所提出的MLSF-LLIE 算法也存在一些不足: 1)噪声抑制问题.目前,完成噪声抑制的工作普遍是由经典的BM3D 算法来完成[12,19,32].然而,BM3D 等大多数降噪算法在设计的时候均是假设噪声图像中的噪声为加性高斯白噪声,低照度图像增强过程伴生的噪声属于信号相关噪声(Signal dependent noise,SDN),并不完全符合高斯分布特性,故现有的降噪算法对此类噪声处理的效果并不理想,需要专门研究相应的降噪算法以获得最佳的降噪效果.2)提高执行效率问题.所提出的算法包括制备图像和图像融合两个阶段,目前它的执行效率还有待提高.未来可以采用多通道卷积神经网络(Multi-channel convolutional neural network)构建具有融合功能的神经网络模型,直接将上述融合操作功能体现在网络模型的超参数当中.总之,将所提出的MLSF-LLIE 算法中比较耗时的功能模块用非线性映射能力强大的深度卷积网络模型化以后,受图形处理单元(Graphics processing unit,GPU)硬件支持的卷积神经网络可显著提高其执行效率.