基于模拟曝光融合的非均匀光照图像增强

王若状,臧景峰,张朋朋

(长春理工大学 电子信息工程学院,长春 130022)

Keywords: non-uniform illumination; adaptive Gamma correction; simulated exposure image; multi-exposure fusion; guided filtering

非均匀光照图像通常指由于拍摄时光照不均或曝光不当等原因产生的低质量图像,常见的如逆光、低光照、非均匀照明等场景,这些图像普遍存在亮度不均、对比度低、图像细节信息被掩盖等问题.为改善这类图像的视觉效果,复原图像信息,许多研究者针对该问题提出了图像增强方案.目前,关于非均匀光照的图像增强主要包括以下几类算法:

1) 基于直方图均衡(histogram equalization,HE)的增强算法,基于图像直方图改变像素值的分布情况,扩宽图像的动态范围,从而达到照度增强的目的,该类方法较简单,但其作用范围是图像全局,存在色彩失真、放大噪声等问题;

2) 基于大气散射模型(atmospheric dispersion model,ADM)的算法,该模型最初源于暗通道去雾模型[1],之后基于非均匀光照图像取反后与雾天图像在亮度分布上具有相似性理论,衍生出基于单通道和双通道先验的非均匀光照图像增强算法,但该类方法的理论假设在物理上并不合理,因此增强后需要进行后处理强化[2];

3) 基于照度反射模型Retinex理论,认为图像成像值可表示为场景光照分量和场景反射分量的乘积,传统基于Retinex的增强方法通过去除光照分量并增强反射分量达到增强效果[3-4],但存在易出现过度增强及细节失真等问题;

4) 基于深度学习(deep learning,DL)的方法,该类方法需要设计合理的网络模型,且依赖于非均匀光照图像数据集资源和较强的计算能力,也是近年较热门的研究方法[5].

此外,多曝光融合(multi exposure fusion)的方法,多用于实现高动态范围(high dynamic range,HDR)显示,通过融合在不同曝光时间下捕获的场景细节,能有效扩展图像的动态范围,该技术目前也较多用于非均匀光照图像增强.Huang等[6]对曝光图像序列的单张图像分别进行对比度提取、结构保持和强度调整操作,并使用局部权重、全局权重和显著性权重融合结构保持和强度调整的图块,最终将三部分进行融合得到增强图像,但存在色彩失真的问题; Yang等[7]借助强度映射函数将两张图像生成曝光时间相同的两张虚拟中间图像,使用权重合并两张图像为最终的虚拟图像,使用质量因子权重估计对两张初始图像和合成的虚拟图像,但会出现色彩失真、视觉效果略差的问题; Lee等[8]根据每张图像与曝光图像序列的其他图像的整体亮度关系及全局梯度范围大小分别确定权重,将两类权重结合作为该图像在融合过程的最终权重,能取得较好的融合效果,但具有一定的计算复杂度,且会出现光晕现象; Li等[9]提出了改进的曝光融合权重计算方法,使用结合自适应直方图均衡的Laplace滤波结果作为对比度权重,并提出将图像信息熵作为一种新的权重代替传统权重中的饱和度权重,最终的融合结果与传统权重度量方法相比在主观视觉上增强效果并不显著; Lü[10]通过对传统权重图使用函数映射构建加权的高斯金字塔,根据图像差和二维信息熵优化权重图以消除运动伪影,并基于图像对比度进行自适应细节增强,取得了较好的融合效果; Liu等[11]提出一种注意力引导的全局-局部对抗性曝光融合学习网络,先通过注意力权重获取粗融合结果,再使用边缘损失函数改进融合过程增强边缘信息,并通过全局-局部学习纠正颜色失真,取得了较好的融合效果.

传统使用拍摄的曝光序列融合方法需要场景相对稳定,否则在融合后会出现伪影.本文基于相机响应模型可由单张图像直接生成模拟的曝光序列,避免了该问题,同时结合改进的自适应伽马校正、动态曝光区域分割阈值和曝光融合方法,有效解决了非均匀光照图像视觉效果较差的问题.本文算法的流程如图1所示.

图1 本文算法流程Fig.1 Flow chart of proposed algorithm

1 模拟曝光融合图像增强算法

1.1 颜色空间转换

从像素水平分析,相同场景下不同曝光度的图像颜色信息基本不变,只是亮度差异显著,因此对多曝光图像序列只需处理图像的亮度信息而保留颜色信息,以保证在增强图像亮度细节的基础上不改变图像的原始色彩信息,而通常计算机处理的彩色图像都是用RGB颜色空间表示的,其主要问题是三通道彩色分量高度线性相关,不适于分离亮度与颜色信息.

HSV颜色空间是根据人对颜色的感知特性进行描述的,由色调(H)、饱和度(S)和明度(V)三个分量合成,其中明度V是对物体发光或光照辐射进行描述,能反映图像场景的亮度信息,同时与两个颜色描述分量具有良好的独立性,符合本文对颜色空间的设计要求,因此本文将待处理图像转换至HSV空间并对V分量进行增强处理.

1.2 相机响应模型

相机响应函数(camera response function,CRF)可描述为相机传感器辐照度与图像像素之间的非线性映射关系:

P(x,y)=f(E(x,y)),

(1)

其中P(x,y)表示成像像素值,E(x,y)表示场景辐射强度,f(·)表示相机响应函数.

文献[12]提出用亮度变换函数(bright transform function,BMF)间接估计CRF,是目前应用较广的一种CRF模型,表示为

PN=g(PM,k),

(2)

并有

PN=f(kE),

(3)

其中PN和PM为仅曝光不同的两张图像,g(·)为BMF函数,k为由PM生成PN的曝光率,E为场景辐射强度.参照伽马校正,将g(·)拟合为

(4)

其中β,γ为参数因子.由式(2)～(4)有

(5)

即BTF可表示为

(6)

其中Px表示基础图像为P0、曝光率为kx时对应的模拟曝光图像.实验表明,满足参数a=-0.329 3,b=1.125 8时,该模型可适用于大部分相机.

1.3 模拟曝光序列

由于原图像可以包含场景最多的细节信息,而模拟曝光图像将不可避免地导致图像细节损失,因此直接使用原图像作为曝光序列的一张图像,能补偿曝光序列中其他图像在细节上的不足,下面通过自适应伽马校正和相机响应模型分别生成中等曝光与过曝光图像.

1.3.1 自适应伽马校正

传统的伽马校正由于其参数固定,对不同的图像采用相同参数的非线性变换,即对不同图像的亮度校正程度不变,这对后续的图像增强处理显然不合适.因此,本文改进文献[13]的自适应伽马校正方法,对待增强图像的V分量进行处理.

T=|V*hL|,

(7)

(8)

其中:hL为3×3离散Laplace滤波核;T为对比度度量值;C1为划分的低对比度图像集,C2为划分的中等对比度图像集,V∈C;θ为阈值参数,取θ=50.

其次,使用对比度决定伽马值,相比于文献[13],本文对低对比度图像伽马值进行补偿,即

(9)

其中γ为计算的伽马值,μ,σ分别为V的均值和标准差.

最后,使用均值μ作为明暗度度量,决定伽马校正系数K,即

(10)

因此,自适应伽马校正结果为

V*=KVγ.

(11)

经自适应伽马校正的处理结果V*整体上已具备了良好的曝光水平,将其作为中等曝光图像.

1.3.2 过曝光图像

用自适应阈值划分过曝光区域,对于曝光度较好的像素点,其归一化均值接近于0.5.本文采用的动态过曝光划分阈值表示为

(12)

V′={(x,y)|V(x,y)>t}.

(13)

由于用最佳曝光率拍摄的图像将包含最大的信息量,因此采用最大信息熵表征最多的图像信息量,计算最佳曝光值,根据式(6)生成过曝光图像的曝光率为

(14)

其中H(·)为信息熵函数.

由上述计算可得中等曝光亮度V*和过曝光亮度V″,再结合颜色分量H,S转换为RGB空间,并与原图像I组成曝光图像序列{I,I*,I″}.逆光场景下模拟合成的曝光序列如图2所示.

图2 逆光场景下模拟合成的曝光序列Fig.2 Exposure sequence of simulated synthesis in backlight scene

1.4 曝光融合

曝光融合的目的是利用多曝光序列之间亮度的互补关系,按照权重分配融合不同曝光度的图像,最终使图像各区域呈现出适宜曝光条件下的成像效果.文献[15]采用了基于质量度量和双金字塔融合框架的曝光融合方法,但该方法获得的融合图像可能会在明暗交界等亮度变化明显的区域出现光晕现象.本文使用改进的质量度量方法构建权重图,并使用改进导向滤波优化权重,最终结合细节增强得到没有光晕影响的融合图像.

1.4.1 基于质量度量的权重合成

本文用对比度、饱和度和良好曝光度作为图像质量度量指标计算多曝光序列{Ik}的权重图.使用离散Laplace滤波器提取{Ik}的边缘细节,并取响应的绝对值表征图像的边缘变化,作为对比度度量,根据式(7)有

(15)

其中:ωc,k为对比度度量;i为颜色通道值,i={R,G,B};

由于过曝光和欠曝光区域在色彩上通常表现为欠饱和,因此使用RGB颜色通道的标准平方差度量饱和度,即

(16)

(17)

(18)

其中η=5×10e-6.

1.4.2 基于导向滤波的权重优化

用上述方法得到初始权重直接融合的结果具有严重的斑块效应,因此需对初始权重进行优化.导向滤波[16]基于滤波结果在局部与导向图像保持一定线性关系的关键假设,构建自适应滤波核,当导向图像为输入图像本身时,滤波结果在平滑的同时能保持图像边缘,本文采用导向滤波优化权重图,即

Qi=akWi+bk, ∀i∈φk,

(19)

其中:ak,bk为以i为像素中心、半径为r的局部窗体φk上的常量线性系数;Qi为初始权重的导向滤波结果,可知Qi的边缘信息只来自于初始权重Wi.

基于最小二乘法进行系数拟合,即

(20)

其中E(ak,bk)为误差函数,ε为正则化参数,用以约束平滑力度ak.由于传统导向滤波中参数ε是固定的,即对于边缘强弱的约束能力不变,会导致部分区域过平滑而出现光晕,因此本文根据导向图像的梯度图获取纹理信息,对参数ε进行自适应调整[17],即

(21)

其中G(x,y)为梯度函数.经式(20),(21)计算得:

(22)

(23)

由于所有重叠窗口中均包含像素i,需进行取均值处理,因此最终的优化权重为

(24)

从而融合图像表示为

(25)

实验结果表明,经过上述融合过程得到的增强结果相比于原图像会出现一定程度上的细节损失,因此本文使用基于高斯滤波差分的多尺度细节[18]提升算法,得到输入图像的细节图像:

D=(1-λ1×sgn(D1))×D1+λ2×D2+λ3×D3,

(26)

其中D为根据输入图像计算的细节图像,Di(i=1,2,3)为对应高斯核循环计算的差分图像,权重λ1=λ2=0.5,λ3=0.25.因此,最终经过细节增强处理的增强结果为

(27)

图像光晕消除前后结果对比如图3所示.

图3 图像光晕消除前后结果对比Fig.3 Comparison of results before and after image halo elimination

2 实验与分析

本文基于PC平台(Windows10系统,Intel(R) Core(TM) i5-7200U CPU@ 2.70 GHz处理器,8 GB内存)上的MATLAB 2016b进行实验验证,并与LIME[19],CRM[12],CEA[14],BIMEF[20],NPLIE[21]几类经典算法从主观和客观方面对实验结果进行对比分析.低照度场景图像增强结果及细节对比如图4和图5所示.逆光场景图像增强结果及细节对比如图6～图9所示.由图4～图9可见,在不同场景下本文算法的效果均最好.

2.1 主观因素

图4 低照度场景图像增强结果及细节对比1Fig.4 Image enhancement results and detail comparison 1 in low illumination scenes

图5 低照度场景图像增强结果及细节对比2Fig.5 Image enhancement results and detail comparison 2 in low illumination scenes

对于图4场景,由于LIEM算法亮度提升的程度过大,因此使得场景相对并不自然,CRM,CEA,BIMEF和NPLIE算法整体仍偏暗,树叶、墙壁、白色建筑等部分颜色信息和对比度不突出,本文算法场景相对自然,图像细节信息相对突出.对于图5场景,LIME算法对云的形态细节、轮廓及颜色过分突出,场景不自然,CRM算法在图像边缘出现了大面积光晕,CEA算法细节保留较好,但图像偏暗,NPLIE和本文算法在颜色、场景轮廓等细节信息上更丰富.对于图6场景,LIME算法同样增强过度,CRM算法也出现了一定的光晕,CEA和NPLIE算法在建筑体上相对较暗,本文算法在保留图像细节信息的基础上,图像饱和度较好,颜色信息更突出.对于图7场景,几类算法处理结果相近,相比之下LIME算法仍增强过度,CRM算法仍出现了光晕,CEA和BIMEF算法在墙体建筑区域偏暗,NPLIE与本文算法在对应区域颜色饱和,细节清楚.对于图8场景,几类算法对窗体亮光区域没有过度放大,CRM,CEA和BIMEF算法表现得偏暗,本文算法色彩饱和,在吊灯等场景的边缘细节突出.对于图9场景,CEA,BIMEF和NPLIE算法能复原场景的细节信息,但相对偏暗,LIME算法仍增强过度,本文算法则相对自然.

图6 逆光场景图像增强结果及细节对比1Fig.6 Image enhancement results and detail comparison 1 in backlight scenes

图7 逆光场景图像增强结果及细节对比2Fig.7 Image enhancement results and detail comparison 2 in backlight scenes

图8 逆光场景图像增强结果及细节对比3Fig.8 Image enhancement results and detail comparison 3 in backlight scenes

图9 逆光场景图像增强结果及细节对比4Fig.9 Image enhancement results and detail comparison 4 in backlight scenes

主观评价指标包括清晰度、细节保持度、场景自然效果3个维度,评价者对每张图像在3个指标上打分并计算算术平均值.表1为选取的10位评价者对数据集MLLP-Set[22]上测试结果的主观评价平均值(10分为满分); 表2为10位评价者对数据集VV-Set(https://sites.google.com/site/vonikakis/datasets/challenging-dataset-for-enhancement)上测试结果的主观评价平均值(10分为满分).

表1 数据集MLLP-Set上测试结果的平均主观评价指标

表2 数据集VV-Set上测试结果的平均主观评价指标

由表1和表2可见,10位评价者认为在几种算法中,LIME和CRM算法综合得分较低,即对两类算法增强结果的认可度较低,BIMEF算法综合得分好于CEA算法,NPLIE算法与本文算法最接近,但本文算法综合得分更高,表明10位评价者对本文算法的增强结果最认可.

2.2 客观因素

主观因素分析可能带有评价者主观意识下的偏好,且评价结果可能受多种因素的影响,因此仅通过主观分析不足以说明问题,需通过图像处理领域广泛使用的图像质量评价指标对图像质量和信息量进行客观度量.本文采用结构相似性(SSIM)、平均信息熵(AIE)和视觉信息保真度(VIF)指标对同类算法的处理结果进行评价.

SSIM用于度量结果图像与原始图像在结构上的差异性,通过在局部区域上的像素统计量构造亮度、对比度和结构估计,并作为影响因子构建相似度度量函数,综合局部相似性指标作为最终的相似度度量,其值范围为[0,1].该值越接近1,表明结果图像与原始图像的相似度越高.AIE即通过平均信息熵计算度量图像所包含的平均信息量,该值越大表明图像所包含的信息量越丰富,在图像质量上表现为图像的清晰度、对比度较好,细节信息较丰富.VIF认为人的视觉系统也是一种失真通道,即原始图像和失真图像在被人捕捉为视觉信息的过程中同样存在信息损失,并将人眼获得的失真图像信息与原始图像信息的比值定义为视觉信息保真度,表征失真图像相对于原始图像信息保留的完整性,其值范围为[0,1].该值越接近1,表明信息完整性越好.数据集MLLP-Set和VV-Set上测试结果的平均客观评价指标分别列于表3和表4.

表3 数据集MLLP-Set上测试结果的平均客观评价指标

表4 数据集VV-Set上测试结果的 平均客观评价指标

由表3可见: LIME和CRM算法SSIM值较低,表明对于原图像,增强图像在结构信息上发生了较大改变,本文算法在SSIM指标上略低于CEA算法,并与NPLIE算法相近,表明这3种算法对原始图像结构属性保留的能力大致相同; LIME和CRM算法的AIE值较高,但亮度增强过度,存在细节失真的问题,本文算法AIE值则高于其他三类算法,在清晰度、对比度、细节信息等方面的表达较好.对于VIF指标,本文算法最高,表明对图像原始信息的保留能力较好,CEA和NPLIE算法则相对较弱.由表4可见,在数据集VV-Set上的测试结果与表3数据中各种算法的指标数据差异性大致相同,表明本文算法的增强结果在视觉保真度上优于其他算法.

实验结果表明,客观分析与主观分析在结论上具有一致性,证明了本文算法在处理非均匀光照图像增强方面的有效性.

综上所述,本文针对非均匀光照图像的低质量问题提出了一种模拟多曝光融合的图像增强算法,具有以下特点:

1) 基于相机响应函数,使用单张低质量图像模拟合成多曝光图像序列,避免了拍摄的多曝光序列因场景变化可能导致的融合后出现伪影.

2) 用动态阈值分割过曝光区域,针对不同的低质量图像提取特征性更强的过曝光像素集合; 用改进的自适应伽马校正获得中等曝光图像,对不同的低质量图像具有针对性的校正能力.

3) 对质量度量时的曝光度度量指标进行了修正,使用改进的导向滤波方法进行权重优化,避免了金字塔融合可能出现的光晕现象; 最终使用基于高斯滤波差分的多尺度细节增强方法修复了因融合过程出现的图像细节丢失问题.

本文算法经实验验证及主客观分析,能解决一般场景下的非均匀光照图像的增强问题,增强后的图像质量优于同类算法.