基于导向滤波的鬼影消除多曝光图像融合

安世全，张 莉，瞿 中

(重庆邮电大学 计算机科学与技术学院，重庆 400065)

0 引 言

普通数码相机所捕获图像的动态范围远远低于现实场景。为解决该问题，通过合并同一场景中不同曝光量的低动态范围图像序列[1,2]，实现高动态范围成像。近年来，国内外研究学者已提出了多种融合高动态范围图像的算法。Mertens等[3]提出将对比度、饱和度及良好曝光度作为权重值，结合拉普拉斯和高斯金字塔进行融合。Vanmali等[4]提出了一种低复杂度的融合算法，对源图像序列加权相加。Li等[5]提出了利用空间一致性融合基础层和细节层。Kinoshita等[6]提出了一种基于输入多重曝光图像的亮度分布自动确定程度的方法。

在现实场景通常是包含移动物体[7,8]。因此，如何生成动态场景的无鬼影高动态范围图像是近年来研究的热点。Li等[9]提出递归滤波细化权重图，并利用直方图均衡化和中值滤波检测运动物体。Liu等[10]提出密集尺度不变特征变换实现局部对比度提取和鬼影去除。Ma Kede等[11]提出图像分块思想实现多曝光图像融合。Wang等[12]利用亮度线性地取决于曝光时间的理论实现检测移动物体以进一步曝光融合。

为了有效地解决边缘细节失真、运动物体的鬼影现象，首先通过差分图像和最大类间方差作为预处理步骤；然后计算3个不同的质量衡量因子估计权值；改进导向滤波，增加边缘与非边缘的差距，达到去噪效果；最后，利用加权平均和获得融合图像。

1 动态场景的鬼影消除

在本文研究中，假设图像通过将相机放在三脚架上或使用一些注册技术进行对齐[13，14]。传统算法是选择适度曝光的图像选为参考图像，并采用差分法评估运动像素点，可消除简单运动场景中的鬼影现象。本文在消除简单运动场景的鬼影现象的同时，对复杂场景同样有效。

对于多曝光图像序列为In(n=1,2,…,N，N为图像的数目)，为消除曝光差异对检测运动像素的影响，选择参考图像Iref，对待融合图像进行直方图匹配，如式(1)所示

(1)

(2)

并确保相邻像素具有相似的权重，计算差分图像Dn的类间方差最大值，排除异常值。对于每一幅差异图像Dn，采用图像分割被分割为两类C1类、C2类，使得两类像素的区分度达到最大，如式(3)、式(4)所示

(3)

(4)

当差分图像大于最优分割阈值时，表示该像素处于运动状态，否则，表示静态。运动物体的检测如式(5)所示

(5)

(6)

2 质量衡量因子

图像的细节信息主要体现在该图像的结构特征、对比度以及色彩饱和度方面。对于静态场景中的多曝光图像序列，通过提取图像的局部对比度、适当曝光度和色彩饱和度，构造初始权值图。

2.1 局部对比度

人类视觉系统对局部对比度信息的感知更加敏感。通过Scharr算子计算图像的局部对比度。则局部对比度Cn(x,y) 如式(7)所示

(7)

其中，Gx(x,y)、Gy(x,y) 分别表示灰度图像沿x、y方向的梯度信息。

2.2 适当曝光度

图像曝光度是决定图像质量的重要指标。利用高斯模型对所有曝光像素点分配合理的权值，如式(8)所示

(8)

2.3 色彩饱和度

色彩饱和度是突出图像细节的重要因素。本文通过计算每个像素点各个通道内的标准差得到色彩饱和度Sn(x,y)，其式(9)如下所示

(9)

2.4 构造初始权重图

(10)

3 优化导向滤波的图像融合

3.1 传统导向滤波

导向滤波是一种基于局部线性模型的边缘保持滤波器[15]，计算时间与滤波器尺寸无关。为了输出图像与输入图像之间的差距最小，用最小二乘法拟合线性关系，式(11)如下所示

(11)

其中，ak和bk是以像素点k为中心的局部窗口ωk的线性变换系数，Pi是输入图像，Ii是导向图像，ε是平滑系数。通过计算得到ak和bk，公式如下所示

(12)

(13)

(14)

3.2 初始权重图细化

为减少噪声对融合结果的影响，本文根据导向滤波对初始权重图进行处理。在导向滤波中，ak决定最终图像的边缘保持程度。对于局部窗口，ak值随着像素间的纹理差异而变化，而ε值是赋予固定的参数，使得像素点被叠加的平滑力度完全相同。虽然弥补了部分像素点的欠平滑问题，但也会导致过度平滑。当边缘像素点过度平滑时，就会发生光晕、梯度反转现象。因此，在边缘信息丰富的区域中，ak值较大，则需要较小的ε值，使得叠加平滑倍数小；在平滑区域中，ak值较小，则需要较大的ε值，使得叠加平滑倍数大。因此，本文设计了一个自适应的加权函数，解决了不同局部窗口的纹理特性，式(15)如下所示

(15)

其中，β为区别边缘的阈值，λ表示该图像边缘的限制因子。当像素点的梯度信息大于β时，表示该像素点处于边缘区域，否则表示处于平滑区域。改进的导向滤波使得边缘与平滑的差异程度增加，避免在边缘处模糊叠加，提高图像质量，具有较好的鲁棒性。本文根据实验取β=0.3，取λ=2，若λ>2时存在局部失真，若λ<2时仍有较少的光晕。将式(11)、式(12)优化如式(16)、式(17)如下所示

(16)

(17)

根据改进的导向滤波细化初始权重图，式(18)如下所示

(18)

(1)判断像素 (x,y) 是否处于边缘区域。

(2)当像素 (x,y) 处于边缘区域时，φ(x,y) 值变大，对边缘纹理敏感，放大该像素的边缘信息，正则项的值变小。

(3)当像素 (x,y) 处于非边缘区域时，φ(x,y) 值变小，对边缘纹理不敏感，抑制该像素的边缘信息，正则项的值变大。

3.3 加权融合

在获得精确的权值图后，可以从静态图像序列直接计算融合结果，得到最终的融合图像F(x,y)，式(19)如下所示

(19)

4 实验结果与分析

根据提出的算法使用各种曝光序列进行测试，其涵盖不同类型的静态场景和动态场景，并将本文算法与Mertens等、Vanmali等、Li等[5]、Li等[9]、Liu等、提出的算法进行比较。

4.1 静态场景的测试与分析

在静态场景中，本文算法与Mertens等、Vanmali等、Li等[5]3种算法进行了实验对比。图1(a)、图2(a)分别为多曝光图像序列Candle、Windows场景。图1(b)-图1(e)、图2(b)-图2(e)是Mertens等、Vanmali等、Li等[5]、本文算法的实验结果呈现，并放大了局部区域。

根据实验结果可知，Mertens等具有较好的色彩饱和度信息，但是局部对比度较低，导致细节不够清晰(如图1(b)火焰，图2(b)的窗帘、放大区域的台灯过亮而失去细节)。Vanmali等提出的算法存在明显的颜色退化、细节失真等现象(如图1(c)的火焰周围及玻璃杯，图2(c)的墙壁菱角模糊)。Li等的算法采用传统的导向滤波，存在严重的光晕、梯度反转的现象(如图1(d)的墙壁区域及桌子区域出现大量的光晕，图2(d)的墙壁及窗户帘子上出现大面积的光晕、放大区域的台灯暗沉有光晕)。本文算法的实验结果呈现了较丰富的细节信息和较鲜艳的色彩信息(如图1(e)燃烧着火苗)，同时消除了光晕的现象。

图1 Candle场景实验结果对比

图2 Windows场景实验结果对比

4.2 动态场景的测试与分析

图3(a)、图4(a)、图5(a)分别为多曝光图像序列Arch、SculptureGarden、Horse场景。图3(b)-图3(e)、图4(b)-图4(e)是Mertens等、Li等[9]、Liu等、本文算法的实验结果呈现，并放大了局部区域。图5(b)-图5(e)是 Mertens等、Li等[9]、Liu等、本文算法的融合图像进行比较。

由实验结果得出，Mertens等提出的算法虽具有较好的表现力，却产生了严重大面积的鬼影(如图3(b)、图4(b)的行人，图5(b)的马头)，并出现颜色失真(如图4(b)的背景色彩饱和度不够)。Li等提出的算法在很大程度上去除了鬼影现象，但是对于复杂的运动场景中仍包含一些微弱的鬼影(如图4(c)的行人，图5(c)的马头)，并且对比度不够清晰(如图3(c)的柱子、图5(c)的墙壁色调偏暗)。Liu等提出的算法虽然具有良好的对比度，但是没有将鬼影完全消除干净(如图3(d)远处拱形区域出现模糊的人影，图4(d)的行人，图5(d)的马头)，色彩整体偏暗淡(如图3(d)的吊灯部分区域、远处草木区域及柱子区域，图4(d)的天空，图5(d)的墙壁)。本文提出的算法能有效去除鬼影，在避免光晕现象的同时保留较丰富的场景信息。

图3 Arch场景实验结果对比

图4 SculptureGarden场景实验结果对比

图5 Horse场景实验结果对比

4.3 客观评价

本文采用边缘相似性 (QAB/F)[16]、图像清晰度，客观地评估不同融合算法的性能。QAB/F是衡量两幅图像的边缘特征相似性。当图像相似性越大时，QAB/F值越接近于1.0。图像清晰度则是利用平均梯度进行描述，平均梯度与图像清晰度呈正相关，平均梯度越大，细节越多。

本文评估了4组静态场景和4组动态场景的图像序列，分别通过计算QAB/F、图像清晰度评价指标将本文算法与静态场景算法、动态场景算法进行比较，评价结果见表1、表2。从测试数据可知，与传统算法对比，本文算法具有较好的客观结果与图像质量(表1和表2中的粗体值代表每行的最佳值)。

表1 QAB/F的评价结果

表2 图像清晰度的评价结果

4.4 运行效率

表3表示8组图像3种关于动态场景算法的运行时间比较结果。该计算机的处理器为i5-3230M，主频为2.60 GHz，内存为4.0 GB。在比较结果可以得出，本文算法的运行时间均低于其它算法，运行效率高于其它算法(表3中的粗体值代表每行的最佳值)。

表3 运行时间比较

5 结束语

本文提出了一种基于导向滤波的无鬼影曝光融合算法，有效消除复杂场景中的鬼影现象，并减少光晕的同时保留细节。首先，通过参考图像与其它图像匹配，使能够保留更多图像细节，尤其对于曝光量有严重偏差的区域。其次，为了进一步抑制融合中异常值，利用最大类间方差进行运动检测。然后，使用质量衡量因子(局部对比度、适当曝光度和色彩饱和度)来计算权重图。最后，为了提高准确性和消除导向滤波产生的光晕现象，使用改进的导向滤波对其细化，对区域的纹理差异实现自适应。从主观视觉与客观评价进行分析，实验结果表明本文算法无论在动态场景还是静态场景均具有较好的效果。