基于SWF技术的多曝光图像融合算法

段晨龙 范铭贤 许可

（重庆邮电大学计算机网络与通信技术重庆高校重点实验室 重庆市 400065）

1 背景简介

普通数码相机成像的动态范围一般为2～3 个数量级，而现实场景的亮度变化范围高达8～10 个数量级[1]。在使用数码相机时，在外界不同曝光度的情况下，得到的图像很难展现出完整的细节。数码相机通常会在曝光不足和过度曝光的区域拍摄细节不足的图像。如今已经有了很多处理这一问题的方法，高动态范围(HDR)成像技术克服了这一限制，首先捕获具有不同曝光水平的多幅图像，然后通过反转相机响应函数(CRF)重建HDR 图像。但这一方法得出来的图像会出现失真。

近年来，许多学者都在多曝光图像融合领域展开了研究，并提出了许多有效的算法，但都存在些许不足。Mansour 等[2]通过亮度分量构建了权重图，这种方法的优势在于其速度快效率高，可以得到较好的结果。Mertens 等[3]提出了基于金字塔结构的多曝光图像融合算法，该方法获得了较好的融合效果，但丢失了较亮区域和较暗区域的细节信息。Raman 等[4]采用基于双边滤波的图像细节强度作为权重来指导融合过程。Shen 等[5]提出了一种新的基于细节和基信号的增强拉普拉斯金字塔结构，该结构以曝光权重为导向，较好地保留了细节信息,但增加了算法的运算复杂度。Li 等[6]提出的MEF 方法使用拉普拉斯滤波构建权重图。Gu 等[7]使用了保存边缘的递归滤波器来生成细化的边缘对齐的权重映射。Liu 和Wang[8]应用密集尺度不变特征变换(SIFT)[9]获得基于局部梯度信息的对比度和空间一致性权值，有效地保留了细节信息，在静态图像融合方面表现很好。Song 等[10]的融合方案使用了一个概率模型来保持最大的可见对比度和合成的最终图像的梯度一致性。

为了进一步提升图像细节的保留程度，并且避免时间过度消耗，本文主要采用了Mansour[2]的思想。首先计算得到以下三个信息值：图像细节、曝光亮度和色彩信息。我们利用输入源图像的亮度分量来提取曝光特征，并通过曝光函数将其映射到基层和细节层的混合权值。最后根据加权融合的方式进行图像融合，得到融合图像。

2 方法

2.1 滤波器改进

令Ik表示输入不同曝光度下的待融合图像，k=1,...,K。对于每一幅图片，我们先通过其红绿蓝通道计算出其亮度分量，表示为Lk，之后通过亮度分量求出融合的权重值。在我们的方法中，输入图像被分解成两个尺度的表示，即基层和细节层。

基层可以对其亮度分量通过均值滤波器模糊实现，但这一方法会导致融合后的图像在细节的边缘处出现光晕。首先，我们依然是与Mansour[2]的处理思想相同，使用Zheng 等[11]提出的导向滤波器进行解决，但我们对其进行了改进，得到了更好的效果。我们采用了Yin 等[12]提出的SWF（Side Window Filter）的方法改进了Zheng[11]的导向滤波器，将导向滤波器的boxfilter 更换为加入了SWF 技术的Side Window Box Filter。

表1：SWF 算法流程

Yin 等[12]认为当一个像素在边缘上时，将窗口的中心放在像素上是导致许多过滤算法模糊边缘的根本原因之一。采用SWF 原理可以显著提高其边缘保持能力。将经典的boxfilter 与加入了SWF技术的Side Window Box Filter 进行对比可以发现，Side Window Box Filter 即使在迭代了多次之后，对于边缘的保持还很好，只有极少数边缘的细节丢失。算法过程如表1 所示。

因为传统方法使用全窗口回归，把窗的中心位置放在待处理像素的位置。即便是用非线性各向异性加权，仍然无法杜绝沿着图像边缘的扩散。而将待处理像素放在窗口的边缘，这就切断了可能的法线方向的扩散。

2.2 图像细节

将图像分解为基层Bk与细节层Dk。我们使用SWF 技术达到有效的边缘保持，随后通过均值滤波器达到边缘平滑。利用表示导向滤波器，r1表示导向滤波器的半径大小，其中引导图像P 使用待融合图像的亮度分量在改进的引导滤波器中利用SWFiteration(Img)对边缘保留进行加强，iteration 表示迭代次数，在这一过程中我们发现它不能很好的做到图像的模糊，于是通过均值滤波器进行边缘平滑，r2表示均值滤波器核的大小，首先通过RGB 通道的加权和计算亮度分量，则

之后可以轻易得到细节层Dk，最后用原灰度图减去滤波之后的图像Bk便得到图像细节Dk，即

表2：进行多项式回归的数据集，对比度对应的最佳r1 与信息熵值对应的最佳r2

2.3 计算权值图

得到基层与细节层时候还需要得到各个像素点的权值，便于之后融合，权值的由公式（3）得到，在该公式中φ 表示曝光特征，σ 控制高斯分布，Ce 表示曝光良好的常数，通常设置为曝光强度范围的中间值。

在细节层的处理上，通过计算曝光特征在每个像素位置作为平均亮度在一个小的局部领域，图像细节的曝光质量是基于局部强度变化的平均水平来评估的。对每一个位置(x, y)的像素点做了处理，用WkD表示图像细节的权值，φkD通过亮度与大小7×7 的幺矩阵进行卷积来得到，其公式为：

基层Bk是由Side Window Box Filter 得到的，基层主要传达图像亮度的大规模结构信息。为了获得该层的混合权值，考虑了局部和全局亮度的曝光质量，在每个像素位置的图像亮度的局部平均值可以作为局部曝光质量评估的曝光特征。但是，为了在基层和它的权值映射之间有结构上的一致性，使用了基础层本身作为曝光特征。对于局部曝光量的权值Wk

B,l，其公式为：对于全局曝光量Wk

B,g的权值有：

2.4 加权融合

所有输入图像的权值映射构造完成后，将其归一化为每个像素位置上的单位和。最后，将基层和输入图像细节层的加权平均合并到融合图像F 中，得到融合后的图像

其中α 用于控制细节度。

2.5 函数拟合

在研究中发现，参数r1 与输入图像的对比度有关，r2 与输入图像的信息熵值有关，对这两个参数进行了函数拟合。

2.5.1 多项式回归原理

在现实中，许多关系往往具有很强的非线性关系。我们数据的散点图也展现出了很强的非线性关系，图1 中的wR 即r1，aR 即。

图1

图1 中的数据具有很强的非线性关系，因此直接使用线性回归的方式来拟合这些数据得到的效果不会太好。通过不断实验我们得出，利用三次方程进行拟合得到的效果比较好。相应的方程可以写为y=ax3+bx2+cx+d。

对于这样的一个三次方程，本文是从x 的角度来理解的。如果从另一个角度理解的话，把x3理解成一个特征，x2理解成第二个特征，x 理解成第三个特征。换句话说，将原来理解的x 一个特征，转变为了三个特征。其实，y=ax3+bx2+cx+d 本身依然是线性回归的式子。通过这个转换，就可以把它转换为线性回归问题了。

2.5.2 数据选取与收集

我们选取了8 组数据作为数据集。如表2 所示。

2.5.3 模型训练

与线性回归相同，我们的目标是最小化残差平方和：

2.5.4 拟合结果

最终得到的函数为，其中cgavg代表图像序列的平均对比度，Havg代表图像序列平均信息熵：

其中r1与r2均为正整数。

3 评测与分析

通过多次测试得到了各个参数的最优值。σg=0.2，σl=0.5，σD=0.135，α=1.1，ϵ=0.25，迭代次数iteration=4。

采用最近提出的MEF 质量评价模型MEF-SSIM[13]的结果表明，在与主观判断的相关性方面，该质量测度优于所有现有的MEF质量评价测度。利用这个模型将我们提出的方法与已提出的一些MEF 算法的融合性能进行了比较，其中包括Raman09[4]，Gu[7]，Shen11[14]，Bruce14[15]，Mertens09[3]，Li13[16]，Mansou[2]，其评价结果如表3 所示。可以看出，在MEF-SSIM 的质量测度方面，所提出的方法在大多数序列中性能最好或次之。平均而言，我们方法的性能最好，Mansou[2]与Mertens09[3]次之。

表3：使用mef - ssim[13]的现有mef 算法与本文提出算法的性能比较

表3（续）

图2：Office 图像序列Mansou[2]与提出算法对比

图3：MadisonCapitol 图像序列Li[6]与提出算法对比

质量值的范围从0 到1，一个高的值表示更好的感知质量。

实验选取了Arno, Balloons 等经典多曝光融合的典型组图进行测试与对比，将本方法与Mansou[2]的融合结果进行可视化比较，如图2 所示。在测评中对两种算法评价值相同，但从视觉效果上来看，我们的算法得出的图像色彩对比更加明显，颜色更加鲜艳视觉效果更好。

将我们的算法与Li[6]进行对比，结果如图3 所示。Li[6]融合算法不能很好地利用颜色信息，导致融合输出颜色单调。此外，全局亮度在最终的结果中有很大的变化，图像的中心部分明显比底部和右侧部分暗。

4 总结

本文提出了一种具有较好细节保留特点的多曝光图像融合算法。该方法首先计算了输入图像对比度与信息熵的均值，以此计算出融合函数的参数。之后利用引导滤波器以及SWF 技术将输入图像分解为基图像和细节图像，利用曝光函数有效地计算混合权值，利用计算出的权值进行图像融合，以此节省了算法的时间。最后通过MEF 质量评估模型的客观评价验证了该方法的有效性。我们的算法在对比度和色彩方面表现突出，同时保留了更多的细节。此外，我们算法的速度也比较快，适合消费性相机[17]。由于本次我们的算法只是在静态场景中有较好的表现，我们之后的工作就是要继续研究如何将该算法扩展到动态场景中[18]，让其适应更加多变的情况，同时也要研究节省计算对比度和信息熵的时间，我们的算法得到的图像质量[19]还有一定的上升空间，之后会不断改进得到更好的结果。