细节保留的多曝光图像融合

李卫中，易本顺，邱　康，彭　红

(1 武汉大学 电子信息学院，湖北 武汉 430072；2 湖北工程学院 物理与电子信息工程学院，湖北 孝感 432000；3 地球空间信息技术协同创新中心，湖北 武汉 430079)



细节保留的多曝光图像融合

李卫中1，2，易本顺1，3 *，邱康1，彭红1

(1 武汉大学 电子信息学院，湖北 武汉 430072；2 湖北工程学院 物理与电子信息工程学院，湖北 孝感 432000；3 地球空间信息技术协同创新中心，湖北 武汉 430079)

针对传统的多曝光图像融合算法存在的细节丟失严重和鬼影现象，提出了一种细节保留的多曝光图像融合算法。该算法首先计算曝光序列的3个特征指标：图像细节、曝光亮度和色彩信息，其中图像细节通过引导滤波计算，曝光亮度的权值由高斯方程分配，而曝光序列的色彩信息用色彩饱和度表示。然后，利用差分图和邻域相关系数检测多曝光序列中运动物体，利用3个特征指标和运动目标检测结果分别计算静态场景和动态场景的融合权值图。为了消除噪声的影响，采用递归滤波器来修正融合权值图。最后，采取加权融合的方式得到融合图像。选取10组不同的曝光序列，分别从主观和客观两方面与6种传统的融合算法进行了比较。实验结果表明，本文算法保留了丰富的细节信息，呈现出了更加生动自然的现实场景，并且有效去除了由运动物体产生的鬼影现象，效果优于其他比较算法，在静态场景和动态场景的曝光融合中都取得了好的效果。

多曝光图像；图像融合；图像细节；引导滤波；鬼影

1　引　言

普通数码相机成像的动态范围一般为2～3个数量级，而现实场景的亮度变化范围高达8～10个数量级[1]，远远超过了CCD/CMOS成像设备所能捕捉的动态范围[2-4]。因此利用普通的数码相机很难完整地捕捉现实场景的所有信息，例如:短曝光图像只能捕捉到明亮区域的场景细节，而长曝光图像往往只能呈现较暗区域的场景细节[5-6]。为了完美地呈现现实场景的所有细节信息，可以用数码相机拍摄一系列同一场景不同曝光亮度的图像，然后利用多曝光图像融合技术合成一幅反映现实场景所有信息的图像。

近年来，国内外的许多学者在多曝光图像融合方面展开了研究。周晓波等[7]提出了基于图像分块的多曝光图像融合算法，但该方法容易产生块效应。付争方等[8]提出了基于S曲线的多曝光图像融合算法，但该方法只能在一定程度上改善融合效果。Mertens等[9]提出了基于金字塔的多曝光图像融合算法，该方法获得了较好的融合效果，但丢失了较亮区域和较暗区域的细节信息。Shen等[10]提出了基于改进金字塔的多曝光图像融合算法，较好地保留了细节信息，但增加了算法的运算复杂度。Bruce[11]提出了基于局部熵的多曝光图像融合算法，该算法较好地保留了场景细节，但全局对比度低且色彩退化严重。Vanmali等[12]利用高斯方程实现了一种低复杂度的多曝光图像融合算法，该算法虽然有效地降低了计算复杂度，但场景细节丢失严重并且颜色失真明显。而且以上算法均适合于静态场景的多曝光图像融合，如果场景中存在运动物体，融合结果将产生严重的鬼影现象。国内外的很多学者对消除鬼影现象进行了研究。Gallo等[13]利用RANSAC(RANdom Sample Consensus)过程有效消除了鬼影，但却产生了色彩失真和块效应。Li等[14]利用直方图均衡化和中值滤波检测运动物体，该算法一定程度上减少了鬼影现象，但不能完全消除鬼影。Oh等[15]利用矩阵秩最小理论检测运动物体，虽然能有效减少运动物体对融合结果的影响，但算法的运算复杂度高。Liu等[16]利用图像的尺度不变特征变换(SIFT)实现多曝光图像融合，有效地保留了细节信息，但不能完全消除鬼影现象。

为了更好地消除运动物体的鬼影现象，本文提出了一种细节保留的多曝光图像融合算法。首先计算图像的3个特征指标：图像细节、曝光亮度和色彩信息；然后利用差分图和邻域相关系数进行运动物体检测；根据特征指标和运动物体检测结果计算权值图并利用递归滤波对权值图进行修正；最后采用加权融合的方式得到融合图像。该算法在静态场景和动态场景的曝光融合中都能产生较好的融合结果。

2　曝光融合

本文的算法不仅适用于静态场景，而且适用于动态场景。该算法主要由图像特征指标计算、运动物体检测、权值图计算以及加权融合等4个步骤组成。

2.1特征指标计算

针对静态场景融合的特点，选择图像细节、曝光亮度和色彩信息3个特征指标来计算曝光融合的权值。

2.1.1图像细节

(1)

(2)

2.1.2曝光亮度

人的视觉系统观察到的细节信息多少与图像的曝光亮度有直接关系，曝光亮度合适的图像能呈现出丰富的纹理细节和色彩信息，而欠曝光或者过曝光区域则几乎不能传递任何细节信息。因此，在曝光融合过程中，应该对曝光合适的像素分配较大的权值，而对欠曝光或者过曝光区域的像素分配很小的权值。具体为：首先将原序列转换成灰度图并作归一化处理，然后根据各像素的曝光亮度，利用高斯方程为每个像素分配相应的权值，同时排除欠曝光或过曝光区域像素对融合结果的影响，其权值分配方程为：

(3)

2.1.3色彩信息

色彩信息是衡量图像质量的重要指标，饱和的色彩能让图像看起来更加生动。本文采用色彩饱和度来衡量图像的色彩信息，其计算过程为：

(4)

2.2运动物体检测

(5)

(6)

(7)

(8)

(9)

2.3计算权值图

为了保留更多的场景细节以及丰富的色彩信息，同时消除运动物体对融合结果的影响，将图像特征指标与运动检测结果加权相乘得到权值图，即：

(10)

(11)

2.4加权融合

由于权值图在处理过程中容易引入噪声，为了消除噪声的影响，以便得到精确的权值图，需要对权值图进行滤波处理。递归滤波是一种实时的边缘保持滤波器，已广泛用于图像和视频处理[19]。将权值图进行递归滤波处理能有效滤除噪声，从而得到精确平滑的权值图Wk。 其处理过程如式(12)所示：

(12)式中RF(·)表示递归滤波操作。得到精确的权值图后，通过加权融合得到最后的融合图像F，即：

(13)

3　实验结果与分析

所有的实验都是在Intel i5处理器(3.5 GHz， 64位)，4 G内存的PC平台上利用MATLAB (R2012a)编程完成。分别在静态场景和动态场景对多组曝光序列进行了测试，并将本文算法与Mertens等[9]、Bruce[11]、Gallo等[13]、Li等[14]、Oh等[15]以及Liu等[16]提出的算法进行了比较分析。

实验过程中对算法的相关参数进行了设置。为了获得图像的细节，引导滤波的滤波半径和平滑系数分别取r=5和ε=0.1。递归滤波器的空间参数和值域参数分别设为σs=80和σr=3。大量的测试显示，当门限值T1=0.15、T2=0.85，同时选择9×9邻域时，可以精确地检测运动物体。

3.1静态场景的测试与分析

图1(彩图见期刊电子版)和图2(彩图见期刊电子版)分别为不同的多曝光序列融合结果以及局部细节图。在图1中，Mertens算法呈现出了较好的全局对比度以及丰富的色彩，但较亮区域的细节有所损失(如图1(b)中的教堂天窗的细节部分不够清晰)。Li算法呈现出了较好的全局对比度，但较亮区域的天窗细节损失严重。Bruce提出的算法导致融合后的图像亮度较暗，整体对比度较低，色彩不够鲜艳，天花板左侧部分细节损失严重。Liu算法呈现出了较好的对比度，但天窗区域的周边比较模糊。本文算法呈现出了较好的视觉效果，同时保留了丰富的场景细节，如教堂顶部的天窗和左右两侧的天花板呈现出的细节更加清晰，色彩更加自然。

在图2中，Mertens算法呈现出了较好的全局对比度和色彩饱和度，但局部对比度低，塔体部分较暗，塔体细节损失严重。与Mertens算法相比，Li算法和Bruce算法一定程度上保留了塔体的细节，但这两种方法都呈现出了一定的颜色退化现象，例如花草的颜色不够鲜艳，并且场景细节也不够清晰。Liu算法可较好地保留细节，但与本文算法相比，色彩稍显暗淡(如图2(e)中草坪上花朵的颜色)。本文算法展现出了较好的对比度和色彩饱和度，清晰地呈现了场景的细节(如图2(f)中塔体的细节)，并且色彩更加鲜艳、真实，视觉效果好。

(a)输入的Memorial多曝光序列

(b)Mertens(c)Li(d)Bruce(e)Liu(f)Proposed method

图1Memorial图像序列曝光融合结果

Fig.1Exposure fusion results of Memorial sequence

(a)输入的Tower多曝光序列

(b)Mertens(c)Li(d)Bruce(e)Liu(f)Proposed method

图2Tower图像序列曝光融合结果

Fig.2Exposure fusion results of Tower sequence

3.2动态场景的测试与分析

图3(彩图见期刊电子版)、图4(彩图见期刊电子版)和图5(彩图见期刊电子版)分别为曝光序列Arch、Sculpture garden和Puppet的测试结果。从实验结果可以看出，Mertens算法虽然呈现出了较好的对比度和色彩饱和度，但产生了严重的鬼影(如图3(b)和图4(b)中的行人，图5(b)中的橄榄球)。 Gallo的算法能有效消除鬼影现象，但引入了块效应(如图3(c)中走廊边缘的地板)和颜色扭曲失真(如图3(c)中柱子底部方框区域以及图4(c)中的方框区域)。Li的算法一定程度上减少了鬼影，但仍然存在鬼影现象(如图3(d)和图4(d)中的行人以及图5(d)中的橄榄球)。Liu算法和Oh算法在很大程度上减少了鬼影现象，但仔细观察仍然可以发现鬼影存在(如图4(e)中的行人以及图5(e)和图5(f)中的橄榄球)。相比之下，本文算法能有效消除鬼影现象并较好地保留场景细节，视觉效果好。

(a)输入的Arch多曝光序列

(b)Mertens(c)Gallo(d)Li(e)Liu(f)Oh(g)Proposed method

图3Arch图像序列曝光融合结果

Fig.3Exposure fusion results of Arch sequence

(a)输入的Sculpture garden多曝光序列

(b)Mertens(c)Gallo(d)Li

(e)Liu(f)Oh(g) Proposed method

图4Sculpture garden图像序列曝光融合结果

Fig.4Exposure fusion results of Sculpture garden sequence

(a)输入的Puppet多曝光序列

(b)Mertens(c)Gallo(d)Li

(e)Liu(f)Oh(g)Proposed method

图5Puppet图像序列曝光融合结果

Fig.5Exposure fusion results of Puppet sequence

3.3客观评价

采用信息熵和图像清晰度[20]两项客观指标评价算法的性能。信息熵用来衡量图像包含的信息量多少，信息熵越大，则图像的信息量越大，表明其保留的细节越丰富，计算方法如式(14)所示：

(14)

式中pz为灰度图中像素z的概率。

图像的清晰度利用图像的平均梯度来描述，其值越大表示图像所包含的微小细节越丰富，表现为图像越清晰，其计算公式为：

(15)

式中zr，c表示位于第r行第c列的像素灰度值，R和C分别表示输入图像的行数和列数。

选取多组不同场景的多曝光序列，分别计算信息熵和图像清晰度两项指标，测试结果如表1和表2所示。从测试结果可以看出，在大多数情况下，本文算法要优于其它的对比算法，即本文算法保留了更多的场景细节。

表1　图像信息熵评价结果

表2　图像清晰度评价结果

3.4计算效率

表3给出了4种多曝光图像融合算法的计算效率对比结果，所对比的4种算法都采用MATLAB编程实现，所有的运行时间都是在Intel i5处理器(3.5 GHz， 64位)，4 G内存的PC平台上运行得到。从对比结果可以看出，本文算法的计算效率明显优于Liu和Oh的算法，与Li提出的快速曝光融合算法相当。

表3计算效率对比

Tab.3Comparison of computation efficiency

(second)

4　结　论

本文提出了一种具有较好细节保留特点的多曝光图像融合算法。利用图像的特征指标计算权值图，同时消除运动物体对融合结果的影响，以避免产生鬼影现象。选取10组不同的曝光序列，分别从主观和客观两方面对算法进行比较分析，实验结果表明本文算法很好地保留了亮区和暗区细节信息，呈现出了更加生动自然的现实场景，并且有效去除了由运动物体产生的鬼影现象。本文算法优于6种比较算法，在静态场景和动态场景都产生了更好的融合效果。

[1]CHAURASIYA R K， RAMAKRISHNAN K R. High dynamic range imaging [C].IEEEInternationalConferenceonCommunicationSystemsandNetworkTechnologies(CSNT)，2013: 83-89.

[2]QIAN X， YU H， CHEN S，etal.. A high dynamic range CMOS image sensor with dual-exposure charge subtraction scheme [J].IEEESensorsJournal， 2015， 15(2): 661-662.

[3]武星星， 刘金国， 周怀得，等. 制冷对电子倍增CCD相机成像质量的影响[J].光学 精密工程， 2015， 23(10增): 528-532.

WU X X， LIU J G， ZHOU H D，etal.. Influence of cooling on imaging quality of EMCCD camera [J].Opt.PrecisionEng.，2015， 23(10Suppl.): 528-532. (in Chinese)

[4]刘慧， 刘学斌， 陈小来，等. 基于驱动时序控制CCD曝光时间的设计与实现[J].红外与激光工程， 2015，44(S1): 199-204.

LIU H， LIU X B， CHEN X L，etal.. Design and implementation of CCD exposure time control based on driver timing [J].InfraredandLaserEngineering， 2015，44(S1): 199-204. (in Chinese)

[5]WANG T H， CHIU C W， WU W C，etal.. Pseudo multiple exposure based tone fusion with local region adjustment [J].IEEETransactionsonMultimedia， 2015， 17(4): 470-484.

[6]吕伟振， 刘伟奇， 魏忠伦，等. 基于DMD的高动态范围成像光学系统设计[J].红外与激光工程， 2014，43(4): 1167-1171.

LV W ZH， LIU W Q， WEI ZH L，etal.. Design of high dynamic range imaging optical system based on DMD [J].InfraredandLaserEngineering， 2014，43(4): 1167-1171. (in Chinese)

[7]周晓波，程海龙，贾琦. 图像分块融合算法速度优化处理研究[J].北京交通大学学报， 2014， 38(5): 33-36.ZHOU X B， CHENG H L; JIA Q. Optimization of image block fusion algorithm in speed [J].JournalofBeijingJiaotongUniversity， 2014， 38(5): 33-36.(in Chinese)

[8]付争方，朱虹，薛杉，等.基于Sigmoid函数拟合的多曝光图像直接融合算法[J].仪器仪表学报，2015，36(10):2321-2329.

FU ZH F，ZHU H， XUE SH，etal..Direct fusion algorithm for multi exposed images based on Sigmoid function fitting [J].ChineseJournalofScientificInstrument，2015，36(10):2321-2329.(in Chinese)

[9]MERTENS T， KAUTZ J， VANREETH F. Exposure fusion: a simple and practical alternative to high dynamic range photography [J].ComputerGraphicsForum，2009， 28(1): 161-171.

[10]SHEN J B， ZHAO Y， YAN S C，etal.. Exposure fusion using boosting Laplacian pyramid [J].IEEET.Cybernetics， 2014， 44(9): 1579-1590.

[11]BRUCE N D B. ExpoBlend: information preserving exposure blending based on normalized log-domain entropy [J].Computers&Graphics， 2014， 39: 12-23.

[12]VANMALI A V， DESHMUKH S S， GADRE V M. Low complexity detail preserving multi-exposure image fusion for images with balanced exposure [C].IEEENationalConferenceonCommunications， 2013: 1-5.

[13]GALLO O， GELFAND N， CHEN W C，etal.. Artifact-free high dynamic range imaging [C].IEEEInternationalConferenceonComputationalPhotography(ICCP)， 2009: 1-7.

[14]LI S， KANG X. Fast multi-exposure image fusion with median filter and recursive filter [J].IEEETransactionsonConsumerElectronics， 2012， 58(2): 626-632.

[15]OH T H， LEE J Y， TAI Y W，etal.. Robust high dynamic range imaging by rank minimization [J].IEEETransactionsonPatternAnalysisandMachineIntelligence， 2015， 37(6): 1219-1232.

[16]LIU Y， WANG Z. Dense SIFT for ghost-free multi-exposure fusion [J].JournalofVisualCommunicationandImageRepresentation， 2015， 31(8): 208-224.

[17]HE K， SUN J， TANG X. Guided image filtering [J].IEEETransactionsonPatternAnalysisandMachineIntelligence， 2013， 35(6): 1397-1409.

[18]JINNO T， OKUDA M. Multiple exposure fusion for high dynamic range image acquisition [J].IEEETransactionsonImageProcessing， 2012， 21(1): 358-365.

[19]GASTAL E S L， OLIVEIRA M M. Domain transform for edge-aware image and video processing [J].ACMTransactionsonGraphics， 2011， 30(4): 1-11.

[20]金伟其， 贾晓婷， 高绍姝，等.彩色融合图像的质量主观评价[J].光学 精密工程，2015，23(12):3465-3471.

JIN W Q， JIA X T， GAO SH SH，etal.. Subjective evaluation of quality for color fusion images [J].Opt.PrecisionEng.， 2015， 23(12): 3465-3471. (in Chinese)

李卫中(1983-)，男，湖北孝感人，博士研究生，2005年、2008年于中国地质大学分别获得学士、硕士学位，现为武汉大学电子信息学院博士研究生，主要从事光学图像及多媒体信息处理方面的研究。E-mail: weizhong@whu.edu.cn

易本顺(1965-)，男，湖北武汉人，教授， 博士生导师，中国通信学会高级会员，1986年、1989年和1996年于华中理工大学分别获得工学学士、硕士和博士学位，主要从事多媒体信息处理以及无线通信网络方面的研究。E-mail: yibs@whu.edu.cn

(版权所有未经许可不得转载)

Detail preserving multi-exposure image fusion

LI Wei-zhong1，2， YI Ben-shun1，3*， QIU Kang1， PENG Hong1

(1.SchoolofElectronicInformation，WuhanUniversity，Wuhan430072，China；2.SchoolofPhysicsandElectronicInformationEngineering，HubeiEngineeringUniversity，Xiaogan432000，China；3.CollaborativeInnovationCenterforGeospatialTechnology，Wuhan430079，China)*Correspondingauthor，E-mail：yibs@whu.edu.cn

A detail preserving multi-exposure image fusion algorithm was proposed to address the problem of the loss of visual details and ghost artifacts in traditional multi-exposure images. Firstly， three image features， image details， exposure brightness and color information，were calculated. In which，the image details were obtained by using a guided filter， the each exposure intensity was weighted by a Gaussian function and the color information was measured by color saturation. Then， the difference maps and correlation coefficients were used to detect the motion objects in dynamic scenes and the focused weight map of static and dynamic scenes were calculated respectively by using feature indexes and detection results. In order to remove the noise effect， a recursive filter was used to correct the focused weight image， and the focused image was obtained by a pixel-by-pixel weighted sum of the input images. Ten kinds of multi-exposure image sequences were tested in the experiments and obtained results were compared with that of six kinds of traditional methods. The experimental results demonstrate that the proposed algorithm exhibits good visual appearance and preserves more details. It also effectively removes ghost artifacts in dynamic scenes. It concludes that the proposed algorithm is better than 6 classical methods and it produces desirable images in both static scenes and dynamic scenes.

multi-exposure image; image fusion; image detail; guided filter; ghost artifact

2016-05-04；

2016-07-02.

国家自然科学基金资助项目(No.61471272)

1004-924X(2016)09-2283-10

TP391.4

A

10.3788/OPE.20162409.2283