多尺度权重评估的MSRCR混合曝光成像算法

吴卓钊，范科峰，莫 玮

1.桂林电子科技大学 电子工程与自动化学院，广西 桂林541004

2.中国电子技术标准化研究院，北京100007

常用的数码相机的成像动态范围远小于现实场景的动态范围，难以完整地呈现出现实场景的所有细节色彩信息，容易造成图像中明亮区域细节被冲淡，暗区域细节丢失，造成视觉观感下降，画面纹理和边缘信息丢失。目前，在相同场景下快速曝光多次，将生成的低动态范围图像（Low Dynamic Range，LDR）进行矫正对齐，并进行曝光区域权重估算，提高“优质”区域融合比重，弱化“劣质”区域融合比重，融合后生成高动态范围图像（High Dynamic Range，HDR）是克服相机动态范围界限的有效方法，也是HDR图像生成的常规手段[1-3]，称为混合曝光融合HDR成像技术。

目前，已经存在许多的混合曝光HDR成像技术，Hayat等[2]利用颜色差异法检测目标，并计算权重融合生成HDR图像，该方法可以很好地避免出现接缝，但是在鬼影移除这块表现不佳。Mertens等[4]在图像范围曝光序列中设置曝光变量值权重进行图像融合，并设置对比度、饱和度、曝光强度作为图像质量评价参数判断最终合成图像的优劣。Merianos等[5]将Mertens等[4]的方法运用到YCbCr空间上，提出一种混合多曝光算法，对融合后图像色彩有所改良。Kinoshita等[6]对输入图像进行预处理，通过曝光值和像素值之间的关系来调节输入的混合曝光图像的亮度。Gavaskar等[7]利用快速双边滤波器对图像直方图进行滤波，通过局部协方差与快速卷积运算实现图像处理，但是复杂度高，处理速度较缓慢。王克强等[8]结合Retinex理论模型对图像的入射光分量进行重新定义，利用权重矩阵对入射光分量进行估计，并引入类S形非线性曲线进行调整，确保图像的入射光分量更加精确。Parthasarathy等[9]基于Retinex理论模型提出具有色彩恢复功能的多尺度Retinex的多曝光图像融合算法，可将在非线性光照条件下拍摄的图像增强到人类视觉可以感知的水平，能够较好地保留图像明亮及灰暗处信息。张红英等[10]将LDR图像分为亮度分量与色度分量，将亮度分量进行双边滤波分解成基本层和细节层，构造反色调映射函数将亮度分量与细节层进行融合生成新的亮度分量，最后将新的亮度分量与色度分量融合生成HDR图像，该算法存在饱和度较低现象。

本文针对目前混合曝光融合算法普遍存在暗处和亮处纹理色彩细节丢失较多、图像整体饱和度不高导致颜色失真、生成图像全局对比度较低的问题，将带色彩恢复的多尺度视网膜增强算法（Multi-Scale Retinex with Color Restoration，MSRCR）理论模型[9]拓展到混合曝光融合领域，结合多尺度权重计算提出一种新的混合曝光融合成像算法。经过多次对比实验表明，该方法基本上克服了上述问题，有效消除了色偏，处理后的图像色彩饱满，明暗处细节保留充分。

1 本文算法

本文算法基于MSRCR理论模型出发，首先将输入的待融合图像序列分解为亮度分量序列和反射光分量序列，对亮度分量序列进行高斯卷积处理，并结合ACES曲线构造光照补偿归一化函数以达到亮度补偿的目的，对反射光分量加入颜色恢复（Color Restoration Function，CRF）函数降低色彩失真；其次，本文引入色域作为融合曝光权重尺度分量进行融合权重评估；最后，通过虚拟拉普拉斯金字塔进行权重融合获得最终结果。具体步骤如下：

（1）对待融合图像基于MSRCR理论进行分解，得到亮度分量和反射光分量。

（2）亮度分量结合光照补偿归一化函数进行处理，反射光分量结合CRF函数保留色彩信息。

（3）将处理后的图像进行多尺度权重评估得到融合比重。

（4）结合融合比重指标，通过拉普拉斯金字塔融合算法得到最终图像。

1.1 MSRCR成像算法

根据Retinex理论模型，图像中的每个像素都可以分解为亮度分量和反射光分量两部分：

式中，L(x,y)代表亮度分量；R(x,y)为反射光分量；S(x,y)代表像素分量；符号·为矩阵乘法。为了便于计算，将式（1）进行对数变换，将图像进行动态范围压缩，故上式可以变化为：

由上式可见，只要估算出亮度分量即可得到相应的反射光分量。采用高斯卷积函数从像素分量中估计亮度分量，即为高斯函数尺度参数，k为归一化因子，所以亮度分量L(x,y)为：

Parthasarathy等[9]在Retinex理论模型上引入CRF函数来降低色彩失真，提出了带色彩恢复的多尺度视网膜增强算法（MSRCR）理论模型，即：

式中的G和b分别为最终增益量和偏移量；Ci()x,y表示第i张图像中CRF函数；RMSRCRi称为第i张图像的MSRCR反射光分量。式（6）具体展开为：

式中，β为增益系数；α为控制非强度系数。根据Parthasarathy等[9]提出的模型，将上述参数设值为β=46，α=125，G=194，b=-30进行实验。

图1为Retinex算法理论模型和MSRCR算法理论模型在图像处理中的对比。可以看出，基于Retinex算法模型处理后的图像整体偏白，色彩信息丢失严重。MSRCR算法模型引入CRF函数，对处理后的图像增色明显，能够有效保留图像色彩信息。

图1 算法处理结果对比Fig.1 Comparison of algorithm processing results

1.2 亮度分量补偿

经典MSRCR算法对反射光分量引入了CRF函数，使得图像色彩整体质量有所提升，但是忽略了图像的亮度分量的处理。为了将MSRCR算法拓展到混合曝光融合成像领域中，本文提出一种对MSRCR算法中的亮度分量进行处理的方法。

考虑到图像各区域所需亮度补偿大小不一的问题，结合ACES（Academy Color Encoding System）曲线和伽马校正构造新的光照补偿归一化函数，如式（8）所示：

其中，L0为图像从RGB转换成HSV空间的V通道归一化结果；L1为亮度补偿后的结果；A、B、C、D为相应的调整参数。借鉴伽马校正中关于人对自然亮度感知的分析，为了使构造出的函数能够迅速提高图像暗区域亮度，并适度调整亮区域亮度，经过多次实验，发现将A、B、C、D分别取值为17.93、0.21、17.36、4.21时补偿效果最佳，如图2所示；a为拉伸算子，用来调节低亮度区域拉伸和高亮度区域优化程度，对于不同亮度的图像，其值也会动态变化。如式（9）：

图2 式（8）归一化曲线Fig.2 Equation（8）normalized curve

其中，Lmax为图像亮度最大值，Lmin为图像亮度最小值，为图像的亮度均值，欠曝光图像其均值越低，a的值就越高，图像整体亮度得到更多补偿，能显示更多的细节信息。

本文通过上述式子即可得到最终的入射光分量，能够对图像原亮度分量进行拉伸，增强暗区域细节信息，以此提高图像整体亮度细节。

1.3 多尺度权重评估融合算法

Mertens等[4]首先提出由对比度、饱和度、曝光量组成尺度评估模型计算待融合图像的区域融合比重，该评估模型能够适应单幅图像虚拟曝光融合或序列图像融合问题，可嵌入不同的阶段性融合函数，具备很好的可拓展性。

上述模型忽略了对图像颜色的评估，为了使融合后的图像在色彩方面表现更好，具备更优秀的颜色质量，本文引入色域概念对图像色彩范围进行计算，提出一种新的多尺度权重评估模型，用于优化图像从暗处到亮处的色彩过渡。模型内含四个指标，即曝光量(WE)、对比度(WC)、饱和度(WS)及色域(WG)。详细描述如下：

（1）曝光量(WE)

将图像区域进行数字化，暗处欠曝光区域设置值为0，过曝光区域设置值为1。为了使图像所有区域值均落在0~1的范围内，将图像RGB颜色通道结合高斯曲线进行区域划分，一般认为值越接近0.5的区域质量越高，通过下式进行计算：

式中，R、G、B三个通道分别计算为：

式中，IR(u,v)、IG(u,v)、IB(u,v)分别为R、G、B在局部区域(u,v)内的归一化值，σ参数一般取值为0.2。

（2）对比度(WC)

对比度是图像的边缘纹理细节信息的表达，是图像融合权重评估的重要部分。图像对比度计算方法：

本文通过实验对比，选择实验结果较好Robers滤波器作为式中h(x,y)，实验结果如图3所示。式中Ii表示输入图像的灰度图，∗符号代表卷积运算。

图3 不同滤波器的图像边缘提取效果Fig.3 Image edge extraction effect of different filters

（3）饱和度(WS)

在图像颜色层次方面，选取饱和度作为尺度权重评估指标。饱和度指的是色彩的鲜艳程度，也称为色彩的纯度。设图像RGB颜色通道的均值为μ：将μ带入RGB颜色通道的标准差函数计算得到饱和度：

式中，WS表示饱和度。

（4）色域(WG)

考虑到图像色彩在图像颜色范围表达方面优劣，受到sRGB、NTSC等范围色彩空间概念的影响，本文引入色域作为图像融合权重指标，用于对图像颜色宽度的评估，色域越大表示图像能够表达的颜色范围越宽广。为了尽可能地保留图像中的色彩变化信息，定义以下函数：

式中，IC(x,y)表示单颜色通道在图像中的颜色强度，(x,y)表示对应强度上的位置坐标。

结合上述所有权重评估指标，为了避免图像某一评估权重过小导致融合效果不佳，将上述参数进行线性融合，通过下式进行计算：

将权重评估指标进行归一化：

式中，WS(x,y)代表混合曝光图像序列中的第S张图像中区域(x,y)的权重值，m为输入混合曝光图像序列的数目。

最后，本文采用拉普拉斯金字塔图像重建融合算法，将输入的混合曝光图像序列的边缘和纹理信息按照不同的尺度分解到不同分辨率的塔层上，再将多幅源图像对应塔层分别进行权重融合，计算出最终的结果图像R。

式中，Gl{Wn(u,v)}表示第n张图像的权重Wn的高斯金字塔，Ll{In(u,v)}表示第n张图像In的拉普拉斯金字塔，Ll{R(u,v)}表示融合后的最终图像。整体算法框架如图4所示。

图4 本文算法整体框图Fig.4 Overall block diagram of algorithm in this paper

2 实验结果及分析

为了验证本文算法的有效性，共做了3组对比实验，并与文献[1，4-5]提出的方法进行对比，其中文献[1]方法和文献[4]方法主要采用对比度、饱和度及曝光强度三个权重进行融合，结合不同优化算法进行成像，文献[5]方法通过颜色空间转换，着重对色彩信息方面做了深刻的研究。

为了保证实验的公平性，上述实验均在一台处理器为Intel Core i7，主频2.00 GHz，内存8.00 GB的计算机上进行，相关算法程序在PyCharm2019.3.1平台编写。实验结果及对比如图5~8所示。

图5 第一组图像序列及结果Fig.5 The first set of image sequence and results

2.1 主观质量评价分析

通过肉眼观察融合后的图片是否具备准确的对比度、图像边缘是否保持良好、在暗区域细节现实是否清晰、在光源处是否出现强光晕等指标判断图像的优劣。通过观察图5、图6，文献[1]的算法能够很好地表达亮区域的细节信息，并且色彩保留良好，但是在暗区域细节保留上不够理想。文献[4]的算法未能保留好图像序列的细节信息，出现了亮区域和暗区域细节丢失的现象。文献[5]的算法也是在暗区域细节上保留度不够，但是在暗区域表达上整体效果优于文献[1]算法。本文算法在暗区域处细节保留效果良好，同时兼顾了色彩和对比度的保留，能够很好地表达混合曝光图像序列的相关图像信息。

图6 第二组图像序列及结果Fig.6 The second set of image sequences and results

通过比对图7、图8图像序列，文献[1]的算法在局部对比度方面表现良好，但是出现了色彩退化现象，整体色彩效果较差。文献[4]的算法能够呈现出较好的全局亮度，色彩失真度低，在亮区域处会出现光晕，局部图像对比度不够高。文献[5]中提出的算法色彩偏移高，总体色调不符合人眼观察的实际效果。对比看出，本文算法能够有效保留实验图像序列中不同曝光区域的细节信息，同时能够保留场景的色彩特性，具有良好的视觉效果。

图7 第三组图像序列Fig.7 The third set of image sequences

图8 第三组实验结果Fig.8 The third set of experimental results

将图8进行颜色直方图统计，如图9所示。可见本文算法颜色直方图整体分布均匀，在灰度值50~230区间像素量分布较多；文献[1]的算法整体偏暗，大部分像素分布在0~100区间内；文献[4]的算法像素分布均匀，但是整体强度不如本文算法，因此色彩和对比度偏低；文献[5]的算法整体偏暗，亮度保留不够，色彩出现偏移现象。

图9 颜色直方图统计Fig.9 Color histogram statistics

2.2 客观质量评价分析

为了客观表达本文算法的优越性，本文将实验成像结果进行客观分析。混合曝光图像序列均为静态图片，每个序列都有不同的场景及细节特征。

本文采用MSSIM[11]（Mean Structural Similarity，平均结构相似度）和信息熵进行图像客观质量评价。MSSIM指标基于多尺度结构相似性，分别从亮度、对比度、结构三个方面进行计算，能够很好地兼顾图像的局部结构性和全局亮度一致性。如表1所示。

表1 平均结构相似度Table 1 Mean structural similarity

信息熵作为图像评价的量化标准，反映了图像包含的平均信息量多少。本文引用信息熵作为图像的客观质量评价指标来评价算法在混合曝光图像融合中细节信息的表现，如表2所示。

表2 信息熵Table 2 Information entropy

通过上述对比实验结果，本文提出的算法在总体场景的适应性上表现良好，能够很好地保留混合曝光图像中的图像细节信息，整体表现优于对比算法。总体而言，本文算法在暗区域细节保留上具备一定的优势，能够充分保留混合曝光图像序列中的低曝光图像的细节信息，并且算法的效果稳定。

3 结语

本文针对混合曝光图像序列生成HDR图像存在的色彩缺失、暗处细节保留不完全、整体饱和度缺失的问题，提出了一种多尺度评估的MSRCR混合曝光成像算法。该算法基于MSRCR模型，首先，将待融合图像的亮度分量结合ACES曲线和伽马矫正构造出光照补偿归一化函数，增强图像主体亮度信息；其次，分别设置曝光量、饱和度、对比度及色域四个尺度计算待融合图像的加权值，对图像融合权重进行更为细化的评估；最后，采取拉普拉斯金字塔重建融合算法将图像序列进行融合，得到最终的图像。经过多次对比实验，分别从主客观对算法结果进行了对比分析，结果表明本文算法能够有效保留混合曝光图像序列的暗区域的纹理和颜色信息，融合后的图像整体信息量高，色彩饱和度得到改善，视觉表现效果良好。后续研究将考虑将算法推进到视频领域，使得算法具备更好的扩展性，进一步提高算法的性能及适用性。