基于动态场景的高动态图像合成

梁 晨，方向忠

(上海交通大学，上海200240)

由于现实世界中的动态范围要远远高于普通相机所能够采集到的动态范围，造成图片中较暗的区域细节不足，而比较亮的区域却又过度曝光，为了能够更加精确地反映实际的场景，提出了高动态图像作为新的图像表示方式。

传统的高动态图像获取往往是基于对相机响应曲线(CRF)的估计，对于每个位置上的像素，通过结合相机响应曲线信息和同一场景不同曝光度图像强度信息，将其动态范围扩展。同时，为了显示融合结果，必须将动态范围重新压缩，以便在一般屏幕上显示［1－2］。而基于曝光融合的高动态图像生成方法［3］，并不需要引入相机响应曲线这一非线性过程，直接将不同曝光时间的图像进行基于拉普拉斯金字塔分解的融合，速度快，并且可以取得很好的效果。但是上述方法往往只适用于静态场景，一旦出现运动物体，最终合成的图像会有明显的鬼影效应。为了解决这一问题，文献［4］中提出了基于运动预测的方法，但却受限于运动估计的精度，而且计算量大，导致合成结果不理想。而文献［5］中通过估计某一个像素是否属于相应物体的概率来确定在合成的时候所授予的相应权重，但是由于这个方法在像素级别进行，鲁棒性不够。

本文所提出的方法借助图像分割和多曝光图像连续性检测，对于可能产生鬼影的物体进行区域性的消除，相比于像素级别的操作，有效提高了对鬼影区域检测的准确性，取得了良好的高动态图像融合效果。

1 总体架构

给定一系列的不同曝光时间的图像，首先需要从其中选择出曝光最好的图像作为参考图像，这个图像应该尽可能地包括场景中的有效信息。通常来说，以检测饱和像素个数的方法来确定参考图像。在选取了参考图像之后，同时需要将所有其他的图像进行校准，尽可能地降低相机抖动带来的影响。之后对于参考图像，会选取合适的块大小将其分割，然后对每一个块基于互易律进行连续性判断，从而去除那些不同曝光时间图像中不连续的块，只保留那些与参考图像中相应部分连续的图像中的区块。

由于场景中物体的移动，那些非参考图像中被判定为不连续的区块将被舍去。而如果简单地将现有的图像序列合成，最终可能由于相邻的块之间合成时所选择的备选图像不同，而造成块之间存在明显的裂缝，影响最终的合成效果。为了解决这一问题，引入了亮度转移函数。通过统计两幅图像之间同一位置亮度的变化关系，估计出亮度转移函数，从而为参考图像生成出一个在其他曝光时间下的副本。而那些不连续的区块，就可以使用副本中相应位置的块内容相替代。通过这样的方式，把动态场景转化成了静态场景，再通过简单的拉普拉斯金字塔曝光融合的方式，就可以获得无失真、去除鬼影、同时场景细节和动态范围得到极大丰富的高动态图像。图1中给出了总体框图。

图1 去除鬼影的高动态图像合成框架图

本文重点研究图像的连续性预测和鬼影去除的高动态图像融合，具体包括图像预处理、图像连续性检测、基于亮度转移函数的图像副本生成。

2 消除鬼影的高动态图像合成

2.1 图像预处理

给定一组不同曝光时间的图像，在对其进行进一步处理之前，必须首先预处理。包括参考图像选取和图像校准。对于参考图像的选取很大程度上影响着最终的融合结果，因为后续的校准、连续性检测、副本生成都是围绕已经选定的参考图像的基础上。在选定参考图像的时候，希望参考图像是整个图像组中曝光最好的图像，所谓曝光最好，并不一定是曝光时间在中间的图像，因为很多时候具有过曝光或者欠曝光的像素的图像，却有可能很好地保留场景的结构信息。但是大块的饱和像素，会在很大程度上影响最终的合成结果。所以针对在图像组中的图像，首先提取出饱和的像素，然后对其分别进行形态学处理，去除那些比较小块的饱和像素，再计算剩余的饱和像素数目，从而确定最少者为最终的参考图像。

在完成参考图像选取之后，需要利用文献［6］中的图像校准方法，这种基于变换的校准方法基于图像金字塔，在图像质量的多个层级上进行校准，再把结果汇总到当前的分辨率下，时间复杂度与像素的个数成正比，快速有效，可以大大避免由于相机轻微抖动所带来的最终合成图像中的失真。

2.2 基于图像分块的场景连续性检测

在完成了包括参考图像选取和图像校准在内的图像预处理工作之后，就可以开始对图像的分块处理了。通过选取相同大小的矩形，可以把图像分块，针对图像的每一块进行连续性检测，即当前图像中的物体是否在不同曝光时间的图像中同样出现过。本文根据输入图像组曝光时间不同的特点，再结合互易律，就可以得出对物体是否连续的可靠判断。

所谓互易律，就是在场景的光照不变的情况下，那么曝光值X与辐照值E和曝光时间存在如下关系

对式(1)进行进一步处理，可以得到不同图像相同位置像素之间曝光值的相互关系

式中:Δtij表示了两张图像曝光时间的相对关系。

式(2)只有在场景发生改变的时候才会被打破，因此对于那些场景连续的区域，可以依照式(2)进行判断。与此同时，由于噪声或饱和像素的影响，单纯使用一个像素进行互易律的验证会带来很大的不准确性，所以为了能够让判定结果的健壮性更强，所以引入图像分块的机制，对于图像的每一个块而言，验证其中满足互易律的像素数，如果差值超过一定的阈值T1，就认定不满足互易律，为不连续的像素，与此同时，计算图像块中不满足互易律的像素所占整个块像素数的比重，而当这个比重大于阈值T2的时候，就认定这个块与参考图像相应的部分并不连续，在最终合成的时候不能利用这一部分信息，否则就有可能造成鬼影效应。

为了方便计算，使用曝光值的对数，式(2)转变为

因此每个像素曝光值对数之间相差的仅仅是一个常数，对于每一个图像块，分别统计3个图像通道RGB中的不满足互易律的像素的个数，这些像素都是可能导致鬼影效应的像素，在对数域内，理想的互易关系是的直线，图2分别列出了1个连续的图像块和不连续的图像块所具有的统计特征，横轴是参考图像曝光值的对数，纵轴是其他曝光图像曝光值的对数。图中实线代表理想的互易关系，两条虚线分别代表允许偏差的阈值区域。那些不满足条件的图像块会被剔除，而与参考图像中的连续的块会被保留，用来进行最后的图像合成。

为了计算曝光值，必须从已有的像素值出发，由于像素值与曝光值具有如下关系

式中:I代表像素值;X代表曝光值;f则是非线性的相机响应曲线。

在得到像素值之后，首先利用文献［2］中的方法估计相机的响应曲线，随后再利用像素值结合相机响应曲线，反推出对应的曝光值X，图3中列出了正常的图像和进行估计之后的曝光值的图像。

2.3 亮度转移函数估计和图像副本生成

图3 原始图像与曝光值的图像对比

为了在出现不连续的区域的时候进行必要的图像补充，从而使得最终合成的图像完整且没有明显的块效应，需要进行图像副本的生成。在完成了参考图像的选取之后，对于图像集中所有不同曝光时间的图像，进行图像副本的生成，而生成的结果被用作最终合成时的图像块填充的来源。

在生成的时候，需要对图像的区域加以区分，对于正常曝光的像素，首先需要对亮度转移函数进行估计，所谓亮度转移函数是指两个图像之间，由联合直方图所反映出来的像素亮度值的转移关系［7］，给定两个图像和，联合直方图描述为

式中:δ描述的是冲击函数;x则是图像的像素坐标;C一般是一个256×256的矩阵;i和j则对应着在和中的亮度阶。而亮度转移函数则是描述了对于图像l1中的每一个亮度阶i，最有可能的亮度值j=BTF(i)。对于亮度转移函数的估计可以转换成一个优化的问题，从C中最大的亮度阶开始，即i0=BTF(j0)，随后对于256≥i＞i0和1≤i＜i0分别进行计算，而在每一个方向的计算中，都解决如下的优化问题

同时要注意亮度转移函数具有单调的特性，这点在估计的时候必须加以限制。整个优化的过程，采用贝尔曼优化准则和动态规划的编程思想，在通过多项式拟合的方式得到最终的亮度转移函数结果。

图4中给出了一个亮度转移函数的估计和优化过程。横轴代表最短曝光的图像，纵轴代表长曝光的图像，这里是参考图像，通过对联合直方图的分析，最终可以得到图4b中所示的亮度转移函数。

图4 亮度转移函数的估计和优化过程

针对于图像集中的每一张图像，都生成相应的亮度转移函数，然后再利用亮度转移函数，生成不同曝光值下的图像副本，图5中给出了参考图像、短曝光原始图像，以及相应的利用亮度转移函数生成的图像。

3 图像融合效果和质量评价

图5 图像对比

利用通过图像转移函数生成的图像副本，和对于图像序列中不连续的图像区块的检测信息，可以进行最终的图像合成，从而实现动态场景的无鬼影高动态合成。在最终合成的时候，使用文献［3］中的曝光融合方法，在这种方法中，曝光值、对比度以及饱和度被用来衡量图像权重。

通过判断像素值是否饱和以及与最佳曝光点的距离，得到曝光度衡量标准E。对于饱和度，分别计算RGB3个通道的标准差，得到对比度标准S。而在计算对比度时，对灰度图应用拉普拉斯滤波器，然后对滤波器响应取绝对值，最终结果会对图像边缘和结构给予较大权重。在结合3个标准之后，对每个像素点，进行基于拉普拉斯金字塔分解的加权平均合成，从而避免边缘点之间可能存在的裂缝。在图6中列举出了以图6d作为参考图像下不同曝光的图像集，图7分别进行消除鬼影处理之前和之后的结果。

图6 动态场景下不同曝光时间的图像集

从图中可以看出，融合后的图像不但在亮区丰富了细节，同时增强了屋顶这一欠曝光的区域。为了对评价融合后的图像，引入文献［8］中的图像锐度和自然度的评判标准。图像锐度定义为图像梯度归一化的和

式中:N代表了图像I中像素的个数。

图7 进行消除鬼影处理前后图像对比

图像自然度的评价综合了亮度与对比度这两个人体对图像感知最大的因素，建立在3 000张图像和实验的基础上，值越高，代表图像越自然，文献［8］提出了这一评判标准。评价结果如表1所示。

表1 图像合成结果对比

表中对本文的方法与文献［9］中的方法进行了多个图像序列(ICCV’09)的比较，从结果中可以看出，无论是图像锐度还是图像自然度，本文中的方法在两个不同的图像序列中均优于文献［9］中的方法。

4 小结

本文提出了一个基于图像连续性检测和图像副本生成的动态场景高动态图像合成方法。实验结果显示，通过这种方法合成的高动态图像不但去除了鬼影效应，而且提高了图像质量，丰富了在欠曝光和过曝光区域的图像细节。与同类的方法相比较，也显示出了本文所提出方法的有效性。

:

［1］周海勇，吴敏，万帅．一种适用于硬件实现的宽动态图像合成算法［J］．电视技术，2013，37(11):47－50．

［2］ DEBVEC P，MALIK J．Recovering high dynamic range radiance maps from photographs［EB/OL］．［2013－09－02］．http://wenku．baidu．com/link?url=6VhdAIQHKKoxCpmqg7ZT5KvviwMGYf5Sm3LT82y27 kEBlwRQdi6O7Zh_D0CC8jVM－QI_Q－qVvyfexXDo16dvVvKKWQcpxdk 0_XSGpr3lzPW．

［3］ MERTENS T，KAUTZ J，REETH F．Exposure fusion［C］//Proc．Pacific Conference on Computer Graphics and Applications．Hawaii，USA:［s．n．］，2007:382－390．

［4］ BOGONI L．Extending dynamic range of monochrome and color images through fusion［C］//Proc．International Conference on Pattern Recognition(ICPR)．［S．l．］:IEEE Press，2000:15－17．

［5］ KHAN E，AKYUZ A，REINHARD E．Ghost removal in high dynamic range images［C］//Proc．IEEE International Conference on Image Processing．［S．l．］:IEEE Press，2006:2005－2008．

［6］ WARD G．Fast，robust image registration for compositing high dynamic range photographs from handheld exposures［J］．Journal of Graphics Tools，2003(8):17－30．

［7］ MANN S．Comparametric equations with practical applications in quantigraphic image processing［J］．IEEE Trans．Image Processing，2000，9(8):1389－1406．

［8］ YEGANEH H，WANG Z．Objective quality assessment of tone mapped images［J］．IEEE Trans．Image Processing，2013，22(2):657－667．

［9］ AN J，LEE S，KUK J，et al．A multi－exposure image fusion algorithm without ghost effect［C］//Proc．IEEE International Conference on Acoustics，Speech，and Signal Processing．［S．l．］:IEEE Press，2011:1565－1568．