结合SFIM和区域填充的对象场景融合

丁友东， 魏小成， 蔡 喜， 章剑飞

1.上海大学影视艺术技术学院，上海200072

2．上海大学计算机工程与科学学院，上海200072

作为一种非实时可视化仿真技术和图像融合的一个应用方向，对象与场景融合技术是指把感兴趣的目标对象从它原来所在的场景中分割出来后，通过叠加、组合和加工处理合成到另一个场景中去，所形成的新对象场景图像看起来必须是真实自然的，从而创造出新的图像效果.它在图像编辑领域有非常广泛的应用[1-2]，特别是在影视制作过程中，很多无法实地拍摄的镜头都可以借助对象与场景融合技术来实现[3-4]，这不仅大大节约了制作成本，而且也给观众带来了不一样的视觉感受.对象与场景融合技术的关键是如何使融合得到的效果逼真，即让目标对象在新的场景里看起来光照一致且过渡自然，而不会出现明显的人工拼接痕迹.目前，实现对象与场景融合的方法很多[5]，其中最常用的是Pérez等人提出的Poisson融合法[6-8].这种方法在新场景的梯度场相对简单的情况下效果很好，但当对象与场景的纹理相差较大时效果较差.而基于IHS变换的图像融合方案主要应用于遥感图像融合和多聚焦图像融合[9-10].

1 基于IHS变换的对象与场景融合

通过分析基于IHS变换的图像融合方法的特性，同时结合对象与场景融合的技术目标，本文将基于IHS变换的图像融合方法引入到对象与场景融合的应用中[5]，提出了一种新的对象与场景融合框架.该框架先利用IHS变换和亮度调制[11]的方法形成融合图像的光照蒙板，然后在光照蒙板中还原对象细节以达到对象与场景融合的目的，其主要步骤如下：

步骤1 分割和叠加.首先将目标对象从原场景图像中分割出来，然后叠加到新场景图像G1的适当位置得到图像G2，其中对象与场景的叠加部分称为目标区域，其余部分称为背景区域.

步骤2 IHS变换.分别对G1和G2进行IHS变换，得到它们在IHS颜色空间下的图像G1IHS和G2IHS，并获取两者的亮度分量I1和I2.

步骤3 亮度融合.采用某种融合算法，对两个亮度分量I1和I2进行融合得到融合亮度IF.

步骤4 IHS反变换.用IF代替G1IHS的亮度分量，然后对G1IHS执行IHS反变换，得到融合图像的光照蒙板M.

步骤5 细节还原.采用一定的细节还原算法，在光照蒙板图像M上还原出目标对象的细节从而得到融合图像.

在步骤1～5中，步骤3是这种融合方法的关键，因为它直接决定了融合效果的好坏.为此，文献[5]分别引入标准IHS变换技术和加权小波技术作为亮度融合工具，验证了这种融合方法的实用性.另外，文献[5]在细节还原上采用的是将光照蒙板图像M与加入了目标对象的场景图像G2进行加权求和的方法，即

式中，细节还原系数α和β满足α+β=1，M和S分别表示蒙板图像M和图像G2，F为最终的融合结果.a决定融合后对象的光照程度，β决定对象的细节丰富程度.α过大或β过小就会导致对象细节不够丰富，透明度高，目标区域就有背景图像的细节信息；α过小或β过大就不能很好地体现融合后对象在新场景下的光照情况（亮度和颜色），可能使对象在新场景中显得不自然.文献[4]中的实验数据表明，标准IHS变换方案的融合效果优于加权小波方案.标准IHS变换方案就是在进行亮度融合时，将I1的直方图作为标准直方图，对I2进行直方图匹配得到I2HM，于是I2HM就作为融合亮度，即令IF=I2HM.直方图匹配是为了减弱融合过程对原场景图像光谱信息的影响[12].这种方案虽然简单快速，但存在以下3个问题：

1）当原场景图像与新场景图像的光谱范围不同时，该方案与Poisson融合法一样，会导致对象的颜色畸变.

2）当对象原有的光照条件与新场景的光照条件相差较大时，需要增加α的值来使对象获得更多的融合光照，但目标区域的场景细节会阻止α值的进一步增大.这是因为过大的α值会导致目标区域出现大量的场景细节而使融合结果失去真实感.

3）对象融入到新场景后的光照依赖于新场景图像在目标区域的光照条件，一旦新场景图像目标区域的不同部分的光照不同，则势必造成融合对象在光照上的不一致.

2 基于SFIM技术和区域填充的综合改进方案

针对标准IHS变换方案和Poisson融合法可能导致融合对象颜色畸变的问题，本文引入了SFIM技术.该技术是一种当前基本只在遥感领域使用的方法，在实现遥感图像融合的应用中，其最大优势在于它既提高了空间信息的融合能力，又能更好地保留源图像的光谱特性[13].基于IHS变换和SFIM的对象与场景融合就是将SFIM应用于第1小节介绍的融合框架的关键环节—–亮度融合之中，以实现亮度分量I1和I2的融合.由于I1与I2分辨率相同，无需插值与配准，可根据式(2)实现I2对I1的调制

式中，PI1为I1的像素，PI2为I2的像素，PmeanI1为I1用均值滤波器滤波后的图像的像素.PF就是所求的融合亮度图像，即IF的像素.大多数SFIM处理对均值滤波窗口的大小没有严格要求，一般取为n×n(n≥3)即可.引入了SFIM技术的方法在使用与标准IHS变换方案相同的细节还原系数的情况下，既能实现对象场景的融合，又有效降低颜色畸变.

对于还原系数α无法有效增大以及对象光照不一致的问题，本文提出了基于色度和饱和度填充的解决方案.目标区域会出现场景图像的细节信息主要是因为原方案进行IHS反变换时，在色度分量和饱和度分量的选取上直接使用了新场景图像G1IHS的色度分量和饱和度分量，这就在利用新场景图像光照信息的同时引入了新场景的细节，而实际上不必关心新场景图像在目标区域的内容.因此，如果能对G1IHS目标区域的内容进行重新调整，只留下光照信息，剔除突变的场景信息，那么就可以有效地阻止这些场景细节被传递到融合结果中去.基于这一思路，本文将基于色度和饱和度填充的解决方案的原理描述为

式中，M和N为常量，1≤i≤RH，1≤j≤RV，RH和RV分别为图像G1IHS的水平分辨率和垂直分辨率.即保持G1IHS的背景区域不变，并选取其上的一个像素T(M,N)来填充其目标区域.选择T(M,N)的条件是能反映对象融入场景后的光照.由于目标区域的背景细节来自于G1IHS的色度分量和饱和度分量，则填充操作将只针对这两个分量进行，此时分别用H和S分量在(M,N)处的像素值来填充其各自的目标区域.以填充后的H和S与融合亮度IF进行IHS反变换得到的图像将不含任何背景细节.这是非常有利的，因为可以通过有效增大α的值来获得足够的融合光照，且填充后H和S的目标区域的各部分像素值是相同的，因而融合结果也不会出现对象光照不一致的问题.图1给出了一组融合实验结果，它反映标准IHS变换方案存在的上述两个问题.

图1标准IHS融合方案与基于色度、饱和度填充融合方案的对比实验Figure 1 Comparative experiment between standard IHS transform fusion method and the algorithm based on hue and saturation f illing

图1 中的(c)采用了α=0.3，β=0.7的细节还原系数，其对象的光照不一致性问题十分突出.由于对象与新场景的叠加区域呈现出左右完全不同的两种光照，导致融合得到的对象也出现了左右光照不一致的问题，并且在融合图像的目标区域，新场景图像的细节也很显眼，这样的融合结果显然是没有实用价值的.而图1中的(d)显示了在采用相同的细节还原系数的条件下，基于色度、饱和度填充的融合方法能很好地解决这两个问题，图上红色正方形框的中心点就是本文选取T(M,N)的位置.

用SFIM技术控制颜色畸变是从亮度分量的角度改进融合方法，而利用色度、饱和度填充来去除目标区域的场景细节，解决对象光照不一致性的问题则是从色度和饱和度分量的角度出发的.两者相互补充，并不矛盾，于是可以将它们整合在一起，得到一个新的综合改进方案，其主要步骤归纳如下：

步骤1 对新场景图像G1和加入了目标对象的新场景图像G2分别进行IHS变换得到G1IHS与G2IHS，取它们的亮度分量I1和I2；

步骤2 将I1的直方图作为标准直方图，对I2进行直方图匹配得到I2HM；

步骤3 根据式(2)对亮度分量I1和I2HM进行融合，从而实现I2HM对I1的调制，得到融合亮度IF；

步骤4 利用式(3)描述的方法，在G1IHS的H1、S1分量图像上合适的相同位置各选取一个像素T(M,N)，分别填充各自的目标区域，填充后的色度和饱和度分量分别为H2和S2；

步骤5 采用IF与H2、S2分量执行IHS反变换，得到光照蒙板图像M；

步骤6 由式(1)对光照蒙板图像M进行细节还原得到融合图像.

该方案既继承了标准IHS变换方案实现快速融合的优势，又能有效控制颜色畸变，同时还可以最大限度地增大细节还原系数α而使对象获得足够的融合光照，避免对象出现光照不一致的问题.

3 对比实验及融合质量评价

图2给出了本文涉及的所有融合方案的一个对比实验，其中新场景图像分辨率为900×675，使用SFIM技术时均值滤波器的大小均设为3×3，而用到色度饱和度填充算法时，T(M,N)的坐标位置仍然用红色正方形框的中心点在融合结果上标示.在所有用到细节还原算法的方案中，细节还原系数一律取为α=0.3，β=0.7.

图2中的(c)显示Poisson融合法在这个实验中的融合效果并不理想，对象只有下半身的色调和亮度有明显变化，而上半身的融合效果并不明显，使对象在新场景下显得很不协调.这主要是因为Poisson融合法要求目标对象与新场景的背景颜色比较相似[14]，而本例中这一条件不满足.此外，在这个实验中，对象光照的不一致性问题也比较突出.除应用了色度和饱和度填充算法的(e)和(f)外，其余方案的融合结果均存在这个问题，即对象只有身体部分的光照得到了调制，而脸部的光照条件和融合前相比几乎没有变化.图2中(g)和(h)的对比反映了填充法不仅可以解决对象光照不一致的问题，得到更加贴近新场景的光照，而且能完全去除目标区域的场景细节.

图2 各个融合方案的对比实验Figure 2 Comparative experiments with each fusion scheme

为了更加直观地对比考察各种融合方法的效果，本文采用了一种结合局部评价和全局评价的融合质量客观评价方案.该评价方案分别从背景区域、目标区域以及整幅图像等多个角度对融合质量进行评价，其指标如下：

1）相关系数CC

通过计算融合图像的背景区域与I2图像的背景区域的CC来评价背景区域受融合过程影响的程度，CC越接近1说明融合对背景区域的影响越小[15].

通过计算融合图像与I1、I2在目标区域的互信息之和来度量目标区域的融合情况[16].互信息之和越大，说明融合结果从新场景图像和对象图像中获得的信息量越大.

通过计算整幅融合图像的平均梯度来评价融合图像的清晰度以及融合图像对微小细节反差和纹理变换特征的表达能力.一般来说，平均梯度越大，图像层次越多，图像越清晰.

此外，出于对计算效率的考虑，将融合处理时间也作为一个评价指标.并且只考虑融合，而不考虑分割对象以及将对象叠加到场景里的用时.将同一算法10次相同融合操作的实际处理时间的平均值作为最后的处理时间，同时为了屏蔽由于实验环境的不同而造成的融合时间的差异，将采用标准IHS变换技术的融合方案的融合处理时间设定为1，然后给出其他方案的融合处理时间与它的比值.本文综合这些客观评价指标，对图2中的各个融合结果的质量进行客观的评价，得到的结果见表1和2.

表1 融合图像色度分量的客观评价Table 1 Objective evaluation date on H

表2 融合图像亮度分量的客观评价及融合时间比Table 2 Objective evaluation date on I and ratio of fusion time

从相关系数CC来看，所有CC均大于99.34%，说明这几种融合方案对背景区域信息的影响不大.Poisson融合法对背景的影响只存在于目标对象周围的小部分区域，而其他4种基于IHS变换的算法对整个背景的亮度都进行了调制以期达到对象与背景光照一致的效果.

然而，SFIM可以有效提高融合图像的整体质量，且在这点上优于填充法.在色度分量和亮度分量上，单独使用SFIM技术的方案获得的平均梯度G均是最大的.无论是色度还是亮度，填充算法与SFIM结合后，其G值明显大于单独使用填充法时的情况，这也正好说明了SFIM在提高融合结果的整体质量上的优势.

融合时间比反映了本文方法仍然可以实现快速的图像融合.在上述5种方案中，最快的是标准IHS变换方案.在“CPU:Intel Core2 T6670 2.2 GHz，内存2 G，Visual Studio 2005/C++，OpenCV2.0”的实验环境下，标准IHS变换技术方案实现上述分辨率为900×675的两幅图像融合所需的平均时间为62 ms，处理1600×1200的图像时平均时间为203 ms.除Poisson融合法外，其余3种算法均与它接近.而Poisson融合法则复杂得多，其处理时间大于标准IHS变换方案的14倍以上，这是相当可观的，因为它表明本文方法应用在视频处理中的潜力是非常大的.

综上所述，本文的融合方案很好地结合了色度、饱和度填充法提高融合信息量的能力以及SFIM技术提高融合图像整体质量的优势，在各个客观指标上表现稳定，在色度信息和亮度信息的融合上比较均衡，因而更加健壮，却又不失快速的特点.

4 结语

随着计算机图形图像处理和多媒体等技术的迅速发展，对象与场景融合技术逐渐成为影视特技、动画、电子游戏创作等技术中的一个重要组成部分，对它的研究具有非常重要的现实意义.本文针对Poisson融合法和基于IHS变换的对象与场景融合方法会产生颜色畸变，而标准IHS变换方案中细节还原系数无法有效增大而使对象可能出现光照不一致性等问题，结合SFIM技术和色度、饱和度填充法，提出了一种基于SFIM和区域填充的综合改进方案.主观质量评价结果和客观质量评价数据均表明本文方案不仅可以有效解决上述问题，而且继承了IHS变换法可以实现快速融合的特点，因而具有重要的应用价值.

本文主要专注于融合算法和融合质量评价的研究，并未深入探讨对象的分割算法，且分割操作也是借助Photoshop软件来完成的.然而，对象分割的好坏直接影响到本文方法的融合效果.虽然目前可以借助Photoshop等工具较好地从原场景中分割出对象，然后用本文的融合方案很好地实现对象与新场景的融合，但无法实现对象与场景融合的自动化，一旦需要处理的融合数量剧增，无疑将耗费大量的人力、物力，从而大大降低本文方法在实现对象与场景融合上的效率，不利于本文方法在视频处理中的应用推广.此外，对于不同的对象与场景图像，最佳的细节还原系数也不同，而本文对细节还原系数的调节均通过实验不断尝试，以寻找较优值.如果能在融合质量客观评价方案和本文方法之间建立反馈机制，根据质量评价结果自动实时调节还原系数以达到最优值，无疑对实现对象与场景融合的自动化具有积极意义.然而，对于融合图像的质量评价问题，目前尚无标准的客观评价方案，本文只采用了一种探索性的解决方案.因此，研究一种有效的图像、视频对象分割算法[17-18]以及融合质量的客观评价方案是当前亟待解决的一个问题，也是我们今后的重点研究内容.

[1]CHEN T,CHENG M M,TAN P,ARIEL S,HU S M.Sketch2Photo:Internet image montage[J].ACM Transactions on Graphics,2009,28(5):1-10.

[2]胡事民，徐昆，陈韬.基于互联网的图像检索与融合[J].中国计算机学会通讯，2009,5(12):60-65.

HU Shimin,XU Kun,CHEN Tao.Image retrieve and composition based on Internet[J].Communications of the China Computer Federation,2009,5(12):60-65.(in Chinese)

[3]JIA J Y,SUNJ,TANGC K,SHUM H Y.Drag-anddrop pasting[C]//Proceedings of the SIGGRAPH Conference,Boston,MA,USA,2006:631-636.

[4]HAYSJ,EFROSA A.Scene completion using millions of photographs[C]//Proceedings of the SIGGRAPH Conference,San Diego,CA,USA,2007:1-7.

[5]DING Youdong,WEI Xiaocheng,PANG Haibo,LAN Jianliang,WU Xuechun,SHI Yunyu.A new framework for the fusion of object and scene based on IHS transform[C]//Proceedings of the ICDIP Conference,Chengdu,China,2011:v8009:80091W.

[6]PÉREZ P,GANGNET M,BLAKE A.Poisson image editing[C]//Proceedings of the SIGGRAPH Conference,San Diego,CA,USA,2003:313-318.

[7]LALONDE J F,HOIEM D,EFROSA A,ROTHER C,WINNJ,CRIMINISIA.Photo clip art[J].ACM Transactions on Graphics,2007,26(3):1-10.

[8]TAO M W,JOHNSON M K,PARISS.Error-tolerant image compositing[C]//Proceedings of the ECCV Conference,Heraklion,Crete,Greece:2010:31-44.

[9]KRISTA A,ZHANGY,PETERD.Wavelet based image fusion techniques—an introduction,review and comparison[J].Journal of Photogrammetry and Remote Sensing,2007,62(4):249-263.

[10]陈焕平，何明一，李旭.基于SWT区域对比度像素提取的多聚焦图像融合[J].中国图象图形学报，2011,16(5):865-870.

CHENHuanping,HE Mingyi,LI Xu.Multi-focus image fusion using pixel extraction based on SWT regional contrast[J].Journal of Image and Graphics,2011,16(5):865-870.(in Chinese)

[11]贾永红，张晓萍，贾世锋，张谦.利用调制传递函数滤波改进的高频调制影像融合[J].应用科学学报，2010,28(4):361-366.

JIAYonghong,ZHANGXiaoping,JIAShifeng,ZHANG Qian.Improving high frequency modulation image fusion with modulation transfer function f ilters[J].Journal of Applied Sciences,2010,28(4):361-366.(in Chinese)

[12]SONG Qiang,WANG Jiawen,ZHANG Hongbin.An overview on fusion of panchromatic image and multispectral image[C]//Proceedings of the ICIECSConference,Wuhan,China,2009:1-4.

[13]LIU J G.Smoothing f ilter-based intensity modulation:a spectral preserve image fusion technique for improving spatial details[J].International Journal of Remote Sensing,2000,21(18):3461-3472.

[14]刘则毅，徐高奎，丁雅斌.一种新的图像合成方法[J].中国图象图形学报，2007,12(3):432-437.

LIUZeyi,XUGaokui,DINGYabin.A new method for image composition[J].Journal of Image and Graphics,2007,12(3):432-437.(in Chinese)

[15]SHUN'ICHI K,YUTAKA S,SATORUI.Using selective correlation coefficient for robust image registration[J].Pattern Recognition,2003,36(5):1165-1173.

[16]QUGuihong,ZHANGDali,YANPingfan.Information measure for performance of image fusion[J].Electronics Letters,2002,38(7):313-315.

[17]ROTHER G,KOLMOGOROV V,BLAKE A.Grabcutinteractive foreground extraction using iterated graph cuts[C]//Proceedings of the SIGGRAPH Conference,Los Angeles,CA,USA,2004:309-314.

[18]VICENTE S,KOLMOGOROV V,ROTHER C.Graph cut based image segmentation with connectivity priors[C]//Proceedings of the CVPR Conference,Anchorage,AK,USA,2008.