图像拼接中鬼影消除算法研究*

潘恒辉

(空军雷达学院 武汉 430019)

1 引言

全景图和超宽视角的图像在现实生活中有着广泛的应用,在虚拟现实领域中,利用全景图像表示实景可代替复杂的3D场景建模和绘制[1]。利用广角镜头可得到宽视角的图像,但广角镜头的边缘会产生难以避免的扭曲变形。随着计算机和图像处理技术的发展,图像拼接技术为得到全景图提供了很好的解决方案。

全景图像的拼接是指利用相邻的部分重叠的图像样本,生成一个较大的甚至360°的全方位图像的场景绘制方法。换句话说,就是给定某个真实场景的一组部分重叠的局部图像,然后对这一组图像进行拼接,生成包含这组局部图像的新视图[2]。全景图中的鬼影,指的是在新视图中存在的或深、或浅的虚影。鬼影分为配准鬼影和合成鬼影两种,前者是由于没有准确配准计算而造成的,后者则是由于运动物体而造成的[3]。当相邻的图像进行拼接时,需要综合考虑相邻图像重叠区域的信息以实现图像间的平滑过渡,即拼接图像中重叠区域某点的像素值由相邻图像中相对应的点的像素值融合得到;比如在重叠区域相对应的区域,一幅图像中为一辆运动的汽车,另外一幅图像中却是背景,采用传统方法就会形成一个类似鬼影的汽车[4,7～8]。前人在配准求精方面已做了大量工作,已可以较好地解决配准鬼影问题[1,5～6],但是对于合成鬼影却没有什么较好地解决方法。本文在基于精确配准的基础上,采用对拼接图像中运动物体区域只采用一幅图像信息的方法,在确定运动物体区域的基础上,提出了运动物体区域重叠即相关,形成以运动区域单元为单位进行图像信息源的选择。针对容易造成的物体的不连续,设置了运动区域单元与重叠区边缘是否相接的权重系数来进行拼接图像信息源的选择。

2 运动物体区域信息的确定

确定重叠区运动物体区域的位置步骤如图1所示。

图1 确定位置步骤图

这里以图2所示的最简单的相邻两幅图像之间的拼接为例。具体的计算步骤如下:

1)针对图2(a)、(b)两幅图进行精确配准,得到两幅图像透视变换参数;

2)计算两幅图像重叠区域灰度图之间的绝对差分:D=|C(a)-C(b)|;

3)由于树叶摆动及摄像机本身的原因,绝对差分图像中存在着噪点,消除噪点的常用方法是数学形态学中的腐蚀与膨胀算法[9],这里选取4×4的模板作为结构元素,首先进行腐蚀运算消除小于结构元素的明亮区域,去除孤立噪声点和边界上不平滑的凸出部分,然后进行膨胀运算将与目标物体接触的所有背景点合并到物体中的过程,以填补空洞和形成连同域以及填平图像边界上不平滑的凹陷部分;

4)重叠区域中可能存在两个或者多个运动物体,这里选择最大类间方差法(Otsu法)选取合适的阈值T[11],对上面的差分灰度图像进行二值化,提取出其中的运动物体区域。

图2 确定运动区域的步骤

图2(f)所标示的即为获得的图2(a)中存在运动物体的区域,在这里运动物体存在的区域的意思是在相邻两幅图之间这个区域有物体发生了移动,在图2(b)相对应的位置同样的标志所存在的却是背景,清晰地说明了这点。这里是最基本的两幅图相邻的情况,比较复杂的是一幅图与其他多幅图都有重叠,但首先第一步需要做的仍然是计算出各图之间存在运动物体的区域。

3 运动物体区域图像信息源的选择

3.1 运动区域单元

一幅图像可能与多幅图像之间存在重叠,如图3(a)所示,互相重叠的三幅图像,其中矩形代表图A中的运动物体,圆形代表图B中的运动物体,三角形代表图C中的运动物体。经过计算,得到如图3(b)所示的图像A与图像B中的运动区域RAB,图3(c)所示的图像B与图像C中的运动区域RBC,如果将图3(b)与图3(c)分开来进行考虑,产生的情况就是B图像中右半圆区域图像信息的重复选择,将导致合成鬼影。

图3 多幅图像存在重叠的情况

为了完全消除合成鬼影,将存在运动物体的重叠区域统一考虑,即运动区域重叠(或相关),通过区域延伸将相关的运动区域合并为一个整体,并将其定义为一个运动区域单元。例如图3(a)中由矩形、圆形、三角形合在一起以后的区域。

对于运动区域是否重叠,采取对每个运动区域计算其x,y轴的取值范围,如果两个运动区域在 x轴的取值范围与在y轴的取值范围都相交时,即判断为相关。以图3为例,假设运动区域RAB的x轴取值范围为[x1,x2],y轴取值范围为[y1,y2],运动区域RBC的x轴取值范围为[x3,x4],y轴取值范围为[y3,y4],它们相交的充分必要条件为(x1-x4)(x2-x3)≦0并且(y1-y4)(y2-y3)≦0。

3.2 图像信息源的选择

确定好运动区域单元及其存在的区域以后,接下来要做的就是运动区域单元选择哪幅图像的信息。在图2中相对应的位置,一幅图像中为运动物体的点,在另外一幅图像中可能是背景点,不论采用哪幅图像的信息,一个运动区域单元只需做出一次选择,都不会产生鬼影,但如果选择左图作为信息源,就会导致物体的不连续,所以必须设置一定的权重系数进行运动物体区域单元图像信息源的选择。这里物体的不连续,产生于运动区域单元图像信息源的选择以及重叠区边缘两边的图像信息,所以本文提出了运动区域单元与重叠区左右两边哪边的边缘相接,哪边的图像优先的权重系数。

在进行配准得到图像的变换参数后,利用变换参数可以得到重叠区域边缘在 x,y轴的取值范围[x5,x6]、[y5,y6],假设此时得到的运动区域单元的x,y轴的取值范围为[x7,x8]、[y7,y8],这里同样的以(x5-x8)(x6-x7)≦0并且(y5-y8)(y6-y7)≦0作为判断它们相接的充分必要条件。各图像的初始优先级均设置为1,1代表采用该图像的信息,如果判断出运动区域单元与该重叠区边缘相接,则将该重叠区边缘与左右两幅图像的x轴取值范围进行比较,得到该边缘隶属于哪副图像,并将该图像的优先级设为0,其他图像的优先级不变;不相接,则不进行任何操作。

图4 运动区域单元

大多数情况下,运动区域单元与各重叠区域边缘并不相接,即经过比较最后各图像的优先级都是1,这种情况下,此时任取一副图像的信息都可以消除鬼影且不存在物体的不连续。

从图3中也容易得到这种方法的合理性,图3中一共有四条重叠区域边缘,将运动区域单元依次与这四条重叠区域边缘进行比较,得到如下结果:1)不相接,无任何操作;2)相接,归属C,C的优先级置0;3)相接,归属A,A的优先级置0;4)不相接,无任何操作。最后可以看到只有B还保持着初始优先级1,即取B作为运动区域单元的信息源,事实也证明了选取图B作为运动区域单元的信息源是最合适的。还有一种可能,也就是运动区域单元,属于图3所示的情况,同样的,将运动区域单元依次与这四条重叠区域边缘进行比较,得到如下结果:1)相接,归属B,B的优先级置0;2)相接,归属C,C的优先级置0;3)相接,归属A,A的优先级置0;4)不相接,无任何操作。此时,三副图像的优先级都为0,没有办法做出正确的选择,但是可以看到,因为图B中运动物体的存在才导致了这种情况,所以其时需要的是舍弃图B中的信息,而仅仅对图A和图C重叠区的运动区域单元进行考虑,这种可能性比较小,但是这里还是进行提及。

4 实验结果

本文采用Matlab对各种情况进行了仿真处理。图5(a)为采用传统算法形成的有鬼影的拼接图像,图5(b)对运动区域采用一幅图像的信息,但是不采用运动区域单元的概念或者设置上述权重可能造成的现象,可以很清楚的看到,如果不使用运动区域单元的概念或者用上述条件设置权重时,虽然可以解决鬼影问题,但是很可能造成的后果就是同一物体的不连续性,图5(c)显示了按照本文的方法所得到的拼接图像,得到的图像不仅解决了鬼影问题,同时也不存在同一物体的不连续。图 6(a)显示了多图相交采用传统方法所形成的全景图,图中存在的是三个物体的鬼影,图6(b)则采用的本文中方法得到的结果。通过实验结果的比较,不难看出本文方法的优越性。

5 结语

本文在引入了运动物体区域只采取单一图像信息的基础上,提出了运动区域单元的概念,根据运动区域单元与重叠区边缘的相关性设置的权重系数,更加有利于拼接图像运动区域信息源的选择,通过Matlab仿真试验,证明能够较好地解决在获取全景图像时所造成的鬼影以及物体的不连续,获得较高质量的拼接图像,具有一定的实用价值。运动区域单元概念的提出更加有利于运动物体区域图像信息源的选择,它将以单一的、不相关的运动区域单元为单位与以一幅图像的整体运动区域信息为单位很好地区分开来。

[1]Szeliskir,Shumh.Creating full view panoramic image mosaics and environment maps[C]//Proceedings of SIGGRAPH.Los Angeles:[sn],1997:251～258

[2]方贤勇,张明敏,潘志庚,等.基于图切割的图像拼接技术研究[J].中国图象图形学报,2007,12(12)

[3]王仲训,丁挺,丁晓丹,等.一种全景图像拼接算法的实现[J].工程图学学报,2006(2)

[4]Matthew Uyttendaele,Ashley Eden,Richard Szeliski.Eliminating ghosting and exposure artifacts in image mosaics[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Hawaii,2001:509～516

[5]Szeliski R.Image Alignment and Stitching[R].Technical Report,MSR-TR-2004-92,Preliminary draft,2005

[6]Brown M,Lowe D.Recognising panorama[C]//Proceedings of 9th International Conference on Computer Vision,Nice,France,2003:1218～1225

[7]Davis J.Mosaics of scenes with moving objects[C]//Proceedings of 1998 IEEE Computer Society Conference on ComputerVision and Pattern Recognition,Santa Barbara,CA,USA,1998:354～360

[8]Duplaquet M L.Building large image mosaics with invisible seamlines[C]//Proceedings of SPIE Visual Information Processing VII,Orlando,USA,1998:369～377

[9]Rafael C,Gonzalez,Richard E.Digital Image Processing[M].阮秋琦,阮宇智,译.北京:电子工业出版社,2003:420～454

[10]周昌,陈耀武,Kwei Jay Lin.一种智能摄像机网络中重叠区域的快速探测方法[J].仪器仪表学报,2007(7)

[11]王磊,段会川.Otsu方法在多阈值图像分割中的应用[J].计算机工程与设计,2008(11)