图像拼接技术研究与应用

祝传贝　陈琳

摘要：近年来图像拼接技术的研究与应用随着人们生活以及科学研究的需要正受到越来越多的关注。图像拼接（Image Mosaics）主要是利用现有的计算机等设备，将两幅或者多幅具有相关重叠区域的图像拼成一幅大型的无缝高分辨率图像的技术。它突破了传统图像获取设备的局限性，正在广泛地被应用于航空航天、医学图像分析、计算机视觉、视频监控等领域中，是当前图像处理领域的一个非常重要的分支。该文通过介绍图像拼接技术的图像获取、图像预处理、图像配准以及图像融合等步骤，并利用Visual C++中的MFC编程实现了两幅简单的具有一定重叠区域的位图的拼接。

关键词：图像拼接；几何变换； SIFT算法；配准；融合；C++

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2015）01-0150-03

Research and Application of Image Mosaic Technology

ZHU Chuan-bei 1，2， CHEN Lin 1，2

（1.Research Center of CAD， Tongji University， Shanghai 201804， China； 2.The Engineering Research Center for Enterprise Digital Technology， Ministry of Education， Tongji University， Shanghai 200092， China）

Abstract： In recent years， the research and application of image stitching technology along with the people's life and the need of scientific research has been paid more and more attention. Image mosaic technology refers to making use of computers and other devices to let two or more images with certain overlap region mosaic together that can form a new image of large seamless high resolution image. It breaks through the limitation of traditional image acquisition devices， is widely used in aerospace， medical image analysis， computer vision， video surveillance and other fields， is a very important branch of the current image processing. This paper introduces the image stitching technology through the image acquisition， image preprocessing， image registration and image fusion step， and realized two pieces of a simple with some overlap region of the bitmap through using MFC of Visual C++ .

Key words： image mosaic； geometric transformation； SIFT algorithm； registration； fusion； C++

圖像拼接技术是将数张有重叠部分的图像拼接成一幅大型无缝的并具有高分辨率的图像。其中，图像配准和图像融合是图像拼接的两个关键技术。对于拼接后的图像要求最大程度的与原始的图像接近，失真尽可能的小，没有明显的缝合线[1]。当人类获得同一场景的两幅或多幅图像时，为了能够获得该场景更多的信息，就必须对图像进行相应的处理。图像拼接是图像处理领域的一个重要分支，图像拼接技术在生产及生活的很多领域中都有广泛的应用。随着研究的不断深入，图像拼接的方法已经有很多了，各种拼接方法都有其自身的特点及相应的应用领域。在2003年，M.Brown发表的Recognising Panoramas[2]文章中提出了基于尺度不变特征技术的SIFT算法，其通过提取关键点来实现图像的配准，该算法完全自动而且拼接的效果好，也是目前国内外研究比较热的算法。我国图像拼接技术起步的比较晚，但是也得到了迅猛发展。其中2004年，赵向阳提出了一种基于Harris角检测算子全自动稳健的图像拼接融合算法[3]，使提取的进度达到了亚像素级；2005年，侯舒维，郭宝龙针在现有的图像拼接技术的基础之上，提出了一种图像拼接技术的快速算法[4]，该算法综合考虑了图像拼接技术的精度和速度。之后，又有很多学者专家在图像拼接领域进行了大量研究，并分别提出了一些改进方法，使图像拼接技术得到了空前的发展。

1 图像拼接的概述

所谓图像拼接技术就是利用计算机的进行自动匹配[5]，通过对齐一系列空间重叠的图像，构成一幅无缝的、高清晰的宽视角图像。图像拼接技术所涉及的领域非常的广泛，不同的领域研究的方式和目的等方面都各有不同，到目前为止，尚且没有一个统一的分类方式，但目前有较三种较为流行的分类方式：

第一，根据自动化程度的不同，图像拼接技术分为半自动拼接技术和全自动拼接技术。

第二，根据摄像机的运动方式的不同，图像拼接技术分为平面图像拼接技术和全景图像拼接技术。

第三，根据二维曲面即流形的确定方式的不同，图像拼接技术还可分为基于自适应流形的图像拼接技术和基于人工流形的图像拼接技术。

2 本文方法

图像拼接技术的出现使得采集图像的设备更加普通化，利用普通的数码照相机即可获得满足要求的图像。该文将按照输入图像、图像预处理、图像配准、图像融合、输出图像這几个步骤进行，其中图像配准和图像融合是两个关键技术，图像拼接过程如图1所示。

2.1 图像获取

本文采用旋转照相机拍摄的方法，即放置照相机的三脚架在拍摄的过程中一直在处在同一个位置。拍摄时，照相机绕垂直轴旋转，每旋转一定的角度，拍摄一张照片。

2.2 图像预处理

为了提高经图像拼接处理后的图像的质量，更好的用于图像配准和图像融合，我们有必要对获得的图像进行预处理。

1）数字化：图像的数字化是指将连续的图像离散化。一幅原始照片的灰度值是空间变量的连续函数，其位置也是连续化的。在M*N的点阵上对照片的灰度采样并加以量化成2的b次方灰度等级之一，可以得到计算机能够处理的数字图像。

2） 几何变换：图像的几何变换用于改正图像采集系统的系统误差和仪器位置的随机误差所进行的变换。几何变换的效果可如图2所示。

空间变换指对该阶段输入图像的某些像素点的位置进行变换，其变换方法包括双线性变换：

[x′=a0+a1x+a2y+a3xy] （1）

[y′=b0+b1x+b2y+b3xy] （2）

每个表达式中有四个系数，所以需要四个连接点来求出其对应的值，其中的连接点是指输入图像和输出图像中对应的点，如图3所示。

此外，几何变换还包括仿射变换、旋转、斜切、尺度等。

3） 平滑、复原及增强

本文采用中值法的方法对图像在数字化和传输过程中形成的噪音进行去噪处理[6]，并通过复原技术校正各种原因所造成的图像退化，使重建或估计得到的图像尽可能逼近于理想无退化的像场。最后采用图像增强技术使得图像中的信息有选择地加强和抑制，以改善图像的视觉效果。

2.3 图像配准

数字图像可以用一个二维矩阵表示，如果待配准图像[I1]和参考图像[I2]在点[x，y]处的灰度值分别表示为[I1x，y]和[I2x，y]，则两幅图像之间的配准操作如关系式所示[7] [8]：

[I2x，y=gI1fx，y] （3）

其中， [f]表示两幅之间的空间变换关系， [g]表示两幅之间的灰度变换关系。对于一般所说的图像配准都是指进行空间配准，即对空间几何变换关系[f]进行求解。上式可以简化为：

[I2x，y=I1fx，y] （4）

本文中图像配准的实现方法是全自动的基于区域的配准方法，将两幅数字化的图像读到内存空间并且显示到对话框后，从第一幅图像的右上角和第二幅图像的左上角进行比较。一个像素和一个像素进行比较，当像素值“相同”时，再在该像素所在的列，进行向下比较，某一列相同时再比较相同的另一列，直到经判定获得了一块重合的区域。

2.4 图像融合

在本次程序中我所采用的图像融合技术是数据级也就是像素级融合[9]。当通过图像配准获得了像素点的信息之后，在基础数据的基础上，直接对采集来的数据进行融合，保持了原始数据。将原来的第一幅图像的第一行存入内存，再将第二幅图像的第一行去掉重合区的部分存入内存，依次类推，存入内存的图像就是拼接后的图像。

其结构如图4所示。

3 实验结果分析

3.1 实验环境

本文使用的实验平台：CPU是Intel-Core i5-2400 3.1GHz，系统内存4GB，利用Visual C++6.0中的MFC编程实现了两幅8bit位图的拼接工作。

3.2 实验结果

利用写好的平台分别打开两张需要被拼接的图片。如图5所示。

再点击“图像拼接”按钮，如果这两幅图像有重合区域，则将现在的两幅图像合并，并得到最终的结果，如图6所示。

如果这两幅图像没有重合区域那么点击拼接按钮将提示“没有找到合并点”。

5 总结

本文根据图像获取、图像预处理、图像配准、图像融合等步骤对已有的两张图片进行拼接，从而形成一幅大角度图像，突破了图像获取设备相机等的局限性。但在图像拼接的速度上，随着图像分辨率的不断提高，需要处理的数据量越来越庞大，但很多领域对拼接的实时性要求也在不断增加，目前的图像拼接算法在融合效果和处理速度方面都存在着不足。下一步将从优化算法入手，以便在面对大量数据的时候提高拼接效率。

参考文献：

[1] 曾勇明，黄伟，罗天友，等，刘志宏.DR图像拼接全景成像技术的临床应用[J].重庆医科大学报，2008（9）：1133-1135.

[2] Brown M，Lowe D G.Recognising panoramas[C].Ninth IEEE International Conference ，2003：1218-1225.

[3] 赵向阳，杜利民.一种全自动稳健的图像拼接融合算法[J].中国图像图形学报A辑，2004，9（4）：417-422.

[4] 侯舒维，郭宝龙.一种图像自动拼接的快速算法[J].计算机工程，2005，31（15）：70-72.

[5] 何宾，陶丹，彭勃等.高实时性F- SIFT图像拼接算法[J].红外与激光工程，2013（z2）：440-444.

[6] 陈洪猛，李明，贾璐等.一种高精度的DBS图像拼接算法[J].西安电子科技大学学报：自然科学版，2014，（2）：37-43.

[7] 郑艳飞.基于区域配准的图像拼接算法[D].济南：山东大学，2012.

[8] Zitova B， Flusser J. 2003. Image registration methods： a survey[J].Image and Vision Computing， 21（11）： 977-1000.

[9] 焦丽龙.基于特征的图像拼接融合技术的研究与实现[D].太原：中北大学，2014.