无规则图像的拼接算法研究

包冬梅

(呼伦贝尔学院)



无规则图像的拼接算法研究

包冬梅

(呼伦贝尔学院)

介绍了传统的图像拼接算法，总结其优劣，并在其基础上提出了不规则图像的全局拼接算法，避免传统图像拼接算法存在的局限性，为实现图像的高分辨率与全面性提供了一种方案.

图像拼接；拼接算法；无规则图片

0 引言

当下无规则图像拼接主要作用于军事侦察和目标跟踪以及灾害监控等领域，这些领域主要以空中航拍图像为主要拼接对象.近年来航拍图像得到了进一步的推广，人们对航拍图像的要求随之增加，在原有的单帧航拍图像的基础上逐渐衍生出分辨率较高且视野范围广泛的多帧图像.但多帧图像同样需经由飞机高空作业拍摄，利用飞机与地面的远距离视野将地面的高低起伏从视觉上缩小，获得接近平面的图片效果，飞机的远距离航拍更进一步的使人类获得更为全面的地面图像.然如何对航拍图像进行精准拼接实现地面全景重现仍然是各行业研究的重点与难题，基于该文对图像拼接算法进行分析研究，并分析传统图像拼接算法的优劣从而对其进行优化具有现实意义.

1 图像拼接算法概述

1.1 图像拼接算法优化的意义

传统图片拼接算法是对航拍图像中重叠比例较大的区域进行颜色相似度匹配拼接，即将图像至于CMY颜色系统中，对该系统中的图片重叠区域的颜色灰度级进行提取，并以此灰度级为基准，寻找图像灰度级特征相似度高的图像进行拼接.然而并非所有图像的重叠比例都高，遇到重叠比例较低时可供提取的灰度级特征不够且容易受干扰产生偏差，因此以重叠区域灰度级作为拼接参照的方法准确率较低，难以达到人们对航拍图高质量、高准度的拼接要求.寻求更高效、便捷、准确的图形拼接计算方法成为当务之急.

1.2 图像拼接算法的局限性

一般情况下，很难得到分辨率高且范围全面的图像，因为拍摄过程中分辨率随拍摄距离的改变而改变，远距离拍摄随刻获得范围较广的图像效果但其分辨率会明显降低；近距离拍摄能保证较高的分辨率却只能局限于较小的拍摄场景，那么该如何实现高分辨率与图像完整的双重标准呢？可以应用图像拼接技术对多张高分辨率的规则或不规则的图像进行无缝拼接来实现.通常，一个完整的图像拼接流程主要包括图像配准和图像融合两大方面，图像拼接流程如图1所示.其方式是根据图像的几何运动模型对图像在同一个坐标系中进行配准，在配准成功后对图像进行像素结合即为图像融合.成功的图像融合其相邻图像像素间的过渡应该是自然的，融合成的拼接图像应该是较为逼真的.当下图像融合技术发展已趋于成熟，其图像融合算法也取得较大成功，在图像拼接活动中性能稳定，对图像拼接的质量影响较小.而作为图像拼接重中之重的图像配准技术还处在探索阶段，图像拼接的总体质量与拼接效率都受图像配准技术的直接影响，因此图像配准算法是影响图像拼接整体效果的关键，对图像拼接质量和效率的提高无疑需从图像配准算法的优化入手.对配准算法进行优化必须对图像配准的传统算法进行分析，在其基础上进行改进或革新.

图1 传统图像拼接基本流程

2 传统图像配准算法分析

传统图像配准算法主要是根据不规则图像间重叠区域的灰度特征进行相似度配准.两帧图像重叠区域灰度特征为：

T(i,j)=

(1)

两帧不规则图像的灰度特征绝对误差的和为:

(2)

根据两帧图像的绝对误差之和进行图像拼接，拼接准则为:

(3)

该式中的x表示图像水平方向的步长；y表示图像在垂直方向的步长；λ则表示设定的阈值.通过式(3)可知传统的基于图像重合区域灰度特征而进行的图像拼接算法对重合率高的图像较为适宜，然而重合率低的图像可供提取的灰度特征有限，运用该算法难以保证图像拼接质量与效率.基于此，提出了以图像全局为基础的图像拼接算法.该算法第一步需要提取图像的SIFT 点，第二步是对两幅待拼接图像的SIFT 特征点进行匹配，第三部根据整体图像优化方法优化不规则图像拼接结果.根据这一方法能较好的提取全局图像信息，进一步提高图像拼接的准确度.

3 改进之不规则图像的全局拼接算法

与传统的图像拼接算法不同，基于全局图像拼接算法更适宜于不规则图像和重叠率不高图像之间的拼接，这种基于全局的图像拼接算法直接提取全局图像信息，针对两幅图像的全局特征点准确进行拼接，在避免传统图像拼接算法局限性的同时提高了大图像与不规则图像拼接的质量和效率.

3.1 图像SIFT 特征点的提取

该SIFT特征提取的基本原理如图2所示.

图2 SIFT特征提取原理

提取图像SIFT 特征点并预处理图像，得到一组二维高斯函数，函数为:

(4)

卷积两幅图像的灰度特征函数为f( x，y)和二维高斯函数，可知待拼接图像的特征模型为：

(5)

该式中G( x，y，σ)为模型高斯核，其中σ影响着高斯滤波器的尺度； 两图像间尺度比例因子的尺度空间差则用k表示；可知相邻两幅图像间的空间差为：

D(x,y,σ)=G(x,y,kσ)-L(x,y,σ)

(6)

紧接着还需要对图像的全部特征点优化选取，删除不合格的特征点，留取合格的特征点.根据式(7)设某一点为：(x0，y0，σ)可得公式：

(7)

待该步骤完成后即可通过角点的向量主方向确定图像特征点的方向组成前面所说的图像ISFT 特征，其公式为：

θ(x,y)=tan-1(f(i+1,j)-f(i-1,j))/(f(i,j+1)-f(i,j-1)).

(8)

由于图像ISFT 特征在尺度上所处的位置有明显差异性，对图像拼接算法的准确性形成了保障.

3.2 图像配准与对齐

该文图像配准根据前面所得的ISFT 特征点进行，在保证图像拼接的质量与准确度的同时还需保证其最低的位置误差.根据前面所得的ISFT特征点T( x，y )得出待拼接图像的误差计算公式：

(9)

该式中S为总均方误差；m、n分别为前一帧和后一帧图像中所提取的ISFT特征点数目；T( i，j)为ISFT 特征点信息，x为图像水平方向移动步长；y为图像竖直方向移动步长.根据该式中所得的误差得到的归一化函数为：

(10)

对图像进行最小误差配准需确保位置误差的最小化，其计算公式如下：

(11)

该式中X、Y分别表示图像ISFT 特征的均值和方差.在结合位置误差公式可知位置误差值最小点即为最高质量配准点.

3.3 图像融合与平滑

图像处理行至图像配准步骤虽已完成两幅图像的基本拼接，但图像接缝处由于融合性不高尚处于不自然状态，要增加图像接缝处清晰度与自然过渡感还必须对图像进行最后的融合，其根本为处理图像接缝处的圆滑感，第一步，要平滑图像.平滑图像首先要得出图像的平滑因子，计算公式为：

f (x,y)=k1×fA(x,y)+k2×fB(x,y)

(12)

该式中( x，y) ∈( FA∩FB) 、FB( x，y) 分别表示图像配准前帧和后帧像素点信息；k1、k2皆表示图像平滑因子；设前一帧图像与后一帧图像重叠区域水平、竖直方向的最大值分别为xmax和ymax，可知平滑因子计算公式：

(13)

在平滑过程中，平滑因子k1，2取值范围为1至0，平滑因子从1到0逐个取值后，图像拼接平滑处理即完成，图像的无缝拼接效果即实现.

4 实验结果与分析

基于全局拼接的图像拼接算法的流程图如图3所示.

图3 基于全局图像拼接流程

为对该文提出的全局图片拼接计算法的效果进行分析与取证，笔者选取了我国某一南方城市的航拍图分别采用了传统局域图像拼接算法和全局图像拼接算法进行拼接实验，对实验中两种算法的耗时、准确度进行了记录与对比.两种图片拼接算法的准确度根据公式 (14)得出，实验数据在表1中可查.

(14)

由实验数据可知传统的基于局域的图像拼接算法耗时较多，为0.7 s；而基于全局的图像拼接法其耗时较于局域拼接算法节省了一倍多，为0.3 s；从两者拼接准确度来看，传统基于局域的拼接算法准确率仅为74%，而基于全局的拼接算法其准确率高达98%.该文图像拼接实验进程如图3所示.图3较直观的说明了传统基于局域的图像拼接算法在面临重叠度较低的两幅图像时，其提取的灰度特征较少，即使提取到的灰度特征也容易受外界干扰而产生误差，导致图像拼接失准.基于全局的图像拼接算法在提取重叠区域灰度特征的基础上对图像全局信息进行了统筹，当一个条件不满足配准的情况下还可通过其他特征进行配准，大大增加了图像拼接的准确性和清晰度.通过上述实验结果与分析可得出结论见表1，传统基于局域的图像拼接算法耗时多，准确率也相对较低，而基于全局的图像拼接算法耗时短，准确率高，拼接后的图像质量同样较高，更贴进人们对于图像拼接高分辨率、完整度高的需求，值得关注.

5 结束语

面对实际应用中图像的无规则性和拍摄环境的差异性，文章提出了无规则图处理的全局拼接算法，以SIFT算法对待拼接图像进行SIFT特征点提取，通过整体最优化方法最大限度的优化图像拼接结果，并从图像配准、图像融合全方位优化图像拼接效果，提高图像拼接质量的同时实现了图像的高分辨率与完整性并存的要求，规避了传统图像拼接算法的局限性与失准率，对各领域的图像拼接事业产生积极影响，使用价值较高，具有显著的现实意义.

[1] 苏昭,王慈,王涛. 一种具视差鲁棒性的图像拼接算法[J]. 电视技术,2014,15:29-32.

[2] 黄薇,许勇,刘淑影. 基于像素点的碎片图像拼接技术[J]. 计算机应用,2014(S2):269-270，290.

[3] 狄颖辰,陈云坪,陈莹莹,等. 无人机图像拼接算法综述[J]. 计算机应用,2011(1):170-174.

[4] 江铁,朱桂斌,孙奥. 全景图像拼接技术研究现状综述[J]. 重庆工商大学学报：自然科学版,2012(12):60-65，71.

(责任编辑：李家云)

Research on the Stitching Algorithm in Irregular Images

Bao Dongmei

(Hulunbuir University)

In this paper, the traditional image stitching algorithm is introduced, its advantages and disadvantages are summarized, and the global image stitching algorithm in irregular images is proposed, which can avoid the limitations of traditional image stitching algorithm and provide a solution to realize images’ high-resolution and comprehensiveness .

Image stitching; Stitching algorithm; Irregular images

2015-11-11

TP31

A

1000-5617(2016)02-0053-04