基于不变矩相似度的快速图像拼接

何佳华，吴 斌，张红英

(西南科技大学 信息工程学院，四川 绵阳 621010)



基于不变矩相似度的快速图像拼接

何佳华，吴 斌，张红英

(西南科技大学 信息工程学院，四川 绵阳 621010)

针对图像拼接中普遍存在的效率低和误匹配等问题，提出了一种基于不变矩相似度的快速拼接方法。首先利用不变矩相似度准则，预估输入图像的重叠区域，然后采用SIFT算法进行特征点检测和匹配，减少了不必要的特征提取和误匹配。利用稳健的RANSAC算法实现特征点提纯并计算单应性矩阵。最后，针对带运动目标的动态场景融合后易出现鬼影的现象，提出一种改进的分段线性加权融合算法以消除拼接鬼影。

图像拼接；不变矩；尺度不变特征变换；线性加权融合；鬼影

0 引言

图像拼接不仅广泛应用于视频监控、三维重建和遥感测绘等领域，还是计算机视觉和计算机图形学研究领域中的重要研究课题。在全景图的形成过程中，关键的步骤在于图像配准，而目前应用最为广泛的配准算法是基于特征的配准算法。常用的特征匹配算法有：SUSAN、Harris、SIFT和SURF算法等[1]。其中，SIFT算法对旋转、缩放和尺度能够保持不变形，且对图像视角的变化和噪声影响也具备很强的鲁棒性。但SIFT算法复杂度较高且配准效率低，而作为SIFT算法的改进，SURF算法在精度上已经达到了亚像素级，大大压缩了图像配准的时间。但针对多张图像的拼接，特征点提取部分仍然要耗费大量时间，且经过多年对基于特征点的配准算法进行验证发现，经过提纯后的正确匹配点对基本都分布在输入图像的重叠区域。据此，如果能采用某种有效算法预先估算输入图像的重叠区域，只在该区域进行特征点的提取和匹配，将节省大量时间，提高整个拼接系统的效率。

不变矩是一种描述图像平移、旋转及比例不变性的数学特征。若把二值图像或灰度图像看作一种二维密度分布函数，不变矩值就可以用于描述图像的特征。因此，许多学者将不变矩应用于图像分析中。Zhang Ruliang等[2]通过计算边缘不变矩，将其作为匹配特征；高薇等人[3]在分割处理上利用不变矩对高分辨率遥感影像进行建筑物特征提取；KARTHIK R等人[4]利用梯度边缘检测和不变矩的绝对比值，实现特征提取。本文根据不变矩特征，提出了一种估算重叠区域的快速图像拼接算法。

1 重叠区域估算和图像配准

为有效解决图像在旋转、平移变换和光照差异等情况下的拼接错误，且提高拼接效率，本文基于不变矩的旋转，缩放和平移不变特性，提出了一种由粗到细的特征提取方法。首先计算输入图像二值化后的分块图像的7个不变矩值；然后采用归一化欧几里德距离计算各分块图像不变矩的相似度，提取出最为相似的区域；采用SIFT算法对该区域进行特征提取[5]，根据随机采样一致性算法(Random Sample Consensus，RANSAC)提取特征点并求出单应性矩阵H；最后，基于改进的分段线性加权融合算法实现图像的无缝无鬼影拼接。

1.1 重叠区域的估算

不变矩最初是用来表达物体的几何形状信息的参数，离散状态下，对于大小为M×N、灰度分布为f(x,y)的图像，其(p+q)阶普通矩和中心矩定义如下[5]：

(1)

(2)

式中，p,q=0,1,2,…。

当图像发生变化时，mpq也发生变化，而μpq则具有平移不变性，但对旋转依然敏感[3]。归一化中心矩定义为：

(3)

Hu利用二阶和三阶中心矩构造了7个不变矩，在连续图像条件下可保持平移、缩放和旋转不变[5]。

这里，把提取的7个二维Hu不变矩作为图像的特征提取，采用欧几里德距离作为相似性的度量，定义参考图像和待拼接图像的不变矩相似性距离为:

(4)

考虑到欧式距离公式取值范围会很大，为合理评价输入图像的相似程度，减小欧氏距离的计算误差，将上述距离公式进行归一化处理，定义Hu不变矩相似度公式为：

SH=1/(1+d(x,y))

(5)

其中，SH∈[0，1]，且值越大，说明两幅图像越接近，反之，值越小，相似程度越低。

1.2 SIFT特征提取

通过对分块图像的不变矩相似性进行度量后，估算出输入图像的重叠区域，然后，利用SIFT算法在重叠区域进行特征提取。SIFT算法的实质是在不同的尺度空间上查找关键点，并计算出关键点的方向，最后得到特征描述子[5]。

SIFT算法检测尺度空间主要采用高斯差分金字塔(简称DOG算子)，定义如下：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(6)

其中，I(x,y)是图像位于点(x,y)处的像素值,G(x,y,σ)是二维高斯函数。

关键点是由DOG空间的局部极值点组成的，这些极值点并不全都是稳定的特征点，还要通过拟合三维二次函数来精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点[5]。最后，根据候选点领域像素的梯度方向特性得到关键点描述子。

1.3 特征匹配

本文采用K-D树和RANSAC算法来精确匹配特征点，首先为输入图像建立K-D树，完成特征点的初始匹配[6]。然后，采用RANSAC算法剔除外点，保留内点。

根据投影变换公式，单应性矩阵为：

(7)

为了确定8个自由参数，每次至少需要4对初始匹配点对，通过RANSAC算法不断迭代，直到得到H矩阵的精确值。

2 重叠区域去鬼影融合

现有的线性加权法能在一定程度上实现无缝拼接，但是当图像中存在移动目标时，容易产生鬼影现象[7]。因此本文对线性加权融合算法进行了改进，提出一种分段线性加权融合方法，当输入图像中只存在少量运动物体时，能在一定程度上消除鬼影。

2.1 线性加权融合

线性加权融合算法定义如下:

P(x,y)=t1P1(x1,y1)+t2P2(x2,y2)

(8)

这里，P(x,y)表示融合后的图像，P1(x1,y1)和P2(x2,y2)表示两幅输入图像，t1和t2分别对应于重叠区域像素的权重值，且满足t1+t2=1。线性加权的权重选择多样，合理的权值选取，可以实现平滑过渡。

2.2 分段线性加权融合

文献[8]提出利用离散小波将图像进行多尺度分解，采用加权平均和领域方差加权平均算法实现低频分量和高频分量的融合与重构。文献[9]提出一种基于小波系数自适应的改进加权平均算法。文献[10]提出通过阈值和小波变换来改进加权平均融合。本文从加权平均融合的权值分配原则出发，将重叠区域分为四段，通过阈值的对比来分配每一段区域所占的权值。

P(x,y)=

(9)

其中，P1(x,y)和P2(x,y)表示两幅输入图像，Pol(x,y)为重叠区域。α和β表示输入图像的权值，γ是重叠区域的权值。且满足

α+β+γ=1

(10)

其中，权值α，β和γ的取值过程如下：

(1)设重叠区域的宽度为L，x为当前点的坐标，重叠区域的左边界起始坐标为i。首先利用2.1节所述的线性加权融合算法计算重叠区域的像素值Pol(x,y)和它的线性权值t1和t2。

(2)设P1为左图某点的灰度值，P2为右图某像素点的灰度值，Pol为融合后重叠区域某点的灰度值。T为灰度阈值。进行四段式灰度值的比较，为每段的相应像素点分配权值。

表1 分块图像的SH值比较

注：横排为左图归一化不变矩值，竖排为右图值。

根据上述四段线性加权融合的权值计算准则，实现左右方向的无缝融合和鬼影消除，同理，也可实现上下拼接时的平滑过渡。

3 实验结果与分析

3.1 重叠区域提取和SIFT特征点检测

本文实验环境为Windows 7，实验平台为MATLAB2012b。首先，对输入图像进行自适应阈值二值化操作，然后对图像进行均匀分块，这里均匀分成3×3的图像块，便于计算图像的不变矩值。然后，计算各模块对应的不变矩欧式距离，这里关注的是不变矩的不变性，与符号无关，所以统计时取不变矩的对数绝对值，便于计算。

重叠区域的选取如图1所示，采用SIFT算法直接提取特征点并估算出重叠区域后再采用SIFT提取特征点，效果对比如图2所示。

由表1分析可知，左图的3、6、9区域块依次对应于右图的1、4、7区域块的SH值相对较小，说明重叠区域集中于这些区域块。

图1 重叠区域的选取

图2 特征提取对比图

为估算本文算法的性能优越性，给出直接采用SIFT算法、SURF算法和本文算法实现拼接的用时和准确率对比，如表2所示。

表2 本文算法与SIFT和SURF算法的性能对比

由表2可知，与SIFT算法和SURF算法相比较，本文算法不仅在特征提取和匹配时间上更高效，且匹配正确率也更高。

3.2 带运动目标的图像去鬼影融合

当图像存在运动目标时，传统的线性加权融合算法并不能消除鬼影现象[11]。下面通过一组带有运动目标的图像，分别用线性加权融合和分段线性融合算法进行融合，效果对比图如图3所示。

图3 消除鬼影效果对比图

4 结论

本文提出了一种快速构建全景图像较为有效的方法，与经典的SIFT和SURF算法相比，这种通过不变矩计算欧式距离来预估重叠区域的算法大大减少了计算复杂度和拼接时间。显然，对于多幅大视场全景图像的构建，基于不变矩相似度的拼接算法更高效，也更能满足对实时性的需求。

[1] 安维胜,余让明,伍玉铃. 基于FAST和SURF的图像配准算法[J]. 计算机工程,2015,41(10):232-235.

[2] Zhang Ruliang, Wang Lin. An image matching evolutionary algorithm based on Huinvariant moments[C]. International Conference on Image Analysis and Signal Processing, 2011: 113 -117.

[3] 高薇. 基于不变矩算法的高分辨率遥感影像建筑物特征提取[D]. 成都:电子科技大学,2013.

[4] KARTHIK R, ANNISFATHIMA A, VAIDEHI V. Panoramic view creation using invariant momentsand SURF features[C].

International Conference on Recent Trends in Information Technology, 2013: 376-382.

[5] 李中生,赵彬,刘振宇,等. 基于SIFT和Hu特征融合的单目视觉识别算法研究[J]. 微型机与应用, 2013,32(13):41-45.

[6] 刘欣,李校林,谢灿,等. 一种基于仿射变换的SURF图像配准算法[J]. 电子技术应用,2014,40(6):130-132,139.

[7] 瞿中, 乔高元. 一种消除图像拼接缝和鬼影的快速拼接算法[J]. 计算机科学,2015,42(3):280-283.

[8] 张格森,陈东生,王怀野,等. 一种图像局部特征快速匹配算法[J]. 电子技术应用,2015,41(11):124-127.

[9] 吴金津,文志强,龙永新,等. SIFT-FCACO算法的图像配准[J]. 微型机与应用,2014,33(15):36-39.

[10] JOSHI H, SINHA K L. A survey on image mosaicing techniques[J]. International Journal of Advanced Research in Computer Engineering & Technology (UARCET), 2013,2(2):356-369.

[11] 秦绪佳, 王琪, 王慧玲,等. 基于最佳缝合线的序列遥感图像拼接融合方法[J]. 计算机科学,2015,42(10):306-309.

Fast image stitching based on similarity of invariant moments

He Jiahua, Wu Bin, Zhang Hongying

(Information Engineering Institute, Southwest University of Science and Technology, Mianyang 621010, China)

For problems such as low efficiency and false matching in the prevalence of image stitching, this paper proposes a fast stitching method based on similarity of invariant moments. Firstly, it uses the similarity of invariant moments to estimate overlap area of the input images, and then uses SIFT(Scale-Invariant Feature Transform)to detect and match feature points in the overlapping area, thus the unnecessary time of feature extraction and false matching are reduced. RANSAC(Random Sample Consensus)algorithm is used to refine the feature points and calculate homography. Finally, for dynamic scene easily appearing ghost phenomenon after fusion, an improved piecewise linear weighting fusion algorithm is put forward to eliminate ghost.

image stitching; invariant moments; scale-invariant feature transform; linear weighted fusion; ghost

TP391.4

A

10.19358/j.issn.1674- 7720.2017.12.015

何佳华，吴斌，张红英.基于不变矩相似度的快速图像拼接[J].微型机与应用，2017,36(12)：50-53.

2016-12-28)

何佳华(1991-)，女，硕士研究生，主要研究方向：图像处理技术、人工智能及其应用。

吴斌(1965-)，男，博士，教授，博士生导师，主要研究方向：人工智能及其应用、智能控制、图像处理技术。

张红英(1976-)，女，博士，教授，主要研究方向：图像处理技术、生物特征识别技术。