基于傅里叶梅林预处理的SIFT图像拼接算法

唐泽恬，杨文韬，祝昆，陈祖星

（六盘水师范学院物理与电气工程学院，贵州六盘水，553000）

0 引言

图像拼接是对两个或多个具有重叠区域的图像进行图像间相应关系的计算，最后融合得到更大视野、更大范围图像的方法。图像拼接被广泛应用于图像超分辨率重建[1]、医学成像[2]、遥感成像[3]等领域。

在现有的图像拼接算法中，尺度不变特征变换（SIFT）算法[4]由于其优秀的性能，受到了众多学者的青睐。王昱皓等[5]基于相位相关和图像的纹理分类，使得SIFT算法的拼接速度得到了有效的提升。刘杰等[6]提出了改进SIFT快速图像拼接和重影优化，该算法获得了更快的特征提取速度和更好的拼接结果。毛峡等[7]提出了光伏阵列故障检测中的无人机红外图像拼接，该算法有效地降低了误匹配率和累计误差。蔡怀宇等[8]提出了结合边缘检测的快速SIFT图像拼接方法，该算法在特征提取阶段获得了较高的效率。朱凌云等[9]提出了基于显著性权重融合的图像拼接算法，该算法在决图像拼接错位、模糊等方面取得了不错的效果。刘兆辉等[10]提出了基于深度学习的医学图像配准，该算法基于深度学习进行图像拼接，取得了和传统算法相当的性能。李思潼[11]提出了基于局部特征提取的图像拼接系统，对图像进行了预处理，使得系统获得了较好的拼接效果。秦丽娟等[12]提出了一种基于图像拼接的区域化特征匹配算法，该算法利用像素曲线图确定图像之间的相似区域，有效地提升了图像拼接的速度。

当图像存在旋转和尺寸缩放时，直接传统的SIFT算法拼接效果通常不理想。因此，本文提出了基于傅里叶梅林预处理的SIFT图像拼接算法，算法首先通过傅里叶梅林计算图像的旋转角度和缩放尺寸，然后对图像进行调整，最后通过SIFT算法进行图像拼接，以提升图像的拼接质量。

1 本文改进的算法

针对图像存在旋转和尺寸缩放造成的拼接质量不理想的问题，本文将傅里叶梅林算法与SIFT算法相结合，首先通过傅里叶梅林算法计算待拼接图像与参考图像的旋转角度和尺寸缩放比例，然后根据计算结果调整相应图像的旋转角度和尺寸，最后通过SIFT算法进行特征提取、特征匹配，完成图像拼接。其具体流程如图1所示：

图1 算法流程

由图可知，本文改进的算法可分为两个阶段：（1）通过傅里叶梅林算法提取旋转角度和尺寸缩放比例；（2）调整图像的旋转角度和尺寸；（3）通过SIFT算法进行图像拼接。

1.1 傅里叶梅林算法

对于两幅存在旋转、缩放和平移的图像，二者之间的相对关系如下所示：

式中，f1，f2分别代表两幅图像，a为缩放比例，θ为旋转角度，Δx和Δy分别为水平和竖直方向上的平移量。

将式（1）进行傅里叶变换，结果如下：

式中，F1，F2分别为f1，f2的频谱。由式（2）可知，在傅里叶变换之后，旋转角度不变，但缩放比例变为原来的倒数。在忽略两幅图像之间的相互平移时，F1，F2的幅度值关系如下：

对式（3）转换到极坐标系中，结果如下式所示：

式中，rp和sp分别表示F1,F2在极坐标下的频谱，θ为极坐标系下的角度参考，θ0为两幅图像对应的旋转角度。将式（4）进行化简后得到：

对式5中的进行对数变换得：

式中，λ和b分别表示ρ和a在极坐标系下的对数，Sp1，rp1分别为Sp，rp极坐标系下的变换。对式（6）进行傅里叶变换得：

将式（7）代入交叉能量谱公式得：

当式中左边取最大值时，对式中的θ0和b进行求解，此时θ0和b的为对数坐标系下对应的旋转角度和缩放比例。其旋转角度无需进行转换，但其缩放比例需转换到执教坐标系对应的缩放比例，转换方式如下：

1.2 调整图像的旋转角度和尺寸

通过傅里叶梅林可得到图像的旋转角度和缩放尺寸，首先将待拼接图像旋转相应的角度θ。然后根据傅里叶梅林算法计算得到的缩放尺寸的大小选择相应的图像进行调整，其具体方法如下：若计算得到的缩放尺寸a＜1，则说明两幅图像中待拼接图像尺寸比例较小，为使图像纹理信息更加丰富，并获得更多的特征信息，将待拼接图像放大1/a倍；若a＞1，说明说明两幅图像中参考图像尺寸比例较小，则将参考图像放大a倍。

1.3 SIFT算法

通过傅里叶梅林算法对图像进行预处理后，图像的尺寸和方向得到调整，然后通过SIFT算法进行图像拼接，以提高图像的拼接质量。

SIFT算法由于其在尺度缩放、旋转和仿射变换等方面具有良好得性能，受到了众多学者的青睐。SIFT算法进行图像拼接的主要步骤如下：（1）尺度空间的建立；（2）关键点的提取和主方向的计算；（3）生成特征描述子；（4）特征点匹配；（5）图像融合，完成图像拼接。

2 实验结果及分析

图2为拼接使用的原始图像[13]，其大小为680pixel×850pixel。

图2 原始图像

2.1 拼接质量分析

为验证提出的方法对图像拼接质量的改善，对图2分别使用本文所提出的算法和传统的SIFT算法进行图像拼接，并通过SSIM[14]和PSNR对其质量进行分析，其结果如表1所示。由表可知，相比于传统算法，本文改进的方法所提取到的特征点数量显著提升，匹配的特征点数量提升了19.76%～33.34%，在拼接质量方面，SSIM和PSNR分别提升了14.74%～25.88% 和 10.39%～15.27%，拼接质量获得了有效地提升。综上，本文通过傅里叶梅林的方法对图像进行预处理，使得检测得到的特征点数量和匹配的特征点数量显著提升，从而提升图像的拼接质量。

表1 图像拼接质量对比

本文改进算法的拼接结果如图3所示，可见本文改进的算法的效果良好，无影响视觉观看的干扰。

图3 图像拼接结果

3 结论

对于图像存在旋转和尺寸缩放而导致的图像拼接质量不理想的问题，本文提出了基于傅里叶梅林预处理的SIFT图像拼接算法。算法首先利用傅里叶梅林计算图像的计算两幅图像的尺寸和旋转角度，然后将尺寸较小的图像进行尺寸和旋转角度调整，最后通过SIFT算法进行特征点提取、匹配和图像融合，以完成图像的拼接。实验结果表明，相较于传统算法，本文改进的算法有效地提升了SIFT算法检测的特征点数量，特征点匹配数量提升了19.76%～33.34%；在拼接质量方面，SSIM和PSNR分别提升了14.74%～ 25.88%和10.39%～15.27%，图像的拼接质量获得了有效地提升。因此，本文改进的算法在对图像拼接质量由较高要求的领域由潜在的应用价值。