基于多频段融合的全景图像拼接技术*

任 重，唐 垚，谢永斌，洪鹏程

（西安邮电大学 通信与信息工程学院，陕西 西安 710121）

引言

图像融合算法的目的就是抹去图片接缝线处的拼接痕迹，使拼接后的图像更加自然，提升拼接效果和质量[2]。应用于图像拼接的融合算法有两种常用的方法：线性融合算法和加权平均融合算法。本文提出了一种多频段图像融合，取得了较好的效果。

1 传统融合算法

1.1 线性融合

线性融合是最常见的一种融合方法。为了能够让图像重叠区域过度的更加自然，重叠区域一般为两幅图像在该部分的简单加和。通常情况下，权重应该为像素位置至重复部分边缘的位置，该算法简单易于实现，可以应用在一些对拼接实时性要求高的实验环境中。但是这种方法有许多的弊端，诸如，重叠区域无法对齐时候，融合的图像很容易出现模糊和鬼影，重叠区域边界接缝线明显，肉眼可见拼接有破碎感。相较于线性融合，均值融合会让重叠区域的出现明显的边界线，融合的效果不如线性融合。

1.2 加权平均融合算法

加权平均融合算法的计算原理和原则就是对于原来图像的像素直截了当的采用了相同的数值，然后在进行接下来的加权平均得到一个融合的图像像素数值。加权平均融合算法的原理主要就是依照图像中的像素重合点作为核心，最后结果的像素数值就是加权平均以后的算数值。这样的计算方法减少了计算的偏差。

这样的加权平均融合算法比较便捷、简单。但是当出现数值不对或者图像重合错误的情况时计算结果就会受到影响。加权平均算法削弱了图像重合部分的细节特征，使得图像重叠区域有较强的人为涂抹痕迹。因此在大部分场景下应用加权平均算法其处理图像接缝线结果差强人意。

2 本文融合算法

图1 高斯与拉普拉斯金字塔

2.1 构造金字塔

构造高斯金字塔是对图像全方位、多方面进行表述的一种方式，如图1 所示，最下层为原图，上面的三个图片依次是高斯金字塔中第二、三、四层图像。每一层图像的获得都是对比它小一层的图像进行筛选和过滤形成的，然后删除掉筛选和过滤之后的全部偶数和奇数的数值行列，这个金字塔的分层越是精细，层数越高，图像也越模糊[1]。

拉普拉斯金字塔是以高斯金字塔为前提条件进行建造的，伴随着高斯金字塔层数的提高，图像的精细信息会逐渐模糊，为了对图像细致的信息进行存储和记忆，拉普拉斯金字塔就随之产生了。把高斯金字塔的每一层数据信息进行记录和整理[2]，然后再进行筛选和过滤的环节，就可以获得在此基础之上扩展图像信息了。因为对上面的图像进行了筛选和选择，图像的分辨能力也就扩大了好几倍，把高斯金字塔的图像数值以及扩展以后图像当中的数值相减就可以获得了拉普拉斯金字塔图像了。以图1 建造的高斯金字塔为例，中间的这部分画面就是经过左侧图像的扩展来获得的，右面的图像也就是通过相减而得到的。

式中，L 和G 分别表示拉普拉斯和高斯金字塔，其中两种金字塔的顶层图像是相同的，j 即是层数，最下面一j层即为0，是原本的图像，expand 表示扩展运算方法。

2.2 融合步骤

多频段融合方法的具体执行步骤：第一步，构造高斯金字塔对源图像进行多层次表达，第二步，由高斯金字塔得到拉式金字塔；第三步，然后针对待拼接的分层子图集，把它们的金字塔的相同层进行合并；第四步，对分层融合的图像做逆拉普拉斯变换最终生成融合图像，逆拉式变换计算公式如式（2）所示：

式中，R 为得到的合并金字塔，S 为最终的融合图像，其中，S 的顶层为R 的顶层，S 是从顶层向底层计算得到的，最终得到的融合金字塔的底层图像就是最后的拼接图像。

3 评价指标

为了客观地评价不同图像融合方法的性能，本文的评价体系中采用了如下多种图像融合评价指标。

3.1 均值

平均值的计算如下式：

其中 F（i，j）为（i，j）点融合图像的像素。平均值反映了最终拼接图像的亮度，它是一个基本的评判尺度。均值越大，最终拼接的图像越亮。

3.2 标准差

图像的标准差由下式定义：

其中 F（i，j）是图像的像素值的位置（i，j），μ 即是均值。标准差可以描述的统计分布和融合后的图像差异特征，其值越大融合图像的对比度越高。

3.3 空间频率

空间频率（SF）可以描述融合的和空间变化图像。其值越大，纹理和边缘的信息越丰富，图片也就变得更清晰。其计算如下式所示：

其中 M 是图像的行，N 是图像的列，F（i，j）是图像 F在像素（i，j）处的灰度级。SF 描述融合的清晰度和空间变化图像。SF 越大，纹理和边缘的信息越丰富。需要指出的是，图像融合中产生的伪影会使SF 值增加一倍，这种情况下不能正确的反映融合图像的质量。

图2 实验素材

图3 阴雨天以及室外暗光拼接

3.4 差分信息熵

其中Pi为图像中第i 个灰度级的可能性，L 为图像的灰度。由信息论原理可知，熵值可以反映融合图像中的大量信息，一般来说，熵越大，融合体的信息就越丰富。但是，如果在融合后的图像中存在较多的伪影和噪声时，熵的值将严重增加，最终将无法正确表示图像的质量。

3.5 拼接时间

时间是图像拼接算法实时性的反应，也是不可或缺的衡量拼接算法的指标。

4 实验结果与分析

4.1 实验环境与素材

本文实验平台的操作系统为Windows10，软件环境为visual studio2015 以及openCV2.4.9，电脑处理器为Intel（R）Core（TM）i7-8565U 1.99GHz，内存8G。本实验有两组共 14 张实验素材，如图 2 所示。其中图（a）（b）（c）（d）（e）（f）（g）为阴雨天拍摄，分辨率均为 922*692；图（h）（i）（j）（k）（l）（m）（n）分辨率为 463*348。

4.2 主观评价

如图 3 所示，图（a）（b）（c）为阴雨天全景拼接图像，通过主观评判，可见线性融合法中在图像与图像接缝处存在多处明显的接缝线。加权平均算法虽未出现接缝线，但图像重叠区域涂抹感严重。本文算法在图像重叠区域的过度是最自然的。图（d）（e）（f）为室外暗光拼接，其中线性融合法在图片接缝线处处理的极为粗糙，有明显的破碎感。加权平均算法在图片上方出现诸多鬼影现象。唯有本文算法在这两方面的细节处理最为自然。

4.3 客观评价

从以阴雨天拼接和室外暗光拼接可以得出结论，本文的图像融合算法在均值、标准差以及差分信息熵等方面明显高于线性融合法和加权平均融合法；在空间频率方面本文算法也略微高出其他两种算法；在拼接时间上，虽然本文算法不是最快的，但是三种方法相差不大，其实时性可以达到工程上的应用。

5 结论

针对图像拼接过程中线性融合和加权平均算法融合算法在光照鲁棒性和图片清晰度不足以及接缝线涂抹感明显等问题提出了一种基于多尺度表达的多频段融合的图像拼接技术。第一步，构造高斯金字塔对源图像进行多层次表达，第二步，由高斯金字塔推出拉式金字塔；第三步，对重叠区域进行不同层次融合；第四步对分层融合的图像做逆拉普拉斯变换最终生成融合图像。这种方法既能够保留低分辨率的图像轮廓信息，又能够有效保存高分辨率的图像细节信息，通过金字塔层层叠加也让拼接的痕迹变得不在明显，在逐层融合时候，也能够和多种融合算法进行优势互补，在融合效果上可以有效地减少鬼影，一定程度上避免了由于颜色、亮度色差而导致的明显的人工痕迹。实验结果表明，相较于线性融合以及加权平均算法融合等方法，本文方法在均值、标准差、空间频率和差分信息熵等方面均有所提升，而且在拼接时间上与前两者相差无几。综上本文的融合方法优势最为明显，在全景图像以及视频拼接过程中有一定的实用价值。