多源图像融合技术研究＊

徐思宁 王世立 程威敏 管卫亮

（91336部队 秦皇岛 066326）

1 引言

随着计算机、电子信息等技术的迅速发展，传感器技术也得到飞速发展。多传感器的使用导致所需处理的信息量增加并且呈现复杂多样性，传统的信息处理方法现已无法应对现状。信息融合应运而生，所谓信息融合，是指对来自多个传感器的多源信息进行多级别、多方面和多层次的处理与综合，从而获得更丰富、更精确、更可靠的有用信息［1］。图像融合是信息融合范畴内主要以图像为对象的研究领域，通过综合提取各输入图像的信息，形成统一的图像或数据来控制其他系统或指导决策［2］。

图像融合是指将两个或两个以上的传感器在同一时间（或不同时间）获取的关于某个具体场景的图像或者图像序列信息综合，以生成一个新的关于此场景的解释的信息处理过程［3］。根据图像融合在处理过程中所处的阶段，从目标识别层上，多源图像融合可分为三个层次：像素级融合、特征级融合和决策级融合［4］。根据图像源的不同，多源图像融合可大致分为多传感器图像融合、遥感图像融合和多聚焦图像融合。长期对多源图像融合的研究发现，很难提出一种能够适应各类图像源的图像融合算法，因此实际应用中一般针对不同的图像源设计不同的图像融合算法。本文首先介绍了常用的图像融合算法，而后针对单一算算法难以达到要求，提出了图像二次融合模型。

2 多源图像融合常用算法

目前常用的多源图像融合算法主要有加权平均法、IHS变换法、高通滤波（HPF）法、金字塔图像融合法、小波变换法［5］。

2.1 加权平均法［6］

加权平均法是对配准后的两幅待融合图像中各对应像素做加权平均处理，融合成一幅新的图像。设A、B为待融合图像，大小为M×N，F为融合后的图像，则加权平均算法可表示为

式中：m和n分别为图像中像素的行号和列号，m＝1，2，…，M；n＝1，2，…，N。ω1和ω2为加权系数，ω1＋ω2＝1。

该算法的最大优点是简单、运算速度快，此外还可以抑制源图像中的噪声。因为所有像素灰度进行加权平均，所以抑制了图像中的显著部分，导致对比度降低。而且，当融合图像的灰度差异教大时，就会出现明显的拼接痕迹。

2.2 IHS变换法［7］

IHS变换的主要思想就是用一副图像替换另一幅图像的一个分量。如用高分辨率全色图像直接替换多光谱图像的I分量来提高多光谱图像的空间分辨率。

该算法一般用于遥感图像融合中，对特征性强和特征差异大的数据间融合有较好的效果，但融合结果的光谱特性可能会有扭曲。

2.3 高通滤波（HPF）法［8］

高通滤波法是将高分辨率图像通过高通滤波器滤除低频信息得到图像的高频信息，然后将这些高频信息叠加到多光谱图像中，从而提高多光谱图像的空间分辨率。

该算法的优点是在自动消除高分辨率图像的低频噪声的同时增强了图像的边缘，多光谱图像的空间分辨率有效地得到提高。但是高通滤波导致部分细节的损失，使得分辨率有一定损失，同时高通滤波也会带来噪声。

2.4 金字塔图像融合法

金字塔图像融合法就是将配准后的每幅待图像作金字塔变换，得到每幅图像的金字塔变换，将金字塔变换系数在各相应层上以一定的融合规则进行运算，可得到合成的金字塔变换系数。将合成的金字塔做逆变换可得到融合图像［9］。常用的金字塔有拉普拉斯金字塔、对比度金字塔、梯度金字塔。

2.5 小波变换法

小波变换将待融合图像分解成一系列具有不同方向分辨率和频率特性的子图像，能够反映待融合图像的局部变化特征，因此小波变换具有空间和频率局部性。而且它的基函数可以根据实际问题的需要进行设计，体现了它在应用方面的灵活性［10］。

该算法融合的流程为：将配准后的待融合图像进行小波分解，获得不同分辨率下的小波系数；根据不同源图像的特点选取融合规则，分别对小波每一分解层每一系数进行合成，获得合成的各层小波系数序列；由合成的各层小波系数序列小波重构得到融合图像。

小波变换法在信号分解和重建过程中不产生信息的丢失和冗余，因此有效地增强了图像的空间细节表现能力，保持了图像融合前后的光谱特性。

3 图像二次融合模型

虽然融合算法很多，但是没有一种算法是完美的，都存在自身的缺点，如加权平均算法降低图像的清晰度、模糊边缘和轮廓，金字塔变换算法增加运算数据量，小波变换算法模糊图像清晰区域等。基于以上问题，本文提出一种新的图像融合模型，称作图像二次融合。图像二次融合的主要思想就是对两幅图像分别用两种融合算法进行图像融合得到两个融合结果，然后对两个融合结果再进行一次像素选择的运算得到最终融合图像。其主要目的是通过利用融合算法之间的互补性来弥补各自融合算法的缺点。原理框图如图1所示。

图1 图像二次融合原理框图

图像二次融合效果的好坏主要取决于两个融合算法的选取和像素选择算法的选取。两个融合算法要具有一定的互补性，如加权平均融合算法和梯度选大融合算法，加权平均融合算法模糊了图像的边缘和轮廓，而梯度选大融合算法是选取清晰的边缘作为融合图像的边缘，弥补了加权平均算法的缺点，通过像素选择算法选取对比度大、清晰的像素作为最终的融合结果，可以提高融合效果。本文以这两种算法为例，对该思想进行实验验证。

考虑到图像二次融合的计算量，本文采用简单的梯度运算方法，如下

梯度选大融合算法的思想是通过比较各像素点的梯度值，选取梯度值大的对应的像素作为融合图像的像素值，其过程如下

fA（x，y）、fB（x，y）分别为图像A、B在像素f（x，y）处的梯度。

令LP为图像某一像素的灰度，LB为其对应的3×3窗口内像素灰度值的平均值，以此来计算每一像素的对比度C＝LP／LB。令F（x，y）表示融合图像的像素值，A′（x，y）、B′（x，y）表示经加权平均和梯度选大的融合算法融合后的图像的像素值，CA、CB表示融合后的图像的对比度。则像素选择法为

通过上述方法可以得到最终融合图像F。

4 实验结果

选取多聚焦图像作为本文实验图像，如图2（a）和图2（b）所示。图2（c）和图2（d）为加权平均融合和梯度选大算法结果，图2（e）为图像二次融合结果。观察分析图像可知图像二次融合所获得的图像优于单一算法获取的图像。

图2 实验图像

从量化结果上可以看出，本文提出的图像二次融合算法获得的图像标准差、平均梯度和熵比加权平均、梯度选大算法都要高，说明提出的融合方法融合结果的灰度级更分散，图像更清晰，所含信息量更大。

表1 融合效果具体量化指标比较

5 结语

图像融合在我国起步较晚，虽然已经获得一些成就，但是技术还未发展成熟，没有形成一个完整的理论体系。本文对图像融合算法进行研究，介绍了常用算法，并提出图像二次融合模型，实验仿真证明此模型具有一定的效果。但是此模型因计算量较单一算法大，故适应于对实时性要求较低的系统中，有待改进。

［1］马金福.多源图像融合技术与应用研究［D］.西安：西安科技大学，2009：4－6.

［2］敬忠良，肖刚.图像融合——理论与应用［M］.北京：高等教育出版社，2007：3－4.

［3］郝松傲.热红外图像与可见光图像的配准与融合［J］.四川测绘，2008，20（3）：46－48.

［4］闫敬文，卓琳，屈小波.图像融合研究最新进展［J］.厦门理工学院学报，2007，15（4）：44－49.

［5］毛士艺，赵巍.多传感器图像融合综述［J］.北京航空航天大学学报，2002（5）：512－518.

［6］张寅玥，付炜.多源遥感图像融合算法研究［J］.电子测量技术，2010，33（6）：35－36.

［7］李弼程，魏俊，彭天强.基于HIS变换与小波变换的遥感图像融合［J］.数据采集与处理，2003，3（6）：268－272.

［8］Emmanuel J.Candes，Laurent demanet.The curvelet represention of wave propagators is optim ally sparse［J］.Communications on Pure and Applied Mathematics，2005，58（11）：1472－1528.

［9］夏明革，何友，唐小明，等.多传感器图像融合综述［J］.电光与控制，2002，9（4）：5－6.

［10］孙延奎.小波分析及应用［M］.北京：机械工业出版社，2005：126－135.