基于小波变换的图像融合算法及性能评价

刘 辉，赵辉煌

（衡阳师范学院 计算机科学系，湖南 衡阳 421008）

基于小波变换的图像融合算法及性能评价

刘 辉，赵辉煌

（衡阳师范学院 计算机科学系，湖南 衡阳 421008）

在阐述小波图像融合算法的基础上，针对小波分解后各频域融合算子和融合规则的选择，提出一种新的基于FPGA动态可重构的图像融合算法。该方法对小波分解后的图像低频子带采用平均融合算子处理，在高频子带的融合中依据小波系数树状结构特点提出了一种新的自适应融合方法，最后经过小波逆变换得到融合图像。核心算法集成到一片FPGA中实现，提高算法的实时性，降低系统的实际功耗，有效地减少融合图像的失真。对多组图像进行实验，实验结果表明，该方法是有效的。

图像融合；小波变换；小波树

0 引 言

图像融合（Image Fusion）是数据融合的一种特殊情形，其信息均是以图像的形式表达，它对人的视觉产生作用。图像融合是根据某一算法，将从不同传感器（或同一传感器在不同时间或不同观测角度）得到的同一场景的多幅图像经过综合处理，从而得到一幅新的、满足某种要求的、对目标或场景的描述更为精确、更为全面、更为可靠的图像，以便于人眼的观察和计算机的进一步处理。它的主要目的是综合各类图像数据的优点，提高图像的解译能力［1］。正是由于这些特点，图像融合技术已广泛地应用于军事、遥感、计算机视觉和医学等领域。

图像的融合过程可以发生在信息描述的不同层。根据信息表征层次的不同，图像融合一般可分为像素级融合、特征级融合和决策级融合三大类。由于像素级图像融合是基础且比较直观，在图像融合领域最受关注。基于小波变换的图像分解方法其具有非冗余性、方向性以及与人眼视觉相吻合的分层结构［2］，在众多的像素级融合方法中，基于小波变换的融合方法具有良好的效果，并已成为现今研究的一个热点。

图像融合的关键就是将融合算法硬件实现［3］。FPGA器件为实现图像处理提供了一种数据处理算法的硬件实现的一个理想的平台。FPGA器件集成度高，体积小，通过用户编程实现专门应用的功能。它允许电路设计者利用基于计算机的开发平台，经过设计输入、仿真、测试和校验达到预期的结果，减少了开发周期［4］。目前FPGA的产品以Xi1inx公司和Altera公司的产品系列为主。

1 基于提升小波变换的融合算法

1.1 提升小波变换

基于小波变换的图像融合方法的基本处理步骤为［5］：首先对图像进行多尺度空间小波分解，然后依据小波分析的方向信息选择合适的融合策略依次融合，最后，对小波分量进行重构，所得的图像即为融合图像，融合图像质量主要取决于小波变换算法的选择和融合规则的设计。

由Sweldens等提出的提升算法［6］是在空间域中构造紧支集双正交小波的一种新方法，被称为“第二代小波”。它不仅可以包容所有传统小波，并且相比Mallat算法具有原位快速计算、可实现整数小波等优点。因此，在处理信息量大，效率要求高的应用中具有独特的优势。其实现思想非常简单，分解过程（如图1所示）通过分裂（Split）、预测（Predict）和更新（Update）三个步骤即可以实现：

图1 提升算法实现小波分解

（1）分裂（Split）：将输入信号（si）分成两个互不相交的集合，通常通过奇、偶抽样来获得信号的偶序列集合和奇序列集合，称为懒（Lazy）小波分解；

（2）预测（Predict）：利用信号局部相关性强的特点用去尽量精确地预测并把与预测值的差作为信号的高频细节进行保存：

（3）更新（Update）：对信号能量进行适当调整，用高频细节di－1对进行更新，并作为下一级变换的输入：

在本文介绍的融合算法中，我们利用整数可逆双正交小波变换CDF（2，2）来实现图像分解及合成，其滤波器系数见表1。

表1 CDF（2，2）可逆双正交小波滤波器系数

1.2 融合规则

规则的选择在融合过程中非常重要，也是目前图像融合领域中的一个研究热点和难点。由于小波系数的绝对值越大，对应于原始图像中像素值更为尖锐的变化。因此，在像素级的融合规则设计中一个主要的原则就是判断小波系数的绝对值的大小。目前比较常见的融合规则一般采用对低频系数的加权平均和高频系数取最大值及一些改进算法，这些算法充分考虑了图像不同子带的频率特征，但是忽略了小波图像具有的天然树状结构的特点。这里我们针对多聚焦图像的融合提出一种新的融合规则：

（1）低频系数采用平均算子处理：分解层次适当增大或通过计算低频子图像的均方误差来确定分解层次；

（2）高频系数依据小波树状结构分层进行融合：首先，依据小波图像高频子带中的每个像素点在空间位置上都对应于其相邻分辨率下高频子带的四个像素点的特点，将待融合的两幅图像按频带从低到高的顺序构造高频系数的四叉树，如图2的三级小波变换树结构：

图2 三级小波变换高频系数的树结构图

根据小波分解的特点，树型结构中四个子节点是对父节点同一方向高频边缘细节的补充［7］。融合过程中如果能保证四个子节点取值来源的一致性就能对边缘细节信息提供更好的保护，这样就可以减少融合图像斑块和拼接现象的出现。很显然，只考虑取值的一致性会不可避免地导致部分高频率信息的丢失如文献［8］提出的基于区域特征法。比较好的方法是折中考虑这两方面的影响：

首先，计算待融合的两幅图像相应位置四个子节点的值ai和bi的绝对值和计为V1、V2，如（1）：

然后，利用（2）完成融合图像节点值ci的取值：

其中：wi为权值，利用（3）进行自适应选取：

1.3 算法的实现

2 基于FPGA的数字图像融合

根据拟采用的融合算法运算量大，需要大量的存储空间，故选用了Altera公司的CycloneII系列FPGA作为算法实现的芯片。该系列产品带有高性能的内部存储器结构，采用完全的双口存储器结构，最多可提供1Mb以上的块存储器资源，具有多达68K的LE（Logic Elements：逻辑单元）和1百万个以上的逻辑门，同时专用的18位×18位乘法器模块最多可达150个，能工作在250MHz，同时它还具有先进的外部存储器接口，通过专用的DDRII以及QDRII接口电路，可以获得高达668Mbps的性能。此外，可嵌入高性能、低资源占有率的NiosII软核处理器，都为其实现高性能的融合系统提供了有力保障。

在图3的FPGA内部，主要设计了实现融合算法的图像分解、融合重构等模块［9］。其中图像分解部分包括A和B两个模块。分别对A，B两个通道输入的图像进行IHS图像分解和小波图像分解；融合重构模块对每幅图像的小波对应级进行融合，得到融合小波序列；最后对融合小波序列进行重构运算，得到最终融合图像数据输出。电源和时钟模块与外部为FPGA提供电源和时钟的器件相连接。配置接口用来下载与FPGA相关的配置文件。SRAM模块是在考虑到FPGA内部存储资源不够用的情况下而预留的。逻辑控制模块主要完成FPGA内部和外部的一些逻辑控制。

图3 基于FPGA的图像融合框图

3 仿真实验与评价

仿真环境是在Windows下用VC＋＋开发的的融合实验系统。对绝对值最大法（方法1）、基于区域特征法（方法2）以及本文提出的方法（方法3）分别进行仿真实验，结果如图4：

图4 仿真实验结果

本文用熵和平均梯度两项指标对三种方法的融合性能进行比较，结果见表2。

表2 三种方法性能比较

同时，我们提取图像中人头部分，从主观视觉角度了解三幅图像局部斑块效应和模糊现象，如图5。

综合客观量化指标和主观视觉评价可以得出：方法1虽然能很好地保留图像的高频细节，但图像局部斑块效应严重，主观视觉效果差。本文提出方法3不但有效地减小了融合图像的失真度，而且相比于方法2能更好地保留图像高频细节信息，是一种实用的多聚焦图像融合方法。

图5 融合图像局部显示

4 结 论

本文提出一种基于FPGA动态可重构的图像融合算法。它有效地利用了小波图像树状结构的特点，依据不同子带的频率特征实现多聚焦图像的融合，核心的算法集成到一片FPGA中实现，提高算法的实时性，降低系统的实际功耗，仿真实验表明该方法取得了较好的融合效果。同时本文提出的算法也局限于小波树中同一方向高频子节点相关性的研究，更深入的工作应集中在研究小波树高频子带的三个不同方向系数的相关性，设计出更适合人眼视觉的融合算法。

［1］PIELLA G.A general framework formultiresolution image fusion：from pixels to regions［J］.Information Fusion，2003，68（4）：259－280.

［2］AMOL INS K，ZHANG Yun，DARE P.Wavelet－based image fusion techniques：an introduction，review and comparison［J］.Photogram Metry ＆Remo te Sens ing，2007，62（5）：249－263.

［3］冉晓强，汶德胜，满锋.基于FPGA的亚像元图像融合系统的设计与实现［J］.光子学报，2007，36（6），274－277.

［4］Herbert Walder，Christoph Steiger，Marco Platzner.Fast online task placement on FPGAs：Free space partitioning and 2D－Hashing In：2003IEEE Proceedings of the International Parallel and Distributed Processing Symposium［C］.（IPDPS’03），2003.

［5］PAJARES G.A wavelet－based image fusion tutorial［J］.Pattern Recognition，2004，37：1855－1872.

［6］焦铬，易小波，李仁发，等 .一种基于FPGA动态可重构的图像合算法［J］.科学技术与工程，2009，9（17）：5200－5204.

［7］於时才，吕艳琼 .一种基于小波变换的图像融合新算法［J］.计算机应用研究，2009，26（1）：390－391.

［8］蓝伟，刘玉树，杜志歧.二代小波及其在图像融合中的应用［J］.计算机应用，2005，25（12）：2832－2834.

［9］孙颖力.图像融合算法的研究及可重构FPGA实现［D］.西安：西北工业大学，2007.3.

Image Fusion Algorithm and Performance Evaluation Based on Wavelet Transform

LIU Hui，ZHAO Hui－huang
（Department of Computer Science，Hengyang Normal University，Hengyang Hunan 421002，China）

Expounding the wavelet image fusion algorithm，as to frequency domain fusion operators and fusion rules of choice of wavelet decomposition，a new dynamical reconfigurable image fusion algorithm based on FPGA was proposed.The decomposed low frequency sub－band is fused by mean operator，and the high frequency sub－bands use a new adaptive method which considered the tree characteristic of wavelet coefficients.Finally，the fusion image date is obtained by taking the inverse wavelet transform.The core of the algorithm was integrated into a FPGA，improved the real－time of algorithm and reduced the system actual consumption.So it reduced fusion image distortion effectively.For multigroup image experiment，the experimental results show that the method is effective.

image fusion；lifting wavelet transform；wavelet tree

TP391

A

1673－0313（2011）06－0085－05

2011－05－20

湖南省教育厅科研项目（11C0179）；衡阳市科技局项目（2009KG23）；衡阳师范学院科学基金项目（10A50）

刘 辉（1980－），男，汉族，湖南长沙人，讲师，硕士研究生，主要研究方向：嵌入式系统、软件构造技术；

赵辉煌（1982－），男，汉族，湖南衡山人，讲师，博士，主要研究方向：图像处理，模式识别.