àtrous小波-NSCT遥感图像融合

杨建慧，白 超

燕山大学 信息科学与工程学院，河北 秦皇岛 066004

àtrous小波-NSCT遥感图像融合

杨建慧，白 超

燕山大学 信息科学与工程学院，河北 秦皇岛 066004

1 引言

近年来遥感技术飞速发展，可用的遥感图像数据种类日趋繁多。多光谱图像含丰富的光谱信息，对地物的判读、识别与解译非常有利，空间分辨率却很低下。全色图像具有很高的空间分辨率，能够详尽地描述地物的细节特征，但光谱分辨特性较差。通过数学模型将多光谱图像和全色图像信息融合在一起可以有效改善后续处理效果，这对于土地、森林利用调查，资源探测，城市环境规划都具有重要作用[1]。常用的遥感图像融合算法有：IHS变换法，基于Brovery变换，主成分分析（PCA）变换法。此类方法得到的融合图像虽有效地提高了空间分辨率，却存在很严重的光谱失真问题。之后，多分辨率分析法广泛被应用。小波变换虽然具有良好的时频分析特性[2]，能有效克服光谱失真，却只能捕获有限的方向信息，不能有效表达图像本身所具有的几何正则性[3-4]。同时由于在小波变换过程中存在下采样操作，缺乏平移不变性，在源图像之间存在配准误差的情况下，将对融合结果带来不利影响。àtrous小波算法虽具有平移不变性，高频细节部分却缺乏方向性。近几年，A.L.Cunha等人在Contourlet变换的基础上提出了非下采样Contourlet变换（Nonsubsampled Contourlet Transform，NSCT），可有效解决上述存在的问题。NSCT具有多分辨率、局域化、多方向性、平移不变性等优点，能有效表达图像[5]。

本文将NSCT算法结合àtrous小波变换及IHS变换，充分利用其各自的优势，采用àtrous小波-NSCT变换实现对图像的多尺度分辨率分析，基于传统的细节注入法[6]提出一种新的融合规则。实验所得的融合结果表明，本文提出的算法在主客观评价方面均优于目前所广泛使用的àtrous小波变换以及NSCT等融合算法。

2 算法原理

2.1 NSCT算法

NSCT是在Contourlet变换的基础上提出的。其实现可以看作是两个步骤：非下采样金字塔滤波器组（Nonsubsampled Pyramid Filter Bank，NSPFB）分解和非下采样方向滤波器组（Nonsubsampled Directional Filter Bank，NSDFB）分解。其中NSPFB是双通道的，{ } H0(z)，H1(z)为低、高通分解滤波器。每下一级NSPFB由上一级NSPFB进行2×2行列上采样构成。图像经过N级非采样金字塔分解后，可得到N+1个与原图像具有相同大小的子带图像。NSDFB由两通道非亚采样滤波器组迭代构成，其理想频域支撑区间为扇形。采用不同的采样矩阵对扇形滤波器U0(z)和U1(z)进行上采样，并对上一级方向分解后的子带进行滤波，可以获得频域中更为精确的方向分解，输入信号经过l级方向分解滤波后就被分解为2l个子带。

NSCT先将Contourlet变换中的滤波器组进行插值后再进行滤波来实现其平移不变性，去除了各个滤波器组分解后进行分析滤波器和综合滤波器前的上采样环节。对图像进行NSCT的实现过程可简要描述为：首先利用NSPFB对图像进行多尺度分析来捕获图像中的奇异点，原始图像经一级NSPFB分解后得到一个低频子带图像和高频子带图像，之后对低频子带继续进行NSPFB迭代分解，最终获得一个低频子带图像和一系列高频子带图像；其次对高频子带图像采用NSDFB进行方向滤波，将分布在同方向上的奇异点合成为轮廓段，有效捕获图像的方向信息。

2.2 àtrous小波变换

àtrous小波变换通过有限滤波器的内插近似，达到无抽取离散小波变换，具有平移不变性。其思想是通过由尺度函数生成的滤波器对图像进行分解，得到与原图像大小相同的一低频近似面和各高频小波面。在二维空间进行àtrous小波变换类似用卷积核对影像进行滤波，通常选B3样条函数作为尺度函数。对于图像可逐层得到以下图像序列：

其中Li为低通滤波操作，fi为尺度i下的近似图像，小波面为相邻尺度上近似图像之差，ωi(x，y)=fi-1(x，y)-fi(x，y)。

图像的重构为：小波变换在重构时不涉及卷积运算，简便快捷。

2.3 àtrous-NSCT小波变换

àtrous小波虽能达到很好的多分辨率分解效果，但欠缺多方向性，不能很好地反映图像边缘轮廓信息。NSCT中的NSDFB能有效挖掘图像各方向细节信息，且具有平移不变性，弥补其不足。另外，由于NSCT塔形分解结构中，不同分辨率的细节信息彼此相关，算法具有不稳定性[7]，àtrous小波变换能有效克服这一点。故将àtrous小波变换替换NSCT中的NSPFB分解获得多尺度分析效果，然后将得到的各高频小波面进行NSDFB分解。基于àtrous小波-NSCT变换的分解流程如图1所示。

图1 àtrous小波-NSCT变换分解流程图

3 基于àtrous小波-NSCT变换的遥感图像融合方法

3.1 融合模型

将多尺度分辨率分析应用于遥感图像融合，如何根据高低频系数确定融合图像的特征，采取何种判决准则，直接决定最终融合效果。此处的融合策略基于传统的细节注入法，建立一决策因子，控制所要添加的全色图像细节分量，将适当的细节特征注入到原多光谱图像。它包括特征提取及决策两个过程。

（1）基于特征量积的特征提取

将对于变换所得的高频分量系数，可以依据基于局域窗口的统计特性，如梯度、方差、局部能量等来进行特征选取。考虑到一个特征量不足以表达图像的细节特征，因此采用特征量积[8]，使用多个特征量。原图像 X进行àtrous小波-NSCT变换后得到的高频细节分量为，其中 j是分解的层数，k是各层分解的方向数。设系数在中心点 (x，y)，窗口为 n×n的标准差为DkX(n×n)(2j;x，y)，在点(x，y)使用Sobel算子[7]得到的局部平均梯度为

定义特征量积：

它表示图像X在区域中心为(x，y)，窗口为n×n的特征量积。

（2）决策选择融合

定义决策因子：

图2 多光谱图像和全色图像的融合流程图

阈值α控制着全色图像细节特征的添加量。调整其阈值的大小，能够满足不同应用下的需要。

3.2 融合算法及执行流程

（1）对多光谱图像进行IHS变换，将其分解为强度I、色调H、饱和度S，3个近似正交的分量。其中I分量代表了多光谱图像的亮度信息。

（2）将全色图像与多光谱I分量图像进行直方图匹配。

（3）对匹配后的全色图像和多光谱I分量图像进行àtrous小波-NSCT变换分解，获得各自的低频近似系数和高频系数。

（4）按照公式（1）求出两图像各高频层各方向的特征量积，实现特征提取。

（5）按照公式（2）计算各高频层各个方向所的决策因子，选取阈值α，按公式（3）求出全色图像有效高频细节面。

（6）利用小波附加法思想，将全色图像有效高频细节面，与原多光谱图像的强度分量I相加得最后融合结果。

遥感多光谱图像和全色图像的融合框图如图2所示。

4 实验结果及其分析

本文选用配准好的某地区的SPOT全色图像和TM多光谱图像进行仿真实验，其分辨率为2.5 m，大小为256像素×256像素。为验证本文所提出算法的有效性，以Matlab8.0为实验平台，将其与àtrous小波附加法、基于NSCT变换法[9]、基于非下采样方向滤波器组融合法[10]的结果进行比较。其中所涉及到的多尺度分解均为3层，各级方向数均为2，4，8，尺度滤波器采用db8，方向分解滤波器为9-7 pkva。其源图像和各种融合结果如图3所示。

为了客观地对其融合图像质量进行评价，本文选用方差（SD）、平均梯度（AG）、信息熵（IE）、相关系数（CC）、光谱扭曲度（DD）作为评价指标，对实验结果进行分析比对。方差、平均梯度、信息熵越大，图像的空间细节质量越优。相关系数越大，扭曲度越小，光谱保持性能越好。

实验中采用的各种方法得到的融合图像性能指标评价如表1所示。

图3 实验源图像和各种融合结果

表1 融合图像性能指标评价

同时为了客观地对其算法的复杂度进行评价，本文选用程序执行时间（T）作为评价指标，与基于NSCT变换法[9]、基于非下采样方向滤波器组融合法[10]进行分析比对，其结果如表2所示。耗时时间越小，计算复杂度越小。

表2 融合算法执行时间

从实验融合结果图3及表1、2得出：4种方法所得的融合图像均很好地改善了多光谱图像的空间分辨率。àtrous小波附加法将全色图像的空间细节全部注入多光谱图像，方差、平均梯度最大，空间质量最好，但它缺乏方向信息，不能从不同方向选择全色图像有效细节信息，光谱扭曲度最大，尤其应用于地物识别将存在严重问题；文献[9]和文献[10]均采用多尺度多方向分辨率分解，但是由于低频部分均采用加权法，造成了一定的光谱失真，空间分辨率也没有很大提高。本文算法所得融合结果的光谱扭曲度最小，方差、平均梯度也有较好的提高，相关系数最大，很大程度上保留了光谱信息，且空间细节也很丰富，图像较其他算法清晰，无论是从视觉效果还是从客观评价指标上较其他方法均得到提高。由于本文算法中也使用了非下采样方向滤波器组，数据冗余量大，且需要特征量积的计算，耗时较长，但相比文献[9-10]时间约增加了7%，并没有太多加大其运算的复杂性，且获得的融合图像质量最优。

5 结论

本文充分利用àtrous小波变换和NSCT变换各自的优点，补其不足，将二者相结合得到基于对àtrous小波-NSCT变换，以达到对图像进行多尺度，多方向分解。融合规则首先依据特征量积和决策因子抽取全色图像各层各方向细节信息，然后将其进行逆变换得到的有效高频细节面注入多光谱图像I分量，经IHS反变换得融合图像。实验结果表明，在运算复杂度允许的范围内，最终所得的融合图像在尽可能保持光谱信息的同时，有效地增强了空间细节信息，均优于àtrous小波附加法、IHS-NSCT变换法，基于非下采样方向滤波器组融合法，该方法有效、可行。

[1]黄海东，王斌，张立明.一种基于非下采样Contourlet变换的遥感图像融合方法[J].复旦学报，2008，47（1）：124-128.

[2]Zhang Z，Blum R S.A categorization of multiscale-decompositionbased image fusion schemes with a performance study for a digitalcamera application[J].Proceedings ofthe IEEE，1999，87（8）：1315-1326.

[3]Yang L P，Peng Y，Liu H M.Two-dimensional transient temperature field of finish rolling section in hot tandem rolling[J]. Journal of Iron and Steel Research（International），2004，11 （4）：29-33.

[4]焦李成，谭山.图像的多尺度几何分析：回顾和展望[J].电子学报，2003，31（12A）：1975-1981.

[5]da Cunha A L，Zhou J P，Do M N.The nonsubsampled contourlettransform：theory，design，and applications[J].IEEE Transactions on Image Processing，2006，15（10）：3089-3101.

[6]Núňez J，Otazu X，Fors O，et al.Multiresolution-base image fusion with additive wavelet decomposition[J].IEEE TransactionsonGeoscienceandRemoteSensing，1999，37（3）：1204-1211.

[7]Gonzalez R C，Woods R E.Digital image processing[M].2nd ed. New York：Prentice-Hall，2003：105-107.

[8]刘哲，郝重阳，冯伟，等.一种基于小波系数特征的遥感图像融合算法[J].测绘学报，2004，33（1）：53-57.

[9]Chu Heng，Teng De-gui，Wang Ming-quan.Fusion of remotely sensed imagesbased on subsampled contourlettransform and spectralresponse[C]//Urban Remote Sensing Joint Event.Shanghai：[s.n.]，2009：1-5.

[10]李俊峰.非下采样方向滤波器组在遥感图像融合中的应用[J].中国图形图象学报，2009，14（10）：2047-2053.

YANG Jianhui,BAI Chao

College of Information Science and Engineering,Yanshan University,Qinhuangdao,Hebei 066004,China

A fusion scheme for multispectral image and panchromatic image is proposed,based on Intensity,Hue,and Saturation （IHS）transform and Nonsubsampled Directional Filter Bank（NSDFB）included in nonsubsampled contourlet transform which provides a full shift-invariant directional multi-resolution trait,combined with the superiority of àtrous transform.In view of the fusion rule of the traditional details injection method which causes larger spectral distortion,the characteristic product is chosen to express local image features for the high-frequency component obtained by the transform in this paper,and then the details of panchromatic image are extracted on the basis of the threshold of the decision-making factor,eventually effective high-frequency detail surface acquired by NSDFB inverse transform is attached to the component of multispectral image.The experimental results show that,the algorithm in this paper makes the spectral distortion minimum and makes correlation coefficient maximum,and improves the spatial detail quality largely in a variety of different performance index evaluations.

image fusion;nonsubsampled Contourlet transform;àtrous wavelet transform;characteristic product;decision-making factor

在IHS空间变换基础上，利用非下采样Contourlet变换中具有多方向性、平移不变性的非下采样方向滤波器组，并结合àtrous小波变换，实现了一种基于àtrous小波-NSCT变换的遥感多光谱图像和全色图像融合方法。针对传统的细节注入法融合规则会引起较大光谱失真，对变换所得的高频分量采用特征量积表达局部图像细节特征，依据决策因子阈值抽取全色图像细节信息，将经反方向滤波得到的有效高频细节面附加给多光谱图像分量。实验结果表明，在多种不同性能指标评价下，该算法得到的光谱扭曲最小，相关系数最大，同时空间细节质量也得到很好改善。

图像融合；非下采样Contourlet变换；àtrous小波变换；特征量积；决策因子

A

TP391.41

10.3778/j.issn.1002-8331.1107-0296

YANG Jianhui,BAI Chao.Remote sensing image fusion based on àtrous-NSCT transform.Computer Engineering and Applications,2013,49（5）：170-173.

杨建慧（1986—），女，硕士研究生，主要研究领域为遥感图像融合；白超（1986—），男，硕士研究生。E-mail：yangjianhui05@126.com

2011-07-14

2011-09-07

1002-8331（2013）05-0170-04

CNKI出版日期：2011-11-14 http://www.cnki.net/kcms/detail/11.2127.TP.20111114.0949.061.html