基于Curvelet和改进区域方差的遥感图像融合

栾 静， 殷 明， 于立萍， 白瑞峰， 水 珺

（合肥工业大学 数学学院，安徽 合肥 230009）

0 引 言

遥感图像的融合是利用数据间的互补性和冗余性，将多光谱图像和全色图像进行融合，使融合后的图像在保持原始光谱特性的同时尽可能增加图像的空间细节信息描述，既提高了遥感图像的质量，又有利于遥感图像的分类和目标识别等后续处理。目前关于多光谱图像与高分辨率图像的融合方法主要有HIS变换方法［1］、主成分分析法（PCA）［2］、基 于 张 量 积 离 散 小 波 变 换 方 法（DWT）［3］、基于Contourlet小波变换［4］及Curvelet变换方法［5］、改进的非下采样的Contourlet变换结合脉冲神经耦合的图像融合方法［6］、基于四元数小波［7］及文献［8］中的一些新型小波的融合方法。HIS变换方法得到的融合图像有较高的空间分辨率，但融合后图像的光谱信息损失严重；主成分分析法融合则会失去图像原有的物理特性，且实现运算量大、计算复杂度高，无法满足现在遥感图像融合的需求；Contourlet变换具有很好的方向信息，但同样不具有平移不变性；Curvelet变换是一种新的多尺度分析图像处理工具，它比小波变换更加适合分析二维图像边缘特征，具有很强的方向性。文献［9］采用Curvelet结合HIS变换的融合方法，用全色图像的高频分量替代多光谱图像的高频分量，但是忽略了全色图像低频分量所携带的信息，而且丢失了多光谱图像的高频分量所含的细节信息，从融合结果看会出现较严重的光谱失真和融合的图像对比度低；文献［10］采用了Contourlet变换和HIS变换相结合的融合方法，用亮度I分量的低频部分替代全色图像的低频分量作为新的低频系数，高频分量的融合方法采用最大值法得到新的高频系数，此融合方法不仅丢失了全色图像的低频信息，而且高频融合方法容易使源图像的冗余信息丢失，且在融合图像中带来一些人工信息。

根据以上分析及遥感图像的特点，为更大程度地提高图像的空间分辨率和光谱分辨率，本文提出一种HIS变换结合Curvelet变换的新融合算法对全色图像和多光谱图像进行融合，高频子带融合使用拉普拉斯能量和结合改进的加权平均算子，低频子带使用改进的区域方差加权分析法对全色图像和多光谱图像进行融合。实验表明：本文图像融合技术能够更充分地提取原图像的细节信息，使融合图像的边缘及轮廓更加平滑，而且提高了图像的整体对比度及清晰度，更好地保留了光谱信息。

1 Curvelet小波变换理论

Curvelet变换是一种新的图像融合的多尺度几何分析工具，由文献［11］在Ridgelet理论基础上首次提出，称为第1代Curvelet，其主要部分是Ridgelet变换和子带分解。第1代Curvelet变换与小波变换相比增加了一个方向参量，但是其需要子带分解、平滑分块、正规化和ridgelet分析等，并且Curvelet金字塔的分解会造成很大的冗余量。文献［12］提出了实现更简单、快速的第2代Curvelet变换，它继承和发展了小波分析良好的空域和频域的局部特征，优点是在细尺度下各特征高度各向异性，能更好地逼近曲线和直线，且能很好地稀疏表达图像，使信号能量集中，在描述图像的边缘细节和纹理集合特征上有更好的优势。相对于适合描述图像几何特征的小波变换，Curvelet变换更适合图像处理，在图像融合中比传统的小波能更好地提取和描述图像的特征，为融合图像保留更多的原始数据［13］。基于Curvelet变换的图像变换流程如图1所示。关于第2代Curvelet的理论详见文献［14］。

图1 Curvelet分解与合成

2 Curvelet变换和HIS相结合的方法

2.1 基于Curvelet变换域的基本框架

基于Curvelet变换的图像融合算法如图2所示，主要步骤如下：

（1）对多光谱图像进行HIS变换，分别得到I、H、S分量。

（2）对全色图像与I分量进行直方图匹配，对匹配后的全色图像Pan选取窗口大小为5×5的均值滤波，然后和I分量执行SFIM得到新的I分量，即

其中，Panmean为对Pan均值滤波后的图像；Inew为最后得到的新的I分量。

（3）对新的亮度分量I和全色图像Pan进行Curvelet变换，分别获得其高频和低频分量。

（4）对低频系数采用改进的区域加权方差进行融合，对高频系数采用拉普拉斯能量和“加权平均”算子进行融合。

（5）对融合后的系数采用Curvelet逆变换进行重构。

（6）逆HIS变换，得到融合图像。

图2 基于Curvelet变换的图像融合算法

2.2 低频子带融合规则

多光谱图像的亮度分量I与全色图像经过Curvelet变换后得到的低频分量是图像的近似部分，包含了主要能量。目前对低频系数的处理大多采用平均规则［15］，此方法虽然实现简单，但在一定程度上降低了图像的对比度，造成源图像有用信息的丢失，从而使光谱严重失真。对于低频系数的融合要尽量保持图像的光谱信息，增强整体图像的对比度，故本文低频系数融合采用改进的区域方差加权分析法。文献［16］采用的区域方差取最大值的融合方法，在图像相应像素点局部区域方差相差较大时具有很好的融合效果，但在局部区域方差相差不大时，该方法会丢失图像的有用信息。为了解决这个问题，本文提出了一种带阈值T的区域方差加权融合方法，且在方差相差较小时定义一种和阈值相关的加权系数进行融合，此方法能更好地获取2幅图像的有用信息。低频系数融合规则如下：

设αk（i，j）（k＝1，2分别表示待融合的2幅图像A和B）表示第k个图像（i，j）处的系数值，μk（i，j）表示以（i，j）为中心的3×3邻域均值，（i，j）表示3×3邻域方差，即

（1）根据方差公式分别对源图像A和B计算3×3区域的方差（i，j）和（i，j）。

（2）定义dif＝｜ω1－ω2｜，当dif≥T时位置（i，j）处低频分量融合系数αF（i，j）求解方法为：

（3）当dif＜T时，定义ω＝［1－（1－dif）／（1－T）］／2，故位置（i，j）处低频分量融合系数αF（i，j）求解方法为：

2.3 高频系数的融合

经Curvelet变换以后得到的高频系数包含图像的细节信息，如边缘、轮廓等。目前多数高频系数融合都采用高频系数绝对值、局部能量或局部方差最大的融合规则。当源图像被噪声污染时，噪声的信息量或能量也会被误当作高频特征被保留，而且“绝对值最大”的方法易使源图像的冗余信息丢失，且在融合图像中带来一些“人工信息”。文献［17］中使用拉普拉斯能量和算子在融合算法上直接取最大值，当源图像的拉普拉斯能量和相差不大时，采用最大值法会丢失一部分细节信息。因此本文采用一种结合拉普拉斯能量和与改进的加权平均算法来融合高频系数，此方法考虑了区域中心像素对上下、左右、对角邻域点之间的相关性，且在融合方法上设定了阈值M结合“加权平均”。此方法较好地避免了当源图像拉普拉斯能量和相差不大时易丢失数据的缺点，能捕获较多源图像的细节信息，增强了图像的清晰度和分辨率，获得更好的视觉效果。拉普拉斯（NML）能量和算法如下：

其中，NMLl，k（i，j）为l尺度k方向上（i，j）位置的拉普拉斯能量和；Fl，k（i，j）为l尺度k方向上（i，j）的系数；step为系数间的可变间距。

改进的拉普拉斯能量和（NMSL）定义为：

其中，M为区域窗口，大小为（2M＋1）×（2N＋1）。经实验采用3×3的窗口，权值矩阵ω为：

根据改进的拉普拉斯能量和算子公式求出源图像A和B的 NSML（i，j）和 NSML（i，j），然后计算：

令D＝｜NSML（i，j）－NSML（i，j）｜，当D≥M时，高频系数的融合为：

当D＜M时，高频系数融合为：

3 实验结果及分析

3.1 客观评价指标

平均梯度（AG）定义为（13）式。平均梯度反映了图像的清晰程度，还反映出图像中微小细节反差和纹理变换特征。平均梯度越大，图像层次越多，也越清晰。

其中，ΔxF（i，j）、ΔyF（i，j）分别为F（i，j）在x、y方向上的一阶差分。

标准差std定义为：

其中，M、N为图像的大小；F（i，j）为图像在（i，j）处的像素值；μ为其均值。标准差反映了图像灰度相对于平均亮度的离散情况，标准差越大，则灰度分级越分散。

均值mean定义为：

对一副图像来说，均值反映了图像的平均亮度，如果均值适中则表明视觉效果良好。

信息熵entropy定义为：

其中，L为图像的灰度级总数；pi为灰度值是I的像素的概率分布。熵越大，说明融合后的图像信息增加得越多，所含图像信息更丰富。

3.2 实验结果与融合评价

为了说明本文方法的优越性，本文采用了HIS方法、PCA方法、HIS＋小波变换的方法进行了对比实验。第1组、第2组实验对比效果分别如图3、图4所示，第1组、第2组遥感图像实验的客观评价指标分别见表1、表2所列。

由图3、图4可以看出，图3c和图4e整体比较暗淡，对比度较低；图3d和图4d整体过于平滑；图3e和图4e纹理及边缘相对模糊；图3f和图4f中是采用文献［9］方法得到的融合图像，利用Curvelet变换，高频融合绝对值取大、低频采用光谱图像的亮度分量的融合规则；图3g和图4g是文献［10］方法得到的融合图像，利用Contourlet变换，高频用全色图像的高频系数、低频使用多光谱图像亮度分量的低频分量的融合规则。由图3、图4可知，本文方法比其他方法有更好的视觉效果和清晰度、对比度。

从表1、表2中可以看出，本文方法的平均梯度、像素均值、方差和信息熵都优于其他方法，图像的平均梯度、信息熵高表明有更高的空间分辨率；方差高则图像保证了较高的信息量；像素均值高表明图像的平均亮度相对较高、视觉效果较好。

图3 第1组在不同融合方法下的融合图像

图4 第2组在不同融合方法下的融合图像

表1 不同融合方法对第1组图像融合结果的比较

表2 不同融合方法对第2组图像融合结果的比较

4 结束语

针对遥感图像的特性及融合算法的缺点，本文提出了基于Curvelet变换的遥感图像融合方法，低频使用改进的区域方差加权、高频使用拉普拉斯能量和结合改进的加权平均算子的算法。实验表明，该方法综合了小波变换和HIS方法的优点，改进了融合高频和低频的算法，提高了融合图像的分辨率和对比度，更好地保留了源图像的光谱特性，获得了很好的图像边缘及纹理信息，更适合人眼视觉和机器感知的特性。

［1］ Choi M.A new intensity－hue－saturation fusion approach to image fusion with a tradeoff parameter［J］.IEEE Transactions on Geoscience and Remote Sensing，2006，44（6）：1672－1682.

［2］ Ehlers M.Multisensor image fusion techniques in remote sensing［J］.ISPRS Journal of Photogrammetry and Remote Sensing，1991，46（1）：19－30.

［3］ Yocky D A.Image merging and data fusion by means of the discrete two－dimensional wavelet transform［J］.Journal of Optical Society of America，Part A，1995，12（9）：1834－1841.

［4］ Do M N，Vetterli M.The contourlet transform：an efficient directional multiresolution image representation［J］.IEEE Transactions on Image，2005，14（12）：2091－2106.

［5］ 沙 浩，江 平.基于分类准则的非下采样Contourlet变换域图像去噪［J］.合肥工业大学学报：自然科学版，2013，36（7）：892－896.

［6］ 刘 慧，周可法，王金林，等.改进NSCT和IHS变换相结合的遥感影像融合［J］.中国图象图形学报，2014，19（2）：322－327.

［7］ 殷 明.四元数小波变换理论及其在图像处理中的应用研究［D］.合肥：合肥工业大学，2012.

［8］ 刘 卫.新型小波变换域图像去噪及融合算法研究［D］.合肥：合肥工业大学，2013.

［9］ Valizadeh S A，Ghassemian H.Remote sensing image fusion using combining IHS and curvelet transform［C］／／International Symposium on Telecommunications.IEEE，2012：1184－1189.

［10］ Huang D，Yang M.SAR and multi－spectral images fusion based on contourlet and HIS transform［C］／／2010 6th International Conference on Wireless Communications Networking and Mobile Computing.IEEE，2010：1－4.

［11］ Candès E J，Donoho D J.Curvelet：a surprising effective non－adaptive representation for objects with edges［M］.Nashville，TN：Vanderbilt University Press，2000：1－10.

［12］ Candès E J，Donoho D L.New tight frames of curvelets and optimal representations of objects with piecewiseC2singularities［J］.Communications on Pure and Applied Mathematics，2004，57（2）：219－266.

［13］ 路雅宁，郭 雷，李晖晖.基于曲波活性测度的SAR与多光谱图像融合［J］.计算机应用研究，2012，29（11）：4360－4363.

［14］ Candès E，Demanet L，Donoho D，et al.Fast discrete curvelet transforms［J］.Multiscale Modeling and Simulation，2006，5（3）：861－899.

［15］ 刘成云，常发亮，刘春生，等.区域特征动态加权的IHS小波遥感图像融合［J］.计算机工程，2012，38（8）：198－200.

［16］ Wang Enjun，Wu Qing，Chu Xiumin，et al.Research on road image fusion enhancement technique based on wavelet transform［C］／／2008IEEE Vehicle Power and Propulsion Conference.IEEE，2008：1－5.

［17］ Tian H，Fu Y，Wang P G.Image fusion algorithm based on regional variance and multi－wavelet bases［C］／／2010 2nd International Conference on Future Computer and Communication，Vol 2.IEEE，2010：792－795.