结合HIS和小波变换的自适应遥感影像融合

王阿川，陈舒畅，王学良



结合HIS和小波变换的自适应遥感影像融合

王阿川，陈舒畅，王学良

( 东北林业大学 信息与计算机工程学院，哈尔滨 150040 )

多源遥感影像融合中，通常不同地物区域对光谱特征和空间细节信息的要求有所不同。针对该特点，提出了一种IR(自适应半径搜索)显著性分析模型，实现了对多源遥感影像显著性区域和非显著性区域的识别与划分。结合HIS与小波变换融合算法，提出了改进的自适应平均梯度加权HIS融合方法，实现了对道路、农田、居民区等显著性区域的融合，更好的保留了其丰富的空间细节信息；同时提出了HIS+WT变换的融合方法，实现了对山地、林地等非显著性区域的融合，保留了较多的光谱信息。以此实现了分区域的自适应遥感影像融合。实验结果表明，本文方法能够使融合后的遥感影像既能保持较高的空间细节表现能力，又能很好地保留其光谱信息。对农业科学、森林规划以及今后森林遥感影像分类、识别等研究提供了一定的理论基础与应用价值。

遥感影像融合；显著性分析模型；HIS变换；小波变换

0 引 言

多源遥感影像融合是卫星遥感应用的重要环节，在环保、农业科学以及森林规划等诸多领域都有着广泛而深入的应用。森林遥感影像融合中，一般全色影像(PAN)的分辨率较高，通常较为清晰且空间细节信息丰富，但光谱分辨率较低[1]。而多光谱影像(MS)则表现为光谱信息丰富，但空间分辨率较低。因此利用相关影像融合技术将两者融合可以有效的消除冗余，实现空间细节与光谱信息的优势互补，使得融合后的影像既保持较高的空间细节信息又能够保持较好的光谱信息。

常用的融合方法有主成分分析(PCA)方法、HIS方法、相关系数法、Brovey方法等。文献[2]提出了一种平均与选择相结合的小波变换融合方法；彭双云等人提出了一种自适应的HIS遥感影像融合方法，在HIS反变换时自适应获得三分量系数完成融合过程[3]；邓洁等人则将HIS变换与WT变换相结合实现影像的融合[4]。但这些方法都只是针对整幅卫星影像采取整体相同的融合方法，忽视了影像自身局部特征对融合效果的影响。

森林遥感影像融合中，不同的区域对空间细节信息和光谱特征的要求是有所差别的，例如农田、居民区等区域纹理、边缘信息更为丰富，通常需要保留较多的空间细节信息；而山地、林地等区域则更为重视光谱信息的丰富程度[5]。但目前的影像融合方法，大多忽视了这种差异信息，难以针对区域的不同需求给出相适应的融合策略。

针对该问题，本文提出了一种IR显著性分析模型，实现了对多源遥感影像显著性区域和非显著性区域的识别和划分。并结合HIS与小波变换融合算法，实现了对遥感影像的分区域自适应融合。针对显著性区域，提出了一种自适应平均梯度加权的HIS融合策略，以保留更好的空间细节信息；对山地、林地等非显著性区域采取HIS+WT的融合策略，以保留更多的光谱信息。实验结果表明，本文提出的自适应遥感影像融合方法，使融合后的多源遥感影像在保留了必须的空间细节表现能力的同时，更好的保留了光谱信息。

1 遥感影像显著性分析与识别

目前最为流行的显著性分析方法是Itti模型，其依据人眼对图像的感知过程，利用中央-周边差将多个特征图转化为一幅显著图，主要基于亮度、色度、方向三个尺度进行高斯金字塔提取显著性区域。后Harel等人又提出了基于图的视觉显著性GBVS方法，特征提取过程与Itti方法相似，但显著图生成用Markov链完成，是一种混合型分析策略[6]。但是GBVS模型仍存在一个问题，即使用固定半径圆来提取区域，这一点与人眼视觉注意并不吻合[7-8]。当显著区域面积小于圆的面积时，所提取的区域包含过多的无用信息，降低了检测精度；而当显著区域大于圆面积时，无法将其全部包含在内，因此需要增加圆的数量，但也因此会增加计算的复杂度。另外，如果显著区域数量过多，所选区域也许会覆盖整幅图像，从而失去了显著性提取的意义。因此本文对GBVS算法进行了改进，增加了自适应半径搜索策略，提出了一种新的显著性分析算法(IR显著性分析算法)，以获取显著性区域的精准信息，在保留了GBVS模型优点的同时提高了检测精度。

1.1 IR显著性分析算法

IR显著性分析模型的实质是在GBVS模型基础上，增加了自适应半径搜索圆的剔除策略，即：

式中：[ ]代表符合方括号中条件的像素个数，()表示以为半径的圆形区域，(,)表示对应像素点灰度值，代表阈值(初始设为影像灰度均值)。0<<1，表示在半径范围内满足条件的像素点的比例。当= 1时，所有的像素点灰度值均大于，当0<<1时，有部分的像素点灰度值小于，说明存在部分的非显著区域。其具体实现步骤如下：

1) 利用GBVS模型获取到初始各个尺度的特征图，分别为亮度特征图、颜色特征图、方向特征图；2) 设定半径，初始值通常设为影像最小边长的1/2，并设定一个显著比阈值(本文中取值0.95)；3) 按照上式计算显著比，若<，则将半径减小1，即=-1；4) 重复2)~3)过程，直到显著比≥，此时为最终确定的半径，至此完成各尺度下显著区域的检测。

1.2 显著图生成算法/p>

获得不同尺度的特征图后，需要将这些特征图整合成一幅完整的显著图，整合过程如下：

1) 将每个像素作为节点，节点之间的边为任意两节点的差异性，并以两节点间的对比度差及欧氏距离作为边权重，建立一个无向图，如下式：

2) 建立一个权重矩阵并归一化后形成Markov转移矩阵，随机初始化一个维数与像素节点数目相同的向量，使用转移矩阵对该向量进行多次迭代，最终收敛到一个平衡状态，获得平衡图，并将平衡图拉伸至原图像大小，得到单一尺度特征图。

3) 所有尺度特征图进行叠加，得到最终显著图。

1.3 显著区域识别算法

利用阈值迭代法进行显著区域的识别，获取显著区域模板。迭代步骤如下：

2 结合HIS和小波变换的自适应遥感影像融合算法

针对遥感影像自身特点，采取自适应分区域融合策略，利用IR显著性分析模型对全色遥感影像进行显著性分析，获得影像的显著性区域和非显著性区域，将显著性区域定义为感兴趣区域ROI，非显著性区域定义为NROI，针对两种区域分别采取不同的融合方法，以达到不同的融合目的。对居民区、道路、农田等ROI区域，提出了改进的自适应平均梯度加权的HIS融合方法，使其空间细节信息得到充分地保留；而针对山地、林地等NROI区域采用HIS+WT的融合方法，在保留必要空间细节信息的同时更好的保留其光谱信息。图1给出了本文自适应遥感影像融合的框架。

2.1 感兴趣区域融合策略

针对感兴趣区域，在原始HIS方法基础上进行了改进，提出了一种自适应平均梯度加权的HIS融合算法。

根据HIS理论可知，融合时首先提取多光谱影像的分量，与全色影像(Q)进行直方图匹配，得到新，与、分量进行HIS反变换，其中亮度计算式：

平均梯度反应了一幅影像的清晰程度，平均梯度越大影像越清晰，影像质量越好。因此将平均梯度融入HIS变换中来确定的值是一个有效的办法。标准差反映了像素点相对于图像灰度均值的离散程度，因此引入标准差作为补充量。具体实现步骤如下：

1) 提取多光谱影像的、、三分量影像；2) 分别计算、、三分量的平均梯度值AV()；以各分量影像与全色影像标准差S的差值绝对值作为补充量，根据式(6)～式(7)计算权系数：

2.2 非感兴趣区域融合策略

HIS模型是一种彩色模型，定义了三个互不相关又容易预测的颜色心理属性，即色度、亮度和饱和度[3]。HIS变换能有效地从RGB影像中分离空间和光谱信息，这种表示方法更接近人对图像的感知机理。大量实验证明HIS变换融合方法可以较好的保留全色影像的空间细节信息。HIS方法虽然可以保留较好的空间细节信息，但是对于多光谱影像来说仍会在一定程度上存在较大的光谱畸变。小波变换的融合方法能够充分利用影像分辨率特性，较好的抑制光谱畸变。然而其却舍弃了全色影像的低频分量，在结果中容易形成分块效应[4]。

因此本文结合了HIS变换与小波变换的优势。针对非感兴趣区域采用HIS+WT的融合方法，在减少了光谱扭曲的同时保留了较多的空间细节信息。流程图如图2所示，算法步骤如下：

1) 首先将多光谱遥感影像分量与全色遥感影像进行层小波分解，其中高频系数主要作用于影像的空间细节信息，低频系数则主要应用在光谱信息中；2) 将多光谱影像分量的低频子带与全色遥感影像的高频子带进行融合；3) 对融合后的小波系数进行小波逆变换，得到初始融合结果PIG-WT图；4) 提取PIG-WT图的新分量与MS的、分量进行HIS反变换，得到NROI融合结果。

2.3 多源遥感影像自适应融合算法

1) 提取多光谱影像MS的、、分量；

2) 利用IR显著性分析模型对全色影像PAN进行显著性分析得到显著图，并利用迭代阈值法对显著图进行二值化分割，得到显著区域模板，记为；

3) 提取MS影像的色度()、亮度()、饱和度()三分量信息，分别计算、、的平均梯度，利用式(5)~式(7)完成自适应的平均梯度加权HIS融合算法，得到感兴趣区域模板，记为；

4) 将MS影像的分量与PAN影像进行三层小波分解，并将MS影像分量的低频子带与PAN影像的高频子带进行HIS融合，对融合后的小波系数进行小波逆变换，得到初始融合结果PIG-WT图；

for(=1;<=row;++)

{ for(=1;<=col;++)

3 实验结果与评价

3.1 IR模型提取显著性区域评价

为了验证IR显著性分析模型的有效性，将其与传统Itti模型、GBVS模型进行了对比实验。

本次实验在HP LE2001w，内存2 G，Win 7 (32位)操作系统下完成，算法在Microsoft Visual Studio 2010 C++、Matlab7上编程实现。实验数据选取了来自不同卫星SPOT(高分辨率)和TM(低分辨率)的不同区域、不同地物的两组遥感影像，图3分别给出了遥感影像PIG1与PIG2的高分辨率全色影像及低分辨率多光谱影像，其中PIG1为某地山川遥感影像图，PIG2为四川省某县林业影像图。

图4所示为三种显著性分析算法针对PIG1和PIG2的全色影像进行处理所获得的显著图，其中(a)和(d)表示用原始Itti模型进行提取的结果，(b)和(e)表示用GBVS模型进行提取的结果，(c)和(f)分别表示用本文改进的IR显著性分析模型对两组遥感影像进行提取的显著性结果。明显可以看出，用本文方法提取的显著性区域更为精准，效果更为直观。图5给出了图4中的显著性结果经过二值化提取后获得的显著区域模板，对比发现，利用本文方法获取的显著性模板轮廓更为清晰。

3.2 遥感影像融合质量评价

遥感影像融合效果的评价分为主观评价和客观评价[9-10]。如图6、图7所示，分别提取了两组遥感影像的显著性区域和非显著性区域，并针对两组影像的不同区域用不同的指标进行评价。

1) 对于显著性区域利用平均梯度(AVG)、信息熵(En)、标准偏差(RMSE)等方法进行评价，表1给出了影像PIG1和PIG2的融合结果。对PIG1，本文方法AVG以及En值分别为5.524 2和1.485 5，较其他方法大，说明其空间细节信息得以充分保留；标准偏差反映了影像的光谱畸变程度，标准偏差值越小越好，本文方法标准偏差值较小为21.294 7，说明其光谱畸变小。

2) 对于非显著性区域利用AVG、RMSE和联合熵(Joint-En)进行评价，Joint-En越大说明融合后影像光谱信息更丰富，对PIG1，本文方法融合后影像AVG值最大为15.972 3，RMSE值最小为21.122 1，Joint-En值最大为1.376 2，说明本文方法融合后影像在保留了必要空间细节信息的同时更好的保留了光谱信息。

同理，影像PIG2的融合结果，从表中数据也可以看出利用本文方法，显著性区域可以将空间细节信

息得以充分保留，非显著性区域可以更好的保留光谱信息。

图8给出了基于PCA变换方法、基于传统HIS变换法、基于传统小波变换算法以及本文改进的融合算法针对PIG1和PIG2的主观融合效果图。从图8的评价结果可以看出，主成分分析融合方法得到的图像亮度较低，并且清晰度、对比度和信息的丰富程度较低，较原始影像光谱变化较大；基于HIS融合方法得到的影像较符合人眼视觉特性，清晰度和对比度以及信息丰富程度明显提高，但光谱畸变有所减少；基于WT的融合方法则可以较好的降低光谱扭曲的变化，但是空间细节信息的保持远低于其他方法；本文方法则弥补了上述方法的不足，在清晰度、对比度、信息丰富程度上保持较好水平，并且能够减少光谱畸变，提升影像判读能力。表2分别表示了上述四种算法针对PIG1和PIG2最终融合结果的客观评价。

4 结 论

本文针对多源遥感影像融合中，不同地物区域对空间细节信息和光谱信息需求不同的问题，在原始GBVS方法基础上，提出了一种IR显著性分析模型，实现了多源遥感影像显著性区域和非显著性区域的识别与划分。结合了HIS与小波变换融合算法，提出了改进的自适应平均梯度加权HIS融合方法，实现了对道路、农田、居民区等显著性区域的融合，以保留更多的空间细节信息；同时提出了HIS+WT变换的融合方法，实现了对山地、林地等非显著性区域的融合，以保留更多的光谱信息。以此实现了分区域的自适应遥感影像融合。并进行了本文融合方法与传统PCA变换法、传统HIS融合法、传统小波融合法的对比实验，实验结果表明，本文方法在清晰度、对比度、信息丰富程度等空间细节能力保持良好的前提下，可以更好的保留光谱信息表现能力，实现了分区域融合的目标。解决了多源遥感影像融合中不同区域对空间细节信息和光谱信息要求不同的问题，对农业科学、森林规划以及今后森林遥感影像分类、识别等研究提供了一定的理论基础与应用价值。

[1] 卢炎. 多源遥感影像融合方法研究 [J]. 吉林大学学报：地球科学版，2007 (增1)：176-179.

LU Yan. The Research on Multi-Source Remote Sensing Images Fusion Technology [J]. Journal of Jilin University：Earth Science Edition，2007 (S1)：176-179.

[2] 晁锐，张科，李言俊. 一种基于小波变换的图像融合算法 [J]. 电子学报，2004，32(5)：750-753.

CHAO Rui，ZHANG Ke，LI Yanjun. An Image Fusion Algorithm Using Wavelet Transform [J]. Acta Electronica Sinica，2004，32(5)：750-753.

[3] 彭双云，杨昆，李石华，等. 一种自适应IHS的遥感数据融合方法研究 [J]. 湖北农业科学，2014，53(19)：4716-4719.

PENG Shuangyun，YANG Kun，LI Shihua，. Fusion Method of Remote Sensing Data Based On Adaptive IHS Transform [J]. Hubei Agricultural Sciences，2014，53(19)：4716-4719.

[4] 邓洁，夏春林，王润芳. 基于HIS变换和WT变换的遥感影像融合 [J]. 测绘与空间地理信息，2009，32(1)：107-110.

DENG Jie，XIA Chunlin，WANG Runfang. Remote Sensing Image Fusion Based on IHS Transform and Wavelet Transform [J]. Geomatics & Spatial Information Technology，2009，32(1)：107-110.

[5] 张立保，章珏. 基于显著性分析的自适应遥感图像融合 [J]. 中国激光，2015，42(1)：01-08.

ZHANG Libao，ZHANG Jue. A New Adaptive Fusion Method Based on Saliency Analysis for Remote Sensing Images [J]. Chinese Journal of Lasers，2015，42(1)：01-08.

[6] 朱丹，王斌，张立明. 基于直线邻近平行性和GBVS显著性的遥感图像机场目标检测 [J]. 红外与毫米波学报，2015，34(3)：375-384.

ZHU Dan，WANG Bin，ZHANG Liming. Airport detection based on near parallelity segments and GBVS saliency [J]. Journal of Infrared and Millimeter Waves，2015，34(3)：375-384.

[7] 张立保，李浩. 基于自适应半径搜索的图像感兴趣区域检测 [J]. 中国激光，2013，40(7)：01-05.

ZHANG Libao，LI Hao. Detection of Interest Image Region Based on Adaptive Radius Search [J]. Chinese Journal of Lasers，2013，40(7)：01-05.

[8] 孙路，毕笃彦. 基于信息熵的图像分割阈值迭代改进算法 [J]. 计算机应用与软件，2008，25(10)：225-238.

SUN Lu，BI Duyan. The Improved Iterative Algorithm Based on Entropy for Mage Threshold Segm Entation [J]. Computer Applications and Software，2008，25(10)：225-238.

[9] 王乐，牛雪峰，魏斌. 遥感影像融合质量评价方法研究 [J]. 测绘通报，2015(2)：77-79.

WANG Le，NIU Xuefeng，WEI Bin. Study on Quality Evaluation Methods for Remotely Sensed Images Fusion [J]. Bulletin of Surveying and Mappin，2015(2)：77-79.

[10] 宋梦馨. 结合Contourlet和HSI变换的组合优化遥感图像融合方法 [J]. 计算机辅助设计与图形学学报，2012，24(1)：83-88.

SONG Mengxin. A Combinatorial Optimization Method for Remote Sensing Image Fusion with Contourlet and HSI Trans-form [J]. Journal of Computer-Aided Design & Computer Graphics，2012，24(1)：83-88.

Adaptive Remote Sensing Image Fusion Based on HIS and Wavelet Transform

WANG A¢chuan，CHEN Shuchang，WANG Xueliang

( Information and Computer Engineering College, Northeast Forestry University, Harbin 150040, China )

In the fusion of multi-source remote sensing image, for different ground region, usually the characteristics of spectral features and spatial detail information are different. In view of the problem, a new salient analysis model called IR (adaptive-radius-search) salient analysis model was proposed, which realized the identification and classification of the salient regions and non salient regions. Combined with HIS and wavelet transform fusion algorithm, an improved adaptive HIS fusion method was put forward based on average gradient weighting, which achieved the fusion of the road, farmland, residential area and other salient regions, and the method had better keeping the spatial details information of its abundant space. Meanwhile, the fusion method of HIS+WT transform was proposed, which realized the fusion of mountain, forest land, and other areas are not salient, retaining more spectral information. The method completed the adaptive remote sensing image fusion of different regions. The experimental results show that the proposed method of the paper could guarantee the fusion image of both to maintain high spatial detail performance ability, but also to retain good spectral information. The proposed method of the paper provides certain theoretical basis and application value for the research on agricultural science, forest planning and future forest remote sensing image classification, identification and so on.

remote sensing image fusion; salient analysis model; HIS transform; wavelet transform

1003-501X(2016)08-0076-08

TP751.1

A

10.3969/j.issn.1003-501X.2016.08.013

2015-11-17；

2016-01-07

黑龙江省自然科学基金资助项目(C201414)；哈尔滨市优秀学科带头人基金项目(2014ＲFXXJ040)

王阿川(1964-)，男(汉族)，黑龙江哈尔滨人。教授，博士生导师，主要研究方向：模式识别、计算机视觉、3S技术等。
E-mail: wangca1964@126.com。

陈舒畅(1990-)，女(汉族)，吉林长春人。硕士研究生，主要从事遥感影像处理等方面的研究。E-mail：lgjc1020@163.com。