基于区域特征的高光谱与全色图像NSCT域融合方法

杨 桄，张筱晗,2，张俭峰，黄俊华,3



基于区域特征的高光谱与全色图像NSCT域融合方法

杨 桄1，张筱晗1,2，张俭峰1，黄俊华1,3

（1. 空军航空大学，吉林 长春 130022；2. 海军航空工程学院，山东 烟台 264001；3. 75830 部队，广东 广州 510510）

针对高光谱图像解译需求，提出了一种基于目标检测理论的NSCT域高光谱图像与全色图像融合方法。首先对高光谱图像进行RX异常目标检测，得到目标背景分离图像；然后对参与融合的波段图像进行无下采样轮廓波分解，得到不同分辨率的低频子带和多方向的带通子带；对于背景区域的低频子带系数和高频子带系数，分别采用加权平均和平均梯度自适应加权的融合策略，对于目标区域，则根据不同特征采用区域方差自适应加权的低频系数融合方法和区域方差取大的高频系数融合方法；最后进行NSCT逆变换得到融合图像。实验结果表明，本文提出的融合方法能够有效提高高光谱图像的目视效果，突出目标与背景区域的差异，有利于目视解译工作的进行。

高光谱；图像融合；目标检测；NSCT；区域特征

0 引言

高光谱遥感异常检测可以在没有先验光谱信息的前提下对异常目标和背景进行分离，利用高光谱图丰富的光谱信息完成目标初步检测[1]，但是由于光谱库尚不完备，要对异常信息进行进一步分析，人眼识别、人机交互解译仍是一条重要途径。但高光谱图像波段众多，传感器能量有限又导致空间分辨率较低，降低了图像的可观性。因此，研究高光谱图像的融合技术很有必要。所谓高光谱图像融合，是指对高光谱图像去除冗余、合并互补信息，以利于人工解译和后续处理[2]。将高光谱图像与空间分辨率较高的全色图像进行融合，不仅能够将全色图像优良的空间特性赋予高光谱图像，还将高光谱丰富的光谱信息赋予全色图像，是提高两类图像可观性的有效途径[3]。

从融合方法上看，图像融合方法主要包括以主成分分析（PCA）为代表的特征变换方法、以HIS变换为代表的颜色空间变换方法、以小波变换为代表的基于时-频变换的方法等[4-5]。从融合形式看，图像融合可以分为基于像素、基于窗口、基于区域3种类型[6-7]。基于像素的融合没有考虑图像中各像元间的关联性；基于窗口的融合在窗口选择时较为机械；而基于区域的融合首先根据需要将图像划分不同的感兴趣区域，然后根据不同区域的特征从像素或窗口级别来设计针对性的融合规则，因此能够取得最佳融合效果。将区域特征引入图像融合在很多文献里已有了成功的应用。文献[8]基于图论和FCM聚类（Fuzzy C-Means Clustering，FCM）方法分别对红外图像和可见光图像进行聚类分析得到联合区域分割图，然后根据区域能量比和区域清晰度比两个区域特征度量算子指导低频和高频图像的融合；文献[9]首先将序列红外图像分割为目标区域、背景区域以及灰度区域，并将分割结果映射到可见光图像中，针对不同区域采用不同融合规则；文献[10]则定义了区域均值比量测算子对SAR图像进行区域划分，然后采用NSCT对降斑SAR图像和全色图像进行多尺度、多方向分解，并在此基础上进行区域融合。

基于上述问题和思路，本文将区域思想引入高光谱图像融合。首先利用高光谱异常检测将高光谱图像分为目标区与背景区，然后选择高光谱融合波段，对参与融合的图像进行NSCT变换，根据不同区域、不同系数的特点，采用不同的融合规则得到融合图像的低频、高频系数，最后进行NSCT逆变换得到融合结果。实验结果表明，本文方法能够很好地综合两类图像的优点，同时突出潜在目标与背景的差异，有利于目视解译的进行。

1 RX异常检测算法

高光谱异常检测能够在没有先验光谱信息的前提下直接利用高光谱图像像元间的光谱差异来判断像元属性。Reed等提出的RX算法被公认为一种经典的异常检测基准算法，RX及其改进算法在实践中得到了广泛的应用[11]。

RX算法的基本原理是假设高光谱图像背景服从局部高斯分布，通过以每一像元点为中心的双层窗口对整幅图像进行遍历，以局部背景参数估计的方式建立模型。双窗结构如图1所示。

图1 RX算法检测窗口模型

RX算子通RX()过下式来判断目标属性：

直接使用RX算法得到异常检测结果可能会存在噪声点，根据后续处理需要舍弃独立存在的“孤立”异常点。目前RX算法有多种改进型，能够大大提高检测精度。由于本文融合方法对异常检测精度要求不高，经典的RX算法便可满足后续处理要求，同时RX算子构造简单，减少了融合前处理所使用的时间。

2 非下采样轮廓波变换（NSCT）

小波变换作为Fourier变换的发展，已被广泛应用于数字图像处理领域。但是，小波变换只能反映信号的零维奇异性，在分析点的奇异性时是最优的[12-13]，而实际图像地物轮廓更多的表现为线的奇异性，因此小波变换并不是自然二维图像的最佳稀疏表达。后来有学者提出了Contourlet变换，将图像的多尺度和多方向分开进行；2006年A. L. Cunha等学者对Contourlet变换进行了改造，提出非下采样轮廓波变换[12]（Nonsubsampled Contourlet Transform，NSCT），采用了非下采样过程，使变换具有了平移不变性，更好地适应了图像融合算法的研究。

图2 NSCT变换示意图

与其他变换相比，NSCT有如下优点[13-14]：

1）NSCT具有很强的方向性，对图像边缘具有更好的表达能力；

2）NSCT在对图像处理时不但具有良好的多尺度、多方向和空间域、时间域的局部特性，还具有良好的平移不变性，可以消除图像奇异点附近容易引起的伪吉布斯现象；

3）分解后各子带图像与原图大小相同，特别适用于基于区域特征的融合。

3 基于目标检测的高光谱图像融合

3.1 算法步骤

1）预处理与图像配准。对高光谱图像进行校正、去噪等处理，去除水汽污染严重的波段；为实现高光谱图像和全色图像的像素级融合，还要对源图像进行图像配准，实现图像上各地物点的一一对应。假设选出波段图像参与融合，分别为1,2,…,I，全色图像设为I。

2）异常检测。对高光谱图像实施RX异常检测，将潜在目标与背景分离。

4）NSCT系数融合。将各波段图像NSCT低频、高频系数分别与全色图像NSCT系数进行融合。根据采用不同融合规则分别对不同区域不同系数进行融合，得到融合图像的NSCT各子带系数，具体方法见3.2节。

5）NSCT逆变换。根据融合得到的各波段的各级系数进行NSCT逆变换，得到空间分辨率提升的各波段融合图像。

3.2 融合规则

在制定融合规则时，要考虑低频图像近似信息、高频图像细节信息的特点，还要考虑背景区与感兴趣目标区域不同的融合需求。将目标检测得到的区域划分结果映射到各级子带图像中。首先进行背景区域的融合。

3.2.1 背景区域融合规则

对于背景区域，希望融合图像能够展示出各波段图像的综合特征，保留各波段图像的纹理信息，同时要避免个别噪声点的影响。

对于代表了原图大部分能量的低频子带，采取加权平均法即可满足要求。赋予各波段图像相同权重，不仅保留了各图像的特征，还大大减少了计算量。加权平均法公式如下：

高频系数代表了图像的细节信息，包括地物纹理、边缘等。在对高频信息进行融合时，应注重保留各波段图像的纹理细节。由于图像的细小反差与纹理可以用平均梯度来表述，因此在高频系数融合时采用平均梯度自适应加权的方法。平均梯度表达式如下：

但是，由于高频系数有正有负，自适应权重都为正，若几幅图像相应位置的高频系数异号，直接相加会导致系数相互抵消，从而导致信息的丢失，因此对加权融合公式进行改进，增加一个判断正负的条件，公式为：

3.2.2 目标区域融合规则

对于目标区域，在融合时希望尽量突出目标的特点，包括边缘、纹理、阴影等各种信息，并尽可能增大与背景的反差。考虑目标区中的元素的8邻域，会出现如图3所示的两种情况。

图3 目标区像元邻域示意图

中心像元表示目标区某元素，灰色部分代表邻域中的背景区元素，白色部分代表邻域中其余目标区像元。在对目标区域进行融合时要根据这两种情况分别进行处理。

由于区域能量能够反映图像该区域的整体亮度，对于代表了原图像绝大部分能量的低频系数，采用区域能量自适应加权的方法进行融合。但是对此处的“区域”进行重新划定，剔除邻域中属于背景的元素，得到目标区域能量表达式为：

由此得到权重系数：

对于高频系数，应重点突出目标与背景的差异。由于方差代表了一定区域内各像元灰度差异的大小，因此选择区域方差取大的方法进行高频系数的融合。对于情况1，中心像元邻域中包含背景区像元，由于希望突显中心像元与背景区域的差异，因此选择中心元素与背景区元素进行方差计算，方法如下：

对于情况2，中心像元邻域中不包含背景区像元，则直接计算区域方差，公式如下：

按照方差取大法的高频子带系数融合规则为：

4 实验结果分析

采用真实高光谱数据对本文方法进行验证。实验所用的高光谱数据为由美国AVIRIS成像光谱仪获取的圣迭戈海军基地图像，去除水汽污染严重的波段，剩余189个波段参与融合；全色图像取自经过配准的同一场景的谷歌地球卫星图像。在整幅图像中选取两幅大小为128×128的包含有飞机等小目标的图像（分别标记为图像1、图像2）进行实验。其中两组高光谱图像的第7波段图像及其对应的全色图像如图4、图5所示。对图像1、图像2实施RX异常检测并舍弃离散像元得到潜在目标与背景分离图如图6所示。

图4 图像1第7波段及全色图像

图5 图像2第7波段及全色图像

图6 RX异常检测结果图

实验中用到的NSCT变换，分解层数为3，从高分辨率层到低分辨率层，方向分解数分别为2、4、8，用到的两滤波器组分别为“9-7”、“pkva”。同时为对比本文方法，还仿真实现另外3种方法，其中方法一不采用区域融合、其余融合规则与本文方法一致，将其简称为NAM方法（Nonarea-feature Method）；方法二采用NSCT变换，低频系数利用平均法、高频系数利用绝对值取大法进行融合，简称NSCT方法[15]；方法三利用小波变换，其中低频系数采用加权平均法融合，高频系数采用绝对值取大法，简称DWT方法[16]。

利用本文方法以及其他3种方法得到各波段融合结果，其中第7波段融合结果如图7、图8所示。

图7 图像1融合结果图

图8 图像2融合结果图

下面对实验结果进行分析。首先进行主观评价。从视觉效果看，4种方法均能够提升高光谱图像的空间分辨率，说明基于多分辨率分析的融合方法适用于不同分辨率的图像进行融合。但是这4种方法得到的融合结果细节还是有区别的。如两组实验中，DWT方法得到的融合图像对比度、清晰度要低于NSCT方法得到的融合图像，说明NSCT变换对图像有着更细致的描述能力，基于NSCT变换的融合方法能够更好地综合图像的优良特性。此外，对目标检测算法提取出的潜在目标来说，利用本文方法得到的融合结果中目标与背景的差异更加突出，通过目视判读可以很方便地提取出目标信息。

为进一步对实验结果进行说明，计算融合标准差、平均梯度、信息熵、空间频率、图像清晰度以及光谱扭曲度等6个指标来对4种方法进行评价，综合反映融合结果图像的信息量、对比度、纹理细节信息、光谱信息保持度等信息。对得到的各波段融合灰度图像分别求取上述指标值并取均值作为客观评价结果。对两组数据4种方法得到的客观评价结果如表1、表2所示。

表1 图像1四种方法客观评价结果

表2 图像2四种方法客观评价结果

此外，为了进一步说明本文方法在突显目标与背景方面的差异，从目标和背景区域选取典型像元如图9所示，计算融合结果中各组分别来自目标和背景区域的典型像元A、B的光谱夹角（Spectral Angle Mapping, SAM）。其中光谱夹角介于0到p/2，夹角越大，说明两组光谱差异越大。统计两组数据得到的SAM值如图10所示。

图9 典型像元选取图

图10 融合图像典型像元SAM计算结果

对两组图像的4种融合结果进行客观评价，可以发现本文方法得到的图像在标准差、平均梯度、信息熵、空间频率、图像清晰度等各项指标表现均为最佳，这与图像的主观评价得到的结论一致。光谱扭曲度代表了融合图像与高光谱原始数据之间的差异，光谱扭曲度越低说明光谱信息保持的越好。其中，NAM方法融合结果图像的光谱扭曲程度最小，本文方法次之。由于在感兴趣目标区域融合时，为突显目标信息，在NSCT系数融合过程中可能会加大全色图像系数融合中占的比重，从而高光谱图像系数所占比重会相应降低。因此本文方法结果的光谱扭曲度指标较NAM方法会差一些。此外，通过对目标区像元与背景区像元的光谱角度值的对比，可以看出本文方法得到的融合结果中目标与背景像元差异最大，更加有利于目标解译以及后续的目标提取、识别等处理的进行。

5 结论

高光谱图像异常检测技术为基于区域的图像融合提供了良好的先决条件，而图像融合为目标检测提供进一步的处理手段。本文提出的基于区域特征的NSCT域高光谱与全色图像融合方法，充分利用了异常检测技术取得的成果，不仅能够保证融合效果，还可以提高融合图像的目视解译效果，具有很大的实际应用价值。

[1] 赵春晖, 李晓慧, 王玉磊. 高光谱图像异常目标检测研究进展[J]. 电子测量与仪器学报, 2014, 28(8): 803-809.

ZHAO Chunhui, LI Xiaohui, WANG Yulei. Research advance on anomaly detection for hyperspectral imagery[J]., 2014, 28(8): 803-809.

[2] 陈瀚孜. 高光谱图像融合算法研究[D]. 哈尔滨: 哈尔滨工程大学, 2008.

CHEN Hanzi. A research of the hyperspectral image fusion algorithms[D]. Harbin: Harbin Engineering University, 2008.

[3] Kim Y, Eo Y, Kim Y, et al. Generalized IHS-based satellite imagery fusion using spectral response functions[J]., 2011, 33(4): 497-505.

[4] 黄登山, 杨敏华, 姚学恒, 等. 顾及光谱特性的多光谱与全色影像HIS融合方法[J]. 测绘科学, 2011, 36(2): 97-100.

HUANG Dengshan, YANG Minhua, YAO Xueheng. A fusion method of multispectral images and panchromatic image based on HIS transform considering spectral characteristics[J]., 2011, 36(2): 97-100.

[5] 丰明博, 刘学, 赵冬. 多/高光谱遥感图像的投影和小波融合算法[J]. 测绘学报, 2014, 42(2): 158-163.

FENG Mingbo, LIU Xue, ZHAO Dong. A fusion method of hyperspectral and multispectral images based on projection and wavelet transformation [J]., 2014, 42(2): 158-163.

[6] 程俊兵. 基于与区域特性的图像融合算法研究[D]. 太原: 太原理工大学, 2013.

CHENG Junbing. Study on Image Fusion Based on NSCT and Regional Characteristics[D]. Taiyuan: Taiyuan University of Technology, 2013.

[7] 栾静, 殷明, 于立萍, 等. 基于 Curvelet和改进区域方差的遥感图像融合[J]. 合肥工业大学学报: 自然科学版, 2015, 38(9): 1220-1225.

LUAN Jing, YIN Ming, YU Liping. Remote sensing images fusion and improved regional based on curvelet transform variance weighting[J]., 2015, 38(9): 1220-1225.

[8] 陈旸, 覃征, 胡浩, 等. 基于快速区域划分的多焦点图像融合方法[J]. 清华大学学报: 自然科学版, 2010, 50(10): 1733-1780.

CHEN Yang, QIN Zheng, HU Hao. Multi-focus image fusion based on fast region segmentation[J].:, 2010, 50(10): 1733-1780.

[9] 刘坤, 郭雷, 陈敬松. 基于区域分割的序列红外图像融合算法[J]. 红外与激光工程, 2009, 38 (3): 554-558.

LIU Kun, GUO Lei, CHEN Jingsong. Sequence infrared image fusion algorithm using region segmentation[J]., 2009, 38 (3): 554-558.

[10] 叶传奇, 王宝树, 苗启广. 基于区域分割的NSCT域SAR与全色图像融合算法[J]. 系统工程与电子技术, 2010, 32(3): 609-615.

YE Chuanqi, WANG Baoshu, MIAO Qiguang. Fusion algorithm of SAR and panchromatic images based on region segmentation in NSCT domain[J]., 2010, 32(3): 609-615.

[11] Mehmood A, Nasrabadi N M. Anomaly detection in wavelet domain for long-wave FLIR imagery[C]//,,, 2010, 7696: 76960S-76960S-11.

[12] Mercan S, Alam M S. Anomaly detection in hyperspectral imagery using stable distribution[C]//,, 2011, 8049: 80490V-80490V-9.

[13] JIA S, QIAN Y. Constrained nonnegative matrix factorization for hyperspectral unmixing[J]., 2009, 47(1): 161-173.

[14] Ranney K I, Soumekh M. Hyperspectral anomaly detection within the signal subspace[J]., 2006, 3(3): 312-316.

[15] 王克成. 基于小波理论的超光谱图像融合研究[D]. 哈尔滨: 哈尔滨工程大学, 2005.

WANG Kecheng. Research on Hyperspectral Image Fusion Based on Wavelet Theory[D]. Harbin: Harbin Engineering University, 2005.

[16] 李新娥, 任建岳, 吕增明, 等. NSCT域内基于改进PCNN和区域能量的多光谱和全色图像融合方法[J]. 红外与激光工程, 2013, 42(11): 3097-4001.

LI Xin’e, REN Jianyue, LV Zengming. Fusion method of multispectral and panchromatic images based on improved PCNN and region energy in NSCT domain[J]., 2013, 42(11): 3097-4001.

A Fusion Method for Hyperspectral ImageryBased on Area Feature Detection UsingNSCT

YANG Guang1，ZHANG Xiaohan1,2，ZHANG Jianfeng1，HUANG Junhua1,3

(1.,130022,2,264001,;375830,510510,)

To easily interprethyperspectral imagery, a new fusion method based on the target detection theory in the Nonsubsampled Contourlet Transform(NSCT) domain is proposed in this paper. First, target detection is performed on hyperspectral imagery to separate the targets of interest from the background; then, the bands of images chosen for fusion are decomposed into a low frequency subband and several bandpass directional subbands by NSCT. For the low frequency subband and directional subbands of the background region, the coefficients are fused using the weight average method and the adaptive weighted method based on the regional average gradient. Next, for the target part, the coefficients are fused using the adaptive weighted method based on regional average energy and regional average varianceconsidering the different positions of the pixels.Finally, the fusion image is reconstructed using the fusioncoefficientsby inverse NSCT. The experimental results indicate that the fusion imagery obtained by the proposed methodhas better performance with respect to either visual effect or objective evaluation indexes including standard deviation, average gradient, information entropy, spatial frequency, and figure definitionfor both self-fusion of hyperspectral imagery and fusion of hyperspectral imagery and panchromatic images with higher spatial resolution.

hyperspectral imagery，image fusion，target detection，NSCT，area features

TP751

A

1001-8891(2017)06-0505-07

2016-09-07；

2016-11-29.

杨桄（1975-），男，教授，硕士生导师，博士后。主要从事遥感图像解译、地理信息系统方面的研究工作。E-mail：yg2599@126.com。

吉林省教育厅“十二五”科研项目（NO.2015448）；吉林省科技发展计划资助项目（NO.20140101213JC）。