基于光学和雷达遥感影像融合的地类识别研究

韩瑞梅，杨 晓，刘 培



基于光学和雷达遥感影像融合的地类识别研究

韩瑞梅1,2，杨 晓3，刘 培1,2

（1. 河南理工大学 矿山空间信息技术国家测绘与地理信息局重点实验室，河南 焦作 454003；2. 河南理工大学 测绘与国土信息工程学院，河南 焦作 454003；3. 浙江正元地理信息有限责任公司，浙江 德清 313200）

针对光学和雷达协同处理信息挖掘的需求，为提高主被动遥感数据协同处理应用于土地利用/覆盖地类识别的能力，提出了一种改进的光学和雷达遥感数据融合识别方法。以意大利PAVIA地区的ERS SAR和Landsat TM影像、江苏徐州矿区的ALOS PALSAR和AVNIR-2影像对，ALOS PALSAR 和SPOT影像对为信息源，利用改进的小波变换与色彩域变换算法进行处理，融合结果与传统的Brovey、GS、PCT、HSV、Wavelet融合算法作定量比较，并采用支持向量机（SVM）算法以相同的训练区分别对融合前后的影像，及不同融合结果进行典型地物类型识别。通过融合影像定量指标评价和识别应用验证，结果表明改进的融合算法很好地保留了融合前影像的光谱和纹理信息，且使用融合后影像识别的精度不仅明显优于单独利用光学或雷达影像，而且比采用的传统融合算法的识别结果也有较大提高。

光学和雷达数据；信息融合；数据挖掘；地物识别

0 引言

提高遥感影像土地利用/覆盖类型识别精度可以从数据预处理和识别算法改进两方面着手。预处理过程中数据信息融合是提高地类识别精度最显著的步骤。多源遥感数据融合，按照融合层次可分为像素级融合、特征级融合、决策级融合[1-2]。按融合算法可分为变换域分量替换融合算法；多分辨率融合方法；空间域算术运算与滤波[3-4]。

Marcello从目视解译和定量指数两个方面对融合后数据的光谱和空间扭曲度比较分析了多种遥感影像融合算法，认为从目视解译方面来看非基于小波的融合技术能够提供较好的空间效果，特别是色彩标准化和扩展的快速IHS变换要比基于小波的融合算法提供更好的边缘效果[5]。在计算机图像处理领域，HIS（亮度、色度、饱和度）系统是和RGB颜色系统一样被广泛应用的颜色系统，所具有的特征更适合应用于融合高分辨率全色图像和低分辨率多光谱图像[6-7]。HSV颜色空间是另一被广泛应用的颜色表示系统，文献[8]详细介绍了从RGB颜色空间转换为HSV颜色空间和从HSV颜色空间转换为RGB颜色空间的数学模型。基于小波的遥感图像融合方法是当前研究较多、且被证明行之有效的图像融合方法[7]，它将小波分析的多尺度、多分辨率分析用于图像融合，取得了良好的效果。标准小波变换的融合过程包括以下步骤：1）将配准好的图像A和图像B分别进行小波变换，获取各自的低频图像和细节/纹理图像；2）按一定的规则进行筛选；3）对替代后的图像进行小波逆变换，得到融合结果图像。通过把高分辨率SAR图像融合到多光谱数据中实现提高多光谱光学数据的空间分辨率，GS融合策略的流程概括为[9]：①使用多光谱低分辨率遥感影像对高分辨率波段影像进行模拟；②对低分辨率多光谱图像和模拟的全色影像做GS变换；③通过统计高分辨率全色图像来调节模拟的低分辨率全色图像来产生改进的高分辨率全色图像；④用改进了的高空间分辨率波段替代由GS变换后的第一个分量，产生一个新的数据集。将新的数据集进行反GS变换，即可产生空间分辨率增强的多光谱影像。

从相关领域的研究进展可以看出众多学者对某一特定融合算法的改进及融合结果定量评价进行了大量研究，且偏向于高分辨率与多光谱数据的处理。对于光学和雷达数据的协同处理，特别是协同处理后应用于提高土地利用/覆盖识别精度方面的研究相对较少。本论文在前人的研究基础上对小波多分辨率分析和IHS变换进行改进，将融合结果应用于提高土地利用/覆盖类型的识别研究，并通过数据融合定量评价因子和识别精度两方面对使用进行定量评价。

1 研究方法

由于色彩域变化算法和主成分分析算法能够很好地保留图像的光谱信息，多分辨率分析技术能够完美提取高分辨率/雷达数据的纹理信息，因此在实验多孔小波变换（ATWT）、IHS变换、Brovey变换、GS变换、PCT变换和HSV变换等遥感数据融合方法的基础上，根据融合算法的优缺点，改进了IHS融合与多孔小波变换协同的融合方法。把ATWT融合算法引入到IHS变换中，实现了多方法协同的融合策略。

由于IHS融合策略能够较好的处理光谱信息，而小波策略能够较好的处理空间信息[6,10]，IHS算法最常用的变换之一可以表示为以下数学模型：

正变换为：

式中：为亮度；1、2为中间变量；为色调；为饱和度。

小波融合的优点在于能够通过变换保留高频的空间细节信息，同时最小化色彩失真[10]。对于×维大小空间分辨率为＋1的遥感图像，小波多分辨率正、逆变换可以表达为公式(5)和公式(6)所示：

单纯小波变换融合算法可表述为分解滤波（公式(7)）和合成滤波（公式(8)）。即：1）分别对多光谱和SAR数据进行多孔小波变换；2）把SAR图像的高频信息添加到变换后的多光谱图像中；3）进行小波逆变换。

本论文结合已经实现的IHS和ATWT小波变换，利用编程语言实现了多方法协同算法的基本思路为：①把多光谱由RGB空间转为IHS空间；②对分量进行小波变换；③对SAR图像进行滤波去噪，并将去噪后的SAR数据与分量进行直方图匹配生成新的SAR图像SAR¢；④对SAR¢进行小波分解；⑤将分量小波域近似图像注入SAR¢小波域近似图像，生成新的小波域分解结构；⑥对5的结果进行小波逆变换获取新的分量¢；⑦用¢替换进行IHS逆变换，获取最终融合结果。实现过程如图1所示。

对于融合后影像从定性和定量两个方面进行评价，定性方面主要是目视解译，定量方面采用融合评价指标和融合后分类精度进行评价。本研究采用的融合定量指标有以下几种：①相关系数。相关系数反映了图像之间的相关性，融合影像与多光谱影像的相关系数能反映融合影像对原影像的保光谱能力；与雷达影像的相关系数能反映融合影像空间分辨率改善程度。②偏差指数。偏差指数是融合影像与低分辨率影像差值的绝对值与其低分辨率影像值之比，偏差指数一定程度上反映了融合后图像对原始图像光谱信息的保存能力，其值越小，说明融合后图像保真能力越强。③信息熵。熵是从信息量方面来评价影像质量的，反映了融合后影像信息的增加程度，融合后的图像熵值越大图像中蕴含信息量越多，反之越少。④平均梯度。平均梯度反映图像中微小细节反差与纹理变化特征，表征影像的清晰程度。

图1 改进的融合算法

2 实验与分析

2.1 实验区域与数据集

实验选取徐州市西部矿区2003年10月28日的SPOT多光谱数据和2008年11月9日的ALOS PALSAR数据，数据大小为1530×643像素，重采样后空间分辨率为10m×10m；以及2008年11月12日和9日获取的ALOS多光谱数据和雷达数据；和1994年10月3日、1994年4月7日获取的意大利北部PAVIA地区的Landsat TM数据和ERS SAR 数据为数据源，数据大小为787×787像素，空间分辨率30m×30m。所用数据源如表1所示。所选用数据集在研究区的光学和雷达数据分别如图2，图3和图4所示。实验过程中首先对所选取典型区域的传统融合、识别算法、以及改进的融合、识别算法进行比较分析，然后基于融合结果进行识别算法实验，提取地表覆盖信息，并对识别结果进行分析。对3套不同数据集从融合后目视解译、融合定量评价指标和融合后识别结果3方面进行评价。

表1 所采用数据源

2.2 徐州市SPOT和PALSAR数据集实验结果与分析

对原始数据的预处理包括，光学SPOT多光谱数据的辐射校正，对SAR数据的斑点滤波处理，对光学和SAR数据之间的几何配准校正，配准误差控制在0.5个像元之内。分别利用融合算法中色彩标准化融合、G_S证据理论融合、HSV变化融合、PC变化融合，小波变换、改进的多方法协同的融合算法对数据集SPOT_PALSAR进行融合，部分融合结果如图5所示。

图2 研究区光学和雷达数据

图3 研究区光学和雷达数据

图4 研究区光学和雷达数据

图5 ALOS雷达数据与SPOT多光谱数据融合效果图

融合后的图像可以从定性、定量指标以及融合后应用效果等多个方面进行评价。李霞等、周芳等、朱亚辉和彭国华的研究表明虽然定量评价的方法在一定程度上优于主观性强的定性评价，但众多的定量评价指标间差异性较大，建议多种评价方法综合运用，更有助于最终结果的验证[11-13]。本研究分别计算融合结果的熵、平均梯度、相关系数和偏差指数，如表2所示。从不同的融合结果可以看出来，Wavelet融合结果和改进的多方法协同融合结果要明显优于传统的融合算法，图像纹理清晰，光谱扭曲、失真度小，达到了主被动数据融合的目的。分析融合定量评价指标可以看出，HSV方法融合后图像信息最丰富，多方法协同算法次之；多方法协同融合后图像相似性最大，光谱扭曲程度几乎最小，从目视解译的结果来看，多方法协同算法融合后的结果也比较理想。

西班牙的哈武戈（Jabugo）地区是伊比利亚黑猪的重要产地，那里环境清洁，水草丰美。以半野生状态生活在那里的伊比利亚黑猪，以林木的果实、牧草和谷物为食，待到橡树结果时，小黑猪便会食用大量的橡果。伊比利亚黑猪是非常优质的肉类食材，是闻名世界的伊比利亚火腿的原材料。

在融合后识别实验中通过Jeffries-Matusita（JM）距离计算感兴趣区域Region of Interesting（ROI）的可分离性，根据研究区主要地表覆盖情况，利用专家知识解译获取研究区域地表真实类别图，JM距离定量获得的转换分离度（Transformed Divergence）取值区间为0～2，大于1.9说明样本之间可分离性好；1.4～1.8属于合格样本，小于1.4需要重选样本，小于1可考虑将两类合成一类样本，把融合后数据分为3类：水体、人工建筑和其它类别。其它类别主要包括裸土和农业用地，比如植被覆盖区域等。其中部分识别结果图和地表真实结果如图6所示。并对识别精度进行统计（表3所示），综合分析融合算法对识别精度的影响，融合后识别精度与定量评价指标之间的关系。

从识别精度统计数据可以看出，融合算法的数据识别精度要优于仅用雷达数据识别的结果，多方法协同融合算法的识别精度要优于单独使用光学或雷达数据的识别结果。通过光学与雷达数据融合，既保存了多光谱数据的光谱特性同时又获取了雷达数据的纹理特征信息，不仅有利于目视解译也更有利于地图制图。

通过表3和图7分析SPOT-PALSAR数据集的地物识别精度与融合定量评价指标之间的关系可以看出，获得高偏差指数值和低相关性的融合图像能够获取较好的地物识别结果。分析融合定量评价指标可以看出，HSV方法融合后图像信息最丰富，ATWT算法次之；ATWT融合后图像相似性最大，光谱扭曲程度几乎最小，从目视解译的结果来看，ATWT算法融合后的结果也比较理想。

表2 SPOT和PALSAR融合定量评价表

图6 SPOT和PALSAR识别结果

Fig.6 Recognition of result and ground truth

表3 SPOT 和 PALSAR识别精度统计表

图7 SPOT和PALSAR识别精度和定量指标分析

2.3 徐州市ALOS AVNIR-2和PALSAR数据实验结果

对多源遥感影像进行几何精校正，校正后总残差RMS为0.390元。采用Brovey变换、高通滤波、PC变换和Wavelet变换等融合算法，评价指标因子采用信息熵、平均梯度、相关系数、偏差指数等定量指标与目视评价相结合的方法进行实验验证，其中融合结果如图8所示。

图8 ALOS 多光谱与雷达数据融合效果

从目视效果来看，6种融合方法都不同程度地提高了图像的空间分辨率，丰富了图像细节，使图像更容易判读分析。从定量的角度分别计算了不同融合方法评价指标（表4所示）。通过分析表3和表4可以看出：

1）对于同一传感器获取的SAR和光学数据，小波融合信息熵最大，表明光学与雷达数据融合时，小波算法融合增加信息量最多融合后图像信息量最大；同时小波融合的梯度值也是最大，表明小波融合后图像最为清晰，这和目视效果保持一致；高通滤波的相关系数最大，偏差指数最小，两者十分一致，表明高通滤波融合后图像具有高保真能力。

2）通过比较，可以得出主被动数据融合后图像清晰度和信息量丰富度方面依次是小波融合、高通滤波融合、PC变换融合、Brovey变换融合；从融合后图像的保真能力来看依次是高通滤波、PC变换、小波融合和Brovey变换；可以得出在处理主被动光学与雷达数据融合时，高通滤波、小波变换都能得到较好融合效果，PC变换效果次之，Brovey变换融合效果最差。

3）通过各定量指标评价和各融合算法比较可以看出，在对相同分辨率的不同传感器多光谱数据和同一雷达数据融合试验中，不同融合算法间有较高的一致性和较小的差异性，小波算法的优越性和较强的适应性得以体现。

对于AVNIR-2和PALSAR数据集分别以Brovey、GS、HSV、主成分分析、小波变换和多孔小波混合IHS变化等融合方法为融合策略，选取具有代表性的地表覆盖类型水体、包括建筑、道路、裸地等的城市区域和以植被、农田为主的其它区域，采用SVM算法对融合后图像进行识别实验，实验结果如图9所示。并通过人工专家识别确定地表真实类别作为验证结果进行评价分析，分别获得单独使用雷达数据的识别精度、单独使用光学图像的识别精度、协同光学与雷达数据的识别精度以及多种融合算法的识别精度。

从ALOS AVNIR-2 PALSAR数据融合后识别精度表可以看出，融合后的识别结果都不同程度改善了地物提取精度，改进的多方法协同算法对AVNIR-2、PALSAR数据对的融合后识别精度改善最为明显，相比单独使用SAR数据的识别精度高出10.41个百分点，比单独使用光学数据的识别精度高出9.27个百分点，在AVNIR-2、PALSAR数据对的融合后识别实验中，改进的融合结果在应用于土地利用识别方面也达到了最优精度。

表4 AVNIR-2和PALSAR数据融合定量评价

图9 AVNIR-2 和PALSAR 识别结果

为了更好地分析光学与雷达数据融合后对典型地表覆盖类型识别能力的影响，综合表4、表5和图10分析了融合后图像的总体识别精度与融合图像定量指标之间的关系。通过对以上图表分析，可以看出如果融合后图像通过定量评价指标评价获得高DI值、低CC值，则融合后图像能够获取较好的识别结果。而且分析融合定量评价指标可以看出，HSV方法融合后图像信息最丰富，多方法协同算法次之；多方法协同融合后图像相似性最大，光谱扭曲程度几乎最小，从目视解译的结果来看，多方法协同算法融合后的结果也比较理想。

表5 AVNIR-2 和 PALSAR识别精度统计表

2.4 PAVIA ERS和Landsat数据实验结果

预处理包括对TM数据的辐射校正，光学和SAR数据之间的几何校正，配准误差控制在0.5像元内，和对SAR数据进行斑点滤波处理。分别利用融合算法中色彩标准化融合、G_S证据理论融合、HSV变化融合、PC变化融合，小波变换、改进的多方法协同进行实验，部分结果如图11所示。

从不同的融合结果图可以看出来，Brovey、HSV、PCT、GS等基于变量替换、数学运算的融合方法效果都比较差，而基于多尺度分析的小波理论更适合SAR与多光谱数据的融合，其中融合效果最好的为改进的多方法协同融合算法。HSV、PCT、GS方法光谱扭曲严重，基于多尺度小波变换的融合方法不仅较好地保留了SAR图像的纹理信息，同时光谱保真度也比较好。改进的多方法协同融合方法与原始小波算法相比进一步提高了融合效果，特别是建筑分布密集的城市区域，纹理更加清晰，光谱逼真程度也比较好。

图10 AVNIR-2和PALSAR定量评价指标与识别精度的关系

分别计算融合结果的熵、平均梯度、相关系数和偏差指数，从定量指数的角度对融合结果进行评价。计算融合前后的均值，结果如表6所示。从表6可以看出改进的多方法协同融合算法和GS算法比其它算法更好地增加了融合后图像的纹理信息，多方法协同算法与原始数据多光谱数据相关性最好，光谱扭曲度最小。

为了方便对比分析，同时也受限于专家知识解译获取的研究区域地表参考类别图，同样把融合后数据分为3类：水体、人工建筑和其它类别。其它类别主要包括裸土和农业用地，比如植被覆盖区域等。其中部分识别结果图和地表真实结果如图12所示。并对识别精度进行统计（表7），综合分析融合算法对识别精度的影响，融合后识别精度与定量评价指标之间的关系。

从识别结果可以看出，HSV，GS，PCT和特征组合的数据融合方法都不同程度地提高了融合后识别的精度，其中PCT变化融合方法提高的精度最大，ATWT融合算法较大程度地提高了图像的目视解译能力，Brovey算法不适合ERS和TM组合的数据融合，目视解译，定量指数和识别精度不能达到令人满意的效果。为了进一步解译分析表7中的识别精度数据，图13揭示了识别精度与定量指标之间的关系，通过分析融合识别精度数据与融合定量评价指标可以看出来，偏差指数越大，相关系数越小融合后识别结果越好。事实上大的偏差指数意味着较多的SAR数据信息被保存在了融合结果的数据中。

图11 ERS和Landsat 多光谱与雷达数据融合效果

表6 TM和ERS定量指标分析

表7 识别精度分析

图12 ERS 和 Landsat 数据融合识别结果图

Fig.12 Recognition result of AVNIR-2 and PALSAR fusion data

3 结束语

本论文主要研究和改进了基于多方法协同的主被动光学和雷达遥感数据融合识别策略，并进行了实验和相关分析，结果表明构建的基于多分辨率分析数据信息融合算法是最稳健有效的。研究过程中，首先利于多种融合算法对光学遥感数据和SAR雷达数据进行融合，对其中的小波融合方法进行改进，并对融合结果从定性、定量两个方面进行评价分析。通过融合定量指标分析及融合后识别应用验证，结果进一步验证数据融合具有充分利用光学和SAR数据信息的能力，改进的融合方法在ERS雷达、Landsat光学数据集中，达到次优识别效果；在SPOT光学、PALSAR数据集和AVNIR-2、PALSAR数据集实验中，都到达最优识别效果。

图13 Landsat 和ERS识别精度与定量指标分析

[1] 贾永红. 多源遥感影像数据融合技术[M]. 北京: 测绘出版社, 2005.

[2] Mitchell H.,[M]. Springer-Verlag Berlin Heidelberg: 2010.

[3] 吴艳. 多传感器数据融合算法研究[D]. 西安: 西安电子科技大学, 2003.

[4] 杜培军. 遥感科学与进展[M]. 江苏: 中国矿业大学出版社, 2007.

[5] Marcello J, Medina A, Eugenio F. Evaluation of Spatial and Spectral Effectiveness of Pixel-Level Fusion Techniques[J].,, 2013(10): 432-436.

[6] Zhang Y. Hong G. An IHS and wavelet integrated approach to improve pan-sharpening visual quality of natural colour IKONOS and QuickBird images Information Fusion[J]., 2005(6): 225-234.

[7] 高文涛, 汪小钦, 凌飞龙, 等. 雷达与光学图像小波融合方法研究[J]. 地球信息科学, 2007, 9(4): 129-133.

[8] Huang Min-min , Leng Jin-Song , Xiang Chang-cheng. A study on HIS, WT and HSV, WT methods of image fusion information[C]//2008, 2008(1): 665 -668.

[9] Metwalli M R, Nasr A H. Satellite image fusion based on principal component analysis and high-pass filtering[J]., 2010, 27: 1385-1394.

[10] Amolins, K, Zhang Y, Dare P. Wavelet based image fusion techniques——An introduction, review and comparison[J]., 2007, 62: 249-263.

[11] 李霞, 朱倩, 张昆, 等. 不同地貌的TH-1遥感影像融合质量评价[J]. 计算机工程与应用, 2014, 11(4): 1-8.

[12] 周芳, 王鹏波, 李春升, 等. 遥感图像融合效果评估方法[J]. 现代雷达, 2013(3): 19-23.

[13] 朱亚辉, 彭国华. 基于奇异值分解的图像融合效果综合评价研究[J]. 西北工业大学学报, 2013(2): 25-28.

Land Cover Identification Based on Optical and SAR Remotely Sensed Data Fusion

HAN Rui-mei1,2，YANG Xiao3，LIU Pei1,2

(1.,,454003,; 2.,,454003,; 3..,.,313200,)

In order to improve the effection of optical and SAR data collaboratively processing for land use/ land cover identification, a modified optical and SAR data fusion method is proposed in this research. The modified wavelet transform and color domain transform method is applied on ERS SAR and Landsat TM optical dataset over PAVIA city of Italy, ALOS PALSAR and AVNIR-2 optical dataset, ALOS PALSAR and SPOT dataset over Xuzhou mining area of Jiangsu province. The processing outcomes were compared with results of traditional fusion methods such as Brovey, GS, PCT, HSV, Wavelet through entropy, correlation coefficient, average gradient, deviation index, quantitative fusion evaluation indices, etc. And SVM classifier was also selected to generate land use/ land cover types of original data and different fusion outcomes with the same train samples. The results were evaluated by quantitative indexes for fused images and overall accuracy for classification maps, and which demonstrates that the modified multi-method collaboration strategy not only observed spectral and texture information, but also improved classification accuracy than only optical or SAR data, even outcomes of the traditional image fusion algorithms.

optical and SAR data，information fusion，data mining，land use/cover identification

TP391

A

1001-8891(2015)11-0949-07

2015-03-19；

2015-04-30.

韩瑞梅（1984-），女，河南洛阳人，讲师，硕士，主要从事遥感理论教学及遥感影像处理与应用研究。E-mail：hrm@hpu.edu.cn。

刘培（1985-），男，河南许昌人，讲师，博士，主要从事遥感理论教学及可见光与红外遥感数据处理。E-mail：liupeirs@126.com。

河南省高校基本科研业务费专项资金，编号：NSFRF140113；河南理工大学博士基金，编号：B2015-20；国家自然科学基金委员会与神华集团有限责任公司联合资助项目，编号：重点项目U1261206，培育项目U1261106；测绘地理信息公益性行业科研专项经费项目，编号：201412020；河南理工大学青年基金，编号：Q2015-3；焦作市科技计划项目，编号：2014400003。