多源遥感影像融合质量性能评估研究

张应刚 ，余先川 ，张 林，张 静

（1.机械科学研究总院集团有限公司，北京 100044；2.北京师范大学 信息科学与技术学院，北京 100875）

0 引言

近年来，随着图像处理技术的蓬勃发展，图像融合技术也日趋成熟，对融合图像融合性能质量评价越来越重要，尤其是对多源遥感影像融合质量的性能评估，是一项具有重要意义工作。如何对多源遥感融合影像进行科学合理的性能评价，是值得图像处理研究者深入思考的问题，融合影像质量性能的优劣直接影响研究人员对融合算法改进以及研究新的融合算法有着非常重要的作用。所以，对多源遥感融合影像进行定性、定量的性能评价分析的指标选取直接影响评价结果，目前，提出对融合图像评估指标很多，但对多源遥感融合影像性能评估相对较少，一些研究者如Zhang[1]、Klonus[2]、Helmy[3]。等研究者发现融合图像性能评估存在着许多问题，比如融合图像的目视结果与融合图像评价结果相反或者不一致，这样，对融合影像的融合算法优劣无法做出判断。

本文将国内外常用的遥感影像融合质量评价的指标主要进行三方面性能分析：1）相似功能性能评价结果一致性；2）多源影像同一融合算法结果的鲁棒性；3）定性定量评价结果的一致性。本文通过多个实验结果分析，选出可靠性强、稳定性高的性能评价指标，以提升遥感影像融合质量性能评价工作的质量和效率，从而满足现实应用的需要。

1 影像融合性能评价指标

多源遥感影像融合是通过一定的融合策略来获得质量较好的融合影像结果，满足实际应用的需要。质量高的融合影像不但能继承多光谱影像光谱信息，而且还要具备高分辨率的影像细节信息。因此，影像融合性能评价指标主要是评价融合影像的光谱信息和空间信息。考虑到很多评价指标需要参考图像，本文采用Thomas[4,5]。提出的参考图像的构建方案：将待融合图像通过线性插值分成两组（一组是相对高分辨率的多光谱图像和全色或SAR图像，一组是相对低分辨率的多光谱图像和全色或SAR图像）；将这两组待融合图像分别融合得到两组不同分辨率的融合图像；对光谱信息进行评价时，将（相对）低分辨率的融合图像和（相对）低分辨率的原始多光谱图像进行比较；对空间信息进行评价时，将（相对）高分辨率的融合图像和（相对）高分辨率全色或SAR图像进行比较。

经过配准后高分辨率的遥感影像和相对低分辨率的原始影像分别设为Ah和Bil（其中i代表第i个波段），将Bil插值成Binterpin，将Ah进行压缩采样至Al，用相同的融合方法对（Ah，Binterpih）和（Al，Bil）分别进行融合，得到分辨率为h的融合图像Fih和分辨率为l的融合图像Fil。其中Fil（x，y）、Fil（x，y）表示Fih或Fil中坐标为（x，y）的点的像素值，Ah（x，y）或Al（x，y）表示Ah或Al中坐标为（x，y）的点的像素值，Bil（x，y）或（x，y）表示Bil或Binterpih中坐标为（x，y）的点的像素值。hM和hN分别是融合影像Fih的行数和列数，lM和lN分别是Fil的行数和列数，总灰度级为L，μ为影像亮度均值。

1.1 融合影像光谱信息评价

对于融合的遥感影像光谱信息性能评价主要指光谱信息保持度和光谱扭曲度。如：光谱角、交叉熵、光谱互信息、均方根误差、光谱相关系数、偏差指数、ERGAS等是最常用的评价指标。下面对这些评价指标简要分析。

1）相关系数（correlation coefficient，CC）：是指融合影像与原始的多光谱影像的相关程度，相关系统的取值范围是-1到1，融合影像对原影像信息保持越好，则两幅影像相关性大，相关系数就越接近于1；反之亦然。其计算公式如式(1)所示[6]：

2）偏差指数（relative bias，RB）：是指融合影像与参考影像的灰度差值的平均值，称之为相对偏差，表示融合影像与参考影像光谱信息的匹配程度。其计算公式如式(2)所示[7]：

3）结构相似度（structure similarity index，SSIM）：是指融合影像与参考影像间的相似程度，其中含对比度分量、亮度分量和结构分量。结构相似度的取值范围是0到1，SSIM的值越大，则两幅影像越接近相同，反之亦然。其计算公式如式(3)所示[8]：

式中，参数α，β，γ＞0对三分量进行加权，通常取α=β=γ=1；方差σIF、σIR是分别影像的对比估计值；其估计结构分量是协方差σIFIR。L为影像总灰度级，C1，C2，C3是非常小正常量，C1=（K1L）2，C2=（K2L）2，C3=C2/2，K1=0.01，K2=0.03，目的是避免分母接近零是不稳定。

4）均方根误差（root-mean-square error，RMSE）：亦称标准误差SE（Standard Error），一般而言，均方根误差比标准差更具说服力。常用式(4)表示[9]：

5）交叉熵（cross entropy，CE）：又常称为相对熵，是度量两幅影像之间的差异程度，交叉熵CE值越小，说明两幅影像间的差异就越小，反之亦然。其计算公式如式(5)所示[10]：

式中pBil(i)为多光谱图像Bil的灰度分布，pFil(i)为融合图像Fil的灰度分布，交叉熵越小说明两幅图像越相似，该指标可以用来评价融合结果图像与原始多光谱图像的差异。

6）光谱互信息（mutual information, MI）：表示融合图像与参考图像的互信息[11]。参考影像与融合影像的相似度越大则MI值越高。表达式为：

其中，Fil和Bil的边缘分布用p（f），p（b）表示，联合分布用p（f，b）表示。

7）光谱角（spectral angle mapper，SAM）：表示融合图像与参考图像之间的光谱扭曲程度。计算公式如式(7)所示。

如果没有光谱扭曲则光谱角为0。

8）相对整体维数综合误差（relative dimensionless global error，ERGAS）：表示融合图像与参考图像之间的光谱扭曲程度[12]。计算公式如式(8)所示[13]：

其中，全色影像与多光谱影像空间分辨率之比为h/l，K表示波段数。ERGAS值为0是最理想。

综上可知，融合影像的光谱信息质量保持最佳是：融合影像与多光谱影像的相关系数、光谱互信息、结构相似度的值最大，偏差指数、均方根误差、交叉熵、光谱角和ERGAS最小。

1.2 对融合影像空间信息评价

对图像空间信息评价的方面关注的主要有融合图像的信息量、细节和纹理的丰富程度。选取了常用的七个指标：均方差、信息熵、平均梯度、空间频率、空间互信息、空间相关系数和空间ERGAS。

1）均方差MSE（Mean Square Error）[14]：也称标准差（standard deviation，STD），是影像信息丰富程度的一个衡量指标，值越大说明灰度级分布越分散，从而包含的信息量越大，信息越丰富。计算公式如下：

2）信息熵（information entropy，IE）：是衡量影像信息丰富程度的重要指标[12]。融合影像Fih，灰度分布为p={p0，p1，…，pi，…，pL-1}，其中，pi表示第i个像素的像素个数同总像素数的比。根据香农定理，这幅图像的信息量可以用用式(10)来表示：

融合影像的信息越丰富，其信息熵的值越大，融合质量就越好，成正比列。

3）平均梯度（average gratitude，AG）[14]：是指影像空间细节信息表达，呈现影像的清晰程度，同时，还可反映影像纹理特征与微小细节反差。影像越清晰则AG值就越大。其计算公式为：

4）空间频率（spatial frequency，SF）：是描述影像空间总体活跃程度的，含空间行频率RF与空间列频率CF[15]。影像融合效果越好则说明空间频率越大。其公式为：

RF和CF的均方根为影像总体空间频率，也即是：

5）空间互信息（spatial mutual information，sMI）：表示融合图像与高分辨率图像的互信息。公式如式(15)所示：

其中，Fih和Ah的边缘分布用p（f），p（a）表示，联合分布用p（f，a）表示。

6）空间相关系数（spatial correlation coefficient，sCC）[16]：是描述融合影像同高分辨率影像间的相关程度，公式如式(16)所示。

7）空间相对整体维数综合误差（spatial relative dimensionless global error，sERGAS）：表示融合图像与高分辨率图像之间的扭曲程度。公式如式(17)所示[17]：

综上，遥感融合影像空间质量性能优劣与标准差、信息熵、空间互信息等评价指标相关。融合影像空间性能越好其标准差、信息熵、平均梯度、空间频率值就越大；ERGAS的值越小，融合影像与高分辨率影像的空间互信息及相关系数就越大。

2 融合影像分析

2.1 实验结果

本文的实验数据是不同卫星传感器且为不同地物的四组遥感影像数据。它们分别是：第一组为IKONOS的多波段的多光谱影像及高分辨的全色波段影像数据，影像数据是北京师范大学海淀校区，主要地物是操场（含真草坪、塑胶草坪）、教学楼、树木等，如图1(a)、图1(b)所示，其中，多光谱影像由B2、B3、B4三个波段合成的假彩色影像，多光谱分辨率为4米，全色影像分辨率为1米。第二组的数据采用的是中巴地球资源卫星（CBERS）一号的影像、Landsat ETM+的影像数据。其实验区是广东珠海斗门区，试验区中地物含有水体、农田、林地、城镇用地和荒地五种，如图2(a)、图2(b)所示，其中，多光谱影像是由B1、B2、B3三个波段合成的假彩色影像。第三组是2008年为德国TerraSAR-X卫星遥感影像数据，实验区域是珠三角地区，其影像数据是雷达影像空间分辨率为1m和多光谱分辨率为10m的SPOT5遥感影像，多光谱影像是由B1、B2、B3三个波段合成的假彩色影像，如图3(a)、图3(b)所示。第四组实验数据来自2002年广东省肇庆市的TM影像（由B5、B4、B3三个波段合成）以及ENVISAT-1卫星ASAR传感器拍摄的分辨率为30m的ASAR影像。

采用的融合方法有Multiplicative e[18]、Gram-Schmidt（GS）[19]、Brovey[21]和Non-Subsampled Contourlet Transformation（NSCT）[20,21]。融合结果如图1(c)～图1(f)、图2(c)～图2(f)、图3(c)～图3(f)和图4(c)～图4(f)所示。

图1 原始图像及不同融合算法的融合结果图像（第一组）

图2 原始图像及不同融合算法的融合结果图像（第二组）

图3 原始图像及不同融合算法的融合结果图像（第三组）

图4 原始图像及不同融合算法的融合结果图像（第四组）

2.2 性能分析

遥感影像融合图像性能分析主要采用定性和定量分析，对于目视解译的定性评价也重要，是影像性能分析的前提基础，如果融合影像的目视解译效果太差，那么，后续的就没必要做定量分析。从图1～图4可知，融合后的影像的分辨率和清晰度都有所提高，则说明其空间信息和光谱信息能较好的融合。但从图5局部放大仍可看出差别。将图5中融合结果与MS图像对比可以看出不同融合图像在光谱信息保持上的差异，其中NSCT对源图像的色彩信息保持的最好，Multiplicative次之，再次是Gram-Schmidt，Brovey最差，融合算法Multiplicative和Gram-Schmidt采用替换分量的策略，因此融合后的影像造成较大的光谱扭曲，而Brovey则受配准精度的影像，出现斑块现象，造成光谱失真。在图5中还能分辨出空间细节上的差异，融合算法Gram-Schmidt则是最优，算法NSCT则比较清晰，算法Brovey则次之，而Multiplicative算法则最差。对每组融合影像采用不同性能评价指标进行定量的分析，其评价结果如表1～表4所示，评价结果取三个波段的均值。

图5 图1～图4中6幅影像的局部放大图

表1 对第一组实验融合结果质量的定性、定量评价结果

表1（续）

表2 对第二组实验融合结果质量的定性、定量评价结果

表3 对第三组实验融合结果质量的定性、定量评价结果

根据上述表格数据，便于观察结果，将评价数据绘制图6、图7所示的折线图，并将各指标进行归一化处理映射到对应的数值区域，与此同时还进行定性的目视光谱信息评价、空间信息评价，并将偏差指数、均方根误差、交叉熵、光谱角、ERGAS、sERGAS的结果数值取反，使得指标的结果都是正向关系。如图6、图7所示进行性能分析。

表4 对第四组实验融合结果质量的定性、定量评价结果

图6 融合影像光谱信息质量评价

图7 融合影像空间信息质量评价

对融合影像光谱信息定量评价指标的性能评估：

1）性能指标评价一致性：从图6可知，四组实验中评价结果具有一致性的指标有CC、SSIM、RMSE、SAM和ERGAS；其中，性能评价指标SSIM和CC的一致性很强，是由于SSIM和CC的计算公式结构较为相似；而RMSE与ERGAS一致性也很强，其原因是ERGAS的计算式(6)中包含RMSE计算式(4)，RMSE则是除以图像均值反映的是相对变化，而RMSE则是绝对变化。RB、CE和MI与其他指标一致性最差。

2）指标的鲁棒性：同一影像融合算法性能较好的评价指标，不同影像的评价结果具有鲁棒性，如图6可得到如下排序：CC＞SAM＞SSIM＞ERGAS＞RMSE＞RB＞CE＞MI。

3）定量与定性评价结果比较：定量的指标评价结果应与定性的目视评价结果一致。从图6中可以看到4组实验中，定性的目视光谱信息评价与定量的不同指标评价结果比较：

第一组：SAM、ERGAS＞CC＞SSIM＞RMSE＞RB＞CE、MI；

第二组：CC＞ERGAS＞SAM＞SSIM＞RMSE＞RB＞CE、MI；

第三组：CC＞SAM、ERGAS＞SSIM＞RMSE＞CE＞RB＞MI；

第四组：SAM、RMSE、SSIM＞CC、ERGAS＞RB＞CE＞MI。

可以看出：CC、SAM和ERGAS表现最好。

综上所述，在对融合影像光谱信息定量评价的指标中，性能最好的指标是CC、SAM和ERGAS。

对融合影像空间信息定量评价指标的性能评估：

1）指标间评价结果的比较：从图7中可以看出，四组实验中评价结果具有一致性的指标有STD、AG、SF、sERGAS和IE；其中一致性最强的指标为STD、AG和SF，原因在于STD的式(9)、AG的式(11)和SF的式(12)结构比较相似。sMI和sCC与其他指标一致性最差。

2）指标的鲁棒性：从图7中统计出各指标的鲁棒性，排序如下：STD ＞ sERGAS＞ AG、SF＞IE＞sCC＞sMI。

3）指标评价结果与定性评价结果的比较：从图7中可以看出4组实验中，目视的空间信息评价与不同空间信息评价结果比较：

第一组：AG、sERGAS＞SF、IE、STD＞sCC＞sMI；

第二组：AG、SF＞sERGAS、STD＞IE＞sCC＞sMI；

第三组：AG、sERGAS＞SF＞STD＞sCC＞IE＞sMI；

第四组：AG、SF＞sERGAS、STD＞IE＞sCC＞sMI。

可以看出：AG和sERGAS表现最好。

综上所述，在对融合影像空间信息定量评价的指标中，性能最好的指标是AG和sERGAS。

根据光谱信息和空间信息评价比较，4种融合算法的评价结果：融合算法NSCT中融合结果的光谱质量最好，Multiplicative次之；而空间信息质量最好则是Gram-Schmidt融合结果，其次是NSCT；融合算法NSCT在光谱和空间信息保真度上是最优的，且与定性目视解译结果基本一致。

3 结论

本文通过选取功能相似的评价指标对4种不同融合算法影像融合实验结果进行定性和定量分析，其定性与定量评价是否一致、同一融合算法对同一指标、不同影像融合结果的鲁棒性是否一致三个方面进行性能评价。

本文选Multiplicative、Gram-Schmidt、Brovey和NSCT四种常用融合算法对不同传感器兼具不同地物特征的多源遥感影像进行融合实验。其实验结果表明，融合影像保持较好光谱信息评价指标有SAM、CC、ERGAS；融合影像空间信息保持较好的评价指标有AG或sERGAS。通过对融合影像结果进行定性、定量的性能评价比较，对融合算法的优化，融合影像评价工作质量，融合算法改进以及研究新的融合算法等都具有非常重要的现实意义。