基于特征接近度的多特征融合方法❋

刘金梅， 王国宇

(1. 中国海洋大学信息科学与工程学院，山东 青岛 266100；2. 青岛农业大学理学与信息科学学院，山东 青岛 266109)



基于特征接近度的多特征融合方法❋

刘金梅1,2， 王国宇1

(1. 中国海洋大学信息科学与工程学院，山东 青岛 266100；2. 青岛农业大学理学与信息科学学院，山东 青岛 266109)

特征融合的关键是对特征参数优化组合。本文提出一种基于特征接近度的多特征融合算法。定义吸引力表示特征矢量与原型模式的空间接近程度。用特征矢量与类原型模式之间的吸引力组成接近度矢量，作为融合特征。选择高光谱Hyperion影像作为实验数据，研究基于特征融合的地物分类。实验证明,在特征集相同的情况下,本文提出的方法比主成分分析法具有更好的融合效果。

遥感影像； 特征融合； 特征接近度

遥感是观测地球的有效手段。不断进步的传感器技术为研究者提供各种影像数据。目前遥感技术应用所面临的重要问题是如何有效利用丰富的遥感数据获取需要的信息。

遥感数据融合能够将不同来源的数据所含的信息优化组合，获得关于地物较为完整的信息。遥感数据融合分为3个层次，即像素级融合、特征级融合和决策级融合[1]。特征级遥感影像融合是分别提取待融合图像的特征，将同一位置的不同特征进行融合，融合后得到该位置对应地物较为全面的特征信息。通过归纳融合特征矢量，可以得到同类地物的数学模型，应用于国民生产和生活的各个领域。

特征融合的常用方法有典型相关分析理论、主成分分析法、D-S证据理论等。典型相关分析(Canonical Correlation Analysis)理论用几对重要的相关变量代替2个特征矢量实现不同特征融合[2]。典型相关分析在融合特征的同时能够降低特征表示维数，但算法只考虑2个变量之间的相关性，没考虑变量内部各维数据之间的关联。主成分分析法(Principal Component Analysis，简称PCA)能够对多种特征信息压缩，是一种自适应信息融合[3]。主成分分析变换是均方误差最小的变换，压缩了特征矢量维数。但高维特征值和特征向量求解复杂，难以在实践中广为应用。D-S证据理论提供了多源信息的融合规则。宁亚辉等首先提取道路形状特征，根据道路的形状特征建立概率分配函数，使用证据理论融合形状特征，提取道路信息[4]。汪闽等通过计算两时相影像特征的结构相似度，生成基本概率赋值函数，利用证据合成，得到两时相遥感影像变化[5]。D-S证据理论要求证据之间是相互独立的，在实际应用中，证据之间的相关性会导致融合结果错误。孔祥兵等通过建立融合多种特征的数学模型，实现多特征整合[6]。尹宏鹏使用自适应加权法集成多个特征，取得较好的融合效果[7]。

接近度的概念最早是由Scott等人在二维点对特征匹配中提出的，用数据欧氏距离表示了不同特征矢量之间空间关系，得到点分布信息[8]。焦竹青等将接近度和模糊理论相结合，讨论一维数据融合问题。定义2个模糊集合的相似程度为接近度，将传感器之间的关系用接近度函数表示，建立接近度矩阵，从而得到所有传感器数据融合的结果[9]。沈瑜等在红外图像和可见光图像融合中，定义区域最小方差与区域最大方差的比值作为接近度，使用邻域能量和接近度限定不同光谱数据的融合比例。该方法能够得到清晰度和对比度较好的融合图像，是一种像素级图像融合[10]。Arun Ross等在多模态生物特征识别系统中使用接近度评价不同生物指标与模式矢量的匹配程度，利用多种生物完成信息验证，实现决策级融合[11]。

本文将接近度用于遥感图像处理，实现特征级数据融合。通过将特征空间中的点由高维空间的坐标表示转变为用空间相对距离表示，融合多特征数据。鉴于主成分分析法在特征融合和降维方面的性能与本文提出的方法接近，选择主成分分析法做对比，验证基于特征接近度的融合方法的有效性。

1 基于特征接近度的特征融合

对图像进行多特征提取，不同特征存在于不同的特征空间。不同类型的特征可以归一化后在同一特征空间表示，空间维数是所有特征空间维数之和。空间中的每维对应着样本的某个抽象特征，不需要区分这个抽象特征的属性。如果直接使用这种空间表示图像，占用的存储空间多，计算开销较大。

参数优化是特征融合的关键，通常根据每维参数在分类中的贡献或区分能力优化选择。本文提出的特征融合算法思路与现有方法不同。在高维特征空间表示特征矢量时，特征点的空间位置关系反映了样本的类型关系。任意样本点在特征空间都是以同类原型模式为中心，在一定范围内随机分布在特征空间。样本类型不同，其与各类原型模式的空间关系也不同。用样本特征矢量与各类原型模式的距离能够确定样本矢量和原型模式的空间接近程度。样本矢量与所属类型的原型模式接近度最高，与其它类型原型模式接近度随空间关系变化而变化。

将原型模式对应的特征空间点看作类型的核心点，核心点对特征空间上的所有特征点都有吸引力。特征点离核心点越近，吸引力越强。每个类型的核心点的吸引力只是在一定的空间范围内有效。

定义1 在n维特征空间中，核心点xi和特征点xj之间的吸引力定义为：

(1)

核心点对特征点有吸引力，核心点之间也相互吸引。核心点之间的吸引力也是按照公式(1)计算的。核心点间的吸引力指标组成接近度矩阵G。

定义2 设n维特征空间中有m类样本，接近度矩阵G定义为：

(2)

G中的第i行表示类型i的原型模式与其它类型原型模式之间的吸引力，定性反映了所有类型i的数据与类原型模式之间的统计关系。G是一个对称矩阵，它对角线上的元素是1。

对于任意样本特征y，需要计算y与每个类型原型模式间的吸引力。用这些吸引力指标构成样本的特征接近度矢量g，表示样本y的融合特征。比较g与G中行向量的欧氏距离，确定样本的类型。

采集的翠绿色仿独山玉样品有：戒面三粒、手标本三块(如图1)，玻璃-蜡状光泽，透明，整体为翠绿色-绿色，颜色分布均匀，隐晶质结构，主要呈块状、脉状、条纹状构造，其次为弱定向、团窝状等。经常规宝石特征检测，样品的折射率为1.58(点测)，摩氏硬度为4.5，相对密度2.858(静水比重法)。与白天蓝、满绿独山玉相比，样品的颜色、折射率、相对密度均与其相似，但摩氏硬度较独山玉(5.5～6.4)[1]的偏低。因此，下文重点从显微结构、化学成分和红外光谱三个方面进行了详细的研究。

2 实验数据

实验用到的遥感数据来自美国EO-1卫星搭载的高光谱成像光谱仪Hyperion。Hyperion是目前在轨的唯一一台星载高光谱成像仪器，能获取242个波段数据，覆盖光谱范围是400～2 500 nm，空间分辨率是30 m，幅宽7.7 km。

研究区域位于黄河三角洲，影像获取时间是2012年5月4日格林尼治时间02：25：31。因为大气吸收及传感器自身的原因，有一部分数据无法生成灰度图像，只有158个波段数据能够使用。实验拟对研究区域的高光谱影像分类。

3 分类实验

截取一景图像中的部分区域研究，区域大小是102×157，预先定义研究区域内有5种地物类型，即建筑、海水、养殖区、裸地、内陆水体。每类取50例训练样本点，50例测试样本，用光谱特征和纹理特征表示。通过现场勘探，得到样本集合。选取158个波段的反射率作为样本的158维光谱特征，计算第27～30、47～50波段的4个灰度差分统计量[12]，形成32维纹理特征。

设(x,y)是图像中一点，与该点邻近的(x+Δx,y+Δy)点之间的灰度差i的概率用pΔ(i)表示。对pΔ(i)统计后，用对比度、角度方向二阶矩、熵和平均值表示纹理特征。

对比度：

(3)

角度方向二阶矩：

(4)

(5)

平均值：

(6)

用基于特征接近度和主成分分析2种方法对研究区域进行地物分类。

3.1 基于特征接近度融合的遥感影像分类

利用基于特征矢量接近度的算法融合光谱特征和纹理特征。按照算法处理数据规则，训练样本的表示维数等于类型数目，样本被映射到5维数据空间。空间的第一维表示样本点与第一种地物原型模式之间的吸引力，第二维表示样本点与第二种地物原型模式之间的吸引力，以此类推。融合后，训练样本特征的空间分布见图1。图1(a)是以样本的第一、第二、第三维为坐标轴，图1(b)是以样本的第三、第四、第五维为坐标轴，显示样本的空间分布。图中蓝色表示内陆水体，红色表示建筑，绿色表示海水，黄色表示养殖区，黑色表示裸地。从图中可以看出训练样本特征矢量经过处理后显示出较好的可分离性。

图1 训练样本在特征接近度融合后的空间分布图

训练样本的分类结果见表1，测试样本分类结果见表2。训练样本分类平均正确率高达100%，测试样本的平均分类精度也达到96%，说明提出的融合方法能够极大地提高分类精度。

3.2 基于主成分分析融合的遥感影像分类

利用主成分分析算法融合光谱特征和纹理特征。具体处理过程是先提取5类原型模式，求协方差矩阵；根据协方差矩阵计算特征值、相应的正交特征向量、主成分贡献率和累积方差贡献率，确定主成分个数；用主要成分表示融合后数据。经过主成分分析，158维光谱和32维纹理特征被压缩成4维特征。训练样本被映射到4维数据空间，样本在融合后的空间分布如图2。图2(a)是以样本的第一、第二、第三维为坐标轴，图2(b)是以样本的第二、第三、第四维为坐标轴，展示样本的空间分布。第一维对应第一主成分，第二维对应第二主成分，以此类推。点的颜色和样本类型之间的关系同图1。

表1 基于特征接近度融合的训练样本分类结果

Note:①Inlandwater;②Building;③Seawater;④Aquacultureregion;⑤Bareland;⑥User′saccuracy;⑦Producer′saccuracy

表2 基于特征接近度融合的测试样本分类结果

Note:①Inlandwater;②Building;③Seawater;④Aquacultureregion;⑤Bareland;⑥User′saccuracy;⑦Producer′saccuracy

训练样本的分类结果见表3，样本平均分类正确率是92%，其中建筑、养殖区和裸地的分类精度到达100%。内陆水体样本有3例错分为养殖区和6例错分为海水，海水有10例样本错分到内陆水体，1例错分为养殖区。测试样本分类结果见表4，养殖区错分为内陆水体的样本有6例，裸地错分为建筑的有3例，测试样本的平均正确率达到89%。实验结果表明，基于特征接近度的融合算法对样本的分类正确率高于基于PCA融合的算法。

用上述2种方法对原始遥感影像进行处理。用29波段、23波段和16波段灰度图像合成研究区域的假彩色图像，如图3(a)所示。由于水深、盐度、底质和水的浑浊度不同，内陆水体和海水成像不同。基于特征矢量接近度的特征融合分类结果见图3(b)，基于PCA特征融合的分类结果见图3(c)。图中黑色表示裸地，深灰色表示建筑，灰色表示海水，浅灰色表示养殖区，白色表示内陆水体。

图2 训练样本在主成分分析融合后的空间分布图

表3 基于PCA融合的训练样本分类结果

Note:①Inlandwater;②Building;③Seawater;④Aquacultureregion;⑤Bareland;⑥User′saccuracy;⑦Producer′saccuracy

比较两种方法的分类结果，图3(b)中养殖区、裸地、建筑的分类正确率都较高。主要错误是内陆水体的边缘错分为养殖区，少量靠近海岸线的海水错分为养殖区。图3(c)中的养殖区、裸地、建筑等类型基本分类正确，内陆水体和海水错分比较明显。其中左下方的三角形内陆水体中近一半像素被错分为养殖区和海水，较多的近岸海水被错分为内陆水体。从整幅图像的分类结果可以看出，基于特征接近度的特征融合算法的分类精度远高于主成分分析融合算法的分类精度。

表4 基于PCA融合的测试样本分类结果

Note:①Inlandwater;②Building;③Seawater;④Aquacultureregion;⑤Bareland;⑥User′saccuracy;⑦Producer′saccuracy

((a)伪彩色原始图；(b)基于特征接近度融合的分类图；(c)基于PCA的分类图。(a)Pseudo-colouroriginal image；(b)Classification map based on proximity fusion；(c)Classification map based on PCA fusion.)

图3 分类映像图
Fig.3Classificationmap

4 结语

本文提出了基于特征接近度的融合方法，利用特征接近度表示特征点在特征空间的相对位置，以此作为分辨特征的依据。选择Hyperion影像作为数据源，在特征提取方法相同的情况下，用基于特征接近度的融合算法和主成分分析法进行多特征融合，前者产生的数据空间可分性更好，对实验区影像分类正确率更高。在用本文提出的方法解决问题时应注意该方法的特征融合效果与原型模式有关，准确表示同类模式特征的原型模式能够提高分类精度，反之亦然。在融合过程中，不同特征空间的特征在融合中的地位是相同的。但是在实践中，不同类型的特征对描述对象的刻画能力是不同的，所以，没有区分不同特征的信息量差异也是一个不足。

通过实验证明，本文提出的算法能够同时融合多种类型特征，计算简单，不要求特征相互独立。对高光谱影像能实现较好的特征融合。算法表示特征方式新颖，在融合特征的同时降低了特征表示维数，具有一定实用价值。

[1]PohlC,VanGenderenJL.Reviewarticlemultisensorimagefusioninremotesensing:concepts,methodsandapplications[J].InternationalJournalofRemoteSensing, 1998, 19(5): 823-854.

[2]CorreaNM,AdaliT,LiYO,etal.Canonicalcorrelationanalysisfordatafusionandgroupinferences[J].SignalProcessingMagazine,IEEE, 2010, 27(4): 39-50.

[3]WangZ,ZiouD,ArmenakisC,etal.Acomparativeanalysisofimagefusionmethods[J].GeoscienceandRemoteSensing,IEEETransactionson, 2005, 43(6): 1391-1402.

[4] 宁亚辉， 雷小奇， 王功孝， 等.Dempster-Shafer证据融合形状特征的高分辨率遥感图像道路信息提取 [J]. 中国图象图形学报， 2011， 16(12)： 2183-2190.

[5] 汪闽, 张星月. 多特征证据融合的遥感图像变化检测 [J]. 遥感学报， 2010， 14(3)： 558-570.

[6] 孔祥兵, 舒宁, 陶建斌, 等. 一种基于多特征融合的新型光谱相似性测度 [J]. 光谱学与光谱分析, 2011, 31(8): 2166-2170.

[7] 尹宏鹏, 柴毅, 匡金骏, 等. 一种基于多特征自适应融合的运动目标跟踪算法 [J]. 光电子. 激光, 2010, 21(6): 917-923.

[8]ScottGL,Longuet-HigginsHC.Analgorithmforassociatingthefeaturesoftwoimages[J].ProceedingsoftheRoyalSocietyofLondon.SeriesB:BiologicalSciences, 1991, 244(1309): 21-26.

[9] 焦竹青, 熊伟丽, 张林, 等. 基于接近度的多传感器数据融合方法研究 [J]. 压电与声光, 2009, 31(5): 771-774.

[10] 沈瑜, 党建武, 冯鑫, 等. 基于Tetrolet变换的红外与可见光融合 [J]. 光谱学与光谱分析, 2013(6): 1506-1511.

[11]RossA,JainA.Informationfusioninbiometrics[J].PatternRecognitionLetters, 2003, 24(13): 2115-2125.

[12] 阮秋琦. 数字图像处理学 [M]. 北京： 电子工业出版社, 2007: 423-423.

责任编辑 陈呈超

A Multi-Feature Fusion Method Based on Proximity

LIU Jin-Mei1,2， WANG Guo-Yu1

(1. College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China; 2. Science and Information College, Qingdao Agricultural University, Qingdao 266109, China)

The key problem in feature fusion is how to combine parameters optimally. A novel fusion algorithm based on feature proximity is proposed to fuse multi-feature. Attraction is defined to represent the relationship of feature vector and prototype model. The proximity vector formed by attraction between prototype models and feature vector is adopted to represent fused feature. Hyperion imagery is selected as hyper-spectral test data and terrain classification based on feature fusion is studied. Experimental results show that the proposed method has better fusion performance than principal component analysis for the same feature set.

remote sensing imagery； feature fusion； feature proximity

山东省自然科学基金项目(ZR2009GL008；ZR2010CL025)资助

2014-01-10；

2014-05-06

刘金梅(1979-)，女，副教授。E-mail:liu_jinmei@qau.edu.cn

TP391

A

1672-5174(2015)11-109-05

10.16441/j.cnki.hdxb.20140013