一种基于ELM-SVM的遥感图像分类方法

古丽娜孜·艾力木江，乎西旦·居马洪，孙铁利，梁 义

(1.伊犁师范学院电子与信息工程学院，新疆 伊宁 835000；2.东北师范大学地理科学学院，吉林 长春 130024；3.东北师范大学计算机科学与信息技术学院，吉林 长春 130117)

一种基于ELM-SVM的遥感图像分类方法

古丽娜孜·艾力木江1，2，乎西旦·居马洪1，孙铁利3，梁 义1

(1.伊犁师范学院电子与信息工程学院，新疆 伊宁 835000；2.东北师范大学地理科学学院，吉林 长春 130024；3.东北师范大学计算机科学与信息技术学院，吉林 长春 130117)

提出一种极限学习机(ELM)和支持向量机(SVM)相融合的遥感图像分类模式.选取ELM为基础分类器，以SVM来修正改善分类效率.仿真实验结果表明，该算法不仅具有较高的分类精度，而且消除一些训练样本标签对分类的负面影响.结合ALOS/PALSAR、PSM图像与SVM、ANN(Artificial Neural Network)方法进行对比分析，发现该方法鲁棒性较好.

支持向量机；遥感数据；极限学习机；分类精度

近几年，各类商用高空间分辨率遥感图像显著增加.传感器获取的图像信息给测绘、环境监测、资源调查、灾害管理、军事情报等领域提供很多细节表面信息，而遥感图像需要转化成与其他数据集兼容的标准模式[1]，遥感图像分类是从图像像素中自动提取分类信息来识别不同地表物的过程[2].自动获取图像分类信息的方法主要有监督分类方法和无监督分类方法.然而，光谱混淆问题在很大程度上给这2种分类都增加了获取地表物的难度，影响分类的准确性.在过去几年里，国内外不少研究工作者不断探索新的智能方法和分类技术[3-6]，试图消除干扰，提高分类精度.从遥感数据处理任务的不同层面来分析，尤其在监督分类[7-8]、无监督分类[9-10]、特征提取[11-13]、目标识别[14-15]、变化检测[16-17]等模式识别领域，取得了令人振奋的成果.

基于统计模式的分类方法Vapnik提出的支持向量机(SVM)方法，该方法在非线性分类问题很受欢迎并成为研究热点，也是模式识别领域最为活跃的一个机器学习算法[18-19]，同样在维数高、数据不确定性等数据处理领域里也显出了其优势[20-21].SVM在空间数据处理和分析包括高光谱遥感图像分类[22]、空间数据挖掘[23]、对象检测[24]、土地覆盖分类[25]和道路信息提取[26]等领域都被广泛使用.极限学习机(ELM)是由黄广斌[27]提出来的一种新型神经网络算法.ELM具有训练速度快，人工干扰较少，对于异质的数据集泛化能力较强等优点[28].缺点是与神经网络等其他机器学习方法一样，ELM也是经验风险最小化原理上搭建的模型，所以很难避免“过拟合”现象，从而影响ELM的应用.其实，机器学习方法都有其优缺点.因此，在遥感领域里探索组合学习方法已成为研究热点[29]，解决遥感数据不确定性特征而造成的错分、漏分现象或降低其精度，避免或减少“椒盐效应”现象，从而达到提高分类精度的目标.各类组合技术说明，有时单靠一种方法去解决某个特定领域分类问题而获得的结果往往不理想，反而在某种优化改进或某种组合模式下可得到较好的分类效果.因此，根据数据集特征和分类问题的需要灵活选用或搭配分类算法及参数最优值.

在机器学习领域，一直提倡使用基于结构风险最小化原理的简单有效学习方法.如果学习方法的构造原理过于复杂，即便带来较高的效率，但所付出的时间、空间代价也是不能忽略的.因此，本文针对提高分类精度，提出一种基于SVM和ELM的简单有效融合模式，保证了算法复杂度和分类精度.

1 基本概念

1.1 ELM

图1 ELM模型结构

目前，有许多像径向基函数神经网络[30]、标准神经网络模型[31]等改进的神经网络方法.ELM以其独特的优势在各种非线性问题中被广泛应用，如图1所示.ELM是由输入层、隐含层和输出层等简单三层组成的单隐含层前馈神经网络.对于一个单隐含层神经网络，假设n是输入层节点数，r是隐含层节点数，c是输出层节点数.对于N个任意样本(xi，li)，1≤i≤N，存在xi=[xi1，xi2，…，xin]T∈Rn，li=[li1，li2，…，lic]T∈Rc，则ELM的数学模型可以描述为

(1)

其中：fk=[fk1，fk2，…，fkc]T是期望输出值；ωi=[ωi1，ωi2，…，ωin]是第i个隐含层神经元和输入神经元之间的连接权值，即它是一个n维的权值向量；βi=[βi1，βi2，…，βic]T，βi是第i个隐含层神经元和输出神经元之间的连接权值；bi是第i个隐含层单元的偏置；g(x)是激活的函数.

传统的一些机器学习算法，如BP(Back Propagation)学习算法及其变种，所有的参数需要在迭代过程中进行调整.而在ELM一开始的训练中输入权重ωi和隐含层偏置bi就随机生成并保持不变，只有β才是唯一的训练参数.将公式(1)可简单的描述为

β=H†L，

(2)

(3)

其中：H为神经网络隐含层的输出矩阵，L就是期望输出向量.当解决了β则ELM训练完成.因此，训练一个网络就是相当于找到线性函数(2)式的一个最小二乘解β.

从以上可以看到，ELM只需要设置隐含层节点数量，不改变隐含层的输入权值和阈值，只生成一个最优解.所以ELM具有良好的泛化性能和学习速度.

1.2 SVM

图2 线性支持向量机

SVM是统计学习理论中最重要的学习方法，从分类角度来分析，SVM是一种广义的线性分类器，在此基础上，经过引入结构风险最小化、最优化和核函数方法逐渐演化而成[32-33].虽然该方法的设计完成花了3年时间，但从实用角度来看，目前仍处于不断完善、优化的阶段.

SVM的基本思想：首先通过非线性变换将输入空间中的样本信息变换到一个高维空间中，然后在新空间中求得最优线性分类面，而这非线性变换是通过定义适当的内积函数实现的.所谓的最大间隔分类线在二维空间中叫最优分类线，推广到多维空间时叫最优分类面，不管怎样最优分类线不但能正确分开不同类别的样本，而且使得分类间隔最大(见图2).

训练样本集为

S={(xi，yi)，i=1，2，…，r}，xi∈Rn，yi∈{+1，-1}；

(4)

SVM的线性公式为

(5)

(6)

其中对应ai≠0的样本就是支持向量.

解决非线性分类问题，利用一些非线性特征变换，将原始输入空间中的输入点(样本)信息转变(映射)到某个高维特征空间中去，然后在新的空间求出最优的分类面.根据映射(5)式可变为：

s.t.yi[wxi+b]-1+ξi≥0，i=1，2，…，l，ξi≥0，i=1，2，…，l.

(7)

其中φ( )为空间变化函数，C为惩罚系数，ξi为松弛因子.

通过运用与构造不同形式的核函数，可解决不同的分类问题，这样最优分类面(6)式引入核函数后变为

(8)

根据黄广斌的一系列调查研究思想，详细分析(8)式的SVM分类模型和(1)式的ELM分类模型后可总结出以下思想：SVM也可看成神经网络，把神经网络的输入层到最后一层隐含层的部分或者SVM核函数映射的部分都看成从输入空间到一个新的空间的转换，然后，BP将误差反向传播更新权值使得误差最小化，而SVM则力求找到最大间隔的分界面，将新空间映射到输出空间.从这个角度来看，SVM确实可以看成是一种神经网络.因此，本文将这2种神经网络模型融合起来完成遥感图像的分类.以ELM为基础训练，以SVM训练结果来修正重构ELM分类模型.

2 融合分类算法原理和实现步骤

由于ELM经验风险最小，即训练误差最小的准则来评价算法优劣，所以难免会出现过拟合现象，影响分类模型泛化能力.一个理想分类模型要同时考虑结构风险和经验风险，在分类模型中对两者合理权衡，才能保证分类模型泛化能力.本文将结构风险最小化SVM引入到ELM中，保证融合模型的泛化能力.

2.1 算法模型

图3 ELM-SVM算法模型

对训练样本xi=[xi1，xi2，…，xin]和测试样本Test=[test1，test2，…，testn]，ELM-SVM算法的各个模块及各模块间的工作流程如图3所示.

2.2 算法实现步骤

步骤1：将原始训练节点xi=[xi1，xi2，…，xin]输入到ELM，用ELM进行训练.

步骤2：同样将所有训练节点xi=[xi1，xi2，…，xin]导入到SVM中，运行得到的各类支持向量(Support Vectors，SVs)为

(9)

其中n是类数，每类共含m个支持向量，而svij是从输入文档中所获得的支持向量.确定每类的SVs之后，其余的训练数据点可以被消除.

步骤3：通过测试样本Test=[test1，test2，…，testn]和(9)式的svij得到

(10)

的ELM输入节点.

步骤4：(10)式的向量初始化神经网络，即采用ELM进行第2次训练.

步骤5：应用神经网络并获得分类结果.

步骤6：对同样数据把步骤1—5的操作重复执行t次，得到t个分类结果(f1，f2，…，ft)(实验将t值设为5).然后把最高次数的分类结果当做实验最终分类结果.

3 实验结果及分析

3.1 数据集1的实验结果

数据集1：2009年12月18日制作的吉林省长春市伊通河ALOS数据，覆盖范围为12.312 788 m×11.815 463 m地段，由7 100行7 995列4个波段([BIP]式)组成，含227，123，619像素.伊通河为长春历史上的第一大河，将1 014像素×721像素×3像素规格的一部分数据当做本文的实验数据.实验数据由水体、建筑、草地和灌木、裸地、道路等5类组成，实验数据、感兴趣区域样本间分类度的数字化和可视化表示形式见图4—6.

图4 2009-12制作的吉林省长春市伊通河遥感影像的实验数据

图5 数据集1的ROI样本分离性报告

图6 数据集1的ROI样本分类型n-D可视化报告

将ELM-SVM方法分别与传统SVM、ANN方法进行对比分析.分类统计混淆矩阵见表1—3，分类效果见图7，混淆矩阵行代表分类预测，列代表分类的准确性.最后对3个机器学习方法分类精度及其Kappa系数进行横向对比，数据分别见表4和图8.结果说明本文提出方法具有较大的优越性.

表1 SVM分类测试图像像素的混淆矩阵数据

表2 ANN分类测试图像像素的混淆矩阵数据

表3 ELM-SVM分类测试图像像素的混淆矩阵数据

(a)原实验数据1/4部分

(b)SVM

(c)ANN

(d)ELM-SVM

表4 3个机器学习算法分类精度的对比

MLAsSVMANNELM-SVMOverallaccuracy/%89.2287.5090.60Kappa0.7420.710.779

图8 数据集1的分类精度的对比

3.2 数据集2的实验结果

第2个数据集是从PMS传感器获取，2014年3月5日制作的江苏省一个工厂区的正射影像(http：//www.rscloudmart.com/image//sampleData)，其分辨率为2 m.从该数据集中，以556像素×389像素×3像素含641，850 B的部分数据当做本文的实验数据.实验数据大致可分为草坪、房屋、高层建筑、水体、裸地、道路、树林等7类，实验数据、感兴趣区域样本间分类度的数字化和可视化表示形式分别为如图9—11所示.

图9 2014-03制作的江苏省一个工厂区影像的实验数据

图10 数据集2的ROI样本分离性报告

图11 数据集2的ROI样本分类型n-D可视化报告

对实验数据2，同样将ELM-SVM方法效率分别与传统SVM、ANN方法进行对比分析.分类统计混淆矩阵见表5—7，分类效果见图12.对这3个算法效率进行对比分析，分别为见表8和图13.说明本文提出方法的鲁棒性较好.

表5 SVM分类测试图像像素的混淆矩阵数据

表6 ANN分类测试图像像素的混淆矩阵数据

表7 ELM-SVM分类测试图像像素的混淆矩阵数据

(a)原实验数据1/4部分

(b)SVM

(c)ANN

(d)ELM-SVM

图12 数据集2的分类效果图

表8 3个机器学习算法分类精度的对比

MLAsSVMANNELM-SVMOverallaccuracy/%96.5287.6197.55Kappa0.950.8230.964

图13 数据集2的分类精度的比较

实验结果分析：遥感数据感兴趣区域里每类样本之间的区分度都在1.8以上比较理想.但在图5(对应实验数据1)和 图10(对应实验数据2)中的数据没有全部达到1.8，在实验数据集1里建筑和道路的区分度只有1.578 440 05，而在实验数据集2里裸地和道路的区分度为1.603 121 96，房屋和高层建筑的区分度为1.748 902 43，房屋和裸地的区分度为1.703 091 76，这就影响到我们分类算法最终的分类精度.众所周知，光谱信息是纹理信息、形状信息的基础.遥感数据应用研究是同一个光谱对应不同地表物的现象(简称“同谱异物”现象)，如果忽略了形状信息分类精度也会受到影响.一般建筑屋顶和道路等建筑材料主要都是水泥和沥青，因此有相同的光谱特征，但它们的形状不同.若能加上样本形状特征，分类精度会更高，但本文提出方法的分类效果已达到预期研究目标.我们下一步将对于算法进一步优化.

5 结论

本文选用机器学习方法将SVM算法和新的神经网络ELM方法融合在一起，实现了基于ELM-SVM的遥感图像分类.该融合模型中心思想是以SVM的训练结果修正重构ELM.仿真实验结果表明，提出的融合算法不管从视觉角度还是数字统计都显出较好的分类效果，鲁棒性较好，对遥感图像分类研究提供了有益的理论参考.

[1] BLASCHKE T.Object based image analysis for remote sensing[J].ISPRS Journal of Photogrammetry and Remote Sensing，2010，65(1)：2-16.

[2] BORAK J S，STAHLER A H.Feature selection and land cover classification of a MODIS-like data set for a semiarid environment[J].International Journal of Remote Sensing，1999，20：919-938.

[3] LU D，WENG Q.A survey of image classification methods and techniques for improving classification performance[J].International Journal of Remote Sensing，2007，28(5)：823-870.

[4] YOUSSEF A M.An enhanced remote sensing procedure for material mapping in the Western Desert of Egypt：a tool for managing urban development[J].Natural Resources Research，2008，17(4)：215-226.

[5] PAN X，ZHANG S Q，ZHANG H Q.A variable precision rough set approach to the remote sensing land use/cover classification[J].Computers & Geosciences，2010，36(14)：66-1473.

[6] FOODY G M，MATHUR A.Toward intelligent training of supervised image classification：directing training data acquisition for SVM classification[J].Remote Sensing of Environment，2004，93：107-117.

[7] LI J，BIOUCAS-DIAS J M，PLAZA A.Semi supervised hyper spectral image classification using soft sparse multinomial logistic regression[J].IEEE Geosci Remote Sens Lett，2013，10(2)：318-322.

[8] ZHONG Y F，ZHANG L P.An adaptive artificial immune network for supervised classification of multi hyperspectral remote sensing imagery[J].IEEE Trans.Geosci.Remote Sens，2012，50(3)：894-909.

[9] VILLA A，CHANUSSOT J，BENEDIKTSSON J A，et al.Unsupervised methods for the classification of hyperspectral images with low spatial resolution[J].Pattern Recognition，2013，46(6)：1556-1568.

[10] YANG H，DU Q A，MA B.Decision fusion on supervised and unsupervised classifiers for hyperspectral imagery[J].IEEE Geosci.Remote Sens.Lett，2010，7(4)：875-879.

[11] DU Q，RAKSUNTORN N，YOUNAN N H，et al.End-member extraction for hyperspectral image analysis[J].Appl Opt，2008，47(28)：77-84.

[12] DU Q，YANG H.Similarity-based unsupervised band selection for hyperspectral image analysis[J].IEEE Geosci.Remote Sens.Lett，2008，5(4)：564-568.

[13] JIA X P，KUO B C，CRAWFORD M M.Feature mining for hyperspectral image classification[J].Proc.IEEE，2013，101(3)：676-697.

[14] DU B，ZHANG L P.Target detection based on a dynamic subspace[J].Pattern Recognition，2014，47(1)：344-358.

[15] MANOLAKIS D，SIRACUSA C，SHAW G.Hyper spectral subpixel target detection using the linear mixing model[J].IEEE Trans.Geosci.Remote Sens，2001，39(7)：1392-1409.

[16] BIOUCAS-DIAS J M，NASCIMENTO J M P.Hyperspectral subspace identification[J].IEEE Trans.Geosci.Remote Sens，2008，46(8)：2435-2445.

[17] CAMPS-VALLS G，GOMEZ-CHOVA L，MUNOZ-MARI J，et al.Kernel-based framework for multi temporal and multisource remote sensing data classification and change detection[J].IEEE Trans.Geosci.Remote Sens，2008，46(6)：1822-1835.

[18] HEIKKNEN V，TOKOLA T，PARKKINEN J，et al.Simulated multispectral imagery for tree species classification using support vector machines[J].IEEE Transactions on Geoscience and Remote Sensing，2010，48(3)：1355-1364.

[19] MELGANI F，BRUZZONE L.Classification of hyperspectral remote sensing images with support vector machines[J].IEEE Transactions Geoscience and Remote Sensing，2004，42(8)：1778-1790.

[20] LIU Y，ZHANG B，HUANG L H，et al.A novel optimization parameters of support vector machines model for the land use/cover classification[J].International Journal of Food，Agriculture & Environment，2012，10(2)：1098-1104.

[21] PEIJUN DU，KUN TAN，XIAOSHI XING.A novel binary tree support vector machine for hyperspectral remote sensing image classification[J].Optics Communications，2012，285：3054-3060.

[22] ROGERIO GALANTE NEGRI，LUCIANO VIEIRA DUTRA，SIDNEI JOAO SIQUEIRA SANT’ANNA.An innovative support vector machine based method for contextual image classification[J].ISPRS Journal of Photogrammetry and Remote Sensing，2014(87)：241-248.

[23] ANDRES SERNA，BEATRIZ MARCOTEGUI.Detection，segmentation and classification of 3D urban objects using mathematical morphology and supervised learning[J].ISPRS Journal of Photogrammetry and Remote Sensing，2014，93：243-225.

[24] TUIA D，PACIFICI F，KANEVSKI M，et al.Classification of very high spatial resolution imagery using mathematical morphology and support vector machines[J].IEEE Transactions on Geoscience and Remote Sensing，2009，47(11)：3866-3879.

[25] HUANG X，ZHANG L P.Road centre line extraction from high-resolution imagery based on multi scale structural features and support vector machines[J].International Journal of Remote Sensing，2009，30(8)：1977-1987.

[26] GUANG-BIN HUANG，QIN-YU ZHU，CHEE-KHEONG SIEW.Extreme Learning Machine：Theory and Applications[J].Neuro computing，2006，70：489-501.

[27] MIN HAN，BEN LIU.Ensemble of extreme learning machine for remote sensing image classification[J].Neuro computing，2015(149)：65-70.

[28] JORGE GARCIA-GUTIERREZ，DANIEL MATEOS-GARCIA，MARIANO GARCIA，et al.An evolutionary-weighted majority voting and support vector machines applied to contextual classification of LiDAR and imagery data fusion[J].Neuro computing，2015，63：17-24.

[29] HAN M，ZHU X，YAO W.Remote sensing image classification based on neural network ensemble algorithm[J].Neuro computing，2012，78：133-1338.

[30] HUANG G B，CHEN L.Enhanced random search based incremental extreme learning machine[J].Neuro computing，2008，71：3460-3468.

[31] VAPNIK V.Estimation of dependences based on empirical data[M].Moscow：Nauka，1979：5165-5184.

[32] CORTES C，VAPNIK V.Support vector networks[J].Machine Learning，1995，20(3)：273-297.

[33] BURGES C J C.A tutorial on support vector machines for pattern recognition[J].Data Mining and Knowledge Discovery，1998，2(2)：121-167.

(责任编辑：石绍庆)

An approach based on ELM-SVM for remote sensing image classification

Gulnaz Alimjan1，2，Hurxida Jumahun1，SUN Tie-li3，LIANG Yi1

(1.School of Electronics and Information Engineering，Yili Normal University，Yining 835000，China； 2.School of Geographical Science，Northeast Normal University，Changchun 130024，China； 3.School of Computer Science and Information Technology，Northeast Normal University，Changchun 130117，China)

Data classification is a key step of the remote sensing data into thematic map information.Find a good classification method and improve the accuracy of data processing are highly challenging problems.In this paper，we propose a fusion classification model based on extreme learning machine(ELM) and support vector machine(SVM) for remote sensing image classification.Choose ELM based classifier and correction to improve the classification efficiency by SVM.Simulation experiment results show that the algorithm not only has higher classification accuracy，and eliminate some of the training sample tag on the negative impact for classification.Combining ALOS/PALSAR，PSM images，comparative analysis with SVM and artificial neural network(ANN)，show the robustness of the method.

support vector machines；remote sensing data；extreme learning machine；classification accuracy

1000-1832(2017)01-0053-09

10.16163/j.cnki.22-1123/n.2017.01.011

2016-04-17

国家自然科学基金资助项目(61663045)；新疆高校科研计划重点研究项目(XJEDU2014I043)；伊犁师范学院重点项目(2016YSZD04).

古丽娜孜·艾力木江(1972—)，女，副教授，主要从事模式识别与遥感图像处理研究.

TP 391.1 [学科代码] 520·30

A