一种自适应学习率的遥感影像分类方法

王研， 段琳琳， 杨玲

摘  要： 在对遥感影像进行分类识别处理时，深度学习技术容易陷于局部最优，模型参数往往需要手动调整。提出一种基于模拟退火算法的自适应学习率方法，并建立层叠去噪自动编码器模型。给模型添加一定学习率比例，以实现学习率在迭代中自动改变。通过对比实验以及曲面拟合方法，验证了该方法的有效性、实用性和可靠性。该方法能自动调整学习率参数且能够避免局部最优解，分类精度和效率均有所提高。

关键词： 模拟退火算法; 分类; 自适应; 学习率; 层叠去噪自动编码器

中图分类号：TP751          文献标识码：A     文章编号：1006-8228（2022）06-27-05

A remote sensing image classification method based on adaptive learning rate

Wang Yan1， Duan Linlin2， Yang Ling1

（1. Henan University， Kaifeng， Henan 475004， China; 2. No.1 Senior High School of Xiangcheng）

Abstract： When classifying and identifying remote sensing images， deep learning technologies are easy to fall into a local optimum， and model parameters are often adjusted manually. In this paper， a method of adaptive learning rate based on simulated annealing algorithm is proposed， and a stacked denoising auto encoder model is constructed. The learning rate is given a proportion so that it can change automatically in the iteration. The effectiveness， practicability and reliability of above algorithm are verified through comparative experiments and surface fitting methods. The results indicate that the proposed method can automatically adjust the learning rate and avoid local optimal solutions， which improves the classification accuracy and efficiency.

Key words： simulated annealing algorithm; classification; adaptive; learning rate; stacked denoising auto encoder

0 引言

在遥感影像分类领域，模型构建和参数取值对实验结果有着很大影响。想要深入学习遥感影像特征，就需要依靠不時改变模型参数值来满足[1]。

参数自适应方法的研究在一些领域内已有显著成效，如米龙[2]将自适应调整算法用于改善红豆的筛选分类结果;Shrestha等人[3]应用以权值收敛准则为基础的自适应方法，显著提高了收敛速度;杨德州等人[4]为解决训练速度较慢的问题，建立了结合自适应学习率方法的光热电场DNI预测模型;马伟昌[5]在深度堆叠网络的训练算法中引用自适应学习率思想，改进了脑电信号识别方法。

在遥感影像处理领域，目前大多数研究依旧采用手动调整模型参数的方式，如宋廷强等人[6]根据训练收敛速度，手动调整AA-SegNet网络模型的学习率;雒培磊等人[7]应用超参数人工调优的方式提高影像配准和拼接精度;朱友君[8]使用手动调节超参数的方式进行城市影像道路分割模型训练;郑重等人[9]通过大量实验得到合适的地面塌陷识别参数。虽然均取得了较好成果，但过程耗时耗力。因此面对遥感影像特征复杂的现状，本文以研究较少、结构简单、能够进行特征自动提取的自动编码器（Auto encoder，AE）[10]为研究基础，基于模拟退火算法并结合层叠去噪自动编码器模型，提出一种方便可行的学习率自适应方法，以适应学习过程中不断变化的状况，跳出局部最优解，进一步改善分类识别的精度和效率。

1 数据

本文实验数据来源于数据集AID（Aerial image dataset），选择其中部分内容作为实验数据，以降低复杂度[11-13]。具体为：①抽选七类地物，其中二类的数量为收录总量，其余五类的样本数量均为100个;②用于训练和测试的样本各585个。表1为整体样本信息。

影像尺寸过大，将导致数据复杂度增大，处理效率低。参考以往研究[14]、结合实验设施性能，修改样本尺寸大小为28pixel×28pixel。并使用最大最小值归一化方法（Min-Max normalization，MMN）对影像数据进行预处理，从而减小数值之间差异[15]。另外，为了降低挑战性，先前的分类研究中[16，17]大多均衡设置每个类别的样本量，在本文中，每个类别的样本量并不均衡，可以很好的验证实验方法的有效性。

2 学习率自适应模型

2.1 层叠去噪自动编码器

层叠去噪自动编码器（Stacked denoising auto encoder，SDAE），由能够从注入噪声的数据中重构出无噪声数据的去噪自动编码器（Denoising auto encoder，DAE）层叠构成，只需在其顶层加上分类器即可实现分类功能，图1为其结构模型图。

本文选用鲁棒性较好的层叠去噪自动编码器（SDAE）为主要模型，训练过程主要分两个阶段。

⑴ 预训练阶段：运用逐层贪婪算法进行无监督训练。依据样本和SDAE结构的特点，分别设置各层DAE的参数值。之后，导入样本数据进行第一个DAE的训练，然后将结果向下一级传递并重复训练过程，各层DAE都完成训练后结束。

⑵ 微调阶段：预训练完成后，对整体模型做反向调优，以此微调模型参数。

2.2 模拟退火算法

模拟退火算法（Simulated annealing，SA），一种结合概率突跳特性的随机寻优算法[18，19]。基本思想为：按照Metropolis准则判断物体从状态[A]进入[B]时，是否保持[B]为当前状态。设状态[A]、[B]下的能量分别为：[EA]、[EB]。

⑴ [EB≤EA]，则接受状态向[B]的移动（能量最低的状态对应于最优解）。

⑵ [EB>EA]，则以概率[PAB]接受[B]为当前状态。

[PAB=exp∆EKT]  ⑴

其中[∆E]表示能量差，[K]表示Boltzmann常数，[T]表示温度。

2.3 基于模拟退火算法的学习率自适应方法

本文基于模拟退火算法并结合SDAE模型提出的学习率自适应方法，主要过程如下。

⑴ 构建并初始化SDAE模型。依据参考文献[20]将各层的单元数设置为：2352-2276-588-284-7。

⑵ 设迭代次数为[x]，学习率为[εx]。目标函数如式⑵所示。

[L=1mi=1mJai，li+λ2Ni=1Wi2]  ⑵

其中[ai]和[li]分别为含噪数据的输入与重构信息，[Jai，li]表示[ai]与[li]之间的误差绝对值，[λ]为正则系数，[Wi]为权值矩阵。

⑶ 设学习率比例为[R]，根据目标函数判断学习率取值。若[Lx+1≤Lx]，则保留[εx+1]作为当前学习率;若[Lx+1>Lx]，则以[R∙εx+1]作为当前学习率。

⑷ 判断学习能否结束。若已达到终止条件，则停止学习;否则，依据条件循环上述步骤。这一过程有两个依据：达到迭代上限或者得到所需精度时[21]。本文选用前者作为判断条件以获得实验所能达到的最高精度。

根据该方法进行学习时，权值矩阵[W]和偏置量[b]的更新依据分别为：

[∆W'n=κ∙∆Wn+ε∙Q∂L∂Wn]  ⑶

[∆b'n=∆bn+ε∙Q∂L∂bn]   ⑷

其中[κ]表示权值动量，[Q∂L∂Wn]、[Q∂L∂bn]分别表示[W]和[b]的偏导数均值。

3 实验结果与分析

使用AID航空图像数据集实验以证实所提算法的有效性。此外，使用基于曲面拟合的方法验证其分类结果的可靠性。

3.1 结果与分析

本文模型采用固定其他参数不变，分别变动加噪率、正则项和动量项的方法，依据参数最优原则得出相应的最优参数值分别为加噪率0.95、[L2]正則项0.1、动量项0.7，进而改变学习率取值以得到最佳实验效果。为避免学习率取值过大导致无法收敛，故根据弹性间隔变动对学习率取0.01，0.05，0.1至0.9共11个取值。

添加自适应模型（方法1）与未添加学习率比例（方法2）的实验结果如图2所示。

观察图2可知：学习率在0.3处时，方法2的分类精度已经达到最高，为82.05%，而在0.01处时，方法1达到最高精度，为98.97%。这说明学习率自适应方法能跳出局部最优解。

实验结果所对应的评价指标数据见表2、表3。

由表2、表3可知：

⑴ 方法1相较于方法2，Kappa系数提高了0.2146，整体分类精度（OA）提高了0.1692;

⑵ 添加自适应方法的实验中，各类的生产精度（PA）与用户精度（UA）也均有所提高，其中海滩的PA值增加了50%，教堂的UA值增加了39.31%。

图3是在学习率为0.01的情况下，更改学习率比例得到的分类精度图。

从图3中可以看出，学习率比例取值0.01、0.05和0.1时，精度均是最大值98.97%。

本文计算机系统为Windows7（64Bit），4核，CPU 2.21GHZ，RAM 4GB;所使用软件为Matlab（R2016a）。选取学习比例为0.1，进行自适应和手动赋予这两种方法的实验耗时对比。结果表明：当采用手动添加时，所用时间为1948.24s;运用学习率自适应方法时仅耗时1356.80s。说明自适应方法能够明显提高分类实验效率。

综合上述实验结果可以看出，将本文方法应用到遥感影像分类实验中，能够避免陷入局部最优陷阱、缓解手动操作效率低的状况，提高分类精度，缩减实验时长。

3.2 基于曲面拟合的精度验证

最小二乘算法（Least Square Algorithm，LS）[22]能够解出具有最优参数的拟合曲线，使得各数据点与该曲线之间的距离和值达到最小。此外，依据相同的原理，LS还能够处理最优函数匹配问题。

设所拟合的曲面模型为：

[f=a1+a2x21+a3x22+a4x1x2+a5x1+a6x2ω]  ⑸

其中[x1]为学习率，[x2]为学习率比例，[y]为结果精度，[ai]为系数，[ω]为随机误差项。

由[x1]、[x2]、[y]构成的三维空间点与拟合曲面之间的距离和值达到最小，便是本文需要求得目标函数的本质。由此能够验证实验结果的可靠性。三维空间点的形式可以表示为[x11，x21，y1，x12，x22，y2，…，x1i，x2i，yi]。实验中根据空间点可求得：

[f=-0.1313-0.9117x21+0.3991x22- 0.2919x1x2]         [+1.8006x1-0.0582x2] ⑹

空间点与函数⑹之间的距离和值最小，就意味着结果误差达到了最小值。图4为可视化模型。

表4展示了空间点能够拟合的几个模型。其中F值（统计量观测值）和R2（可决系数）越大，p值和σ（误差方差估计值）越小，代表模型拟合效果越佳，具有较高的合理性。表中所展示函数模型的R2均大于0.6，P值均小于0.05，意味着这些模型都适用于上述空间点的拟合，证明了实验结果的可靠性及研究方法的科学性。模型⑹的R2最高，σ值最小，故其拟合效果最好。

4 结束语

在遥感影像分类研究中，深度学习技术的应用在不断进步的同时也遇到了一些阻碍。本文参考已有研究，提出一种结合模拟退火算法的自适应学习率方法，旨在研究中跳出局部最优、实现自动调参。采用AID数据集进行实验，结果证明了本文所提的自适应学习率计算方法能有助于更深层的学习影像特征，提高分类精度，学习效率也较高，能有效解决以往算法中的陷入局部最优和需要手动调参等问题。下一步研究工作的重点是增加实验的数据量，并增加分类类别以验证本文算法的泛化性能。

参考文献（References）：

[1] 段琳琳.基于深度学习的遥感影像分类研究[D]. 河南：河南大学，2018

[2] 米龙.自适应深度学习算法在目标分类问题中的应用[D].沈阳：东北大学，2014

[3] SHRESTHA S B， SONG Q. Weight convergence of SpikeProp and adaptive learning rate： Communication， Control， & Computing[C]， Fifty-first Annual Allerton Conference Allerton House： IEEE，2014

[4] 杨德州，李锦键，吕金历，等.基于改进CNN的光热电场太阳直接法向辐射预测研究[J].可再生能源，2021，39（2）：182-188

[5] 马伟昌.基于自适应学习率深度堆叠网络的脑电信号识别方法研究[D].重庆：重庆邮电大学，2020

[6] 宋廷强，李继旭，张信耶.基于深度学习的高分辨率遥感图像建筑物识别[J].计算机工程与应用，2020，56（8）：26-34

[7] 雒培磊，李国庆，曾怡.一种改进的基于深度学习的遥感影像拼接方法[J].计算机工程与应用，2017，53（20）：180-186

[8] 朱友君.基于卷积神经网络的城市遥感影像道路分割[D].成都：电子科技大学，2019

[9] 郑重，张敬东，杜建华.基于深度学习的遥感图像中地面塌陷识别方法研究[J].现代商贸工业，2017（35）： 189-192

[10] RIFAI S， VINCENT P， MULLER X， et al. Contractive Auto-Encoders： Explicit Invariance During Feature Extraction： Proceedings of the 28 th International Conference on Machine Learning[C]： ICML，2011

[11] SHAO W， YANG W， XIA G S， et al. A Hierarchical Scheme of Multiple Feature Fusion for High-Resolution Satellite Scene Categorization： Proceedings of the 9th international conference on Computer Vision Systems[C]：ICVS，2013

[12] ZHOU W， SHAO Z， DIAO C， et al. High-resolution remote-sensing imagery retrieval using sparse features by auto-encoder[J]. Remote Sensing Letters， 2015，6（10-12）：775-783

[13] YANG W， YIN X， XIA G. Learning High-level Features for Satellite Image Classification With Limited Labeled Samples[J]. Transactions on Geoscience and Remote Sensing，2015，53（8）：4472-4482

[14] 柳振东.卷积神经网络在图像分类中的研究与应用[D].天津：中国民航大学，2017

[15] 汤荣志.数据归一化方法对提升SVM訓练效率的研究[D].济南：山东师范大学，2017

[16] QU B， LI X L， TAO D C， et al. Deep semantic understanding of high resolution remote sensing image： International Conference on Computer[C]： IEEE，2016

[17] HU F， XIA G， HU J， et al. Transferring Deep Convolutional Neural Networks for the Scene Classification of High-Resolution Remote Sensing Imagery[J].Remote sensing （Basel， Switzerland），2015，7（11）：14680-14707

[18] 江丽.基于粒子群与模拟退火算法的BP网络学习方法研究[D].合肥：安徽大学，2013

[19] 陈国飞.基于模拟退火的粒子群算法的函数优化研究[D].长沙：中南大学，2013

[20] 刘祖瑾，杨玲，刘祖涵，等.一种结合深度置信网络与最优尺度的植被提取方法[J].激光与光电子学进展，2018，55（2）：158-167

[21] 满凤环，陈秀宏，何佳佳.一种基于模拟退火算法改进的卷积神经网络[J].微电子学与计算机，2017，34（9）：58-62

[22] 张雪峰.最小二乘与最小二乘支撑向量机[D].成都：电子科技大学，2007