焦计晗,张 帆,张 良
(1.湖北大学 资源环境学院,武汉 430062; 2.中国地质大学 计算机学院,武汉 430074;3.农业部遥感应用中心武汉分中心, 武汉 430062)
农作物面积监测主要是利用遥感技术对地表农作物种植面积和种植分布进行估测监视,是农情监测调查的重要一环。农作物面积估测为农作物估产提供了有效方法,进而为国家粮食政策的制定提供依据,维护国家粮食安全[1]。
传统的遥感农作物面积估测主要是根据农作物在遥感影像上特定的波谱特征或者物候特征进行识别分类[2]。对于单时相遥感影像数据而言,基于波谱特征的分类方法易受遥感影像分辨率影响,尤其对于微小地块和分辨率较低的影像数据,“同物异谱”和“异物同谱”的现象较为常见。而根据农作物物候特征进行分类同样受影像数据影响较大,如何在单幅遥感影像上提取特定作物的物候特征也有很大局限性。之后随着多时相遥感变化检测的提出,利用多幅遥感影像对农作物进行识别监测成为可能,如何馨[3]利用小波变换将MODIS与TM影像数据进行融合后,对2008年河南省原阳县玉米种植信息进行分析,得到种植面积和种植分布,估测精度达到78.76%。而多时相农作物遥感变化监测同样面临同一作物不同时期或同一作物不同数据源的影像数据获取问题,其次不同分辨率影像数据的融合方法仍值得研究。
针对农作物遥感影像,提出一种基于改进后的AlexNet[4]卷积神经网络模型。并将该模型用于湖北省荆门市油菜作物种植面积的识别估测中。该模型可以在识别大量的遥感影像地物后,隐式的学习到油菜作物遥感影像特征,进而对种植面积进行估测。
卷积神经网络(convolutional neural network, CNN)是深度学习中研究和应用较为广泛的一个分支,是一种专门用来处理具有类似网络数据结构的神经网络。CNN类似于一个黑盒子,只需要将网络数据直接输入,它便会隐式的提取数据的特征进行学习,得出学习结果。CNN与传统神经网络的不同是它采用局部感知视野和参数共享机制并加入池化层,在使用反向传播算法的同时使网络的结构得到极大的简化和优化[5]。
卷积神经网络的训练过程实质是一个参数不断学习更新的过程,训练给定一个初始随机参数,得到输出值,当输出值与标准值不同时,计算误差,之后采用反向传播算法(back propagation,简称BP算法),从输出层向反方向一层一层更新参数,直至训练精度达到最高[6]。更新权值公式如下:
w(t+1)=w(t)+η*δ(t)*x(t)
(1)
其中:x(t)为神经元的输出,δ表示该神经元的误差项,η表示学习率。
卷积神经网络学习图像的特征是靠卷积层和池化层来实现的。卷积运算主要作用为提取图像特征,而之后的池化层则是降低特征维度,以此达到减小计算复杂度,避免过拟合的目的。卷积公式如下:
y(n)=x(n)*h(n)
(2)
其中:*表示卷积,x(n)为卷积对象,h(n)为卷积核,y(n)为卷积结果,n是卷积核位移的量,在提出的改进模型中n为3或2。
卷积神经网络的全连接层,即指输出层的神经元和输入层的每个神经元都相连接。其本质就是一个分类器。常用的分类器包括:多层感知机、径向基网络、多项式逻辑回归和Softmax回归函数,其中Softmax回归函数复杂度低且分类效果好,因此在神经网络中得到广泛应用。输出向量的维度取决于分类任务,分类效果取决于隐含层的设计[7]。
经典的AlexNet卷积神经网络模型来源于ImageNet[8]大赛,主要用于分辨率较高,图片尺寸较大的图片识别。对于遥感影像来说,分辨率较高意味着同等尺寸下,影像实际范围较小,不适合大尺度遥感监测分析。图片尺寸大则意味着同等分辨率下,影像实际范围较大,影像内地物较多,分辨精度易受其他地物影响。高分辨率影像,大尺寸单位图片不适合做大范围监测,因而中低分辨率影像和小尺寸单位图片更适合用于遥感影像大范围农作物识别监测。对于湖北省荆门市油菜作物,采用中分辨率影像Landsat8影像数据,将单位图片大小调整为4*4像素大小,进而对AlexNet模型进行针对性改进。
受限于遥感影像时间和空间分辨率,原AlexNet模型的卷积核过大,不适合处理Landsat8荆门市遥感影像数据。改进后的AlexNet模型仍为8层,其中前5个是卷积层,其中第一、二、五层的每个卷积层后都加一个池化层,后3个是全连接层。与原模型不同的是各个卷积层的卷积核大小以及相应的步长,针对遥感影像数据做出了针对性的调整。前两个卷积核大小调整为3*3大小,后3个卷积核大小调整为2*2大小,步长均调整为1。对于池化层,前两个池化层卷积核大小不变为3*3,最后一个调整为2*2,步长同样均调整为1。将卷积核变小以及步长均调整为1,是为了适应训练数据中单位遥感图片大小为4*4像素,如果卷积核大于4*4像素,卷积提取的特征值就会代表性不强,最终的精度也会降低。如表1所示。
在卷积神经网络训练过程中,有时限于数据集的大小和过
表1 改进前后模型结构对比
度训练,会出现过拟合现象,即训练的模型在训练数据集中拟合程度很好,但在其他测试数据集中拟合效果较差。为了防止过拟合,提出了3种优化方案。一是扩大训练数据集,将湖北省荆门市遥感影像划分为十块区域,每块区域提取训练数据图片880张,其中油菜为440张,非油菜为440张,共得到训练数据8800张。二是Earlystopping,即在模型对训练数据收敛之前停止迭代来防止过拟合。在每一次训练数据遍历之后计算模型训练精度accuracy,当accuracy在最近连续十次的迭代中均保持不变时,停止迭代,默认训练精度达到最好。三是在全连接层后加入dropout[9],dropout是在每层神经元单元训练开始时,随机的删除一定比例的(比例自己根据实际需要设定,一般设为0.5)隐藏层神经元,即认为这些神经元是不存在的,但输入层与输出层的个数并不会改变。在参数学习更新时,已经删除的神经元单元不会再更新,这样每次迭代都随机删除一些神经元,直至训练结束。如图1。
图1 dropout原理图
即dropout在训练过程中会以一定概率将隐含节点的输出清零,而用bp更新权值时,不再更新与该节点相连的权值[9]。如式(3):
r=m*a(Wv)
(3)
其中:v是n*1维的列向量,W是d*n维的矩阵,m是个d*1的0、1列向量,a(x)是一个满足a(x)=0的激发函数。这里的m和a(Wv)相乘是对应元素的相乘。
湖北省荆门市是我国重要的油菜作物主产区,种植面积常年维持在150万亩以上,2017年荆门市统计局统计的数据显示,2017年油菜种植面积为163万亩。选用2017年3月29日的两幅Landsat8影像,裁剪拼接后得到荆门市影像图,采用改进后的AlexNet模型对影像图进行训练并估测荆门市2017年油菜种植面积。
遥感数据是利用地物的反射,将其电磁波信息通过分类分成若干个光谱波段,不同的波段所携带的信息量和信息大小均不同,不同波段组合起来所涵盖的信息也不尽相同[10]。因此在波段组合方面考虑两个方面。一是所选波段信息量要少。二是波段间的相关性要大。用CNN模型对油菜信息进行提取,就类似于对遥感影像进行二分类,油菜作物为一类,其它地物为一类。若波段所含信息量太大,除油菜信息以外的其它信息过多,会影响训练数据的选取,加大数据的制作难度。而波段相关性小同样会影响波段组合后数据的纯度。综合这两方面,通过计算各波段的标准差和波段间的相关系数,选取4、3、2波段作为实验组合波段。
卷积神经网络模型的训练需要大量数据,数据的质量和数量在很大程度上影响着模型的训练效果。为了保证选取的数据能够覆盖整个荆门市,将拼接裁剪后得到的荆门市影像图分成十块区域,之后通过目视解译,在每块区域按照油菜与非油菜1:1的比例随机选取单位大小为4*4像素的图片共1100张,十块区域总共获得11000张。然后将这11000张图片按照4:1的比例分成训练数据集和测试数据集。其中,前者用于模型的训练与学习,后者用于检验模型学习效果。
卷积神经网络在训练数据集和测试数据集上训练测试后,将对整个荆门市影像图进行预测识别。将大小为5192*4516像素的荆门市影像图切分为4*4大小的图片1465442张,生成预测数据集。
油菜信息提取流程主要分为三步。第一步是通过训练数据对各模型进行训练,在训练精度收敛时及时停止迭代,保存各参数。第二步是用测试数据对训练后的模型进行检验,根据测试精度的大小(设定一个阈值)决定是否继续执行第三步,测试精度的大小视实际需要而定,此次试验阈值设为95%。第三步即是用训练和测试效果较好的模型对整个荆门市影像数据进行分类识别,提取出油菜信息,得到油菜种植面积并获得油菜种植分布。如图2所示。
图2 油菜信息提取流程
为了验证提出的改进后卷积神经网络模型在遥感影像上的优异性以及dropout防止过拟合的特性,将原AlexNet模型,改进后的AlexNet模型(无dropout)和改进后的AlexNet模型(有dropout)3种模型进行试验对比。对比从测试精度、Kappa一致性检验和估测面积三方面进行。
3.3.1 测试精度
3种模型的测试精度相差不大,均达到95%以上。改进后的模型相较改进前的模型测试精度有显著提高,其中改进后的AlexNet模型在加入dropout后,测试精度有一个小幅度的提高,说明dropout的加入的确在一定程度上避免过拟合的产生。测试结果见表2。
表2 各模型优异性对比
3.3.2Kappa一致性检验
Kappa[11]是重在检验估测信息与实际信息两者的一致性,一般认为当Kappa系数大于0.8时,两者一致性很高。当Kappa系数小于0.4时,说明一致性较差。Kappa的值越接近1,一致性越高。在测试数据中随机选择1000个数据,其中油菜400张,非油菜600张,对3种模型进行检验,结果显示3种模型一致性均较高,说明卷积神经网络模型用于油菜信息提取具有很强的适用性。另外改进后的加入dropout的模型一致性相对更高一些,则表明针对遥感影像做出的模型调整确实起到了优化作用。结果见表2。
3.3.3 估测面积
湖北省荆门市统计局5月份的统计数据显示,2017年荆门市油菜种植面积为163万亩。采用的3种模型所估测的种植面积均大于实际面积,改进后的模型估测面积要与实际面积更加接近。其中,加入dropout的改进后模型估测面积误差率最低,仅为2.39%。估测结果见表2。
综合表2各信息可知,对于遥感影像油菜信息识别而言,改进后的AlexNet模型相较于原模型表现更加优异,测试精度、一致性检验以及面积估测的误差率均有较大幅度的提升。另外dropout的加入,也在一定程度上对模型进行了优化,避免了过拟合现象的出现。
对于估测面积普遍偏高这一问题,在后续单一地物类别模型识别检验中发现,3种模型对油菜识别准确率要比对非油菜的识别率高,模型将过多非油菜地物识别为油菜地物,导致估测结果中油菜作物面积偏高。测试数据中油菜为400,非油菜为600,测试结果见表3。
表3 各模型单一地物识别精度对比 %
最后将训练好的3种模型对整个荆门市遥感影像进行识别分类,得到荆门市油菜种植分布图,从图中可以看出,各个模型下的油菜种植分布基本一致,油菜主要分布在荆门市西北部和西南部,东部较少。这与荆门市西平东高的地形非常契合。验证了卷积神经网络在遥感影像油菜作物识别上的适用性。
图3 各模型下油菜种植分布
经典的卷积神经网络模型在一般的图像识别领域表现出色,但在遥感影像农作物识别领域,影像的空间和时间分辨率、地物的波谱特征等对其都有一定程度的影响,使其识别分类效果减弱。结合遥感影像特征和农作物物候特征,制作合适的训练与测试数据集,进而对经典的AlexNet模型进行调整,将卷积核大小调整为适合遥感影像训练数据的大小,并加入dropout方法减少过拟合的出现。将改进后的模型用于湖北省荆门市油菜作物种植面积和种植分布的预测,预测误差率控制在3%以内,验证了卷积神经网络在农作物遥感识别领域的适用性。同时在实验的过程中,卷积神经网络在农作物遥感影像识别领域的应用也存在一些问题。
1)中低分辨率遥感影像数据受云雾影响较大,对于一些云雾遮挡区域,改进后的AlexNet卷积神经网络模型是否适用是下一步工作的重点。
2)Landsat8影像数据空间分辨率大小为30米,本文采用的数据单位大小为4*4像素,所代表的实际地物面积为21.6亩,因此对于实际地物中面积较小的零碎地块无法做到精确识别。是否可以将模型训练数据单位大小再进一步缩小为3*3或2*2甚至是1个像素大小,这也是下一步的研究重点。
3)改进后的AlexNet模型在农作物遥感识别领域中的初步应用效果较好,其他在ImageNet大赛中表现优异的模型,如GoogleNet,ResNet等,是否也可以在农作物遥感识别领域得到应用同样值得探究。
改进后的AlexNet卷积神经网络模型在遥感影像湖北省荆门市油菜作物种植面积估测中的成功应用,为卷积神经网络在遥感测量领域的应用提供了新的思路。
[1] 王 迪, 周清波, 陈仲新,等. 基于合成孔径雷达的农作物识别研究进展[J]. 农业工程学报, 2014, 30(16):203-212.
[2] 宋 茜, 周清波, 吴文斌,等. 农作物遥感识别中的多源数据融合研究进展[J]. 中国农业科学, 2015, 48(6):1122-1135.
[3] 何 馨. 基于多源数据融合的玉米种植面积遥感提取研究[D]. 南京:南京信息工程大学, 2010.
[4]KrizhevskyA,SutskeverI,HintonGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks[A].InternationalConferenceonNeuralInformationProcessingSystems[C].CurranAssociatesInc. 2012:1097-1105.
[5] 常 亮, 邓小明, 周明全,等. 图像理解中的卷积神经网络[J]. 自动化学报, 2016, 42(9):1300-1312.
[6] 刘长征, 相文波. 基于改进卷积神经网络的肺炎影像判别[J]. 计算机测量与控制, 2017, 25(4):185-188.
[7] 侯敬轩. 基于卷积神经网络的压缩视频后处理[D].北京:北京交通大学,2017.
[8]DengJ,DongW,SocherR,etal.ImageNet:Alarge-scalehierarchicalimagedatabase[A].CVPR2009.IEEEConferenceonComputerVisionandPatternRecognition, 2009. [C].IEEE, 2009:248-255.
[9]HintonGE,SrivastavaN,KrizhevskyA,etal.Improvingneuralnetworksbypreventingco-adaptationoffeaturedetectors[J].ComputerScience, 2012, 3(4): 212-223.
[10] 王海军.AGA-BP模型在遥感影像分类中的应用研究[J]. 计算机测量与控制,2017,25(5):212-214.
[11]CohenJ.Acoefficientofagreementfornominalscales.[J].Educational&PsychologicalMeasurement, 2016, 20(1):37-46.