周翔宇 程勇 王军
摘 要:针对浅层神经网络面对温室复杂多变环境因子表征能力低、学习时间长的问题,提出一种基于改进深度信念网络并结合经验模态分解与门控循环单元的温室预测方法。首先,通过经验模态分解将温度环境因子进行信号分解,之后将分解出来的固有模态函数与残差信号进行不同程度的预测;然后,引入神经胶质改进深度信念网络,并将分解信号结合光照和二氧化碳进行多属性的特征提取;最后,将门控循环单元预测的信号分量相加获得最终的预测结果。仿真实验结果表明,与经验模态分解深度信念网络(EMD-DBN)和深度信念网络神经胶质链(DBN-g)相比,所提方法的预测误差分别降低了6.25%和5.36%,验证了其在强噪声、强耦合的温室时序环境下预测的有效性和可行性。
关键词: 循环神经网络;深度信念网络;门控循环单元;时间序列预测;神经胶质链
中图分类号:TP183
文献标志码:A
文章编号:1001-9081(2019)04-1053-06
Abstract: Concerning low representation ability and long learning time for complex and variable environmental factors in greenhouses, a prediction method based on improved Deep Belief Network (DBN) combined with Empirical Mode Decomposition (EMD) and Gated Recurrent Unit (GRU) was proposed. Firstly, the temperature environment factor was decomposed by EMD, and then the decomposed intrinsic mode function and residual signal were predicted at different degrees. Secondly, glia was introduced to improve DBN, and the decomposition signal was used to multi-attribute feature extraction combined with illumination and carbon dioxide. Finally, the signal components predicted by GRU were added together to obtain the final prediction result. The simulation results show that compared with empirical decomposition belief network (EMD-DBN) and glial DBN-glial chains (DBN-g), the prediction error of the proposed method is reduced by 6.25% and 5.36% respectively, thus verifying its effectiveness and feasibility of predictions in greenhouse time series environment with strong noise and coupling.
Key words: recurrent neural network; Deep Belief Network (DBN); Gated Recurrent Unit (GRU); time series prediction; glial chain
0 引言
溫度作为农作物赖以生存的重要因素,影响着农作物的生长、发育和形态建成,如何控制和管理温室温度成为设施农业的重要问题。温室大棚智能控制作为设施农业种植与生产过程中的关键环节,是提高生产效率、保障农作物品质的重要措施[1]。温室中影响农作物生长发育的环境变量都是时变量,其变化没有规律可循且难以进行预判,另外这些环境因素相互作用,难有适合的数学模型表述[2]。因此为了尽可能解决温室大滞后问题,实现智能温室控制,需要对环境变量进行精确地预测,建立类似专家逻辑思维、模拟人脑智力的智能控制系统。
温室温度预测方法包括指数平滑法、时序分析法以及回归分析法等。但在实际应用中,数据往往由传感器进行收集,受到各种外来信号的干扰以及传感器自身的影响,时序数据会产生各种不同类型的噪声。这使得收集来的时序数据表现出非线性、非稳定性特点,对其进行精确预测依然存在巨大挑战[3]。
近年来,许多学者开始将人工神经网络(Artificial Neural Network, ANN)应用到时间序列预测中并取得了一定的成果。这种以数据为导向的预测方法,不仅不依赖任何的数学模型,而且能在理论上逼近任意复杂的非线性模型。目前多数基于人工神经网络的预测方法都利用反向传播(Back Propagation, BP)神经网络或者其他浅层神经网络,但这类浅层神经网络容易陷入局部极值点,导致整个网络训练失败。此时,深度学习的出现让人们看到新的曙光。深度学习模型可以包含更多的隐含层,优化了误差反馈算法,使得模型可以在大数据集中学习更加复杂的逻辑关系、识别数据结构和分布。王鑫等[4]提出一种基于长短期记忆循环神经网络(Long Short-Term Memory network, LSTM)的故障时间序列预测方法, 相对于浅层网络拥有很强的适用性和更高的准确性。伦淑娴等[5]提出了一种改进的小世界网络优化泄露积分型回声状态网络的时间序列预测方法,使深度学习在时序预测方面具有较高精度。但将深度学习模型应用于温室小气候时间序列时出现了许多挑战:
1)温室小气候时间序列具有很强的噪声,会对以数据为驱动的深度学习模型产生深远影响。不少学者为了抵御噪声带来的影响提出了自己的方案,Qiu等[6]提出了一种经验模态分解与深度信念网络结合的预测方法经验模态分解深度信念网络(Empirical Mode Decomposition-Deep Belief Network,EMD-DBN),在负载平衡数据集上获得了良好的预测结果,削弱了噪声给时序预测带来的影响。
2)满足实时性的要求。由于气候预测是服务于温室控制的,所以对预测速度有一定要求,但深度学习计算代价高、训练时间长,不能满足实时性需求。
深度信念网络的出现使得深层网络地快速训练成为可能。由于其逐层预训练的思想,利用先验知识使得整个神经网络在较短时间内处于较优的状态,极大地减少了后续监督学习收敛所需时间。同时由于温室气候是强耦合的时变对象,需要对多种环境因子进行特征提取,因此需要运用新型深度信念网络来满足要求。
本文提出一种基于混合神经网络和经验模态分解的方法来对温室温度进行预测。运用经验模态分解对温室采集的环境要素进行信号分解,然后将分解后的信号通过混合神经网络进行预测,最终各部分预测信号重构出结果。对比实验结果验证了该模型的有效性。
1 相关工作
温室是集应用工程装备技术和环境技术于一体进行农作物培养的现代农业生产方式[1]。温室温度预测方法有很多,基本思想都是通过分析过去时间内数据之间的关系和规律来推断未来发展趋势和走向。预测方法可分为时间序列分析模型和人工智能的模型。
基于历史数据的时间分析模型以传统统计学方法为理论基础,代表方法是自回归滑动平均(Auto Regressive Moving Average, ARMA)系列模型。左志宇等[7]采用ARMA(4,4)模型来拟合夏季温室温度的1步预测方案, 实验结果表明平均相对误差为1.1%。符国槐等[8]建立了基于逐步回归方法的温室内空气温度预报模型,取得了良好的实验结果。但这些模型需要借鉴先验知识,构造或者假设模型结构。
基于人工智能的模型因其不依赖物理模型,以数据为驱动而备受瞩目。朱春侠等[9]利用北方冬季温室日光环境因子建立BP神经网络模型,预测效果良好。于海南等[10]建立BP神经网络模型对大比热容性的水产温室水温进行预测,表现出更强的鲁棒性、稳态精度相对于时间分析模型更高。
但是目前的人工智能模型大多采用如BP的浅层神经网络或者引入遗传算法与粒子群等优化算法的改进型进行预测。Qing等[11]通过使用长短期记忆网络进行太阳辐射温度预测,均方差误差比传统BP神经网络降低了18.34%。Li等[12]提出一种基于改进的深度信念网络模型,在电力耗能预测方面与向后传播神经网络、广义径向基函数神经网络和支持向量机相比拥有最佳的性能。可以看出深度神经网络在预测回归方面与浅层相比有优势,因此本文提出运用新型深度神经网络来对温室温度进行预测。
2 基于深度信念网络的温室温度预测
2.1 模型概述
温室智能控制的实现需要控制程序能够正确对各环境因子进行响应,但前提需要预测模型的支持[13]。温室一般会采集的环境因子如表1所示。
温度因子虽然可以直接从温度传感器中读取,但不宜直接对其进行预测,原因有以下两个方面:1)温室中遍布各种功能的传感器,它们之间会产生不同程度的干扰,从而影响传感器的数据读取,使得传输过来的数据具有一定的噪声。2)在现实世界中,不同环境因子之间会相互耦合、相互作用、相互影响。例如光照强度会影响农作物光合作用的强度,使得温室中二氧化碳浓度上升,由于微弱的温室效应的影响,会对温室内温度造成影响。
本文为了能够抵御传感器以及其他环境因子带来的噪声影响,决定运用经验模态分解以及深度信念网络来应对。本文方法过程如图1所示。
2.2 整体流程图
本文方法先利用经验模态分解对预处理后序列进行信号分解,然后再运用改进的深度信念网络对分解信号进行多属性特征分解,最后通过门控循环单元进行预测,如图2所示。
2.3 基于经验模态分解的信号分解
经验模态分解(Empirical Mode Decomposition, EMD)[6]是一種将信号分解为若干固有模态函数(Intrinsic Mode Function, IMF)以及代表其趋势的残差信号的方法。EMD是从非平稳和非线性数据集获取瞬时频率数据的经验方法。
由于温室中传感器受到不同程度地干扰,使得收集的环境时序数据具有一定的噪声,并且环境因子是时刻变化的,总是受到其他因素的影响,具有非平稳、非线性的特性,因此,EMD算法对于温室环境预测非常有效,分解过程如下:
1)通过对局部最大值和最小值进行三次样条插值来计算环境时间序列X(t)的上下包络。
2)计算上下包络线的平均值m(t),并从X(t)中减去以获得第一分量h(t)。
3)将新的h(t)视为新的X(t)重复步骤1)~2),直到m(t)接近0或者h(t)的零值点与极值点个数相差不超过1。
4)将h(t)视为IMF并计算残差信号:r(t)=X(t)-h(t)。
5)将残差信号r(t)作为新的X(t),重复步骤1)~4),直至获得所有IMF。
将环境因子时间序列分解成若干易于分析的IMF分量和具有噪声的残差信号,方便以后对其进行不同程度的特征提取与分析。
2.4 基于深度信念网络的特征提取
2.4.1 深度信念网络
深度信念网络(Deep Belief Network, DBN)[14]是由多个限制玻尔兹曼机(Restricted Boltzmann Machine, RBM)组成的概率图模型。DBN训练采用逐层贪婪的策略,先训练最下层RBM模型,训练完成后将前一层RBM的隐层作为后一层RBM的可见层继续训练,直到训练完全部网络。训练过程如图3所示。
2.4.2 环境因子的特征提取
传统的特征提取方法由于过多地依赖物理模型和专家经验,不适合多变复杂的温室环境因子。DBN不仅不依赖物理模型,而且可以在理论上逼近任意非线性时间序列,适合温室数据预测需求。
由于不同环境因子之间会相互影响,因此本文选取室内温度、光照强度和二氧化碳浓度三种属性进行多属性特征提取(光照强度和二氧化碳浓度会因微弱的温室效应影响室内温度)。在DBN中引入神经胶质[16],如图4所示,隐层中每一个神经元都会与一个神经胶质进行连接。
其中:S表示激活后的非活动周期; μ表示衰减因子。
特征提取步骤如下:1)将预测步长为120的预处理室内温度时间序列X(t)作为输入传入DBN模型。
2)将X(t)通过式(3)计算出第一层的隐层h0。
3)将隐层h0通过式(4)重构出输入向量X1(t)。
4)将预处理的光照强度时间序列L(t)和预处理的二氧化碳浓度时间序列CO(t)通过式(7)计算出振荡阈值。
5)通过式(8)更新神经胶质状态。
6)再将向量X1(t)通过式(6)重构出新的隐层h1。
7)将重构的误差通过式(5)用于权重更新。
8)重复上述过程,直到训练完全部样本。
9)将第一层训练得到的输出作为输入向量传入第二层。
10)重复上述过程,直到训练完整个DBN模型。
11)将最后一层RBM的输出看作是输入向量X多属性特征提取后的特征值用于之后的预测模型。
2.5 基于门控循环单元的温度预测
2.5.1 门控循环单元概念
门控循环单元(Gated Recurrnet Unit, GRU)[17]是递归神经网络(Recurrent Neural Network, RNN)激活单元的一个变种。
RNN由一个隐层状态h和一个可选输出r组成。
GRU由更新门和复位门组成。更新门用来决定前一时刻的隐层状态中有多少信息将转移到当前隐层状态,更新规则如式(9)所示;复位门能够有效降低不相关信息给隐层状态带来的影响,当复位门接近于0是,隐层状态被迫忽略前一时刻隐层状态,复位规则如式(10)所示。
2.5.2 温度环境因子的预测模型
GRU模型引入门控的概念,不仅信息能够长期保存,而且通过更新和复位两种操作,可以选择需要遗忘的旧记忆或者应该更新的新记忆,因此GRU模型相对于其他浅层神经网络更加适合于处理时间序列数据。
将训练后的特征值作为输入,预测步长后一时刻的温度观测值作为标签建立GRU模型。通过输入向量与标签之间的误差更新复位门与更新门的权重矩阵,直到误差收敛或完成预定的训练次数。
3 实验与结果分析
3.1 实验数据
实验数据的来源是南京市某温室小气候数据信息。该数据中包含了温室编号、室内温度、室外温度、光照強度、室内湿度、室外湿度等气候信息。数据基本涵盖了温室小气候监测的所有信息。仿真实验中,选取与温度相关的3种气候信息(室内温度、光照强度、二氧化碳浓度)的每小时监测值来预测温室温度。
在温室温度预测中,将2016年3月到2017年8月的温室气候数据共62150项数据用于训练,其中50%的数据作为训练集,其余50%的数据作为测试集检测性能。
3.2 实验评测标准
本文采用均方误差(Mean Squared Error, MSE)来评价所提出的基于混合神经网络的温室温度预测方法,计算公式如下:
本文实验的硬件环境:CPU为Intel i7 8700K,GPU为NVIDIA GeForce GTX 1070。在Windows 10系统的Theano框架下进行开发。
3.3 架构实现
在特征提取阶段,DBN输入层神经元大小为预设的预测步长,在本文中为120。由于在信号分解阶段将温度时间序列分解成若干IMF和带噪声的残差信号,所以将采用两种不同深度的DBN对其分别进行提取。
在仿真实验中,将隐含层的数量限定在1~3,并且将每一层神经元数目限制在10~100,每层训练次数固定为30。
通过网格搜索算法,获得最优的网络模型深度结构——神经元数目分别是(20, 60)和(40,80,100)。
回归预测阶段需要建立门控循环单元网络,也需要确定输入层大小、隐含层的数量与每层神经元的数目。将之前DBN最后一层隐含层神经元数目作为网络输入层大小。同样使用网格搜索确定GRU各门控隐含层神经元数目为200。最终网络结构如图5所示。
3.4 网络性能分析
图6为本文提出的混合神经网络对温室温度预测的效果,从中可看出预测结果接近实际值。
其中横坐标表示第i个时间间隔(小时)。
GRU模型学习的迭代次数也会影响着模型对数据的拟合精度,因此需要探究其对预测精度带来的影响。实验结果如表2所示。
表2中MSE值表示测试集预测结果与实际值之间均方误差的总和,从中可知,GRU对温室温度预测误差随着迭代次数的增加先下降后上升,当迭代次数为40时获得最小值,表示此时预测准确率最高。一般而言,学习程度越高预测精度越高,但学习次数过多可能会导致“过拟合”,反而使得预测精度下降。这是因为网络“过拟合”后学习了样本的特有特征(噪声等)而失去了泛化能力。
3.5 与其他模型进行对比
为了探究本文方法的有效性,使用其他模型对相同数据集进行温室温度预测的对比实验,仿真实验结果如图7~8所示。
图7~8的两个子图分别对比了各方法的预测结果和预测误差。从图7可看出基于传统统计学的自回归(AutoRegression, AR)线性预测模型面对强耦合的时变对象时预测精度较低,并且如LSTM等神经网络也不能在具有噪声的时序中学习到较好的特征。
图8中的对比模型EMD-DBN来自于文献[6],通过引入经验模态分解削弱数据噪声给时序预测带来的影响;深度信念网络神经胶质链(DBN-glial chains, DBN-g)出自文献[16],隐含层神经元通过神经胶质的辅助可以学习其他相关因子信息,给强耦合时序的预测提供了可能。
从图8(b)可看出本文方法可以在具有噪声且强耦合的时序环境下更加接近于实际温度值且均方误差要小很多。
4 结语
本文提出了一种基于改进深度信念网络并结合经验模态分解与门控循环单元的温室温度预测方法。与过往的温室温度预测方法相比不仅不依赖物理模型,而且能够挖掘温度与其他环境因子之间潜在的特征关系。利用模态分解减弱了传感器噪声给预测带来的影响,并且基于改进深度信念网络的温室温度预测方法可以更为快速地得到其他环境因子与温度的特征关系。之后,利用特征建立门控循环单元网络进行有监督的预测。仿真对比说明了该方法的可行性与有效性。在未来的研究中,将考虑消除或抑制温室传感器带来的噪声对温度预测的影响,模型也可以推广到其他数据挖掘领域。
参考文献(References)
[1] 邢希君, 宋建成, 吝伶艳, 等. 设施农业温室大棚智能控制技术的现状与展望[J]. 江苏农业科学, 2017, 45(21): 10-15. (XING X J, SONG J C, LIN L Y, et al. Status and prospects of intelligent control technology for facility agriculture greenhouses[J]. Jiangsu Agricultural Sciences, 2017, 45(21): 10-15.)
[2] 邰成. 智能温室控制算法的研究与应用[D]. 南京: 南京邮电大学, 2013: 1-15. (TAI C. The research and applications on the intelligent control algorithm for the greenhouse[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2013: 1-15.)
[3] 张国辉. 基于深度置信网络的时间序列预测方法及其应用研究[D]. 黑龙江: 哈尔滨工业大学, 2017: 1-12. (ZHANG G H. Research on time series prediction and its application based on deep belief network[D]. Heilongjiang: Harbin Institute of Technology, 2017: 1-12.)
[4] 王鑫, 吴际, 刘超, 等. 基于LSTM循环神经网络的故障时间序列预测[J]. 北京航空航天大学学报, 2018, 44(4): 772-784. (WANG X, WU J, LIU C, et al. Exploring LSTM based recurrent neural network for failure time series prediction[J]. Journal of Beijing University of Aeronautics and Astronsutics, 2018, 44(4): 772-784.)
[5] 伦淑娴, 林健, 姚显双. 基于小世界回声状态网的时间序列预测[J]. 自动化学报, 2015, 41(9): 1669-1679. (LUN S X, LIN J, YAO X S. Time series prediction with an improved echo state network using small world network[J]. Acta Automatica Sinica, 2015, 41(9): 1669-1679.)
[6] QIU X, REN Y, SUGANTHAN P N, et al. Empirical mode decomposition based ensemble deep learning for load demand time series forecasting[J]. Applied Soft Computing, 2017, 54: 246-255.
[7] 左志宇, 毛罕平, 張晓东, 等. 基于时序分析法的温室温度预测模型[J]. 农业机械学报, 2010, 41(11): 173-177. (ZUO Z Y, MAO H P, ZHANG X D, et al. Forecast model of greenhouse temperature based on time series method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(11): 173-177.)
[8] 符国槐, 张波, 杨再强, 等. 塑料大棚小气候特征及预报模型的研究[J]. 中国农学通报, 2011, 27(13): 242-248. (FU G H, ZHANG B, YANG Z Q, et al. Research on the microclimate characteristics and inside temperature prediction model for plastic greenhouse[J]. Chinese Agricultural Science Bulletin, 2011, 27(13): 272-248.)
[9] 朱春侠, 童淑敏, 胡景华, 等. BP神经网络在日光温室湿度预测中的应用[J]. 农机化研究, 2012, 34(7): 207-210. (ZHU C X, TONG S M, HU J H, et al. Application of nerve network on forecasting temperature in sunlight greenhouse[J]. Journal of Agricultural Mechanization Research, 2012, 34(7): 207-210.)
[10] 于海南, 鄭荣进, 步文月, 等. 基于BP神经网络PID控制器在水产温室温度控制中的应用[J]. 安徽农业科学, 2016, 44(3): 312-315. (YU H N, ZHENG R J, BU W Y, et al. Application of PID controller based on BP neural network in temperature control of aquaculture greenhouse[J]. Journal of Anhui Agricultural Sciences, 2016, 44(3): 312-315.)
[11] QING X Y, NIU Y G. Hourly day-ahead solar irradiance prediction using weather forecasts by LSTM[J]. Energy, 2018, 148: 461-468.
[12] LI C, DING Z, YI J, et al. Deep belief network based hybrid model for building energy consumption prediction[J]. Energies, 2018, 11(1): 242.
[13] 秘立鹏, 宋建成, 王天水, 等. 设施农业温室大棚网络型自适应控制系统的开发[J]. 农机化研究, 2014, 36(7): 124-128. (MI L P, SONG J C, WANG T S, et al. Development of adaptive control system based on ethernet network in facilities agricultural greenhouse[J]. Journal of Agricultural Mechanization Research, 2014, 36(7): 124-128.)
[14] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507.
[15] BENGIO Y. Learning deep architectures for AI[J]. Foundations and Trends in Machine Learning, 2009, 2(1): 1-127.
[16] GENG Z, LI Z, HAN Y. A new deep belief network based on RBM with glial chains[J]. Information Sciences, 2018, 463/464: 294-306.
[17] CHO K, MERRIENBOER B V, GULCEHRE C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[EB/OL]. [2018-05-10]. https://arxiv.org/pdf/1406.1078.