基于融合算法优化的卷积神经网络预测方法

董 娜，常建芳，吴爱国



基于融合算法优化的卷积神经网络预测方法

董 娜，常建芳，吴爱国

(天津大学电气自动化与信息工程学院，天津 300072)

由于不同气象条件会影响太阳辐照度的有效利用，这制约了太阳能的应用和发展．为了基于不同站点不同采样时刻的气象属性预测中尺度站的太阳能辐照度，依据传统卷积神经网络的框架，建立了一种新型的卷积神经网络结构并用于太阳能辐照度预测．为了缓解新型网络由超参数选取不当导致预测性能差的问题，利用融合算法对新型网络的超参数进行优化．为了提高融合优化算法的全局搜索能力，引入帐篷映射对粒子的初始位置和初始速度进行混沌初始化．首先，导入训练集更新新型卷积神经网络框架，训练结束后导入验证集检验当前模型参数下新型卷积框架的性能．其次，混沌融合算法依据新型卷积神经框架在验证集上的预测性能更新模型的超参数．对更新模型的超参数多次检验，直至最优的预测模型在验证集上的性能趋于收敛．最后，输出模型的最优超参数，建立太阳能辐照度预测模型．基于气象实测数据建立太阳能辐照度预测实验，引入其他两种预测方法进行对比仿真研究，并尽可能复现了Eustaquio and Titericz团队的预测方法(GBRT)作为太阳能辐照度预测性能的评估基准．实验数据表明：混沌融合算法可以有效地提高新型卷积神经网络的预测性能，所提出预测方法的全年太阳能辐照度的均方误差较GBRT降低25.9%，绝对平均误差较GBRT降低了10.7%；全年太阳能辐照度平均误差率降低了18.4%，误差率小于0.1的样本量增加了21.1%．

卷积神经网络；混沌融合算法；参数优化；太阳能辐照度预测

太阳能作为一种清洁能源受到广泛的关注和研究．不同气象条件会影响太阳能辐照度的有效利用，这制约了太阳能的应用和发展．精准有效的预测方法对太阳能的合理应用至关重要[1-2]．

在辐照度预测的研究中，不同站点的气象数据(甚至同一站点不同采样时刻的气象数据)对太阳能辐照度的影响不同．少数研究者在数据预处理过程分析输入数据的重要性，传统的机器学习预测方法，包括支持向量机[3-6](SVM)和人工神经网络[7-9](ANN)，不加区分地将输入属性导入模型训练和测试. 为了缓解该问题并提高太阳能辐照度预测的精确性，本文利用卷积运算处理不同气象输入数据，对影响太阳能辐照度影响大的气象属性赋予合理的权值.

本文提出一种基于混沌融合算法优化的卷积神经网络框架(convolution neural network based on chaotic hybrid algorithm，CHA-CNN)用于太阳能辐照度预测．为了提高新型框架的预测精度并缓解由超参数选取不当引起的过拟合和欠拟合现象，本文采用混沌融合算法优化其超参数．使用美国气象协会2013—2014 年太阳能预测竞赛数据[10]作为数据集，引入其他两种预测方法进行对比仿真研究．本文尽可能地复现了Eustaquio and Titericz团队的预测方法作为基准，实验结果表明本文所提的方法可以精确预测太阳能辐照度．

1 新型卷积神经网络框架

1.1 太阳能辐照度预测

HOBA中尺度站以及周围GEFS站点的地理分布如图1所示．本文主要基于GEFS1、GEFS2、GEFS3、GEFS4、GEFS6站点5个采样时刻(世界标准时间UTC12：00、15：00、18：00、21：00、24：00)的气象数据预测HOBA中尺度站的太阳能辐照度．气象数据和太阳能辐照度数据介绍参见文献[10]．

图1 HOBA中尺度站与周围GEFS站点地理分布示意

1.2 基于气象数据预测太阳能辐照度框架

由于GEFS站点和HOBA中尺度站地理位置信息不重合，利用GEFS1～GEFS4站点和GEFS6站点的气象预报数据预测HOBA站点的太阳能辐照度值．将5个GEFS站点5个采样时刻的15个气象预报属性构成向量形式，则不同GEFS站点气象数据预测太阳能辐照度框架如图2所示．

5个GEFS站点15个气象属性在5个采样时刻的采样值构成1×375的向量，卷积核1的维度为1×5，卷积运算的步长设置为5(当某个气象属性卷积计算结束则跳到下一个气象属性卷积计算，相邻气象数据之间不做卷积计算)，故特征向量1的维度为1×75．因此，特征向量1中每个特征值经过不同站点气象预报信息卷积计算得到．

(1)

由式(1)可得，卷积核1相当于不同GEFS站点气象预报属性对应的权值．因此，训练完成的权值可以反映不同GEFS站点气象预报信息对太阳能辐照度的影响．所以，在新型卷积神经网络框架的训练过程中，对太阳能辐照度影响较大的GEFS站点的气象数据会获得较大的权值．

图2 不同GEFS站点气象数据预测太阳能辐照度框架

2 混沌融合算法

卷积神经网络的超参数影响模型的预测性能，所以对卷积神经网络超参数优化至关重要[11]．为了设定最优结构参数和学习参数用于太阳能辐照度预测，使用混沌融合算法对新型框架的超参数进行优化．融合优化算法包含粒子群算法(particle swarm optimization，PSO)和遗传算法(genetic algorithm，GA)．由于新型卷积网络的超参数同时包含了整数和小数，故引入GA算法更新粒子信息，使用GA-PSO融合算法解决超参数的整数规划问题．

2.1 混沌初始化

为了提高粒子的全局搜索能力，对粒子的初始位置和初始速度进行混沌初始化．这里使用帐篷映射(tent map)[12]产生混沌变量为

(2)

 (3)

(4)

假设映射后的一个维的混沌向量为

(5)

基于不同GEFS站点气象数据预测太阳能辐照度的研究中将卷积核1维度、卷积核2维度、特征向量1的组数和特征向量2的组数固定(图2)．

(6)

2.2 融合优化算法

(7)

(8)

当fit满足预测的精度要求或融合优化算法达到最大迭代次数，优化算法将终止迭代．最优粒子信息会被用来建立网络结构．

3 太阳能辐照度预测仿真实验

本节将HOBA中尺度站的太阳能辐照度和周围GEFS站点的气象数据作为数据集(2008年之后的太阳能辐照度未公开)，1994年1月1日—2004年12月31日的样本作为训练集．将2005年1月1日—2006年12月31日的样本作为验证集，CHA-CNN基于验证集搜索最优的超参数．将2007年的样本作为测试集.

3.1 性能指标与对照实验

均方误差(MSE)和绝对平均误差(MAE)作为误差评价指标，本文定义了平均误差率(average error rate，AER)和误差率小于0.1 的预测成功率(rate of success，RS)两个评价指标，其计算式分别为

(9)

(10)

(11)

式中：pre为预测输出；real为真实值；Er为每个预测样本的误差率；Num为预测结果的样本数；num为误差率小于0.1的预测样本数．

本文尽可能地复现了Eustaquio and Titericz团队[13](第1名)的预测方法作为参考．使用ANN、K-means_RBF 算法建立基于气象数据的太阳能辐照度预测对照实验，对照实验参数设置如表1所示．其中，使用经验参数设置的新型卷积神经网络框架CNN预测方法也引入对照实验．

表1 对照实验参数设置

Tab.1 Parameter settings of control experiments

3.2 太阳能辐照度预测实验结果

基于不同GEFS站点气象数据预测太阳能辐照度的实验结果如图3和图4所示，输出的误差曲线如图5和图6所示．对照实验中各类预测方法的性能指标如表2～表5所示．

由图3～图6可得，CHA-CNN、CNN、GBRT预测方法的误差波动相对最小，ANN和K-means-RBF算法在部分样本点出现较大的误差．几种方法同时在一些样本点出现了相同方向的误差，由于CHA-CNN通过混沌融合算法不断调整卷积网络的超参数，使网络的超参数适合样本数据集，故CHA-CNN预测方法在这些样本点上偏差最小．对照实验中CNN采用经验参数设置超参数，本文中尽可能地提高CNN框架的准确性，但经验参数设置的新型框架的预测性能仍差于融合算法优化的新型框架．ANN和K-means-RBF则在这些较难预测的样本上出现了较大的偏差．

图3 上半年预测输出对比曲线

图4 下半年预测输出对比曲线

图5 上半年预测输出误差对比

图6 下半年预测输出误差对比

表2 第1季度性能指标对比

Tab.2 Performance indices for the first quarter

表3 第2季度性能指标对比

Tab.3 Performance indices for the second quarter

表4 第3季度性能指标对比

Tab.4 Performance indices for the third quarter

表5 第4季度性能指标对比

Tab.5 Performance indices for the fourth quarter

由表2～表5可得，5—8 月太阳能辐照度月平均MAE 相对较大，但是由于这些月份的太阳能辐照度丰富，所以不同方法预测样本误差率小于0.1 的样本比例(RS)更大，误差较大而平均误差率较小；1—2 月和11—12 月太阳能辐照度月平均MAE相对较小，但是这些月份的太阳能辐照度匮乏，预测误差与太阳能辐照度总量的比值较大．所以不同预测方法在这些月份虽然预测误差小但预测精度低．其中CHA-CNN 的预测性能最优，它的预测性能指标在多个月份呈现最优．由于使用融合优化算法优化网络的超参数，所以CHA-CNN 的整体预测性能优于CNN．

3.3 卷积核可视化

HOBA站点和GEFS3站点距离最近，图7中GEFS3站点的气象数据对应的权值较大，表明GEFS3站点的气象数据对HOBA中尺度站太阳能辐照度的影响较大．同时，太阳能辐照度预测结果也验证了提出预测方法的有效性．类似地，卷积核2的权值可视化中采样时刻UTC12：00和UTC24：00相应的权值比较小，说明这两个采样时刻气象数据对太阳能辐照度的影响较小．采样时刻UTC15：00、UTC18：00和UTC21：00相应的权值较大，说明这3个采样时刻气象预报数据对太阳能辐照度的影响较大．事实上，采样时刻中仅有UTC15：00、UTC18：00和UTC21：00太阳辐射强，太阳能辐照度稳定，这时的气象预报数据和太阳能辐照度影响较大．

图7 卷积核可视化

3.4 预测结果对比

各类算法在测试集样本的平均绝对误差(MAE)如图8所示，其中GBRT为复现的竞赛获胜者的预测方法．

图8 误差对比曲线

如图8所示，5—8月太阳能辐照度丰富，多变的天气给预测模型引入了干扰，所以GBRT预测方法在5—8月出现了较大误差．文中尽可能地提高ANN和K-means-RBF预测方法的精度，但仅在1 月、5—7月能达到竞赛获胜者的预测精度，其他月份都出现了较大预测偏差．新型卷积神经网络框架为不同站点和不同采样时刻的气象数据赋予合理的权值，所以CNN和CHA-CNN预测方法整体预测性能优于其他方法．由于CHA-CNN引入混沌融合算法优化新型卷积框架的超参数，CHA-CNN的预测性能优于CNN．综述太阳能辐照度预测实验结果，所提出的融合算法优化的卷积神经网络框架在不同气象条件下的辐照度预测中有准确的输出结果．

4 结 语

本文提出一种基于混沌融合算法优化的卷积神经网络框架用于太阳能辐照度预测．为了提高新型框架的预测精度并缓解由超参数选取不当引起的过拟合和欠拟合现象，本文采用混沌融合算法优化其超参数．美国气象协会2013—2014 年太阳能预测竞赛数据作为数据集，引用其他两种预测方法进行对比仿真研究，复现了Eustaquio and Titericz团队的预测方法作为太阳能辐照度预测性能的评估基准．实验结果表明本文提出的方法可以精准预测太阳能辐照度，并可以适应不同气象条件下的预测任务．

［1］ 田翠霞，黄 敏，朱启兵. 基于EMD-LMD-LSSVM联合模型的逐时太阳辐照度预测[J]. 太阳能学报，2018，39(2)：504-513.

Tian Cuixia，Huang Min，Zhu Qibing，Hourly solar irradiance forecast based on EMD-LMD-LSSVM joint model[J]. Acta Energiae Solaris Sinica，2018，39(2)：504-513(in Chinese).

［2］ 孟品超，李学源，贾洪飞，等. 基于滑动平均法的轨道交通短时客流实时预测[J]. 吉林大学学报：工学版，2018，48(2)：448-453.

Meng Pinchao，Li Xueyuan，Jia Hongfei，et al. Short-time rail transit passenger flow real-time prediction based on moving average[J]. Journal of Jilin University：Engineering and Technology Edition，2018，48(2)：448-453(in Chinese).

［3］ 黄 璇，郭立红，李 姜，等. 改进粒子群优化BP神经网络的目标威胁估计[J]. 吉林大学学报：工学版，2017，47(3)：996-1002.

Huang Xuan，Guo Lihong，Li Jiang，et al. Target threat assessment based on BP neural network optimized by modified particle swarm optimization[J]. Journal of Jilin University：Engineering and Technology Edition，2017，47(3)：996-1002(in Chinese).

［4］ 郭 伟，李明家，李 涛，等. 基于APSO＿WLSSVM算法的Hammerstein ARMAX模型参数辨识[J]. 中国科技论文，2018，13(2)：136-143.

Guo Wei，Li Mingjia，Li Tao，et al. Parameter identification of Hammerstein ARMAX model based on APSO__WLSSVM algorithm[J]. China Sciencepaper，2018，13(2)：136-143(in Chinese).

［5］ Alam S. Performance of Alzheimer disease classification based on PCA，Linear SVM，and multi-kernel SVM[C]// The Eighth International Conference on Ubiquitous and Future Networks，IEEE. Vienna，Austria，2016：987-989.

［6］ Zhou Y，Cui X，Hu Q，et al. Improved multi-kernel SVM for multimodal and imbalanced dialogue act classification[C]// International Joint Conference on Neural Networks. Killarney，Ireland，2015：1-8.

［7］ Rabbi K M，Nandi I，Saleh A S，et al. Prediction of solar irradiation in Bangladesh using artificial neural network(ANN)and data mapping using GIS technology[C]// Development in the in Renewable Energy Technology，IEEE. Dhaka，Bangladesh，2016：1-6.

［8］ Anamika，Kumar N，Akella A K. Prediction and efficien cy evaluation of solar energy resources by using mixed ANN and DEA approaches[C]// Pes General Meeting Conference & Exposition．National Harbor，MD，USA，2014：1-5.

［9］ Yadav A K，Malik H，Chandel S S. ANN based prediction of daily global solar radiation for photovoltaics applications[C]// India Conference，IEEE. New Delhi，India，2016：1-5.

［10］ AMS 2013—2014 solar energy prediction contest，forecast daily solar energy with an ensemble of weather models[EB/OL]. https：//www.kaggle.com/c/ams-2014-solar-energy-prediction-contest，2014.

［11］ Chiang H D，Chen L G，Liu R P，et al. Group-based chaos genetic algorithm and non-linear ensemble of neural networks for short-term load forecasting[J]. IET Generation Transmission & Distribution，2016，10(6)：1440-1447.

［12］ Zhang H，Shen J H，Zhang T N，et al. An improved chaotic particle swarm optimization and its application in investment[C]// International Symposium on Computational Intelligence and Design，IEEE. Wuhan，China，2008：124-128.

［13］ Mcgovern A，Gagne D J，Eustaquio L，et al. Solar energy prediction：An international contest to initiate interdisciplinary research on compelling meteorological problems[J]. Bulletin of the American Meteorological Society，2012，96(8)：1388-1393.

Convolution Neural Network Prediction Method Based on the Chaotic Hybrid Algorithm

Dong Na，Chang Jianfang，Wu Aiguo

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

Seasonal factors，such as season，climate，cloud density，and other climatic factors，restrict the stability and applications of solar irradiation. In this paper，a novel prediction method based on the framework of traditional convolutional neural networks is proposed to predict the solar irradiance of mesoscale stations based on meteorological data obtained at different sampling moments from different global ensemble forecast system(GEFS) stations. To alleviate the issue of over-fitting or under-fitting caused by improper selection of hyper parameters，the chaotic hybrid algorithm is utilized to optimize the hyper parameters of the novel framework. In addition，a tent map is utilized to improve the global search ability of the hybrid optimization algorithm. First，a training set is constructed to update the novel convolutional neural network framework，after which a validation set is imported to test the performance of this framework under the current hyper parameters. Next，the chaotic hybrid algorithm updates the hyper parameters according to the prediction performance of the novel framework on the verification set until the performance of the optimal prediction model on the verification set tends to converge. Finally，the optimal hyper parameters are utilized to develop a solar irradiance prediction model. A solar irradiance prediction experiment is established based on meteorological data，and two machine learning prediction methods，as well as the prediction method (GBRT)of Eustarquio and Titericz，are introduced to enable comparison of simulation results. The experimental data demonstrate that the chaotic hybrid algorithm can effectively improve the prediction performance of the novel framework；specifically，the mean squared error(MSE) of the proposed method is 25.9% lower than that of GBRT，the mean absolute error (MAE) of the former is reduced by 10.7% compared with that of the latter，and compared with GBRT，the average error rate of the proposed method is reduced by 18.4%. Samples with error rates less than 0.1 of GBRT account for 58.525%，while that of the proposed method account for 70.89%，which increased by 21.1%.The experimental results verify the accuracy and effectiveness of the proposed prediction method in solar irradiance prediction.

convolution neural network；chaotic hybrid algorithm；parameter optimization；solar irradiance prediction

theNational Natural Science Foundation of China(No.61403274，No.61773282)

TP183

A

0493-2137(2019)09-0990-09

2018-09-18；

2018-12-25

董 娜（1983—），女，博士，副教授，dongna@tju.edu.cn．

常建芳，changjianfang@tju.edu.cn．

国家自然科学基金资助项目(61403274，61773282).

10.11784/tdxbz201809056

(责任编辑：孙立华)