一种改进的BP-AdaBoost算法及应用研究

朱晨飞 黄淑华 王怀聪 何杭松

摘  要： BP?AdaBoost算法结合BP神经网络和AdaBoost算法二者的优点，在提高准确率的同时加快训练速度。但传统BP神经网络在训练时可能会出现陷入局部最优的问题，针对此缺陷，提出一种改进的BP?AdaBoost算法，先采用思维进化算法调整BP神经网络的权值和阈值，再运用优化后的BP神经网络构造多个优化的弱预测器，最后将AdaBoost多分类思想引入改进的BP?AdaBoost算法中，构造多个强预测器判断决策输出结果。将改进的BP?AdaBoost算法与小波神经网络用于上证指数开盘指数的预测中，通过实验对比分析，证明了算法的可行性与优越性。

关键词： 神经网络; BP?AdaBoost算法; 思维进化算法; 多分类; 上证指数预测; 强预测器

中图分类号： TN711?34; TP183                    文献标识码： A                     文章编号： 1004?373X（2019）19?0064?04

Abstract： The BP?AdaBoost algorithm can combine the advantages of the BP neural network and AdaBoost algorithm to improve the accuracy and the training speed. However， the traditional BP neural network may be easy to fall into local optimum. Therefore， an improved BP?AdaBoost algorithm is proposed to solve this problem. In the algorithm， the mind evolutionary algorithm is adopted to adjust the weights and thresholds of BP neural network， the optimized BP neural network is used to build several optimized weak predictors， and then the multi?classification idea of AdaBoost algorithm is introduced into the improved BP?AdaBoost algorithm to construct multiple strong predictors to determine the output result. The improved BP?AdaBoost algorithm and wavelet neural network were used in the opening index prediction of Shanghai Composite Index. The feasibility and superiority of the improved BP?AdaBoost algorithm were proved by the comparison analysis.

Keywords： neural network; BP?AdaBoost algorithm; mind evolutionary algorithm; multi?classification; Shanghai Composite Index; strong predictor

0  引  言

人工神经网络中，多层前馈BP（Back Propagation）神经网络的应用最为广泛，它利用误差逆传播算法进行训练，可以任意精度逼近非线性函数，具有循环反复交替进行的学习过程和输入信号顺传播、输出误差反向传播的特点。迭代分类算法AdaBoost（Adapting Boosting）运用特定方式训练弱分类器，通过弱分类器的误差予以弱分类器不同权重，最后线性组合成一个强分类器输出决策结果。BP?AdaBoost算法有效结合BP与AdaBoost算法二者优点 [1?2]，可提高算法泛化能力，防止单个BP神经网络训练时准确率较低的问题，同时避免传统AdaBoost分类速度会随训练样本增加骤然变慢的问题。目前，很多学者将AdaBoost算法和BP神经网络相结合并运用于不同领域，有效地解决了一些分类和回归问题。文献[3?4]将BP?AdaBoost算法进行改进后用于分类研究，通过对比实验验证了BP?AdaBoost算法具有更好的泛化能力，并通过改进算法进一步提高分类的准确率和实效性。文献[5]将BP?AdaBoost算法用于预测研究，并通过实验验证了在建筑能耗预测中BP?AdaBoost算法的预测精度优于GA?BP和传统的BP神经网络。

本文通过引入思维进化算法调整神经网络的初始权值、閾值，克服BP神经网络易陷于局部最小的问题，从而构造优化弱预测器，然后根据AdaBoost算法中的多分类思想构造多个优化后的强预测器，提高BP?AdaBoost算法的泛化性能和预测精度。

3.2  仿真实验分析

本文分别用MEA?BP?AdaBoost算法和对非线性与时变性数据具有很好预测效果的小波神经网络[11]对受诸多复杂因素影响、具有非线性的上证指数开盘指数进行预测。

在对函数[y=x21+x22]进行预测时，由计算机随机生成的数据集离散度较小、分布较均匀。样本范围如表2所示。由表2可知，搜集的真实上证指数特征数据集中最大值和最小值相差较大，但本文提出的优化算法也能对其进行较为精准的预测，体现了该算法较好的泛化能力。小波算法和本文优化算法拟合情况如图4所示，小波算法和本文优化算法精度对比如表3所示。

通过图4和表3可知，小波神经网络对大部分测试样本预测误差相对较大，而本文优化算法预测结果与真实值偏离程度较低，对实际上证指数值的总体拟合程度要优于小波神经网络，并且其误差精度指标均比小波神经网络小，尤其在均方误差中较为明显，表明其具有更好的预测准确性。因此在对上证指数开盘指数的预测中，改进算法MEA?BP?AdaBoost改善了BP神经网络缺陷，提高了BP?AdaBoost算法的预测精度，具有更好的泛化能力和稳定性。

4  结  论

本文提出MEA?BP?AdaBoost算法，引入思维进化法来调整BP的初始权值和阈值，然后将其构造成多个改进的弱预测器，并按照AdaBoost算法规则组合构成强预测器，避免了普通进化算法收敛速度较慢且易早熟的问题，有效改善了BP神经网络自身的缺陷，提高了全局搜索能力。同时，将AdaBoost算法进行多分类时的思想引入改进算法，构建多个并行处理的强预测器，在不增加时间开销的前提下，进一步提升算法预测精度，使改进算法在预测中具有很好的泛化性能和稳定性。通过将其应用于上证指数的开盘指数预测中，并与小波神经网络预测结果进行对比，改进的BP?AdaBoost算法预测更精准，预测结果更接近真实值，从宏观的角度为观测股市态势提供更加有效的信息。

参考文献

[1] LI N， CHENG X， ZHANG S， et al. Recognizing human actions by BP?AdaBoost algorithm under a hierarchical recognition framework [C]// IEEE International Conference on Acoustics， Speech and Signal Processing. [S. l.]： IEEE， 2013： 3407?3411.

[2] LI H， CHEN Q， ZHAO J， et al. Nondestructive detection of total volatile basic nitrogen （TVB?N） content in pork meat by integrating hyperspectral imaging and colorimetric sensor combined with a nonlinear data fusion [J]. LWT ? food science and technology， 2015， 63（1）： 268?274.

[3] 吕雁飞，侯子骄，张凯.多分类BP?AdaBoost算法研究与应用[J].高技术通讯，2015，25（5）：437?444.

L? Yanfei， HOU Zijiao， ZHANG Kai. Study of multi?class BP?AdaBoost and its application [J]. Chinese high technology letters， 2015， 25（5）： 437?444.

[4] 李蓓，张兴敢，方晖.一种改进的BP?AdaBoost算法及在雷达多目标分类上的应用[J].南京大学学报（自然科学版），2017，53（5）：984?989.

LI Bei， ZHANG Xinggan， FANG Hui. An improved algorithm of BP?AdaBoost and application of radar multi?target classification [J]. Journal of  Nanjing University （Natural science）， 2017， 53（5）： 984?989.

[5] 方涛涛，马小军，陈冲.基于BP?AdaBoost算法的建筑能耗预测研究[J].科技通报，2017，33（7）：162?166.

FANG Taotao， MA Xiaojun， CHEN Chong. Prediction for building energy consumption based on BP?AdaBoost algorithm [J]. Bulletin of science and technology， 2017， 33（7）： 162?166.

[6] 王小川.Matlab神经网络43个案例分析[M].北京：北京航空航天大学出版社，2013.

WANG Xiaochuan. 43case analysis of neural network in Matlab [M]. Beijing： Beijing University Press， 2013.

[7] CHEN S， WU Z C， L? H. Application of neural network optimized by mind evolutionary computation in building energy prediction [J]. IOP conference series： materials science and engineering， 2018， 322： 062006.

[8] 朱毅，莫勇.MEA?BP神经网络在大坝变形预测应用[J].北京测绘，2017（3）：75?78.

ZHU Yi， MO Yong. Application of MEA?BP neural network in dam deformation prediction [J]. Beijing surveying and mapping， 2017（3）： 75?78.

[9] LIU H， TIAN H， LIANG X， et al. New wind speed forecasting approaches using fast ensemble empirical model decomposition， genetic algorithm， Mind Evolutionary Algorithm and Artificial Neural Networks [J]. Renewable energy， 2015， 83： 1066?1075.

[10] 刘浩然，赵翠香，李轩，等.一种基于改进遗传算法的神经网络优化算法研究[J].仪器仪表学报，2016，37（7）：1573?1580.

LIU Haoran， ZHAO Cuixiang， LI Xuan， et al. Study on a neural network optimization algorithm based on improved genetic algorithm [J]. Chinese journal of scientific instrument， 2016， 37（7）： 1573?1580.

[11] 郝杰.基于改进小波神经网络的上证指数预测研究[D].广州：华南理工大学，2014.

HAO Jie. Research on Shanghai Composite index prediction  based on improved wavelet neural network [D]. Guangzhou： South China University of Technology， 2014.