基于BP神经网络的PID改进和研究

汪圣祥, 金朝永



基于BP神经网络的PID改进和研究

汪圣祥, 金朝永

(广东工业大学应用数学学院, 广州 510520)

主要对BP神经网络PID控制算法进行了研究, 提出一种改变步长和学习率的迭代法, 能有效的减少网络收敛次数. 然后从神经网络激活函数的选择出发, 提出一种新的非线性误差函数. 仿真表明, 该方法能减少网络训练的次数, 加快收敛, 也能避免网络学习下初期的振荡现象.

PID神经网络; 动量项; 激励函数

引言

近年来, 由于神经元网络的研究和应用, 人们开始结合神经元网络和PID控制, 以便改进传统PID控制的性能, PIDNN控制通过神经网络将参数网络化后, 再用于PID中, 以此来提高该控制器的性能. 文[1]将PID控制规律并入到神经网络, 并融入遗传算法和BP的反向算法, 从而做到优化参数的学习, 通过仿真证实了该控制器的收敛速度比之前加快, 且其稳定性也取得更好的效果. 然而PIDNN的初始权值不确定, 且具有任意性, 从而使得其学习也不确定, 最终收敛方向也出现了任意性, 导致极易陷入饱和区. 本文针对此情况对动量项进行优化, 改进了算法. 最后还对激励函数进行了研究.

1 PIDNN算法

1.1 PIDNN前向算法

(1) 输入层

神经元的输出

(2) 隐含层

隐含层有3个神经元, 分别为比例元, 积分元和微分元, 各自的输入值为输入层至隐含层的加权总和,可表达为

(3) 输出层

神经元的输出

神经元的输出

1.2 PIDNN的误差反向传播算法

PIDNN训练和学习的目的是使偏差平方均值为最小, 其中.

隐含层至输出层的权重迭代公式为

.

输入层至隐含层的权重迭代公式为

.

对上式进行变形, 得

即得到PIDNN输入层至隐含层的权重算法修改为

2 动量项分析及简介

D.E.Rumelhart[2]等在BP算法中依据反向传播的误差来改变神经元之间权值, 有效地改变了多层神经网络的问题. 在这个过程中权值不停地被修改, 这就是训练的过程, 直到网络的误差达到可以接受的范围为止. 尽管这样它还是有很大的应用价值, 但也存在诸多问题. 例如: 学习率的选择, 学习率的变化影响权值的变化且权值的变化与学习率的变化一致, 但是学习率如果太大, 则网络可能出现不稳定的振荡.

传统的反向传播即梯度下降法, 它在当前位置寻找出下降最快的方向. 如果在整个训练过程中动量项都不变, 就有可能导致上一次的权值调整对当前的影响比较大, 很有可能超过最速下降的方向, 这样就延缓了收敛速度.

D.E.Rumelhart提出了既可以加快学习速度又可以保持稳定的方法, 即在迭代公式中增加一个动量项

其中第一个是修正量, 第二个是动量项. 动量项可以记住上一次权值的变化方向, 这样就可以改变学习率, 对加快学习速度起到了一定的缓冲作用. 另外添加动量项可以使得算法能较快地逃离平滑区.

2007年, 刘益民在文[3]中提出了一种添加多重动量项的方法, 该方法能有效地减少网络训练次数:

D.J Swanston et al[4]做出了改进, 做出如下变形:

.

L.W.Chan and F.Fallside 提出了一种学习率和动量项均自适应变化的算法, 更新公式为

2005年, 郑高峰在文[5]中介绍了一种动量项系数根据目前的梯度最速下降方向和权值上一步改变的方向的信息而自适应变化的BMP算法.

通过上面的讨论, 可以知道要使带动量项的反向传播算法在多数情况下有效的话, 那么动量项系数应该发生变化, 在保证算法稳定性的前提下使学习率尽可能的大, 这样才能真正达到算法稳定和加速收敛的目的. 根据这种想法, 本文提出了一种动量项随时间的变化而自适应的传播算法:

结果表明动量项系数按本文方法选取的优点是, 在保证算法稳定的情况下，增大了学习率的选取范围, 减小了振荡起到了加速的作用.

3 激励函数的改进

由文[6]权值的变化公式可知, 权值变化与激励函数导数有很大的关系, 同时使用激励函数对整个神经网络都有很大的影响. 神经网络研究初期的时候, 对神经网络激励函数要求很严格, 要满足连续、单调递增和可微的要求. 后来学者Hornik给出了激励函数的理论条件, 就是要满足连续有界.

2003年, 沈艳军[7]等将激活函数做了一个变形, 给出了网络学习的一种快速算法. 2008年, 李恩玉[8]等提出了一种四个可调的参数激活函数模型, 具有更强的非线性映射能力. 2014年, 曲朝阳[9]等提出了一种传递函数自我优化的算法来改进神经网络, 得到了较好的结果, 并运用到了实际中. 2015年, 张敏[10]等分析设计了基于激励函数自寻优的BP网络模型自适应控制, 得到令人满意的结果.

假设被控对象的数学模型为

通过分析激励函数的网络的影响, 提出了一种新的激励函数并且加入了两个可调的参数, 实现了动态性, 使其有较强的非线性映射能力. 在同一个条件下通过对比, 用本文的激励函数仿真结果表明, 改进后的PIDNN有更好的效果.

4 结束语

本文首先对动量项迭代进行了分析, 改进了算法, 使用新得到的迭代法进行仿真, 结果表明该方法能有效地加快收敛速度. 然后又对非线性误差函数的选择进行了研究, 使得网络泛化能力加强, 并利用MATLAB进行了仿真, 结果表明, 改进后神经网络能减少振荡, 说明提出的方法有一定的效果. 两种方法都有一定的可行性, 值得推广应用.

[1] Dong W, Qu D, Dong W.[J]. Binggong Zidonghua/ Ordnance Industry Automation, 2011, 30(2): 66~69

[2] Rumelhart D, Mcclelland J.[M]. MIT Press, 1987

[3] 刘益民. 基于改进BP神经网络的PID控制方法的研究[D]. 西安: 中国科学院研究生院(西安光学精密机械研究所)硕士学位论文, 2007

[4] Swanston D J, Bishop J M, Mitchell R J.[J]. Electronics Letters, 1994 30(18):1498~1500

[5] 郑高峰. 带动量项的BP神经网络收敛性分析[D]. 大连: 大连理工大学硕士学位论文, 2005

[6] 肖俊芳, 王耀青. 一种激励函数可调的快速BP算法[J]. 自动化技术与应用, 2002,06: 26~29

[7] 沈艳军, 汪秉文. 激活函数可调的神经元网络的一种快速算法[J]. 中国科学E辑: 技术科学, 2003, 08: 733~740

[8] 李恩玉, 杨平先, 孙兴波. 基于激活函数四参可调的BP神经网络改进算法[J]. 微电子学与计算机, 2008, 11: 89~93

[9] 曲朝阳, 计 超, 郭晓利, 等. 基于传递函数自我优化的BP网络算法改进[J]. 电测与仪表, 2014, 11: 56~59+64

[10] 张 敏, 徐启华. 基于改进BP的神经网络模型参考自适应控制[J]. 软件,2015,07: 118~123.

[11] 刘金琨. 先进PID控制MATLAB仿真[M]. 北京: 电子工业出版社, 2004

Improvement and Research of PID Controller Based on BP Neural Network

WANG Shengxiang, JIN Chaoyong

(School of Applied Mathematics, Guangdong University of Technology, Guangzhou 510520, China)

We study the algorithm of BP PID neural network control, and propose an iterative method of changing the step and the learning rate, which can effectively reduce the number of network convergence. And then we propose a new nonlinear error function, selecting from the neural network activation function. Simulation results show that this method can reduce the number of network training and accelerate the convergence, but also can avoid oscillation phenomenon under early learning.

PID neural network, momentum, activation function

TP18

A

1672-5298(2017)01-0026-06

2016-12-26

汪圣祥(1989− ), 男, 湖北咸宁人, 广东工业大学应用数学学院硕士研究生. 主要研究方向: 人工智能控制技术