马桂萍
摘 要: 本文以哈尔滨金融学院数字化校园项目建设为基础,开发了微信校园多功能移动服务模块,该模块可实现课表查询、成绩查询、掌上图书馆、在线客服、网上缴费、院系通知、天气查询、快递查询、公交查询、多种信息查询与推送功能,模块除满足用户获取信息资源的时效性、便捷性外,还能更好地适应大学生个性化的信息服务需求,同时利用微信校园服务新模式,也可为大学生创业提供新的商机。
关键词:微信平台 移动终端 数字化校园
中图分类号:TP393 文献标识码:A 文章编号:1003-9082(2016)04-0007-01
研究发现,标准BP网络算法暴露出的主要问题有:一是训练网络易陷入局部最优;二是网络收敛慢,训练时间长;三是训练时对于旧样本趋势进行遗忘[1]。目前BP网络的优化学习算法可分为两大类:基于标准梯度下降的启发式学习算法和基于最优理论的训练算法[2]。
一、基于改进标准梯度启发式学习算法分析
改进梯度算法是在原有标准梯度算法基础上,通过优化计算网络权值和阈值的调整方式实现收敛优化的目的。改进梯度算法包括增加动量法、学习速率可变法和弹性梯度法。
1.增加动量的梯度下降算法
标准梯度算法有遗忘旧样本趋势,即在网络训练中只参考本次样本输入影响,在此情况下便导致网络训练震荡性大。为克服该弱点,引入动量因素,即考虑以往网络输入对于当前梯度方向影响,如式(1)中引入前一时刻网络调整方向: (1)
表示时刻,表示时刻的负梯度。由于考虑了以往梯度的影响,相当于给迭代过程中增加了一个低通滤波器,使得网络综合历史以及当前情况进行调整,从而忽略了误差下降曲面的部分不规则细节优化了网络收敛。
2.学习速率可变的梯度下降算法
在标准梯度下降的BP网络中,学习速率是恒定的,这就造成了网络训练前期和后期,学习速率对于网络自身的不适应性。为解决学习速率带来的问题,引入学习速率可变的算法。
该算法通过当前总误差与前一次总误差对比,实现学习速率的自适应调整,根据当前训练所在误差曲面的复杂度来确定学习速率的调整。
同增加动量的梯度下降算法一样,学习速率可变的梯度下降算法同样存在权值的修正量过小,学习效率得不到保证的问题。
3.弹性梯度下降算法
为解决输入数据进入Sigmoid传输函数“饱和区”的不利影响,当训练进入平坦区时,压缩神经元输入,从而使得输入退饱和区。该算法数学表达为:
由(2)式可知,当 时,传输函数的敏感区段延长至原来的倍。输入退出饱和区时,自适应调整 ,使得传输函数拥有较高灵敏度。
二、基于最优理论的算法分析
基于最优化理论,在BP网络的研究上有共轭梯度法、拟牛顿法和Levenberg-Marquardt法。
1.共轭梯度算法
标准梯度下降算法,目标拟合思想是权值和阈值调整沿误差函数下降最快的方向,然而由于误差曲面的非光滑性质,导致梯度下降方向并不一定为收敛最快方向,且易陷入局部最优。因此,引入共轭梯度,权值和阈值调整沿共轭梯度方向调整来获得更快收敛[3]。
2.拟牛顿算法
在数值优化算法中,标准的牛顿法迭代公式为: (3)
是误差性能函数对当前权值和偏差的二阶微分构成的Hessian矩阵[3]。然而,对于前向型BP网络,计算Hessian矩阵耗费的计算资源量较大,反而提高了收敛时间。拟牛顿算法是每一次迭代计算一个近似Hessian矩阵,不仅提高了计算效率而且还解决了Hessian矩阵计算困难的问题,提高了网络性能。
3.Levenberg-Marquardt算法
综合以上两种算法特点,提出Levenberg-Marquardt学习算法BP网络。L-M法中,将误差性能函数可以表示为平方和的形式,此时,Hessian矩阵可以近似为[3]: (4)
梯度为: (5)
L-M算法的更新过程与牛顿法类似,公式表达如下:
(6)
三、最优算法
1.标准梯度以及其改进算法综合比较
2.基于最优理论学习算法的综合比较
3.两类算法中的最优算法进行比较
通过比较,Levenberg-Marquardt算法在收敛速度和收敛效果上都要优于弹性梯度算法。因此,选取Levenberg-Marquardt算法为最优算法。