人工神经网络的优化方法

　　摘要：人工神经网络结构独特，具有处理数据方法高效、自学习性强、并行处理能力强、易于推广等优点，但同时也具有容易陷入局部极小特性和算法收敛速度较低的不足之处。为了弥补这些不足，科学家们尝试着将神经网络与其它的人工智能方法相结合来解决问题。本文拮取了这其中一些较有代表性的方法来加以介绍。
　　关键词：人工智能 神经网络 小波分析 蚁群算法 粒子群优化算法
　　中图分类号：TV135.2 文献标识码：A 文章编号：1672-3791(2011)10(c)-0000-00
　　
　　1 引言
　　对于人工神经网络的研究自20世纪40年代起始，一直是科学研究的一个热门领域，近20年来各种关于它的研究更是方兴未艾。神经网络结构独特，处理数据方法高效，在解决许多具体问题上得到了广泛的应用。然而，神经网络也有其固有的缺点：首先，由于受到搜索步长的限制，当解空间函数存在局部极小值时，容易陷入局部极小特性；其次，现行的学习算法收敛速度较低，容易影响研究的进度。为了应对这两个问题，学者们采取了多种多样的方法，其中最为常见的便是将神经网络与其他人工智能方法相结合再加以一定的改进。本文选取了这一类方法中较有代表性的几种，加以介绍。
　　
　　2 方法介绍
　　2.1小波神经网络
　　小波分析从傅立叶变换发展起来，属于时频分析方法的一种，因此，它在时域和频域同时具有良好的局部化性质，可将分析的重点聚焦到任意的细节，而这正是我们所需要的特性。用小波分析局部化性质良好的优点，去配合神经网络自学习、自适应、并行处理和高容错性的特点，结合成为小波神经网络。
　　除了能够有效避免局部极小值、网络学习速度快、逼近能力强外，小波神经网络还可以弥补神经网络对于结构构造缺乏足够理论性指导的缺点，能够对于参数的选取做出理论性充足的指导，有效避免某些种类的神经网络在结构设计上的盲目性。
　　2.2 蚁群算法与神经网络的结合
　　蚁群算法是一种仿生优化算法，常被用来寻找最优路径。该算法具有强大的并行分布式计算能力、适应能力和优秀的全局寻优能力，并非常易于与其它算法相结合。
　　蚁群算法使用随机生成的蚂蚁群体进行检索，使得算法找到全局最优解的概率大大增加;。在考虑到神经网络所存在的局部最优问题时，蚁群算法舍不确定性规则而取概率规则来指导检索，从而逃离了局部最优的陷阱。
　　除此之外，因为蚁群算法是让所有蚂蚁独立地在无监督的情况下同时搜索解空间中许多点，因此它同时还是一种高效的并行搜索算法，与神经网络相结合能够起到锦上添花的效果。
　　2.3 PSO粒子群优化算法与神经网络的结合
　　粒子群优化算法最早是由美国的Kennedy 和Eberhart教授受鸟群觅食行为的启发而提出的，它以求解连续变量优化问题为背景，以模拟鸟的群集智能为特征，通过利用个体间的协作和竞争来实现对问题最优解的搜索，具有全局优化的优点，是一种基于群体智能的进化计算技术。
　　为了更好地解决所遇到的问题，在将粒子群优化算法与神经网络结合的同时，还要进行进一步的优化。动态变异粒子群优化算法可以动态改变惯性权重，它能够使粒子扩大搜索范围，从而降低落入局部最优解的概率，这样就能使粒子及时远离局部最优解而继续进行全局搜索，同时又能使粒子在全局最优解处收敛得更好。而先将原始粒子运用混沌理论处理，继而再采用粒子群优化算法训练神经网络所得到的混沌理论下混合型PSO-BP模型在PSO进化过程中加入了混沌的思想。混沌具有随机性，遍历性，规律性等特点，因此，与其它的随机搜索算法相比，在处理基本粒子群在算法后期易陷入局部极值的问题上，混沌搜索更强的局部搜索能力能够很好地避免陷入局部最优，并且在局部搜索得更细致。
　　2.4 基于遗传模拟退火算法优化的BP神经网络
　　遗传模拟退火算法是结合了模拟退火算法和遗传算法思想的一种混合智能算法，这两者都具有优秀的数值优化方面的性能。遗传算法的原理模仿生物界优胜劣汰的进化机理，是一种优化搜索方法。模拟退火算法源于固体的退