暂态混沌神经网络及其在优化问题中的应用研究

彭景斌　叶进宝　王雪娇

摘 要：为了分析研究暂态混沌神经网络特性及其优化机制，在分析与研究暂态混沌神经元模型基础上,通过在Matlab软件中编程仿真分析，比较神经网络的动力学特性及各参数对于网络的寻优过程影响。暂态混沌神经网络模型利用混沌所固有的随机性和轨道遍历性，在大范围内按其自身规律进行搜索,搜索过程按混沌轨道遍历,不受目标函数限制,从而具有克服陷入局部极小的能力可有效地解决一系列组合优化问题。这里根据网络动力学特性合理选择控制网络参数，通过仿真很好地解决了非线性函数优化问题和10个城市的TSP问题。相对于传统参数选择依靠经验使优化结果更具说服力， 优化结果令人满意。从而有利于这种混沌神经网络在优化问题中的推广。

关键词：暂态混沌神经网络;优化问题;非线性函数优化;TSP

中图分类号：TP183 文献标识码：A 文章编号：1004－373X(2009)04－076－04

Transient Chaotic Neural Netwgork and Its Optimization ofthe Applied Research

PENG Jingbin1,2,YE Jinbao2,3,WANG Xuejiao3

(1.Hengyang Transport Machinery Co.Ltd.,Hengyang,421002,China;2.Hunan Sci.and Tech.Economy Trade Vocational College,Hengyang,421009,China;

3.University of South China,Hengyang,421001,China)

Abstract：For analysing and studing the characteristic and optimized mechanism of transient chaotic neural network,based on analysis of transient chaotic neuron model,through programming the simulation analysis in the Matlab software to compare the neural network dynamic characteristic and various parameters regarding the network optimization process influence.Transient chaotic neural network model by the chaos inherent in the use of random traversal of the track,and carries on the search in wide range according to its own rule,the search process,according to traverse chaotic orbit,free from restrictions on the objective function,which has overcome the local minimum The ability to effectively can solve a series of combinatorial optimization problems.The control network parameter is selected according to the network dynamic characteristic,through the simulation,problems of non－linear function optimization and 10 city TSP problems are solved.The optimization results is satisfied.And thus is conducive to such a chaotic neural network optimization problem in the promotion.

Keywords：transient chaotic neural network;optimization;non－liear function optimization;TSP

0 引 言

生物神经网络是一个非常复杂的非线性巨系统,存在各种复杂的动力学行为,在生物学实验中人们已观察到人脑和动物神经系统中的各种混沌行为。由于人工神经网络是对生物神经网络的模拟,因而深入研究人工神经网络中的复杂动力学(特别是混沌)对于提高人工神经网络的智能化程度具有重要意义。人工神经网络的一个重要应用领域是用于优化。神经网络的寻求稳定平衡点的大规模并行计算能力对于优化问题是强有力的工具,但由于其利用梯度下降的动力学,因此在求解许多实际优化问题时常陷入局部极小值。由于混沌具有遍历性、随机性、规律性的特点,混沌运动能在一定范围内按其自身的规律不重复地遍历所有状态,因此,利用混沌变量进行优化搜索,无疑会比随机搜索更为优越。混沌动力学为人们研究神经网络提供了新的契机,用神经网络研究或产生混沌以及构造混沌神经网络,混沌神经网络具有更加丰富和远离平衡点的动力学特性。混沌动力学是以对初始条件的敏感性以及在相空间的不停运动为特征的,这一特点使得混沌成为很好地在状态空间进行搜索的机制,当将其用于优化时,它具有逃离局部极值的能力。正是基于这个机制,这里研究了暂态混沌神经网络模型和其优化问题中的应用,它具有暂态的混沌动力学行为,可以对状态空间做暂时的搜索。

1 暂态混沌神经元

混沌神经元是标定混沌神经网络的基本单位,对于单个神经元的混沌特性的了解可为混沌神经网络提供必要前提和认识基础。在混沌神经元的研究中,振荡子是一种典型的研究对象,因为振荡子或它们的组合可表现出丰富的混沌动力学行为，为了理解混沌神经网络的运行机理,在此以单个神经元为例检验该网络的混沌动力学行为。首先给出暂态混沌神经网络模型:

Иui(t+1)=kui(t)+αj≠1wijvj+θ-s1(k)〗-

gi(t)И

当Е联=0时单个神经元的网络模型：

Иu(t+1)=ku(t)－g(t)(1)

v(t)=11+exp{－μu(t)}(2)

gi(t)=(1－β)gi(t+1)(3)

η(t+1)=η(t)ln{e+λ}(4)И

在Matlab中仿真混沌神经元模型进行模拟仿真，对式（1）~式（4）随机取参数Е=0.7,β=0.001,λ=0.006,μ=300Щ煦缟窬元内部状态的演变如图1所示。

图1 混沌神经元状态演化图

对于这里的单个混沌神经元的动力学特性和控制参数的演化过程进行仿真与研究。

图2、图3是在式（1）~式（4）取参数k=0.9,β=0.001,λ=0.006，g(0)=0.08时单个神经元的动力学特征和控制参数的退化曲线，可以看出式（1）~式（4）组成的网络具有暂态混沌动力学的行为，随着控制参数在时间上的不断衰减，通过一个倍周期倒分叉过程，网络将逐渐趋于稳定的平衡点。

图2 单个神经元的动力学特征

图3 控制参数的退化曲线

图4、图5中k=0.9,β=0.003,λ=0.006，g(0)=0.08，由于图4，图5相对于图2和图3只是β增大，但可以知道β增大有利于加速收敛，但优化质量会有所下降，从网络的动态方程可知，β增大使能量函数对动态方程的影响增大，如影响过大，将不能产生充分地混沌动态；反之太小的β使能量函数的变化不能充分的影响动态的演变，从而搜索过程难以收敛到对应最小能量值的最优解，同时过分的混沌搜索将导致优化过程变长。

图4 单个神经元的动力学特征

图5 控制参数的退化曲线

图6、图7中k=0.9,β=0.001,λ=0.008，g(0)=0.08，由图6，图7相对于图2和图3只是λ增大，然而可以知道λ增大有利于加速收敛，但优化质量会下降，λ的大小反应控制参数Z（t）的下降速率的快慢，过大的λ会使Щ煦缍态消失的过快，从而容易收敛到局部最小或非法状态；反之混沌动态持续太久，将严重影响收敛速度。

图6 单个神经元的动力学特征

图7 控制参数的退化曲线

图8、图9中k=0.9,β=0.001,λ=0.008，g(0)=0.10，由图8和图9相对于图2和图3只是Z(0)增大，但可以知道Z(0)减小有利于加速收敛，但算法收敛到次优解的概率将增加，加快Z的下降速度，一旦混沌行为不充分则必然影响优化性能；反之Z(0)过大将使得下降过程过慢，从而混沌对系统演化过程的影响过大，收敛必然缓慢。

图8 单个神经元的动力学特征

图9 控制参数的退化曲线

2 暂态混沌神经网络

上述部分对单个无反馈神经元的动力学特性和控制参数进行了仿真与研究，下面系统地对混沌神经网络进行研究。显然暂态混沌神经网络有反馈项，而且还是许多单个的神经元构成，其构成是将混沌机制引入到Hopfield神经网络中，构造出具有自组织特性和克服局部极小能力的暂态混沌神经网络，其数学模型如下：

Иui(t+1)=kui(t)+αj≠1wijvj+θ-s1(K)〗-

gi(t)(5)

vi(t)=11+exp{－μui(t)}(6)

gi(t)=(1－β)gi(t+1)(7)

ηi(t)=ηi(t－1)ln{e+λ}(8)И

其中：式（5）为混沌神经网络的动态方程；式（6）为神经网络的激励函数。ui和vj为神经网络在K时刻的输入和输出；wij为从第j个神经元到第i个神经元的连接权值；k为比例常数；θ为神经元偏置；S1(K)，S2(K)为外加的混沌变量；β和λ为时变量gi(t)和ηi(t)У乃ゼ跻蜃印Hopfield神经网络离散型模型为：

Иui(K+1)=(1－Δtτ)ui(K)+Δtβ′［∑njwijvj(K)+θ］

=kui(K)+β［∑njwijvj(K)+θ］(9)И

比较混沌神经网络和Hopfield神经网络模型只是在Hopfield神经网络后面加上В璯i(t)项，变量gi(t)表示每个神经元的抑制自反馈链接的强度，当t→0,gi(t)→0,Щ煦缟窬网络退化为神经网络暂态混沌神经网络模型综合了随机性和确定性算法的优点。优化过程分为基于混沌的“粗搜索”和基于Hopfield神经网络“细（梯度）搜索”两个阶段。粗搜索中的混沌搜索同时具有随机性和轨道遍历性，具有克服陷入局部极小的能力。随机性保证大范围搜索能力，轨道遍历性使算法能按系统自身的行为不重复地遍历所有可能状态，有利于克服一般随机算法中以分布遍历性的机制搜索带来的局限性。粗搜索过程结束，转入HHN梯度搜索及细搜索阶段，随着粗搜索结束，系统方程中控制参数决定项的作用很弱，及暂态混沌动力行为消失后，网络优化过程基本按能量函数的梯度下降方向进行。此时的行为类似于Hopfield神经网络寻优过程。系统最终收敛于一个稳定的平衡点，即收敛到全局意义下较满意的解。

算法流程图如图10所示。

3 暂态混沌神经网络模型在优化问题中的应用

3.1 在函数优化中的应用

求解下述非线性优化问题:

ИF(x)=(x1-0.8)2+

(x2-0.6)2И

目标函数的全局最小点为：（0.8，0.6）；局部极小点为有3个：（0.7，0.5），（0.7，0.6），（0.8，0.5）。以min F(x)为网络的能量函数进行优化求解并给定相应的网络参数和网络初始值。

计算结果见表1。

表1 计算结果

全局最优解对应最优解迭代次数

理论解0.000.8，0.6-

混沌解1.478E－0070.799，0.59990

在此给出网络的神经元的输出X(t)随时间的演化过程（随时间变化）：如图11所示。

图10 优化流程图

图11 神经元1的输出X1(t)和神经元2的输出X2（t）

两个神经元的输出函数的初始状态是不可预测的混沌运动，随着非线性反馈强度的逐渐减弱，经过短暂的分叉过程后，最终收敛到网络的稳定状态（0.8，0.6）处。因此该网络具有避免陷入局部极小值的能力，从而实现全局优化。

3.2 应用于TSP问题（10个城市TSP问题）

TSP问题是一类典型的组合优化难题,它要求旅行商用最短的路径走遍地图上的n个城市而且只能访问一次,最后回到起始点。TSP问题分为对称TSP(dij=dji)和非对称TSP(dij≠dji)。其中：dij表示城市i与城市j之间的距离；对称TSP的可能路径有(n-1)!/2条,非对称的有(n-1)!条。显然,用穷举法来寻找最短路径将花费大量的时间,而且若城市数量大，则该方法几乎是无法解决TSP问题的。1985年,Hopfield与Tank构造了TSP问题满足所有限制条件的一个能量公式：

ИE=w12 i=1(∑njxij－1)2+∑nj=1(∑nixij－1)2〗

+w22∑ni=1∑nj=1∑nk=1(xkj+1+xkj－1)xijdikИ

同时,结合HNN算法成功地解决了TSP问题。但是对于10个城市的TSP问题,20次实验中,只得到16次合法解,10次最优解通过分析得到解决TSP问题的差分方程：

yij(t+1)=kyij(t)+α{－w1 i≠jxij(t)+

∑nk≠ixkj(t)〗－w2 k≠idik(xkj+1(t)+xkj－1)〗+

w1}-zi(t), i=1,2,…，n

对于10个城市的TSP问题,原始数据取自文,参数选取如下:k=0.9; W1=1;W2=1;I0=0.65;γ=100;z(0)=0.05;εi=250;变动β,λ,随机选取初始值仿真120次得到表2的仿真结果。

表2 仿真结果

Е力娄霜ё钣沤猹な目次优解な目平均迭代ご问

0.020.060.011173320

0.020.040.011200289

0.020.040.024254

0.030.020.012241

从表2中取出1组数据Е=0.03，β=0.02，λ=0.01，神经元输出能量函数演化图以及最优路径如图12所示。

图12 10个城市TSP最短路径仿真图

对图12分析可以得到：模型中存在很多参数需要选取。输入正比例系数Е劣跋斓代步数的多少与模型混沌动态性能,过小的α值使迭代步数增加,过大的α值则减弱模型混沌动态性能,故应该仔细选取该参数;β控制增益函数的衰减速率,这个参数将显著影响寻优过程的收敛速度,较小的β值将会加快收敛速度;较大的λ值会加快收敛速度但会使混沌动态消失过快,从而影响寻优结果,较小的λ值会使混沌动态作用时间加长而使收敛速度变慢。

4 结 语

暂态混沌神经网络利用混沌所固有的随机性和轨道遍历性在大范围内按其自身规律进行搜索,搜索过程按混沌轨道遍历,不受目标函数限制,从而具有克服陷入局部极小的能力。当混沌搜索结束以后,网络进入类似Hopfield网络的梯度搜索过程,由于混沌搜索为梯度搜索提供了一个好的位于全局最优解附近的初始值,因而可以较快地获得全局意义下的最优解。通过实例仿真分析，比较暂态混沌神经网络在优化方面显示出了其优化方面的优势和较好的发展前景。

参 考 文 献

［1］Aihara K,Takabe T,Toyada M.Chaotic Neural Networks［J］.Phys.Letters A,1990,144(6/7):333－340.

［2］Nozawa H.Solutions ofthe Optimization Problem Using the Neural Network Model as a Globally Coupled Map［J］.Physica D,1994,75(1－3):179－189.

［3］张学义,胡仕诚,谢荣生,等.一种混沌神经网络及其在优化计算中的应用［J］.系统工程与电子技术,2000,22(7)：69－71.

［4］王凌,郑大钟.一种基于退火策略的混沌神经网络优化算法［J］.控制理论与应用,2000,17(1):139－142.

［5］窦春霞,张淑清.基于混沌神经网络预测模型的最优控制决策及应用［J］.动力工程,2004,24(1):68－72.

［6］Chen Luonan,Aihara Kazuyuk.Global Searching Ability of Chaotic Neural Networks ［J］.IEEE Transactions on Circuits and System I:Fundamental Theory and Application,1999,46(8):974－993.

［7］窦春霞.基于混沌一神经网络模型最优控制及应用［J］.系统工程学报,2004,19(3):229－233.

［8］李薪宇,吕炳朝.暂态混沌神经网络中的模拟退火策略优化［J］.计算机应用,2005(10):198－200.

［9］周婷,贾振红,刘秀玲.一种用于函数优化的小波混沌神经网络［J］.计算机应用,2007,27(12):2 910－2 912.

［10］高海昌,冯博琴,朱利.智能优化算法求解TSP问题［J］控制与决策,2006(3):241－247.

［11］江亚东,蒋国强.基于混沌搜索的神经网络及在优化问题中的应用［J］.指挥技术学院学报,2001(2):68－70.

注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。