动态回声状态网络研究*

王改堂,赵金磊,王红辉,叶锦函

(西安现代控制技术研究所,西安 710065)

0 引言

回声状态网络(ESN)是一种新型的递归神经网络,该算法的最大优点就是训练简单,且在网络训练过程中,具有唯一且全局最优的输出权值。ESN之所以有这样的优点是因为网络在初始化之后,网络的输入连接权值、输出反馈连接权值和储备池内部连接权值一经产生就不再变化,唯一会在训练中发生变化的只有输出连接的权值[1]。然而,在处理实际问题时,ESN使用了线性回归算法求解输出权值,易导致病态解问题,为了克服这一问题,文献[2]提出了ESN岭回归学习算法。为了提高ESN算法的性能,国内外研究学者提出了很多改进的算法,如泄漏积分型回声状态网络[3],ABESN[4],多核回声状态网络[5]等等。为了改进ESN在训练过程中只能调整输出连接权值的缺点,文中提出了动态回声状态网络(DESN)研究方法。

1 回声状态网络

ESN是基于储备池计算的一种新型递归神经网络,该网络是由输入层、储备池和输出层等组成,其网络拓扑结构如图1所示。

图1 网络拓扑结构图

ESN网络的基本方程描述为:

x(k+1)=f(Winu(k+1)+Wx(k)+Wbacky(k))

(1)

y(k+1)=fout(Wout(u(k+1),x(k+1),y(k)))

(2)

式中：x(k)为储备池的状态向量；u(k)为输入向量；y(k)为输出向量；f(·)为储备池节点的激活函数；Win为输入连接权值；Wback为输出反馈连接权值；W为储备池内部连接的权值；Wout为输出权值；fout(·)为

输出层函数,一般为线性函数。

2 动态回声状态网络

2.1 动态激活函数

激活函数是ESN算法的核心,以Sigmoid激活函数为例,激活函数的陡度、位置是固定不变的,这两个因素不仅制约了网络的非线性映射能力,而且影响了网络的学习精度。Sigmoid激活函数的动态模型如下[6]:

(3)

式中:a为偏移参数；b为位置参数；λ为陡度因子。从表达形式上看,函数Sa,b,λ(x)比S(x)具有更为丰富的非线性表达能力,参数a和b决定函数的垂直和水平位置,λ决定函数的形状。参数的取值不同代表不同的激活函数。

上述激活函数只是从位置和形状上进行调整,不能对映射区间范围作出调整。为此,在上式的基础上,文中将映射区间因子加入到激活函数中,其激活函数模型为:

(4)

式中,c为映射区间因子,c的大小改变映射区间的长度与映射范围。

当a=b=0,c=λ=1时,式(4)就是传统的Sigmoid函数。

2.2 实验验证

为验证提出算法的有效性和可行性,实验使用Pole,Auto-Mpg,Housing,Diabetes,Triazines和Stock dataset等数据集对其进行验证。表1给出了使用的数据集的说明。

表1 数据集说明

实验训练过程中,ESN算法和DESN算法的权值Win、W和Wback的初始化均为[-1,1]之间的均匀分布随机数,储备池节点个数和DESN算法激活函数的参数设置如表2所示。表3给出了ESN和DESN算法建立上述数据集回归模型的训练和测试的均方根误差(RMSE)的比较。从表2和表3中可以看出DESN的训练和测试结果都比ESN算法好,可见文中算法建立的模型测试精度高,具有较强的泛化能力。

表2 参数设置

表3 两种算法的性能比较(RMSE)

2.3 实际应用

以地空导弹武器系统为例来验证该算法,地空导弹武器系统生存能力可表示为[7]:

y=f(x1,x2,x3,x4,x5,x6)

(5)

式中:y为导弹生存能力,x1为伪装能力,x2为机动能力,x3为干扰能力,x4为防护能力,x5为拦截能力,x6为修复能力。其中伪装能力包括雷达反射特性、目标特性和隐身特性,机动能力包括机动速度、越野能力和反应能力,干扰能力包括干扰频域有效性和干扰方式多样性,防护能力包括抗干扰能力和抗杀伤能力,拦截能力包括预警能力和射击能力,修复能力包括设备完好率、备件供应能力和人员业务能力。

实验数据采用文献[7]中的15组数据作为样本数据,其中10组数据作为训练样本,5组数据作为测试样本。在实验训练过程中,为了使ESN算法和提出的DESN算法具有可比性,权值Win、W和Wback的初始化均为[-1,1]之间的均匀分布随机数,储备池节点个数为20,DESN算法中的激活函数参数选择为a=2.1,b=0.7,c=1.2,λ=0.9。图2和图3分别给出了ESN和DESN算法的预测值与误差。从图2和图3中可以得出,改进算法的预测值几乎与真实值重合,从而说明文中提出的DESN算法预测精度高,泛化性能好。

图2 ESN算法的导弹生存能力与误差

图3 DESN算法的导弹生存能力与误差

3 结论

文中提出了一种新的动态回声状态网络研究方法。该方法采用了一种全新的动态激活函数作为回声状态网络储备池的激活函数,训练过程中,可以从位置、形状和映射区间范围对激活函数做出调整或改变。通过对数据集的实验验证和对地空导弹生存能力的预测,结果表明该方法具有较高的拟合精度和良好的泛化能力,且对地空导弹的设计和研制起着重要的指导作用。