基于突触巩固机制的前馈小世界神经网络设计

李文静 李治港 乔俊飞

人工神经网络是受生物神经网络启发而设计出来的一种数学计算模型,具有良好的容错能力、万能的逼近特性以及优越的自适应和自学习功能[1],同时具备高速并行处理信息的结构[2],可以解决复杂的工程问题.这些优点使得人工神经网络成为当今最成功的人工智能模型之一[3],已广泛地应用于众多领域,如非线性系统建模[4-5]、数据挖掘[6-7]、计算机视觉[8-9]和自然语言处理[10-11]等.

1998 年,Watts 等[12]发现许多生物网络、社会网络介于随机网络和规则网络之间,其拓扑结构呈现出稀疏特性,且具有较大的聚类系数和较短的平均路径长度,并将其定义为小世界网络.随着人们对生物神经网络研究的深入,借助弥散张量成像、磁共振脑功能成像等技术,研究者发现生物神经网络在结构和功能上均呈现出小世界属性[13-15].研究表明,生物神经网络较短的平均路径长度可以加快信息在网络中的传播速度,较大的聚类系数能够增加网络的容错能力[16].尽管人工神经网络通过构建大量节点(神经元)之间的相互连接模拟人脑的信息处理方式,但是其拓扑结构及功能与生物神经网络仍相去甚远.

近年来,已有很多学者尝试将小世界属性引入人工神经网络设计中,旨在提高人工神经网络的信息处理及容错能力.前馈神经网络(Feedforward neural network,FNN)由于结构简单灵活[17],且可以以任意精度逼近任一连续函数[18-19],在模式识别、函数逼近等方面得到广泛应用[20-21].目前,基于FNN的小世界神经网络设计得到越来越多的关注.Simard 等[22]以多层感知器为基础模型,建立了一种多层前馈小世界神经网络,发现小世界神经网络比规则网络和随机网络有更快的学习速度和更高的精度.Li 等[23]探究了重连概率对小世界神经网络性能的影响,发现重连概率在0.1 附近时,网络收敛速度最快.可见,将小世界属性融入人工神经网络结构设计能够提升网络的收敛速度和泛化能力.基于此,小世界神经网络已广泛地应用到智能控制[24-25]、风力预测[26]、医疗诊断[27-28]、污水处理[29-30]等多个领域,取得了良好的效果.

小世界神经网络的拓扑结构直接影响着网络的性能.目前,构造小世界神经网络的方法主要包括Watts-Strogatz (WS)[12]和Newman-Watts (NW)[31]两种方式.WS 型前馈小世界神经网络通过在FNN 上以一定概率随机断开相邻层连接再进行随机跨层重连实现小世界网络构建,而NW 型前馈小世界神经网络则是通过在FNN 上直接随机跨层加边进行小世界网络构造.从网络的构造方式可以看出,WS 型小世界神经网络相比NW 型小世界神经网络拓扑结构更加稀疏,因此得到更多学者的关注.在WS 方式构造的基础上,不少学者通过改进其断开或重连策略实现构造方式的优化.例如,李小虎等[32]对随机断开连接加以限制,即禁止断开最后一个隐含层与输出层之间的连接,以防止孤立神经元的产生.王爽心等[33]提出基于层连优化的小世界神经网络的改进算法,引入了同层节点重连的策略,改善了小世界神经网络聚类系数偏低的问题,并且发现输入层和输出层直接相连会造成网络性能下降.此外,近年来研究学者在WS 构造方式的基础上对网络进行稀疏化,以进一步提高网络的泛化性能.Guo等[34]提出了一种基于E-信息熵的剪枝算法用于稀疏化WS 型前馈小世界神经网络,在一定程度上改善了因网络结构过大而出现过拟合的问题.Li 等[30]利用节点的Katz 中心性衡量网络中节点的重要性,删除不重要的节点使网络结构更加紧凑,同时提高了网络的泛化性能.尽管以上研究通过优化网络结构提升了网络性能,但是在WS 型构造方式中,网络的随机跨层重连是在随机断开相邻层间连接的基础上实现的,而连接断开的随机性可能会导致网络重要信息丢失,在一定程度上影响网络的建模精度.

针对以上问题,本文提出一种基于突触巩固机制[35-36]的前馈小世界神经网络(Feedforward smallworld neural network based on synaptic consolidation,FSWNN-SC).首先,使用正则化方法对FNN进行预训练,基于突触巩固机制选择性断开网络连接;其次,设计小世界网络重连规则,同时实现网络的稀疏化,并采用梯度下降学习算法训练网络;最后,通过4 个UCI 基准数据集和2 个真实数据集进行模型性能测试,并使用Wilcoxon 符号秩检验[37]对实验结果进行显著性分析.

1 背景知识

1.1 前馈神经网络

前馈神经网络,又称多层感知器,采用级联方式连接实现信息的前向传导,其结构由输入层、隐含层和输出层组成,如图1 (以4 层为例)所示.假设FNN 共包含L层,使用X表示输入数据,yl(1≤l≤L)表示第l层输出,FNN 各层功能及表示详述如下.

图1 前馈神经网络结构示意图Fig.1 The architecture of feedforward neural network

1)输入层.输入层将输入数据导入FNN,该层神经元激活函数常采用线性的,以得到数据的原始特征.若输入数据为n维,即X=[x1,x2,···,xn]T,则输入层包含n个神经元,其中第i个神经元的输出为

2)隐含层.FNN 包含至少一层隐含层,通过激活函数实现该层输入数据的非线性映射,激活函数采用sigmoid 函数,因其导数便于计算而广泛使用.FNN 第l(1＜l＜L)层(即第l-1 个隐含层)的第j个神经元的输出为

3)输出层.输出层是隐含层输出的集成,该层激活函数常采用线性的,进而实现对隐含层的线性加权,输出层神经元个数视系统问题而定.以含有一个输出神经元的FNN 为例,其输出为

1.2 小世界属性

1998 年,Watts 等[12]发现生物、技术和社交等网络的连接方式介于规则网络的“规则”和随机网络的“无序”之间,具有较大的聚类系数和较短的特征路径长度等特征,将其定义为小世界网络.图论是描述网络特征的重要工具,网络可以看作一个无向图,由节点和边组成,则网络的平均聚类系数AC和平均最短路径长度AL可由式(4)和式(5)计算得到

其中,N是网络中的节点数;Di是节点i的度,即节点i的相邻节点数,则Di(Di-1)/2 表示这些相邻节点理论最多连接数量;而Ei是这些相邻节点的实际连接数量;lij表示节点i到节点j的最短距离.当网络的聚类系数远大于随机网络的聚类系数,且特征路径长度接近于随机网络时,即AC ≫ACrand且AL ≈ALrand时,该网络具有小世界属性.因此,定义小世界网络属性指标为

当网络满足η＞1 时,该网络为小世界网络[38].

对于前述前馈神经网络,其连接遵循一定的规则,即相邻层之间为全连接结构,同一层内神经元之间无连接且不存在跨层连接.因此,对任一神经元,其近邻神经元之间不存在边,由式(4)可得网络聚类系数为0.通过在前馈神经网络规则连接的基础上进行随机跨层重连,可生成小世界神经网络[30,32-34].相对于规则前馈神经网络,小世界神经网络由于存在跨层连接,其聚类系数始终大于0,且由于位于不同层的两个神经元之间的最短路径减小使得其特征路径长度减小.相对于完全随机网络,小世界神经网络的拓扑结构含有随机网络的“无序”特性,使其特征路径长度接近于完全随机网络的特征路径长度,同时小世界神经网络的拓扑结构仍然保留一定的“规则”连接,这使得小世界神经网络的聚类系数远大于完全随机网络的聚类系数,因此具备小世界属性.

1.3 突触巩固机制

在生物神经网络中,突触是神经细胞之间的连接,也是细胞间信息传递的“桥梁”.研究表明,突触具有可塑性,可以自主调节其连接强度,突触的形态和功能可发生较为持久的改变.当学习特定任务时,有些突触兴奋性会增强,有些会被抑制,这就是突触巩固机制[39].突触巩固的实现依赖突触的长时程增强(Long-term potentiation,LTP)[40]和长时程抑制(Long-term depression,LTD)[41].如果两个神经元之间存在持久的信息传递,LTP 将加强它们之间的突触连接;如果两个神经元之间的信息传递弱且呈间歇性,LTD 会抑制其间突触连接.因此,突触巩固机制可以选择性地增强和削弱特定的突触.如图2 所示,图2(a)是神经元与突触模型,图2(b)展示了突触巩固机制作用下突触的变化.其中,粗线表示重要的突触在突触巩固的作用下会增强其连接强度(LTP),而虚线表示不重要的突触在突触巩固作用下会消失(LTD).

图2 突触巩固Fig.2 Synaptic consolidation

研究者通过模拟生物神经系统的结构特征和突触的可塑性机制,设计人工神经网络结构及学习规则.突触巩固机制在人工神经网络结构设计中也得到了广泛应用,如模型压缩[42]和增量学习[43]等.

2 基于突触巩固机制的小世界神经网络设计

受到突触巩固机制的启发,本文提出一种前馈小世界神经网络(FSWNN-SC).首先,通过前馈神经网络正则化对其进行预训练,保留网络中重要的权值连接、断开网络中不重要的权值连接以模拟生物神经网络的突触巩固;其次,制定小世界网络重连规则,对断开的连接进行随机跨层重连,实现小世界神经网络的构造;最后使用梯度下降法对网络进行训练,实现网络权值更新.

2.1 FNN 预训练

对于规则FNN,本文首先使用网络正则化方法对其进行预训练,旨在通过网络稀疏化保留网络重要权值连接、断开不重要的权值连接.具体步骤如下:

1)初始化.初始化网络结构包括层数和神经元个数等参数,网络的连接权值设置为[-1,1]区间内的随机数.设置惩罚系数λ、网络学习率µ、预训练迭代步数S和重连概率P.

2)定义损失函数.即

该损失函数由两项组成,其中第1 项E(W)为误差项,通过式(8)计算得到

其中,M为训练样本数,dm与为样本m的期望与实际输出.第2 项λg(W)是正则化项,其中λ是惩罚系数,g(W)为Lq(0≤q ≤1)范数,即

此处分别列出q=0,1/2,1 时的计算式,即

其中,L为网络的总层数,代表第l层的第i个神经元与第l+1 层的第j个神经元的连接权值.由于其在原点处不可导,将其在原点处进行平滑[44],即

其中,a为接近于0 的常数,本文中取值a=0.005.

3)使用梯度下降法更新网络权值.更新式为

其中,t为迭代步数,ΔW(t)是权值变化矩阵,矩阵中第l层的第i个神经元与第l+1 层的第j个神经元的连接权值变化量可由式(15)计算得到

其中,µ是学习率,λ是惩罚系数.按照式(16)计算得到

当迭代次数达到预设步数S时,训练停止.

4)网络稀疏化.根据设定重连概率P,计算断开连接数Nc.将完成预训练后的网络权值降序排列,设置前Nc个连接权值为0.

通过网络预训练,规则FNN 将按照重连概率P断开网络不重要的权值连接,其他权值连接被保留.

2.2 小世界神经网络构造方法

本文对WS 重连规则进行改进,设计小世界神经网络构造方法.

标记经过预训练后断开连接的神经元,假设l层的第i个神经元与l+1 层的第j个神经元之间的权值连接被断开,起始及终止神经元分别记为和.

同时设定约束条件:输入层与输出层的神经元不能直接相连.

本文所提出的小世界神经网络构造方法可以用图3 表示,规则网络先经过预训练断开网络中不重要的连接(图3(a)),然后按照重连规则进行跨层重连(图3(b)),最后删除孤立神经元(图3(c)).

图3 基于突触巩固小世界神经网络构造流程Fig.3 Construction process of small-world neural network based on synaptic consolidation

2.3 小世界神经网络结构描述

在规则前馈神经网络的基础上,本文通过以上重连规则引入跨层连接构造小世界神经网络.两者输入层的数学描述相同,如式(1)所示.而由于引入了跨层连接,小世界神经网络隐含层及输出层的数学描述与规则前馈神经网络有所不同.

对于隐含层,以小世界神经网络第l(1＜l＜L)层的第j个神经元为例,其输出通过式(18)计算得到

其中,ns表示第s层神经元的个数,f(·)为激活函数,为第s层第i个神经元与第l层的第j个神经元之间的连接权值.若不存在连接,则为0.由式(18)可以看出,第l层隐含层的输入需要同时考虑来自前面所有层的输出.

对于输出层,其输入需要同时考虑来自所有隐含层的输出,其输出通过式(19)计算得到

2.4 小世界神经网络参数学习

本文使用梯度下降算法更新小世界神经网络的连接权值.首先,基于误差函数定义损失函数,即

其中,M是训练样本数,dm与分别表示样本m的期望输出与实际输出.

按照式(21)更新连接权值,即

其中,t为迭代步数,ΔW为权值变化矩阵.矩阵中第l层的第i个神经元与第s层的第j个神经元的连接权值变化量可通过式(22)计算得到

其中,µ是学习率,为第l(1≤l＜s ≤L)层的第i个神经元的输出,可由式(23)计算得到

其中,δd是第d层神经元的误差;为第s层的第j个神经元与第d层神经元的连接权值向量;是第s层第j个神经元的输出的导数,通过式(24)计算得到.

当迭代步数达到最大迭代步数(itermax)或训练误差达到均方根误差(Root mean squared error,RMSE)的期望值RMSEd时,网络训练结束.

2.5 FSWNN-SC 算法流程

本文在规则前馈神经网络的基础上,通过网络正则化断开不重要的权值连接,设计网络重连规则构造小世界神经网络,使用梯度下降算法更新网络权值,算法流程图如图4 所示.

图4 FSWNN-SC 算法流程图Fig.4 The flowchart of FSWNN-SC

3 实验仿真

通过实验仿真,本文首先研究预训练关键参数(重连概率P及预训练次数S)对实验结果的影响,为后续实验的参数选取提供实验依据;其次,从建模精度及训练时间等方面评价FSWNN-SC 模型的性能及有效性;最后,使用Wilcoxon 符号秩检验方法进一步验证FSWNN-SC 模型相比于其他模型的显著性优势.

3.1 实验数据

本文选取了4 个UCI 数据集[45],包括2 个分类数据集(数据集1 和数据集2)和2 个回归数据集(数据集3 和数据集4),以及2 个真实数据集(数据集5 和数据集6)进行实验.数据集信息如下:

1)数据集1:HTRU2.该分类数据集有17 898组样本,8 个特征变量,1 个输出变量(取值-1,1分别代表所属两种类别).抽取3 278 组样本,正负样本比例为1 :1.2,2 295 组样本用于网络训练,983 组样本用于网络性能测试.

2)数据集2:Banknote Authentication.该分类数据集有1 372 组样本,4 个特征变量,1 个输出变量(取值-1,1 分别代表所属两种类别),正负样本比例为1 :1.2492.将数据集划分为训练集和测试集,960 组样本用于网络训练,412 组样本用于网络性能测试.

3)数据集3:Boston Housing.该回归数据集有506 组样本,13 个特征变量,1 个输出变量.将数据集划分为训练集和测试集,354 组样本用于网络训练,152 组样本用于网络性能测试.

4)数据集4:Concrete Compressive Strength.该数据集有1 030 组样本,8 个特征变量,1 个输出变量.721 组样本用于网络训练,309 组样本用于网络性能测试.

5)数据集5:风速预测.风速时间序列从中国某风电场采集,采样间隔为2011 年4 月6 日凌晨0:00 至2011 年4 月12 日凌晨0:00,采样间隔为10 分钟.用y(t)表示t时刻的风速值,使用y(t-5)至y(t)作为网络输入,预测下一时刻的风速值,即y(t+1)网络输出.697 组样本用于网络训练,299组样本用于网络性能测试.

6)数据集6:出水生化需氧量(Biochemical oxygen demand,BOD)浓度预测.该数据来自北京市某污水处理厂,共包含365 组数据,输入变量包括:a)出水总氮;b)出水氨氮;c)进水总氮;d)进水BOD;e)进水氨氮;f)出水磷酸盐;g)混合液悬浮固体(Mixed liquid suspended solids,MLSS);h)溶解氧(Dissolved oxygen,DO);i)进水磷酸盐;j)进水化学需氧量(Chemical oxygen demand,COD).输出变量为出水BOD 浓度.265 组样本用于网络训练,100 组样本用于网络性能测试.

为了消除特征向量之间量级不同导致的影响,对6 个实验的数据集都进行归一化处理,特征变量归一化至[-1,1],输出变量归一化至[0,1].

3.2 实验设置

本文选取基于L1/2范数(即q=1/2 )的正则化方法进行网络预训练,进而构建FSWNN-SC 网络.实验设置超参数,包括网络结构、预训练惩罚系数λ、学习率µ、最大迭代步数itermax和期望均方根误差RMSEd等,详见表1.

表1 实验超参数设置Table 1 Setting of the hyperparameters in experiments

本文使用分类精度(Accuracy,Acc)和标准均方根误差(Normalized root mean squared error,NRMSE)分别评价模型对分类和回归实验的建模精度,具体定义为

其中,K是分类问题中的类别总数,TPk是第k个类别下真阳性样本总量;M是样本总量,dm和ym分别为第m个样本的期望输出与实际输出,是网络期望输出的均值.可见,Acc反映了网络分类准确性,Acc越大,网络性能越好;NRMSE反映了网络实际输出与期望输出之间的误差大小,NRMSE越小,网络性能越好.

此外,由于预训练后可能会产生孤立节点,本文提出的FSWNN-SC 在删除孤立节点后,会产生一定的稀疏化作用.为了评价模型的稀疏化程度,定义稀疏度指标为

其中,NI是网络初始状态下非零权值的数量,NF是训练结束后网络中非零权值的数量.SP越小表示稀疏化程度越高;反之,SP越大,稀疏化程度越低.

本文实验所使用的软件为MATLAB R2021b,操作系统为Windows11,CPU 为AMD 5800H 16 GB.

3.3 预训练参数影响分析

3.3.1 重连概率P对小世界属性的影响

如第2.1 节所述,在预训练过程中,重连概率P决定了预训练后需要断开并进行重连的连接边数Nc,直接影响网络的小世界属性.本文通过计算不同P取值情况下的小世界网络属性η值,来研究重连概率P对网络小世界属性的影响.

在本研究中,重连概率P定义为重连边数Nc与最大可重连边数Nmax的比值,即

其中,最大重连边数Nmax取值为可断开边数Nd和可跨层重连边数Nr的最小值,即

其中,

其中,nl代表第l层的神经元个数.当重连概率P=1 时,规则前馈神经网络变为随机网络,神经网络的小世界属性根据式(6)计算得出.

本文在[0,1]范围内,对P进行不同取值,计算相应重连概率下的小世界属性η值,在各数据集上进行验证,画出P-η曲线,如图5 所示.由图5 可见,在各实验中,随着重连概率P的增大,η值均呈现先增大后减小的趋势,一般在P=0.5 左右,η达到峰值.基于以上实验结果,为了保障所建立模型具有较好的小世界属性,本文中设置重连概率P=0.5.

图5 网络小世界属性η与重连概率P的关系曲线(P-η曲线)Fig.5 The curves for the relationship between the small-world propertyηand the rewiring probabilityP (P-ηcurves)

3.3.2 预训练次数S对模型精度的影响

本文在[1,5 000]范围内对预训练次数S进行取值,计算不同预训练次数下建模精度指标,以研究预训练次数对网络性能的影响,绘制曲线如图6所示.

图6 预训练次数对网络性能的影响Fig.6 Influence of pre-training epochs on network performance

在分类问题(数据集1 和数据集2)中,随着预训练次数的增加,测试集的Acc 逐渐减小;在回归问题(数据集3～6)中,随着预训练次数的增加,测试集的NRMSE 逐渐增大.可见,预训练次数的增加将会导致网络性能变差.因此,为了保证网络性能,本文设置预训练次数S为较小值,取值S=20.

3.4 FSWNN-SC 网络性能测试

本文使用6 个数据集,分别从训练过程和测试结果对提出的FSWNN-SC 网络的性能进行评价.FSWNN-SC 网络训练过程RMSE 曲线如图7 所示.可见,在训练过程中,当迭代步数达到设定的预训练次数时,网络按照重连规则结构发生变化以构造小世界神经网络,训练RMSE 发生一次跳变,之后快速下降直至网络收敛.

图7 训练过程RMSE 曲线Fig.7 The RMSE curves in the training process

FSWNN-SC 网络对测试样本的分类和预测效果如图8 所示.可见,对于分类问题,FSWNN-SC网络能够达到较高的分类精度;对于回归问题,FSWNN-SC 网络能够较好地对输出进行拟合,实验结果验证了FSWNN-SC 网络的有效性.

图8 测试集样本拟合与分类效果Fig.8 Test set sample fitting and classification effects

为了进一步研究FSWNN-SC 网络的性能,本文将其与多层前馈神经网络(FNN)、基于WS 重连规则构造的前馈小世界神经网络(FSWNN-WS)[32]、基于层连优化的新型小世界神经网络(FSWNNTO)[33]、基于Katz 中心性剪枝的前馈小世界神经网络(PFSWNN-Katz)[30]、基于正则化(L1/2范数)的删减型小世界神经网络(PFSWNN-SL)等模型性能进行对比.所有网络设置相同的初始结构,小世界神经网络的构造过程重连概率均设置为P=0.5,网络学习率、期望RMSE 和最大迭代次数均按照表1 进行设置.实验独立运行20 次,通过计算各模型的测试Acc 和测试NRMSE 等性能指标评价模型精度,记录训练时间对模型的学习速度进行评价,同时计算网络稀疏度,实验结果见表2 和表3.

表2 分类实验结果对比Table 2 Comparison results in classification experiments

表3 回归实验结果对比Table 3 Comparison results in regression experiments

从表中可以看出,相比于其他网络,FSWNNSC 网络在分类问题中具有更高的分类精度,在回归问题中具有更小的测试NRMSE,说明FSWNNSC 能够获得更好的建模精度.FSWNN-SC、PFSWNN-SL 和PFSWNN-Katz 模型具有网络稀疏性,其中FSWNN-SC 模型通过在网络重连过程中删除产生的孤立节点实现稀疏化,而PFSWNN-SL和PFSWNN-Katz 是在学习过程中分别通过网络正则化和合并节点实现网络稀疏化,实验验证网络稀疏化能够获得相对于FSWNN-WS 和FNN 更紧凑的结构,然而其训练时间也相应增加.虽然FSWNNSC 的稀疏化程度要低于PFSWNN-SL 和PFSWNN-Katz,但是其训练时间相对于PFSWNNSL 和PFSWNN-Katz 缩短,更接近于FSWNNWS 和FNN 的训练时间.相比于FSWNN-TO,FSWNN-SC 的训练时间明显短,因为FSWNN-SC 没有引入同层节点连接,在权值更新时FSWNN-SC的误差反传“路径长度”比FSWNN-TO 短.同时,通过对比FNN 与其他5 个具有小世界属性的网络,验证了将小世界属性加入神经网络模型的设计中,能够提高模型精度.综上所述,通过对比实验分析可见,本文提出的FSWNN-SC 网络在获得紧凑网络结构的同时,具有更高的建模精度.分析其原因,FSWNN-SC 网络优越的建模精度依赖于其预训练环节,该环节模仿生物神经网络的突触巩固过程,通过网络正则化方法保留了重要的权值连接并断开了不重要的权值连接,使该阶段网络所学到的知识得以保留,可以有效避免灾难性遗忘问题.

3.5 Wilcoxon 符号秩检验

为了进一步验证本文所提出模型是否具有显著优势,对第3.4 节的实验结果进行Wilcoxon 符号秩检验.它是一种非参数检验方法,可以评估多个事件下两个模型是否有显著性差异[46],具体流程如下.

步骤 1.提出原假设H0:两个模型之间没有显著性差异.

步骤 2.对于多个事件,通过式(32)和式(33)分别计算正负秩

其中,di是第i个事件下两个模型的差异,本文通过精度性能指标的差值计算得到,rank(·)表示降序排名的名次.基于此得到Wilcoxon 统计量,为正负秩两者中的较小值,即

步骤 3.通过Wilcoxon 统计量计算得到Z的临界值,计算式为

其中,N是事件数,通过查正态分布Z值表得到对应的Pw,若Pw＞0.05,则接受原假设H0,反之,则拒绝原假设,即两个模型间存在显著性差异,且Pw值越小差异越显著.

针对第3.4 节中的实验结果进行Wilcoxon 符号秩检验,其中事件数为实验独立运行的次数20,分别对比FSWNN-SC 模型与其他5 种模型的性能,检验结果如表4 所示(*表示存在显著性差异).由表4 可见,本文提出的FSWNN-SC 模型在精度上显著优于其他5 种模型.此外,本文实验中,FSWNNSC 在不同场景、不同任务(分类、回归)下表现出的显著优越性,反映了该模型对不同应用环境的适应性及可塑性,同时在实际应用中的准确建模反映了其具有一定的抗扰性.

4 结束语

针对WS 构造小世界神经网络方式中随机断开规则网络中的权值连接,可能会造成重要信息丢失,进而导致网络精度下降的问题,本文提出了FSWNNSC 模型.该模型具有以下特点:

1)FSWNN-SC 模型使用正则化方法对FNN进行预训练,断开对网络不重要的权值连接,以减少重要信息丢失的概率,并制定了重连规则构造小世界神经网络,保证构造的小世界神经网络的性能;

2)FSWNN-SC 模型通过在网络重连过程中删除产生的孤立节点实现网络稀疏化,能够获得紧凑的网络结构;

3)实验结果表明,相比于PFSWNN-SL、PFSWNN-Katz、FSWNN-TO、FSWNN-WS 以及FNN,FSWNN-SC 在获得紧凑结构的同时,在模型精度方面具有显著优势.