基于APDE-RBF神经网络的网络安全态势预测方法

李方伟, 张新跃, 朱 江, 黄 卿

(重庆邮电大学移动通信技术重庆市重点实验室, 重庆 400065)



基于APDE-RBF神经网络的网络安全态势预测方法

李方伟, 张新跃, 朱 江, 黄 卿

(重庆邮电大学移动通信技术重庆市重点实验室, 重庆 400065)

为了提高径向基函数(radical basis function, RBF)神经网络对网络安全态势的预测精度,提出了一种基于吸引力传播(affinity propagation, AP)聚类和差分进化(differential evolution, DE)优化RBF神经网络的算法。首先,利用AP聚类算法对样本数据进行划分聚类,从而获得RBF的中心和网络的隐含层节点数;其次,利用AP聚类得出种群差异度,自适应地改变DE算法的缩放因子和交叉概率,对RBF的宽度和连接权值进行优化;同时为了避免陷入局部最优以及跳出局部极值点,对每一代种群的精英个体和种群差异度中心进行混沌搜索。通过仿真实验表明,此算法在泛化能力增强的同时,对网络安全态势也达到了较高的预测精度。

径向基函数; 吸引力传播聚类; 差分进化; 种群差异度; 混沌搜索

0 引 言

随着各种网络安全问题层出不穷,网络安全问题越来越受到重视。网络安全态势预测是目前网络安全领域的一个研究热点,不同于以往的入侵检测和防火墙等被动防御手段,网络安全态势预测是主动防御机制[1]。网络安全态势预测主要是为了在网络受到攻击损失前网络管理员采取相对应的措施,根据当前和以往的网络安全态势值,建立合理的数学模型对未来一段时间的网络安全状态进行预测。由于网络攻击是随机和不确定的,所以对态势值的预测是一个复杂的非线性过程[2]。

目前研究人员提出了很多预测的方法,如自回归滑动平均(auto-regressive moving average, ARMA)模型、灰色预测模型(gray model, GM)、马尔可夫链(Markov)、支持向量机(support vector machine, SVM)等[3-6]。但是大量研究发现,上述方法都存在各自的缺点:ARMA模型会假设时间序列是平稳线性的,但是网络安全态势时间序列是非线性的;GM模型适用单调变化的时间序列,对于波动较大的时间序列难以预测;Markov模型需要大量复杂的数学公式推导,难以建立准确的预测模型;SVM对大规模训练样本难以实施,收敛速度慢。

为更加精确地预测网络安全态势,本文采用吸引力传播(affinity propagation, AP)聚类和改进的差分进化(differential evolution, DE)对径向基函数(radical basis function, RBF)神经网络的结构和参数进行优化。为了加强泛化能力,利用AP聚类可以依据样本数据自适应确定RBF网络的结构;为了避免陷入局部最优解,根据种群差异度动态调整DE算法中的缩放因子和交叉概率,并对每代的精英个体和差异度中心进行混沌搜索。利用该方法对网络安全态势预测仿真,并进行了误差分析,结果表明本文方法有更好的泛化能力和预测准确性。

1 RBF神经网络

RBF神经网络是一种3层前向型网络,由第1层的输入层、第2层的隐含层和第3层的输出层组成,网络结构如图1所示。

图1 n-h-m结构的RBF神经网络Fig.1 RBF neural network of n-h-m structure

由于输入层到隐含层是非线性变换,隐含层到输出层是线性变换,所以RBF神经网络本质上是通过非线性基函数的线性组合来实现输入Rn到输出Rm的映射关系。

RBF神经网络结构如图1所示,具有n个输入节点,h个隐含层节点和m个输出节点。对于一个n维的网络输入矢量X=(x1,x2,…,xn)T∈Rn,第i个隐含层节点的输出为

(1)

式中,Ci是隐含层节点中心;‖·‖2是2范数,表示X与Ci的欧氏距离;σi是第i个基函数的宽度;h是隐含层节点个数。

RBF网络输出层中第j个神经元的输出为

(2)

式中,wji是隐含层第i个神经元与输出层第j个神经元的连接权值;m是输出神经元个数;bj是输出层第j个神经元的阈值。

2 基于APDE优化的RBF神经网络

从RBF网络结构可以看出,影响预测精度和泛化能力的参数主要有4个:隐含层节点个数h;隐含层节点中心Ci;基函数宽度σi;隐含层到输出层的连接权值wji。本文使用AP聚类对隐含层个数和节点中心进行优化,利用改进的DE算法对基函数宽度和连接权值进行自适应寻优,并用混沌搜索进行二次寻优,避免陷入局部最优解。

2.1 AP聚类

对基函数中心的选取,无论是随机选取还是自组织选取都要预先设定隐含层节点个数[7],这种人为设置隐含层节点个数的方法在样本训练期间很容易导致RBF神经网络的过拟合或者欠拟合,从而影响网络的泛化能力和后期的预测精度,所以本文采用了AP聚类的方法,根据数据样本的实际情况,对隐含层节点个数和节点中心进行自适应选取。

AP聚类是一种基于相似度矩阵的新型无监督聚类算法[8],不同于以往的k-means和模糊C均值聚类算法,该算法不必预先设定聚类个数,所有样本数据点都被默认为潜在的聚类中心,通过不断地竞争迭代,达到最优聚类结果。具体算法步骤如下。

步骤 1 计算相似度矩阵S

(3)

步骤 2 初始化吸引矩阵R,归属度矩阵A,R(i,k)=0,A(i,k)=0。

步骤 3 确定偏向参数pk(k=1,…,N)

(4)

步骤 4 计算与更新吸引度矩阵

R(i,k)=λ×R(i,k)old+(1-λ)×R(i,k)new

(5)

步骤 5 计算与更新归属度矩阵

A(i,k)=λ×A(i,k)old+(1-λ)×A(i,k)new

(6)

步骤 6 如果满足以下条件之一:①选择的类中心保持稳定,②超过最大迭代次数,转步骤7;否则转步骤4。

步骤 7 输出聚类结果。

2.2 改进的DE算法

DE算法是一种基于群体差异的高效并行搜索方法[9],在收敛速度和稳定性方面已被证明优于其他进化算法[10],DE算法的参数包括种群规模、缩放因子和交叉概率。标准DE算法中缩放因子和交叉概率都是固定的,缩放因子过大或者交叉概率过小,虽然有助于种群的多样性,增强全局搜索能力,但是在进化后期易导致收敛速度慢,最优解精度低等问题;反之,缩放因子过小或者交叉概率过大,易对局部过度开发,易出现早熟的现象。所以本文对DE算法进行改进,使得缩放因子和交叉概率可以根据当前收敛情况进行动态调整。

2.2.1 初始化

1.检验假说1的模型。为验证假说1，借鉴喻坤等人和Stein的研究方法，本文采用以下模型：[4][28]

为了能够实现对RBF神经网络基函数宽度σi和隐含层到输出层连接权值wji的同时优化,本文采用实数编码,种群中每个个体结构如图2所示。

图2 个体编码结构Fig.2 Individual coding structure

设初始种群S={X1,X2,…,XN},N是种群规模,Xi(Xi∈RD)是种群中的个体,具体初始化过程如下:

(7)

2.2.2 变异

DE算法差分策略来实现种群中个体的变异,通常是随机选取3个个体,将其中两个个体的差分缩放后与第3个个体进行合成,如式(8)所示:

Vi(g+1)=Xr1(g)+F×(Xr2(g)-Xr3(g)),

i≠r1≠r2≠r3

(8)

式中,Xi(g)是第g代种群中第i个个体;F为缩放因子,标准DE算法中设为固定值,但是F的设置不当会导致种群的早熟和慢收敛,为了加快收敛速度以及求得全局最优解,本文提出依据种群差异度动态调整F的策略。

种群差异度指对种群空间中所有个体进行聚类所得到的聚类个数。当种群差异度越大时,个体在种群空间中分布越均匀,求得全局最优解可能性越大。所以在进化前期,为了尽可能使种群个体多样化,使用式(9)对F进行动态调整:

(9)

式中，Fmax和Fmin是缩放因子的上下界;τ1是设置的迭代阈值。

交叉操作也是DE算法的核心操作,对种群中目标个体Xi和变异个体Vi进行交叉,生成新的个体Ui:

(10)

式中,rand是(0,1)间均匀分布的随机数;jrand是[1,n]间的随机整数,这是为了保证新个体一定会有变异成分;CR是交叉概率,控制个体各维度参量对交叉的参与程度,因为CR越小,收敛越快,所以为了平衡局部和全局搜索能力,使CR可以自适应调整,在迭代前期减缓收敛速度,保持较大的种群多样性,在后期加快收敛速度,加强局部搜索能力。

(11)

式中，CRmin和CRmax是交叉概率的上下界;τ2是设置的迭代阈值。

2.2.4 选择

DE算法采用一对一竞争策略实现选择。候选个体Ui(g+1)和对应个体Xi(g)按照适应度进行竞争,优胜者进入下一代种群,即

(12)

式中,f(·)是个体的适应度函数,本文使用均方误差(mean square error, MSE)作为适应度函数。

2.3 混沌搜索

混沌是一种非线性现象, 具有随机性和遍历性,可在一定范围内进行不重复遍历搜索,因此可以作为进化算法跳出局部最优的一种方法[11-12]。本文采用的混沌搜索对每一代的最优个体以及种群差异度中心进行T次搜索,如果搜索到更优个体则进行取代,从而提高DE算法的全局搜索能力。

本文采用一维Logistic映射混沌模型,即

Zt+1=μZt(1-Zt)

(13)

(14)

2.4 算法步骤

本文主要利用AP聚类得到RBF神经网络的隐含层节点数和节点中心,并用改进的DE算法对RBF的基函数宽度和连接权值进行寻优,同时为了提高全局搜索能力,使用混沌搜索对最优个体和差异度中心进行二次搜索。本文算法流程如图3所示。

图3 基于APDE-RBF算法态势预测流程图Fig.3 Flow chart of situation prediction based on APDE-RBF algorithm

2.5 算法收敛性分析

文献[13]证明了在缩放因子F限定的条件下DE算法能以概率1收敛,文献[14]通过随机压缩应映射定理论证了DE是渐近收敛的。在上述研究的基础上,对APDE算法的收敛性进行分析。

引理 DE迭代形成的随机映射Ψ:Ω×S→S为随机压缩算子,根据随机压缩定理可得Ψ具有唯一随机不动点,即DE是渐近收敛的。

证明 参考文献[14]。

从引理1可得DE算法具有渐近收敛性,APDE算法在DE算法方面的改进主要体现在F和CR的自适应调整和混沌搜索。虽然F和CR是根据种群差异度动态变化,但最终是收敛的,没有影响DE算法的收敛性,所以混沌搜索是影响DE算法的唯一因素。根据DE算法的渐近收敛性可以证明APDE算法的收敛性。

证毕

定理 DE算法具有渐近收敛性,则在1<μ<3的情况下,APDE算法也具有渐近收敛性。

证明 假设DE算法收敛的全局最优解Xbest,则对第t次迭代的个体Xi(t)有:

(15)

(16)

z=f(z)=μz(1-z)

(17)

便可得到式(13)的平衡点为:z1=0和z2=1-1/μ,不论μ是何值,z1=0都是式(13)的不稳定平衡点。对于z2=1-1/μ,由于f′(z2)=μ(1-2z2)=2-μ,根据稳定性条件|f′(z2)|=|2-μ|<1可得到当1<μ<3时,z2=1-1/μ才是差分方程式(13)的稳定平衡点,由此可得式(16)是渐近收敛的,即APDE算法具有渐近收敛性。

证毕

2.6 算法复杂度分析

按照算法的流程步骤分析时间复杂度,最大迭代次数是gmax,种群规模是N,问题维度是D。每一迭代计算和更新PD和最优适应度分别为O(N×D),更新F和CR为O(1),交叉和变异的操作为O(N×D),对最优个体和差异度中心的混沌搜索为O(DlogD)。综上所述,本文算法的时间复杂度为O(N×D×gmax)。

表1 不同算法的复杂度对比

注:T是HMM的状态数

3 实验仿真

为了验证APDE-RBF算法的有效性,采用某公司安全部门提供的数据,并用文献[15]的评估方法把原始的多源数据融合为网络安全态势值,预测后与现有的算法进行对比。

3.1 数据预处理

因为网络攻击的随机性和连续性,预测时间跨度太小,会使网络学习程度不够,如果时间跨度太大,则会影响网络对近期安全态势的学习,所以本文使用前80组数据作为训练集,后21组数据作为测试集,并采用滑动窗口方式(窗口为6,每次滑动为1个单元)对80组训练数据进行重构,重构结果如表2所示。

表2 训练数据重构结果

为了提高收敛效率,加快网络学习速度,本文按照式(18)对网络安全态势值进行归一化处理。

(18)

3.2 网络的训练

根据第3.1节的数据预处理,对RBF神经网络进行和APDE算法进行初始化设置:

(1) RBF神经网络的输入向量维度n=5,输出向量维度m=1;通过AP聚类的结果得出隐含层节点数为h=10。

(2) APDE算法的种群设置为N=80,缩放因子的初始值F0=0.9,交叉概率的初始值CR0=0.3,最大迭代次数为gmax=500,误差精度设置为1.2×10-3。

为了验证APDE算法在收敛速度和全局搜索能力上比其他改进的DE算法有优势,将本算法与DE算法,jDE算法[16],SDE算法[17],EPSDE算法[18],CoDE算法[10]进行对比。从表3可以看出APDE不仅收敛速度快,而且均方误差最小,从而证明了APDE算法的高效性。

表3 不同DE算法的误差收敛对比

3.3 网络的预测

本文采用平均绝对误差(mean absolute percent error,MAPE)、均方根误差(root mean square error,RMSE)、相对均方误差(relative mean square error,RE)作为各算法预测准确度的指标。3个指标的公式如下:

(19)

(20)

(21)

3.3.1 泛化能力仿真分析

RBF神经网络中的隐含层节点的个数,对整个网络的泛化能力有很大影响。当隐含层节点过多时,虽然训练拟合的程度高,但是易产生“过拟合”的现象,泛化能力降低,预测误差大;而当隐含层节点过少时,虽然泛化能力强,但是易导致“欠拟合”的问题,预测误差同样变大。

从表4可以看出,本文算法可以使用较少的隐含层节点达到较高的预测精度,从而使其优化过的RBF神经网络具有很强的泛化能力。

所以做不同隐含层节点个数对RBF神经网络泛化能力影响的仿真，并以平均种群差异度、最大种群差异度和平均绝对误差为评判指标，仿真结果如表4所示。

表4 隐含层节点数和种群差异度对比

3.3.2 预测精度仿真分析

为了证明APDE-RBF的预测能力高于其他算法,本文分为纵向不同算法对比和横向不同改进DE算法对比,从而验证了本文所提算法的优越性。

从图4可以看出本文方法预测精度最高,其他方法都有不同程度的误差。ARMA主要针对随机平稳的时间序列,但是因为网络攻击的随机性和复杂性,网络安全态势序列是非平稳的;GM对于单调变化的时间序列预测效果好,反之误差大;LSSVM的支持向量变成了所有数据点,失去了SVM的稀疏性特点;Kmeans-RBF需要预先设定隐含层节点,忽略了数据本身的特点,弱化了RBF的泛化能力;表5是不同算法预测的绝对误差可以看出本文方法的预测绝对误差全都控制在0.02以内,相比其他算法预测精度高。

图4 不同算法态势值预测的对比Fig.4 Comparison situation prediction of different algorithms

为了能够从整体上评估不同算法预测的能力,计算不同算法的3种误差,结果如图5所示。

表5 不同算法各时间点的绝对误差对比

Table 5 Absolute error comparison of different time points in different algorithms

序号算法ARMAGMLSSVMKmeansAPDE10．06940．06150．01570．15500．051320．08540．05120．01820．03520．033130．01060．10350．09090．17610．026240．11290．06800．03050．13770．005550．05530．01970．04680．07900．023060．07450．04590．01290．13780．026770．03580．03280．00570．13840．007480．28220．35970．19710．13990．020890．22990．01150．03750．07070．0298100．00420．06640．08780．00690．0178110．18090．05240．05250．02730．0140120．32160．13910．10150．06030．0039130．10930．01420．03310．05270．0272140．04240．11120．05990．02520．0324150．13190．24350．10460．06760．0095160．08150．08870．07040．11880．0378170．15780．13100．00570．07610．0166180．07020．02520．01190．07660．0169190．35130．20160．06230．15300．0335200．11660．21370．05910．07390．0252210．15270．04650．05900．07820．0472

图5 不同算法的误差对比Fig.5 Error comparison of different algorithms

从图5可以看出不论是平均相对误差、RMSE还是RE,本文方法都保持在较小的误差水平,体现了较高的预测精度。

以上是不同算法之间的纵向对比,为了对比的完整性,将本文算法与不同改进的DE算法进行对比。

图6显示不同改进DE算法在不同时间点表现了不同的预测精度,但是从表6可以看出,APDE算法总体上维持了较低的绝对误差。 DE算法是固定的F和CR,易陷入局部最优;SDE算法的F采用简单的随机数;EPSDE算法利用变异策略池和参数池随机组合进行迭代进化;jDE算法的F和CR依赖随机数判别从而得到不同的结果;CoDE算法是利用3种不同的变异策略和参数设置竞争耦合进行迭代进化。上述方法虽然对DE算法的变异策略和参数设置进行自适应改进,但是大多都是随机数或依赖随机数进行判别选取,导致进化不稳定。本文算法依赖种群差异度和迭代进化程度对F和CR进行自适应调整,使种群向有利方向进化,加快了算法的收敛速度。

图6 不同改进DE算法预测对比Fig.6 Prediction comparison of different improved DE algorithms

×10-4

图7 不同改进DE算法的误差对比Fig.7 Error comparison of different improved DE algorithms

从图7可以得出APDE算法在整体的误差上较其他改进DE算法有较大的优势,从而说明了本文算法对DE算法的改进是有效的。

4 结 语

本文提出了一种基于APDE-RBF算法的网络安全态势预测算法,利用APDE算法对RBF神经网络的结构和参数进行优化。利用AP聚类加强网络的泛化能力;利用改进的DE算法加快收敛速度,并用混沌搜索提高算法的全局搜索能力。通过实验数据和仿真分析,不论是纵向的其他算法还是横向的DE算法的不同改进,本文算法对网络安全态势预测都达到了较高的预测精度,从而证明了本文算法的高效性和实用性

[1] Ajodia S, Liu P, Swarup V, et al.Cybersituationalawareness[M]. Germany: Springer, 2010.

[2] Xi R R, Jin S Y, Yun X C, et al. CNSSA: a comprehensive network security situation awareness system[C]∥Proc.oftheIEEEInternationalJointConference,2011, 11(3): 482-487.

[3] Box G E P, Jenkins G M, Reinsel G C.Timeseriesanalysisforecastingandcontrol[M]. 3rd ed. Beijing; Posts & Telecom Press, 2005: 19-180.

[4] Dong J F. The building of network security situation evaluation and prediction model based on gery theory[C]∥Proc.oftheInternationalConferenceonChallengesinEnvironmentalScienceandComputerEngineering, 2010: 401-404.

[5] Halilcevic S S, Gubina A F. The short term electricity prices forecasting using markov chains[C]∥Proc.oftheEnergyMarket, 2011:198-203.

[6] Xing Z, Zhang H. Support vector machine based aircraft ground icing type classification forecast[C]∥Proc.oftheIntelligentControlandAutomation, 2012:4541-4544.

[7] Wilamowski B M, Cecati C, Kolbusz J, et al. A novel RBF training algorithm for short-term electric load forecasting and comparative studies[J].IEEETrans.onIndustrialElectronics, 2015, 62(10):6519-6529.

[8] Frey B J, Delbert D. Clustering by passing messages between data points.[J].Science, 2007, 31(3):972-976.

[9] Storn R, Price K. Differential evolution: a simple and efficient adaptive scheme for global optimization over continuous spaces[J].JournalofGlobalOptimization, 1995, 23(4):341-359.

[10] Wang Y, Cai Z, Zhang Q. Differential evolution with composite trial vector generation strategies and control parameters[J].IEEETrans.onEvolutionaryComputation, 2011, 15(1):55-66.

[11] Caponetto R, Fortuna L, Fazzino S, et al. Chaotic sequences to improve the performance of evolutionary algorithms[J].IEEETrans.onEvolutionaryComputation, 2003, 7(3):289-304.

[12] Alatas B, Akin E, Ozer A B. Chaos embedded particle swarm optimization algorithms[J].ChaosSolitons&Fractals, 2009, 40(4):1715-1734.

[13] Zaharie D. Critical values for the control parameters of differential evolution algorithms[C]∥Proc.ofthe8thInternationalConferenceonSoftComputing, 2002: 62-67.

[14] He Y C, Wang X Z, Liu K Q, et al. Convergent analysis and algorithmic improvement of differential evolution[J].JournalofSoftware, 2010,21(5):875-855(贺毅朝, 王熙照, 刘坤起,等. 差分演化的收敛性分析与算法改进[J]. 软件学报, 2010, 21(5):875-885.)

[15] Li F W, Zhang X Y, Zhu J, et al. Network security situational awareness model based on information fusion[J].JournalofComputerApplications, 2015,35(7):1882-1887.(李方伟, 张新跃, 朱江,等. 基于信息融合的网络安全态势评估模型[J]. 计算机应用,2015,35(7):1882-1887.)

[16] Brest J, Greiner S, Boskovic B, et al. Self-adapting control parameters in differential evolution: a comparative study on numerical benchmark problems[J].EvolutionaryComputation, 2006, 10(6):646-657.

[17] Xie X F, Zhang W J, Zhang G R, et al. Empirical study of differential evolution[J].JournalofControlandDecision, 2004, 19(1): 49-52(谢晓锋, 张文俊, 张国瑞,等. 差异演化的实验研究[J]. 控制与决策, 2004, 19(1):49-52.)

[18] Mallipeddi R, Suganthan P N, Pan Q K, et al. Differential evolution algorithm with ensemble of parameters and mutation strategies[J].AppliedSoftComputing,2011,11(2):1679-1696.

Network security situation prediction based on APDE-RBF neural network

LI Fang-wei, ZHANG Xin-yue, ZHU Jiang, HUANG Qing

(ChongqingUniversityofPostsandTelecommunications,ChongqingKeyLabofMobileCommunicationsTechnology,Chongqing400065,China)

In order to improve the prediction accuracy of network security situation based on radical basis function (RBF) neural network, an optimization algorithm of RBF neural network based on affinity propagation (AP) clustering and differential evolution (DE) is proposed. Firstly, the AP clustering is used to optimize the center and the number of the hidden layer. Secondly, AP clustering is used to get the population diversity (PD), the scaling factor and the crossover probability of DE are adaptively changed with the PD for the optimized width and connection weights of RBF neural network. In order to avoid falling into the local optimum and jump out of the local extreme point, the elite individual and PD’ centers of each generation population are searched by chaotic search. The simulation results show that the APDE-RBF algorithm can enhance the generalization ability, and it also has high prediction accuracy for the network security situation.

radical basis function (RBF); affinity propagation (AP) clustering; differential evolution (DE); population diversity (PD); chaotic search

2015-01-15;

2016-07-28;网络优先出版日期:2016-08-31。

国家自然科学基金项目(61271260，61301122)；重庆市科委自然科学基金项目(cstc2015jcyjA40050)资助课题

TP 393

A

10.3969/j.issn.1001-506X.2016.12.28

李方伟(1960-),男,教授,博士研究生导师,主要研究方向为移动通信技术与理论、信息安全技术。

E-mail:huangq46@163.com

张新跃(1990-),男,硕士研究生,主要研究方向为网络安全态势感知。

E-mail:zhang_xin_yue@qq.com

朱 江(1977-),男,副教授,博士,主要研究方向为认知无线电技术。

E-mail:juliuszhu@vip.qq.com

黄 卿(1990-),男,硕士研究生,主要研究方向为网络安全态势感知。

E-mail:2474692825@qq.com

网络优先出版地址:http:∥www.cnki.net/kcms/detail/11.2422.TN.20160831.1252.004.html