基于整体退火遗传小波网络的计量终端可靠性预测

徐宏伟,丛中笑,阳晓路,周忠明,陈寅生,林海军

(1.贵州电网有限责任公司计量中心, 贵阳 550002; 2.哈尔滨理工大学, 哈尔滨 150080)

0 引 言

智能电网是国民经济的大动脉,有着极高的可靠性要求,因此,对应用其中的各种仪器、设备及系统的软、硬件可靠性也提出了较高的要求。与较为成熟的硬件可靠性相比,软件可靠性理论和技术水平成为技术关键。智能终端作为智能电网的关键设备,其可靠性直接影响着电网自动化系统的可靠性。因此,以智能终端为对象,深入开展软件可靠性预测方法研究具有重要的科学和现实意义。

软件可靠性预测研究至今已经有54年,学者们提出了贝叶斯排错、J-M模型等几十种方法[1-4],其中基于分类思想的效果较好,主要集中在各类神经网络模型的研究,如BP、RBF、LVQ及小波网络等[5-7]。在诸多神经网络中,因小波网络的时频分辨特性、非线性映射能力强及泛化效果好等优点,成为研究热点。

但是,WNN也存在不足,为了解决初值敏感性、隐层节点数难定、收敛稳定性弱、收敛速度较慢、易陷入局部最优解等问题,学者们提出了采用AGA、SA等智能算法改进WNN等,取得了不少成果,但这些难题仍待更深入研究[8-9]。

为了解决小波神经网络初值敏感性及收敛稳定性问题,提高计量终端软件可靠性预测建模的效率及准确性,文章从完善整体退火遗传算法(WAGA)入手,进而利用其全局寻优能力,通过参数全局优化解决WNN的初值敏感和收敛稳定性问题。提出WAGA-WNN建模方法,并进行计量终端的软件可靠性预测建模分析,提高预测准确度。

1 整体退火遗传小波神经网络WAGA-WNN研究

1.1 整体退火遗传算法

整体退火遗传算法[10-11]WAGA是采用退火选择准则,并允许父代参加竞争的遗传算法。WAGA算法流程如下,除说明外均采用标准GA的方法。

(1)初始化。设世代数k=0,采用随机的方法确定初始种群P0;

(2)从第k代种群Pk中,按适应度大小,以概率的方式选取父本种群Fk。文中的适应度函数为：

(1)

式中Tk为退火温度。

文中采用的退火策略为：

(2)

式中T0=50,k=1,2,…,退火时逐渐增大。

文中个体被选入Fk的概率为：

(3)

式中bi为Pk中备选个体;

(3)杂交。由父本种群Fk生成杂交种群Crk;

(4)变异。由杂交种群Crk产生中间种群Muk;

(5)组建新种群。由Muk和Fk合成新种群Pk+1,即：

Pk+1=Fk⊕Muk

(4)

(6)判断是否满足停止循环条件,不满足则转转移至第(2)步。

文中对退火参数进行了寻优,适当的降温过程可提高收敛速度。

为了验证WAGA的寻优效果,选择不同类型的标准函数进行了极值搜索。现仅以文献[10]中采用的单变量多峰值函数为例介绍仿真情况。函数表达式为：

(5)

取x在(0.01,1)区间内进行仿真。其波形如图1所示。从图形容易看出,该函数有很多个局部极大值和极小值点,全局极大值则在x=0.127 5处。该函数多峰且疏密不匀,利于验证寻优效果。

图1 函数波形

用MATLAB 2018进行仿真,染色体取8位二进制数,仿真时种群规模取10,则父种群和子种群合并的种群个体为20个。WAGA按照前述的退火策略进行退火,退火代数k从1,2,…40,在退火的过程中,种群不断进化迭代,逐代对函数的最大值进行寻优。经过50次仿真对比分析,若限制迭代100次,函数值允许误差≤1%,则WAGA能100%寻得最大值,而GA算法寻得最大值的次数在40%以内,若增加迭代次数增加到500代,则GA寻优率能达到90%以上,但仍有陷入局部最优。WAGA的搜索最大值的速度明显比GA快,且其种群全体收敛于要搜索的全局极大值,即使偶有变异,也能快速向极大值收敛。而GA种群个体迭代后仍然较分散,只是有个体处于极大值点及附近。

GA与WAGA的种群进化过程个体分布图示例如图2所示。图2(a)为GA算法的种群进化过程,图2(b)是WAGA的进化过程。GA和WAGA寻优过程中个体分布的统计直方图如图3所示。从图2和图3可明显看出种群的收敛进程及最终的个体集中情况,GA可搜索到最优值但种群不收敛,而WAGA种群迅速收敛于最优值。

图2 种群进化

图3 近似解统计直方图

总之,通过对上述函数及Griewank、Rosenbrock等多种标准函数的寻优仿真进一步验证了：整体退火遗传算法能使每个个体以概率1收敛于总体最优解集。

1.2 小波分析及小波神经网络

设Ψ(x)∈L2(R)∩L1(R),且其傅里叶变换Ψ(ω)满足容许条件：

(6)

则称Ψ(x)为一基本小波函数。通过展缩和平移可得一组小波函数基：

(7)

式中a、b分别为尺度和平移因子。

对于函数f(x)∈L2(R), 其连续小波变换表示为：

(8)

小波神经网络是将小波分析与神经网络融合而形成的网络。由于采用的神经网络结构不同,导致其构造各不相同[12-13]。文中小波神经网络结构如图4所示。

图4 小波神经网络结构

图4中,输入层、隐含层和输出层的节点数分别为k、m和n。ψ1,ψ2,…,ψm为小波函数基。第j个节点的输出为：

(9)

式中xi为输入节点i的输入;ui,l为隐层l节点与输入i节点的连结权值;ωl,j为输出j节点与隐层l节点的连结权值。

鉴于工程中常用的Morlet小波的时、频局部性较平衡且好,并具有较强的抗干扰能力,文中采用它作为小波网络的激励函数。

Morlet小波是复值小波,其表达式为：

(10)

它不满足容许性条件,但当ω0≥5时,近似满足容许性条件。工程应用中往往只采用其实部,ω0通常取1.75或5,文中ω0=5,即：

(11)

1.3 整体退火遗传小波神经网络

WAGA-WNN的思路是利用WAGA的强收敛和快速收敛的特性,克服WNN初值敏感性、收敛稳定性弱、收敛速度较慢等不足,同时发挥WNN的非线性映射能力强、泛化效果好及准确度高等优点,实现优势互补,以改善建模质量。

具体方法是：把WNN的训练作为一个全局寻优过程,用WNN的所有连接权值、展缩和平移系数等构造染色体,WAGA进行全局优化,直到得到全局最优值。此时染色体不同位置的参数即为训练好的小波神经网络的结构参数。WAGA-WNN原理如图5所示。

图5 WAGA-WNN原理框图

2 基于WAGA-WNN的软件可靠性建模

2.1 实验数据的处理

实验数据往往存在维数高、数据冗余及含有噪声等情况,这不但增大预测用小波神经网络的规模,而且还会产生过拟合,降低预测的准确率。

因此,在进行归一化等数据预处理后,可以进行特征选择或数据降维等方法进行处理,以改善模型的预测效果。

特征选择根据形式可分为过滤法、包装法、嵌入法三种,其中过滤法又包括方差选择法、相关系数法、卡方检验、互信息法等。

降维的方法也较多,常用的有L1惩罚项、LDA、和PCA等,亦可采用回归分析类方法等。

特征选择和降维虽然都能降低特征维数,但二者还是有本质不同的。前者是从原始特征中选择一个子集,物理意义不变,但会丢失舍弃部分的信息,选择的子集越小,丢失的信息越多。后者则通过映射变换到低维度空间,物理意义不同,但可根据需要保留足够多的特征信息。因此,为了大幅度减少维数,而又尽可能保留特征信息,文中采用降维的方法进行数据处理。

考虑到PCA可消除相关影响、消减噪声,降维效果较好,文章选用PCA进行降维。方法不赘述,通常选用的主分量的贡献率不低于90%。

2.2 基于WAGA-WNN的可靠性建模

基于WAGA-WNN的软件可靠性建模主要步骤如图6所示。

图6 建立软件可靠性预测模型的流程

由图6可知,根据WNN的规模和结构参数对初始种群的染色体进行编码,染色体中包含网络权值和小波基的展缩参数等。

WAGA依据训练样本和目标值进行搜索,所搜索到的最优染色体参数作为WNN的参数,相当于训练过程结束,建模初步完成。还需要输入检验样本进行验证,确定软件可靠性预测模型的准确率是否达到要求。

3 计量终端软件可靠性预测建模实验

3.1 计量终端软件可靠性分析

计量终端是智能电网的重要设备,其嵌入式系统软件采用模块化设计,软件功能结构见图7。

图7 计量终端软件功能结构图

应用层和操作层功能共有31个功能子系统,它们相对独立,可以由子系统的可靠性推导出系统的可靠性函数。即：

(12)

式中Li是第i个子系统的调用系数;Ri(t)是第i个子系统的可靠度。

(13)

式中λi是子系统故障率。

3.2 可靠性实验数据

采用增长测试期对计量终端5个应用进程的动态、静态测试的16组数据进行建模研究,实验数据见表1。

表1中最后一行数据是每个进程的调用率数据,用于计算目标值。

3.3 软件可靠性预测建模实验结果与分析

由于数据较多,且存在冗余,先进行归一化,并用PCA降维、去噪。

基于WAGA-WNN建模原理,根据WNN结构确定染色体的组成,并用WAGA进行全局寻优,确定最优网络参数,完成可靠性预测建模。

染色体的结构 依据图5中的顺序,具体排列及位数定义如表2所示。

表2 染色体结构

每个权值用16位二进制数表示,其中第1位为符号位,第2位～第8位为整数位,第9位～第16位为小数位。展、缩系数ai和bi(i=1…4)均采用8位二进制数表示,每个染色体共计256位。

为了验证PCA压缩和滤波效果,文中还建立一个输入原始数据的对比WNN网络,输入节点、隐含节点和输出节点分别为：10、16和1。与主成分贡献率是99%的作比较,观察PCA的滤波效果。

综合考虑准确度和泛化能力,训练的均方误差设置为0.5%。表1的16组数据,经过预处理及PCA降维后得到16组2维的主成分,用其中的前10组主成分作为训练样本,后6组作为检验样本,分别训练和检验两种网络。

在同一台计算机和相同的软件环境下,经过多次仿真实验,测得WNN的训练时间平均约为3.6 s,WAGA-WNN的平均优化训练时间约为0.54 s,后者的效率明显高于前者。

软件可靠性预测结果和误差如图8和图9所示。

图8 软件可靠性预测结果

图9 预测误差曲线

图中目标值是依据式(12)和式(13)计算得到的。

由图及实验结果可以看出：

(1)基于WAGA-WNN的软件可靠性预测模型预测的绝对误差小于0.032。每一点的绝对误差除以实际值得到平均相对误差约为1.85%,所以,预测精度约为1-1.85%=98.15%;

(2)采用PCA进行数据处理,不仅降低了维度,减少了网络的输入节点,误差也略有减小,具有一定的去噪声作用;

(3)图8和图9中的前10个样本对应的曲线为训练样本的预测结果,后6点为检验样本的预测结果。可见,无论是训练样本,还是测试样本,绝对误差都比较小,说明基于WAGA-WNN原理建立的可靠性预测模型具有较好的泛化能力。

4 结束语

文中针对小波神经网络初值敏感性及收敛稳定性影响其预测建模的效率及准确性问题,采取了利用强收敛、快速寻优的智能优化算法完成训练过程的思路。在完善WAGA的基础上,用标准多峰值函数验证了该算法的整体强收敛性,并利用其极强的整体收敛和全局优化能力克服了WNN的上述不足。提出的WAGA-WNN建模方法成功建立了计量终端的软件可靠性预测模型,不仅效率高,而且泛化能力和预测精度也较好。文章提供了较好的解决WNN不足的思路,也给出了一种具体方法和实例,具有学术和实践参考价值。