结合Z-score与优化技术的神经模糊系统

杜宏庆，陈德旺

（1.福州大学计算机与大数据学院/软件学院；2.智慧地铁福建省高校重点实验室，福建福州 350108）

0 引言

模糊系统［1］在模糊集上定义输入、输出和状态变量，通过结合人脑思维的模糊性特点，采用模糊计算处理确定性系统中难以解决的模糊信息问题，具强鲁棒性和高可解释性。现已广泛应用于自动控制、时序信号处理、模式识别等领域［2］。

模糊系统虽可表示模糊知识，但缺乏有效的学习机制，自学习能力不足［3］。神经网络虽具备自学习能力，但未能较好表达人脑的推理功能，可解释性较差［4］。因此，本文提出基于自适应神经网络的模糊推理系统（Adaptive Network-based Fuzzy Inference System，ANFIS）［5］，通过神经网络实现系统模糊化、模糊推理和反模糊化三个基本过程，并利用学习机制从输入、输出样本数据中自动提取模糊规则。具体而言，将离线训练与在线学习算法相结合自动调整模糊规则。此外，基于反向传播算法与最小二乘法的混合算法，调整系统的前提参数和结论参数，使其具备自适应、自组织和自学习能力。

ANFIS 在消除噪声［6］、信号干扰［7］、非线性系统建模［8-10］等领域取得了一定成绩，但仍然存在精度不高、计算速度慢、难以处理高维数据等问题。针对上述问题，杨正校等［11］基于粒子群优化（Particle Swarm Optimization，PSO）算法优化ANFIS，通过改进神经网络的模型参数与隶属度函数参数，增强模糊系统的可解释性和精度。张涛等［12］提出一种基于人工蜂群（Artificial Bee Colony，ABC）算法训练ANFIS 的新方法，基于ABC 进行训练和优化模型参数，使该模型在辨识非线性系统时取得了良好的效果。周丹等［13］提出了一种结合改进简化PSO 算法和ANFIS 建立功放模型，采用线性递减惯性权重和动态学习因子，提高种群的多样性和收敛速度，使模型在简单的结构下仍能保持较高精度。邵泽辉［14］将遗传算法（Genetic Algorithm，GA）与ANFIS 相结合，基于GA 优化ANFIS 的前提参数和结论参数，提出一种将遗传算法与禁忌搜索（Tabu Search，TS）算法相结合的自适应混合学习算法，以取得更好的运算性能和精度。

针对ANFIS 存在难以处理高维数据的问题，王宇钢等［15］提出了一种结合聚类和ANFIS 的评价方法，首先采用改进的模糊C 均值聚类算法自适应分类样本，然后通过学习训练集形成模糊规则，该方法具有一定的可行性。杨慧婕等［16］提出了一种基于改进的模糊C 均值聚类和ANFIS的预测算法，采用减法聚类法（Subtrative Clustering Meth⁃od，SCM）和加权模糊C 均值（Fuzzy C-means Algorithm，FCM）生成初始神经模糊系统（Neural Fuzzy System，NFS）建立非线性预测模型，在一定程度上解决了传统FCM 鲁棒性差的问题，并加快了模型收敛速度，同时还具备较高的预测精度。Hua 等［17］在ANFIS 基础上提出了利用最综合陡降法和最小二乘法相结合的混合学习算法修正模型网络参数，基于共轭梯度下降法提高其前提参数的学习速度。Benmouiza 等［18］提出了一种改进聚类的ANFIS 算法，通过FCM、SCM 和网格划分3 种方法简化推理过程，使改进的ANFIS 结构具备描述模糊理论数据的不确定性和人工神经网络的自学习能力。Wang 等［19］结合SCM 和FCM算法建立了初始模糊推理系统，采用共轭梯度（Fletcher-Reeves）算法对传统ANFIS 的学习算法进行改进。上述改进方法主要基于聚类或共轭梯度法改进传统ANFIS 的结构与网络参数，相较于群智能优化策略，前者的效率更高，但仍存在一定的局限性。

为了解决上述问题，本文搭建了深度神经模糊系统（Deep Neural Fuzzy System，DNFS），将高维问题分解为多个低维问题，利用子模块解决低维问题。因此每个NFS 都要具备快速优化能力。此外，本文基于模糊规则适应度的计算方式和快速反向传播（Back Propagation，BP）算法，提出了一种结合Z-score 与优化技术的神经模糊系统（Zscore and Optimize-technique combined Neural Fuzzy Sys⁃tem，ZONFS）。利用三种实现算法对系统的前提参数进行调整，通过分析综合性能指标对算法进行评估。

本文首先介绍了典型的ANFIS 结构，分析其不足之处。然后，介绍了ZONFS 的内部结构并提出三种改进方法。接下来，引入三种常用的回归算法，比较分析各算法在三个数据集上的性能指标。最后，根据实验结果给出结论。

1 ZONFS算法

1.1 经典ANFIS算法

如图1 所示，ANFIS 结构共包含5 层。其中，第1 层结点将输入信号模糊化；第2 层节点将各输入信号的隶属度相乘，并将乘积作为各条规则的适应度；第3 层结点将各条规则的适用度进行归一化计算；第4 层计算每条模糊规则的输出；第5 层节点采用面积法进行模糊系统的解模糊化，计算该系统所有输入信号的总输出。其中，x=[x1，x2]为系统的输入向量，依次经过5 层网络输出O1，i、O2，i、O3，i、O4，i、O5，i，i表示节点数。其中，x1、x2为输入，A1、A2、B1、B2为相应的模糊子集，N为计算规则的归一化可信度，ω为规则适应度，f为总输出。

在ANFIS 中，通过第3 层对所有规则适应度ω进行归一化计算，计算公式如式（1）：

1.2 ZONFS结构与算法实现

标准化神经模糊系统的初始化模型由5 层网络构成，如图2所示。

第一层：将输入分量x1，x2模糊化，划分到模糊集合A和B中，μ为隶属函数。计算公式为：

本文采用高斯型隶属函数。可由式（4）表示：

Fig.2 Structure of ZONFS图2 ZONFS结构

式中，ci为高斯函数的中心，σi为高斯函数的宽度，本文代表前提参数。

第二层：每个节点代表一条模糊规则，对该层的输入进行乘积模糊后取得所有规则的适应度。计算公式为：

第三层：对所有规则适应度进行Z-score 标准化计算，如式（6）-式（8）所示：

其中，为第i个模糊子集的第j个样本的适应度。

第四层：由结论参数pi0、pi1、pi2计算每条规则的输出：

第五层：采用面积法去模糊化，计算该系统的总输出：

现阶段通常采用BP 算法［20］与最小二乘估计法（Least square estimation，LSE）［21］的混合算法调整系统参数并寻找模型最优前提参数和结论参数，以提高网络模型的精度和收敛速度。其中，BP 算法调整前提参数，LSE 调整结论参数。首先固定结论参数，根据Loss 函数和链式法则计算前提参数的偏导数，从反梯度方向更新参数。定义测量误差为样本总体的均方误差：

其中，Tm，p是目标p输出的第m分量，是目标p实际输出的第L层第m分量。然后由公式（11）计算每个输出节点O的误差，并根据链式法则计算误差Ep在给定的自适应网络参数β的偏导值gk：

其中，S为输出依赖于β的结点集。

由于BP 算法存在训练速度慢、易陷入局部极小值等缺点。为了解决上述问题，提出了一系列改进方法，例如动量附加法［22］、自适应学习率［23］、弹性反向传播（Resilient Back Propagation，RBP）算法［24］等分析标准BP 算法的性能函数，或使用启发式技术进行改进，例如二阶反向传播、非线性优化［25］等通过标准的数值优化技术实现快速BP算法。

本文在保证精确性的同时，为了加快模型参数的学习速度，提升神经模糊系统的训练效率，给出以下两种方案：

方案一：在误差要求一般的情况下，基于LSE 算法调整参数加快训练速度，即直接调整结论参数。

方案二：采用共轭梯度下降法（Conjugate Gradient De⁃scent，CGD）实现快速BP 算法。先沿着负梯度方向搜索，然后通过线性搜索沿着搜索方向计算移动的最优距离。计算方式如式（14）、式（15）所示：

其中，η表示当前学习速率，pk表示共轭梯度法每一步的搜索方向。结合上一步搜索方向和最新负梯度方向作为下一步的搜索方向，其中k表示当前梯度位置，p为搜索方向，g为偏导值，η表示学习速率。

本文采用Fletcher-Reeves 方法计算共轭梯度法的ηk：

ZONFS 算法流程如图3 所示。具体首先输入信号正向传递至第4 层，固定前提参数，通过LSE 算法更新结论参数。接下来信号沿着网络正向传递至输出层并由CGD 算法将误差反向传播，从而调节前提参数，或不进行误差的反向传播，直接向前传递至第5层以节省训练时间。

Fig.3 Algorithm flow of ZONFS图3 ZONFS算法流程

1.3 ZONFS的三种算法

根据上述BP 算法的不同实现方法，给出ZONFS 的三种算法，如表1 所示。其中，BP+LSE、LSE、CGD+LSE 分别表示采用BP 与LSE 混合调参、仅LSE 调参融合共轭梯度下降法、LSE 混合调参。

Table 1 Three algorithms表1 三种算法

2 性能评价指标

为综合评估各算法的性能，本文选择均方误差（Mean Square Error，MSE）、平均绝对误差（Mean Absolute Error，MAE）、平均绝对百分比误差（Mean Absolute Percentage Er⁃ror，MAPE）、决定系数R2及运行时间t共5 个性能指标对算法进行评估：

3 实验结果与分析

3.1 模型训练

ANFIS 算法将规则适应度进行归一化操作，而本文的ZONFS 算法对规则适应度进行Z-score 标准化计算。为了比较二者之间的性能差异，本文从模型的训练效果入手，分析其误差下降曲线。以ANFIS 与ZONFS 在训练集TS 上的训练过程为例，20 次迭代训练后的误差变化曲线如图4所示。

由图4 可见，ANFIS 算法在第10 次迭代时开始收敛，误差值已无明显下降。ZONFS 算法的收敛速度更快，误差更小。因此从训练集TS 上的迭代结果可见，ZONFS 相较于ANFIS 算法，具有更快的收敛速度和更高的精度。

Fig.4 Iteration curve of algorithms图4 算法迭代曲线

3.2 数据集与常用回归算法

选用机器学习数据库The UCI Machine Learning Re⁃pository 提供的三个数据集，具体描述如表2所示。

Table 2 Characteristics of data sets表2 数据集特征

为了对ZONFS 算法进行比较分析，引入决策树回归（Decision tree regression，DTR）、支持向量回归（Support Vector Regression，SVR）、梯度增强回归（Gradient Boosting Regression，GBR）三种常用的回归算法对上述数据集进行回归预测，并对ANFIS 与ZONFS 算法的性能指标进行综合分析。

3.3 ADV数据集应用

随机抽取ADV 数据集中20%的数据样本作为测试集。由表3 可见，ZONFS3 算法有3 个最优的误差指标，且各项指标均优于ANFIS 算法，因此ZONFS3 算法相较于ANFIS 算法更具竞争力。其次，采用BP 算法调参的ANFIS算法相较于ZONFS1 算法的运行时间更长，而基于CGD 实现的快速BP 算法有效提升了ZONFS3 算法的调参速度，显著降低了算法的运行时间。ZONFS2 算法的运行时间较短，但算法的精度不高。综上所述，ZONFS3 算法的性能最高，以ZONFS3 为代表的ZONFS 算法与其它算法的回归比较如图5 所示，可见ZONFS 算法的回归效果最好，每个数据点的误差都维持在较小的区间，相较于ANFIS 具有明显优势。

3.4 CCPP数据集应用

由于CCPP 数据集的数据量较大，因此从数据集中随机抽取100 个数据样本进行测试。由表4 可见，ANFIS 算法大部分指标都落后于常用的回归算法，而ZONFSi 算法相相较于ANFIS 在精度和运行时间上都具有一定的提升，特别是ZONFS3 算法有两个最优的误差指标，总得分也最高。虽然ZONFS3 算法的运行时间较长，但各项误差指标的优越性最好。ZONFS2 算法耗时最少，但误差指标整体表现不佳。同样以性能最高的ZONFS3 为代表的ZONFS算法与其它算法的回归比较如图6所示。

Table 3 Evaluation index on ADV dataset表3 ADV数据集上的评价指标

Fig.5 Comparison of regression algorithms（ADV dataset）图5 回归算法比较（ADV数据集）

Table 4 Evaluation index on CCPP dataset表4 CCPP数据集上的评价指标

Fig.6 Comparison of regression algorithms（CCPP dataset）图6 回归算法比较（CCPP数据集）

3.5 YHD数据集应用

随机抽取YHD 数据集中20%的数据样本作为测试集。由表5 可见，ZONFS3 算法总得分最高且有三个最优的误差指标，其中决定系数R2达到了0.989，精度和运行时间均优于ANFIS 算法；ZONFS1 算法因采用BP 调参存在一定劣势，总得分仅次于ZONFS3 算法。ZONFSi 算法的运行时间总体上比DTR、SVR 等常用回归算法长，但算法的精度具有明显优势。SVR 算法耗时最少，但各项指标与相较于其他算法存在较大的差距。综上所述，ZONFS3 算法的性能最高，该算法与其它算法的回归比较如图7所示。

Table 5 Evaluation index on YHD dataset表5 YHD数据集上的评价指标

Fig.7 Comparison of regression algorithms（YHD dataset）图7 回归算法比较（YHD数据集）

4 结语

通过实验分析，在三种数据集中ZONFS3 算法的各项误差指标明显优于ANFIS 算法，总得分均为最高。相较于ZONFS1 算法，采用CGD 实现快速调参的ZONFS3 算法耗时更短，性能更强。ZONFS2算法在整体上不如ZONFS3算法。本文从规则适应度的计算方式入手，通过Z-score 标准化对NFS 进行改进，采用CGD 提升算法的计算速度。通过实例验证表明，ZONFS 算法的运行速度更快且精度更高，适用于搭建深层模糊系统。

在深度学习日益火热的当下，模糊系统开始逐渐往深度模型过渡。子模块的运行时间是搭建深度模型的一个重要评判指标，在今后研究中需充分考虑其重要性。目前NFS 所面临计算速度慢、难以处理高维数据等问题，而共轭梯度下降法可有效降低NFS 的时间复杂度，具有一定的可行性。未来将致力于基于ZONFS 算法构建快速且高精度的深度神经模糊系统（DNFS）。