基于云模型的模糊神经网络算法研究

孟海东 赵晨蕾 宋宇辰

摘  要： 针对模糊神经网络不能同时处理随机性和模糊性且人为影响严重等问题，提出采用云模型进行不确定性表达，建立云模糊神经网络模型。针对黄金分割法的误差问题，提出使用高斯拟合算法计算云模型的数字特征。利用云模型计算属性的确定度，作为隶属函数;使用改进的“软与”算法完成云规则生成及匹配;通过云模型对BP算法进行优化，避免出现局部最优解;根据输出数值及确定度判断数据所属类别。实验结果表明，云模糊神经网络对不确定性的处理具有更高的准确性。

关键词： 模糊神经网络; 数据挖掘; 云模型; 云规则生成; “软与”算法; BP算法优化; 不确定性推理

中图分类号： TN711?34                         文献标识码： A                          文章编号： 1004?373X（2020）17?0082?05

Abstract： In allusion to the problems that the fuzzy neural network fails to treat the randomness and fuzziness simultaneously and that it is susceptible to human factor influence， a cloud model for uncertainty expression is proposed to establish a cloud fuzzy neural network model. In the model， the Gaussian fitting algorithm is used to get the digital feature of cloud model in view of the error of golden section method. The cloud model is used to calculate the degree of certainty of the attribute as the membership function. The improved "soft?and operation" algorithm is used to complete cloud rule generation and matching. The cloud model is used to optimize the BP algorithm to avoid the occurrence of local optimal solution. The category of data is judged according to the output value and degree of certainty. The experimental results show that the cloud fuzzy neural network is more accurate in dealing with the uncertainty.

Keywords： fuzzy neural network; data mining; cloud model; cloud rule generation; soft?and operation algorithm; BP algorithm optimization; uncertainty reasoning

0  引  言

數据挖掘是从大量的数据中提取知识和价值的过程，人工神经网络因其具有学习能力和泛化能力，在数据挖掘中可以快速地进行分类和预测。传统的神经网络均为硬分类，不能对不确定概念进行分类和预测，然而自然界中很多问题具有不确定性，不确定性可以用随机性和模糊性进行描述。1965年，L.A.Zadeh创设模糊思想，通过隶属函数实现对精确数据的模糊表达，之后引入神经网络，弥补其不能表达模糊信息的缺陷。模糊神经网络（Fuzzy Neural Network，FNN）已经在模糊控制系统、故障预测、风险评估等多个领域取得了良好的应用效果。为了进一步改进FNN的有效性，通过多种算法与其结合：文献[1]使用NSGA算法进行优化，提高模糊控制的性能;文献[2]与小波变换结合，构建AFNN用于识别图像;文献[3]充分利用FNN的灵活性，完成环境安全评估;文献[4]通过使用模糊粗糙集和聚类算法，构建新的预测模型。

云模型（Cloud Model）是一种可以实现定性概念和定量表示相互转化的模型。通过云的三个数字特征和确定度实现对不确定性的分析，其理论包含了云生成算法、云推理规则和云变换算法等。云模型理论解决了人类对不确定性的表达，同时，可以对神经网络的学习算法进行优化，在不确定推理、智能分类、故障检测等领域中成功应用：文献[5]实现云模型与灰色理论结合，构造具备不确定性和灰色性的算法，并在装备维修中证明其算法的有效性;文献[6]将云推理与强化学习结合，提高其学习效率;文献[7]利用云推理实现刀具磨损的不确定性表达。

云神经网络是通过云模型使神经网络具备不确定性的一种方法，在处理时变数据和故障检测中取得了良好的成果。文献[8]通过云模型与过程神经网络结合，使用个人家庭电力消耗数据进行仿真，证明了模型检测时间序列的精确性;文献[9]提出基于云模型的云覆盖算法，并引入构造型神经网络，应用于电磁环评估;文献[10]通过自适应控制系统和云模型结合实现电荷频率控制。

模糊神经网络通过隶属函数实现模糊分类或模糊推理，其隶属函数由经验确定或人为公式推导，模糊规则的制定和解模糊操作都是一個精确计算的过程，数据的模糊性无法进行传递。现有的研究成果中，很少将云模型与模糊神经网络结合，“软与”计算需靠经验确定程度调节参数。针对以上问题，本文用云模型改进模糊神经网络，提出一种基于云模型的模糊神经网络——云模糊神经网络。该模型通过云发生器计算确定度，使其作为网络模型的隶属函数，使用概念“软与”方法进行软计算和规则推理，在过程和结果中均体现随机性和模糊性。

1  云模型和模糊神经网络

1.1  云模型

云模型是一种认知模型，可以基于概率统计和模糊集理论实现定性概念与定量数据之间的双向认知转换。其主要反映客观事物或人类知识中概念的两种不确定性：模糊性和随机性。云模型通过云的数字特征和云发生器构建定性与定量之间的映射，该模型不需要人为构建隶属函数，而是通过云的数字特征计算确定度，即所属类别的程度，从而降低人为因素的影响。云模型通过云发生器可构造不确定性推理，这一过程更加符合人类的思维方式，同时，大量的研究证明正态云模型具有普遍适用性。云模型定义[11]如下：

定义1：设[U]是精确数值表示的定量论域，[X∈U]，[T]是[U]空间上的定性概念，若元素[x（x∈X）]对[T]的隶属确定度[μ∈[0，1]]是一有稳定倾向的随机数，则概念[T]从论域[U]到区间[[0，1]]的映射属于空间分布，称为云（Cloud）。

云模型用三个数字特征来描述定性概念：期望[Ex]、熵[En]、超熵[He]。

期望[Ex]：一般为云模型的最高点，能够对定性概念进行最有效的描述，是最典型的样本点;

熵[En]：是概念的不确定表现，表现为云模型的宽度，代表定性概念的范围;

超熵[He]：表示云的厚度，即云的离散程度。

1.2  云的数字特征生成算法

云的数字特征是云模型生成的前提条件，在大量的研究成果中，数字特征生成方法一般为黄金分割法。在黄金分割法中，期望[Ex]和熵[En]均通过最大值和最小值的计算来确定，超熵He的值多根据经验确定为0.01，其计算过程如下：

此方法虽然计算简单，但适用范围较小，只适用于有边界的数值，即数据中有确定的最大值和最小值，同时，此方法在计算过程中忽略了中间数值，是对数据的一种硬性划分方式，容易造成误差偏大。针对上述问题，本文提出一种新的云数字特征生成算法——高斯拟合算法。数据整体呈正态高斯分布，高斯拟合的峰值即为云模型的期望，高斯拟合宽度即为云模型的熵[En]，计算高斯拟合的最小均方误差，其结果作为云模型的超熵[He]。

高斯拟合多用于光谱分析，可通过积分或矩阵运算确定峰值。通过分析高斯函数表达式和参数所表示的意义，可发现其与云模型中确定度的计算公式形式相似。

式中：[b]表示曲线的峰值（中心），与云模型中期望[Ex]所表达的意义相同;[c]表示峰形宽度，与云模型中[En]所表达的意义相同;[En]为通过[En]和[He]生成的正态随机数。因此，采用高斯函数进行曲线拟合，求解其峰值及宽度，作为云模型的数字特征是可取的。

1.3  云模型的不确定性推理

云发生器是构成不确定性推理的基础。在不确定推理过程中，规则可为一对一、一对多、也可为多对多。在实际应用中，一般为多属性因素，涉及多条件单规则推理。其结构如图1所示。

在图1中，[CGAi]为[X]条件云发生器，当输入[x=x1]时，激活相应规则，进行“软与”操作，产生新的确定度。[CGB]为[Y]条件云发生器，对逻辑软计算的不确定性推理结果进行输出。在多规则推理过程中，云发生器和云规则均具有不确定性。

1.4  改进的“软与”算法

“软与”是云模糊神经网络进行软计算的关键，传统的“软与”计算通过[X]条件云发生器产生的确定度，作为云规则的激活强度，然后进行规则匹配。在云模型的实际应用中，需要借助专家经验来确定“软与”的程度调节参数，削减了云模型的不确定性。柳炳祥曾提出投影映射法和神经网络“软与”法来减少人为影响，但其两种方法都具有局限性，投影映射需多次“软与”才能得出较好结果，神经网络“软与”则需要基于已有案例。因此，将两种方法结合，并引入格论的上（下）确界，提出云规则确界的概念，生成一种新的“软与”算法，避免大数据集云规则生成过多，造成规则灾难，同时，保证神经网络的学习效果。

2  云模糊神经网络模型

2.1  云模糊神经网络模型构建

云模糊神经网络的构建思想为：将云模型引入到模糊神经网络，使其可同时处理模糊性和随机性，同时，确定度的计算过程是不确定的，使其替换人为确定的隶属函数，降低人为因素的干扰。在进行逻辑软计算时，利用云发生器构造不确定性推理，以解决模糊神经网络推理过程中不确定性的传递问题。云模糊神经网络结构分为六层：输入层、云化确界层、规则层、隐含层、逆云化层、输出层。其网络拓扑结构如图2所示。

3） 规则层：根据算法2进行“软与”计算。

4） 隐含层：对“软与”结果进行训练，保证网络模型的学习效率。

5） 逆云化层：对定性概念进行定量转化，输出推理结果及其对应的确定度，通过[Y]条件云发生器实现。

6） 输出层：对逆云化层的计算结果进行平均并输出。

2.2  云模糊神经网络学习算法

云模糊神经网络的学习算法采用较成熟的BP算法。在网络训练过程中涉及到权值初始化和参数调整问题，传统方法通过选取随机的、尽可能小的数值进行权值初始化，易导致网络训练时间过长，迭代次数过多，易陷入局部最优解。针对以上局限性，网络模型中的云模型可优化BP算法，使网络快速收敛，获取全局最优解。

设学习样本的数量为[R]，第[r]个学习样本的网络输出为[tr]，期望输出为[yr]，网络的目标学习函数定义为：

BP算法权值和閾值的初始化一般采用均值为0，方差为1的正态分布，由此可见，正态云模型可对BP算法进行初始化，期望[Ex]作为初始权值，熵[En]作为初始阈值。算法步骤如下：

算法3：云模型优化BP算法

1） 初始化：设置网络的权值[Ex]和阈值[En];

2） 将[R]个学习样本依次输入;

3） 计算各层的输出，求各层的反传误差;

4） 纪录学习过的样本，直到所有样本学习结束;

5） 参数调整;

6） 更新权值并重复步骤3）～步骤6），直到误差<0.000 1（或达到最大迭代次数）。

3  实验仿真及分析

实验数据集采用UCI数据集中的Wine数据集，该数据集收录了1 599个红葡萄酒数据和4 889个白葡萄酒数据，每个样本有12个属性，其测试结果为葡萄酒的质量等级。实验使用红葡萄酒数据集（Wine?red）进行测试，对数据进行预处理，剔除重复数据，并归一化，通过交叉验证消除相关属性，得到影响红葡萄酒质量的5个条件属性分别为：Volatile Acidity（VA），Chlorides（Cl），Total Sulfur Dioxide（TSD），Sulphates（Sul），Alcohol，其条件属性作为云模糊网络的输入节点，决策属性为Quality（Q）作为输出节点。随机选取1 000组数据，按照4∶3∶3的比例随机划分为训练集、验证集和测试集。

数据集中葡萄酒的质量大多集中在中等水平，最低评分为3，最高评分为8，根据评分划分为低质量、中等质量和高质量三个等级。

选取Wine?red数据集中的部分数据，对云模糊神经网络进行应用分析，实验部分样本数据如表1所示。

根据云模糊神经网络算法，输出代表葡萄酒质量的数值[xi]及其确定度如表2所示。

根据数据集输出结果可知，CM?FNN预测的葡萄酒质量等级为某一质量区间内的随机值，而不是严格按数字划分，各等级之间无明确的边界。CM?FNN的输出结果为带有确定度的云滴，即带有确定度的质量等级。将所有预测结果生成预测云模型，并与葡萄酒质量等级云模型对比，预测云模型可作为质量等级的综合云，如图3所示。

由图3可知，预测云模型为三朵质量等级云的概念跃升，当[xi∈（3，4）]且[μi∈（0，0.236）]时，葡萄酒质量等级为低质量;当[xi∈（4，6）]且[μi∈（0.236，1）]时，葡萄酒质量等级为中等质量;当[xi∈（6，8）]且[μi∈（0，0.80）]时，葡萄酒质量等级为高质量。

云模糊神经网络可预测多种等级，例如，葡萄酒质量等级可划分为低、较低、中等、高、较高，根据不确定概念进行区间划分，最终生成预测云模型进行对比分析即可。

为验证云模糊神经网络是否具有优越性，与FNN和BP?NN进行对比分析，三种神经网络的输入节点数均为5，输出节点数均为1，最大迭代次数均为1 000次，误差设为0.000 1。通过多次实验，选取其中10次实验结果，对比算法的精确性，如图4所示。

对实验结果可做如下分析：在进行不确定性分析时，单一的模糊神经网络有一定的局限性，通过与云模型结合可提高网络性能;改进的“软与”算法解决了传统云推理专家经验的影响，并减少了规则数量，避免大数据集的规则灾难问题。云模糊神经网络模型更加符合人类的思维方式，提高了模糊分类的准确性。其次，云模型本身具有随机性，用云模型初始神经网络的权值和阈值，提高了神经网络的学习效率。

4  结  语

本文提出一种新的云数字特征的生成算法，通过高斯拟合降低计算误差。在网络结构方面，云模型的引入提高了模糊神经网络对不确定性的处理能力，改进的“软与”算法减少了人为影响，提高了对云规则生成的可行性，使网络模型更适用于大数据的处理。此外，云模型对BP算法进行了优化，提高了算法的准确性。关于云模糊神经网络中仍有许多地方可进一步研究，云发生器的误差，算法优化和“软与”的概念求解可作进一步优化。

参考文献

[1] KHANDAKER A L， OMAR M T， GOPE M， et al. Optimizing fuzzy neural network controller based on NSGA?Ⅱ [C]// 2016 5th International Conference on Informatics， Electronics and Vision. Dhaka： IEEE， 2016： 460?465.

[2] KO C?N， LEE C?M. Image recognition using adaptive fuzzy neural network based on lifting scheme of wavelet [J]. Artificial life and robotics， 2015， 20（4）： 353?358.

[3] GLINSKIY V， SERGA L， KHVAN M， et al. Fuzzy neural networks in the assessment of environmental safety [J]. Procedia CIRP， 2016， 40： 614?618.

[4] 刘兴杰，岑添云，郑文书，等.基于模糊粗糙集与改进聚类的神经网络风速预测[J].中国电机工程学报，2014，34（19）：3162?3169.

[5] 王双川，贾希胜，胡起伟，等.基于正态灰云模型的装备维修保障系统效能评估[J].系统工程与电子技术，2019，41（7）：1?11.

[6] 李晨溪，曹雷，陈希亮，等.基于云推理模型的深度强化学习探索策略研究[J].电子与信息学报，2018，40（1）：244?248.

[7] 郝伟，蒋琪，张宇.基于不确定性云推理的刀具磨损量预测方法[J].机床与液压，2018，46（10）：1?6.

[8] 王兵，李盼池，杨冬黎，等.云过程神经网络模型及算法研究[J].电子与信息学报，2015，37（1）：110?115.

[9] 冯彦卿，王伦文.基于构造型云神经网络的电磁环境评估方法[J].计算机工程与应用，2017，53（16）：211?215.

[10] 吴忠强，张伟，李峰，等.基于云神经网络自适应逆系统的电力系统负荷频率控制[J].电力自动化设备，2017，37（11）：86?91.

[11] 李德毅，杜鹢.不确定性人工智能[M].2版.北京：国防工业出版社，2014.

[12] WANG Huizhong， XIAO Yingchun， LI Chunxia， et al. Research on cloud model RBF neural network motor fault diagnosis [J]. Journal of computational information systems， 2015， 11（1）： 1?8.

[13] 杨超，燕雪峰，张洁，等.基于权重的云推理算法[J].计算机应用，2014，34（2）：501?505.