一种抗漂移的改进ART2网络GSC—ART2研究

宋跃忠

摘要：ART2是一种基于自适应谐振理论的无监督神经网络，由于其快速响应、实时学习等特点，被广泛的应用在实时聚类问题中。传统的ART2存在幅值信息丢失、容易产生模式漂移的问题，本文针对此不足提出了一种基于广义相似度和置信度的GSC-ART2网络。它通过引入广义相似度检测和竞争机制，解决了幅值信息丢失的问题。置信度结合广义相似度的权值调整方式抑制了模式漂移并使网络的连接权值更加准确。通过实验表明，GSC-ART2网络在处理幅值相关、样本渐变分类问题上的识别性能均优于传统ART2网络，从而证明了此GSC-ART2网络的有效性，也为解决模式识别中普遍存在的模式漂移问题找到了一种优良的解决方法。

关键词：GSC-ART2；模式漂移；幅值丢失；广义相似度；置信度；

中图分类号： TP391 文献标识码： A 文章编号：2095-2163（2014）04-

文章编号：

An Improved ART2 Neural Network： Resisting Pattern Drifting through General Similarity and Confidence Measures

SONG Yuezhong，LI Haifeng，GAO Chang

（ School of Computer Science and Technology，Harbin Institute of Technology，Harbin 150001，China）

Abstract： ART2 is a kind of non-supervised neural network based on the Adaptive Resonance Theory， and due to such advantages as rapid response and real-time learning abilities， ART2 has been widely used in real-time clustering problems. In traditional ART2 models， the amplitude information is usually ignored and the problem of pattern drifting often occurred. To solve such problems， general similarity and confidence measures are introduced into ART2 to form an improved model --- GSC-ART2. Using a vigilance-testing and a competition mechanism based on the general similarity， the problem of amplitude information losing is solved in GSC-ART2. The weights adjustment is modified to consider both the general similarity and the confidence measures. In such a way， ourthe designed GSC-ART2 inhibits pattern drifting and obtains more accurate network connections. Experiments showeds that the GSC-ART2 performeds better than traditional ART2 in cases where the data possess magnitude information and the data grading or pattern drifting exists. OurThe proposed GSC-ART2 network would become an universal solution to the pattern drifting problem in various applications.

Keywords： GSC-ART2； ART2； Ppattern dDrifting； aAmplitude Iinformation Llosing； General Similarity； Confidence Measure

0引言

抑制模式漂移和防止网络震荡是提高模式识别准确率关键因素，尤其对人工神经网络ART2学习过程中的抑制模式漂移、进行权值合理准确性研究，更是提升网络分类性能的重要工作。自Stephen Grossberg教授提出一种无教师竞争型神经网络的学习机制即自适应谐振理论（Adaptive resonance theory，ART）[1]，并解决了神经网络学习中稳定性与可塑性之间的矛盾，并后，虽然促进了一系列实时无教师聚类学习的模式识别方法的发展。，但它却容易产生模式漂移、网络震荡的问题，本文即针对这个问题进行了深入的研究。

ART网络是基于自适应谐振理论的神经网络，它在其在实现原理上借鉴了人脑对信息的处理机制，既能够保持旧的知识，还可以对新的知识进行学习。随着研究的深入开展，可将ART分为3种基本模型：ART1，ART2，ART3[2-4]。其中，ART2网络具有无监督学习、快速响应、自动识别时序信号等特点，已经被应用到在诸多领域获得了成功应用[5-6]，有重要的理论研究与实际应用价值，但ART2网络仍存在很多一定的缺点和不足。首先，传统ART2对输入数据要求归一化，这样将丢失数据的幅值信息，导致相同相位的样本不可区分，从而对于幅值相关的分类问题表现出了局限性[7-8]。其次，传统ART2对输入样本单方向渐变的情况并不敏感，容较易产发生生模式漂移的问题。也就是当大量的呈单方向渐变分布且均可以通过相似度检验的数据输入到ART2网络中后，其记忆模式就会严重偏离初始记忆模式，由此而导致识别性能下降[9]。同时，每一个样本进入网络后都会引起连接权值更新，而由于没有考虑样本的可靠性，即降低了网络的稳定性。

针对以上不足，大量学者对其进行展开了有关研究，并获得了相应的研究成果。对于相同相位不可区分的问题，Xiaodong Qian[10]提出了一种对输入样本幅值进行过滤的方法，如果其值与现存各模式幅值的相似度均没有未超过预定的阈值，则直接开辟创建新类，不再参与后续识别。此方法在一定程度上解决了相位差别很大的样本分到划分至同一类模式的问题，但并没有却未将样本与各模式的幅值相似度信息引入到网络竞争中，从而可能造成分类错误的情况。Chu Na等人[11]提出了一种将输入样本各分量与对应模式信息进行相似度比较的方法，虽然解决了幅值丢失的问题，但需要额外开辟大量的存储空间来存储各模式的分量信息。对于模式漂移问题，Jiaoyan Ai等人[12]提出了一种基于样本均值的权值更新方式，使更新后的权值向量更能代表样本真实的聚类中心，但只是这种方式必须每次记录各类别节点现存样本数，浪费耗费存储空间并而且又增加了运算时间。Zhiling Lin等人[13]提出了一种基于样本累积的权值更新的方法，此方法需要为每个模式开另辟 个存储单元来贮存最新进入此模式的最新样本信息，浪费了大量的存储空间。

本文给出了一种基于广义相似度（General Similarity）和置信度（Confidence）的改进ART2网络，简称GSC-ART2网络。其中，广义相似度是在传统ART2网络使用的相位相似度的基础上结合了幅值相似度信息，从而使相同相位样本不可分问题得到了圆满解决。另外，定义置信度作为对样本可靠性的衡量，用其结合样本与相应模式的相似度信息来共同决定权值修正方法，能够使更新后的权值更加趋合理与准确，并且很好的而且有效抑制了模式漂移。实验表明GSC-ART2很好地解决了模式漂移和数据幅值信息丢失问题，是一个分类更准确、适用范围更广、使用更加灵活的自适应分类器，在很多实际分类问题上均表现出其优良且出众的性能。

本文的组织结构如下：第一部分简单介绍了ART2神经网络的基本原理，第二部分详细介绍了GSC-ART2的工作方式。第三部分针对GSC-ART2相对于传统ART2的改进设计实验，证明GSC-ART2的有效性，最后对本文做了总结。

1 ART2网络基本原理

经典的ART2神经网络包括注意子系统和定向子系统两部分，如图1所示。其中，注意子系统由 特征表示场和 类别表示场组成，由此而实现向量的竞争选择和向量间相似程度的综合比较。

图1： ART2网络结构

Fig.1 Structure of ART2 network

对 场计算得到的向量 ，在 场中参与竞争选择，其竞争准则函数为：

（1）

其中， （2）

经过上述竞争，获胜节点 得到了被激活。选中并激活其存贮原型与中层模式 最相似的节点，经反馈通道将获胜节点的模式原型送入定向子系统进行相似度阈值 测试。相似度 的计算公式如（3）（4）所示：

（3）

（4）

其中， 为计算相似度时 的加权系数。

若 （5）

其中 为误差参数，则输入样本通过相似度检验，系统产生谐振，进入权系数学习阶段；否则对 场的获胜模式进行重置，获胜节点 的连接权值的快速调整方式则分别为：

（6）

（7）

在经典的ART2网络中， 场为了防止网络过度震荡，对输入数据进行归一及非线性变换的预处理，使输入向量的幅值均变调整为1，这就导致使得在整个ART2运行过程中都没有不曾考虑输入向量的幅值信息，而幅值信息却是分类的重要依据之一，如果在幅值相关的分类问题中忽略了此这一信息，则即会严重影响网络的性能。公式（6）和（7）给出了一种ART2权值更新方式，使各模式连接权值的大小均由新进入的样本自信息确定，且没对样本本身可靠性进行分析，导致容易产生模式漂移问题颇易发生。为此，本文提出了基于广义相似度-置信度ART2网络（General Similarity Confidence ART2，GSC-ART2），重点解决了模式漂移和相同相位样本不可分问题。

2 GSC-ART2网络基本原理

本文所提出的GSC-ART2神经网络重点改进了原ART2中数据信息丢失与已有的权值修正方法，由此而达到了抑制数据漂移和网络震动的目的。具体改进机制如下。

2.1基于广义相似度的检测机制研究

传统的ART2网络在数据分类过程中没有考虑样本的幅值信息，因而在分析相关问题分析中表现显现了一定出了的局限性。针对此问题，本文将幅值信息引入到网络的竞争机制中，并提出了一种基于广义相似度的检测方法， 层的竞争机制综合考虑了输入样本与各个模式间的相位相似度和幅值相似度信息，使输入样本能够找到最相似的模式类别，此处相应的改进即如图2所示，简称GS-ART2。综上所述，GS-ART2网络就是在ART2网络的基础上增加了基于幅值信息 的竞争和相似度检测机制。

图2 GS-ART2网络结构图

Fig.2 Structure of GS-ART2 network

设 为第 个模式的幅值信息，其代表了分到模式 所有样本幅值信息的综合值，当有某一新样本进入模式 时，其具体的调整方式如公式（8）所示：

（8）

其中， 为输入样本的幅值， 为当前模式 包含的样本个数，而且 为模式 调整前的幅值信息， 为模式 调整后的幅值信息。

设 为幅值相似度，其值表征了输入样本与模式 在幅值信息上的相似程度，其值计算即如公式（9）所示：

（9）

越大，表明 与 的相对差别越小，也即输入样本与模式 的幅值信息越相近，其取值范围在0和1之间。

为了全面考虑样本与各模式相似度信息，可将竞争准则修正如下：

（10）

其中 （11）

通过竞争学习与输入模式具有最大相似测度值的节点 被激活，其外部连接权矢量反馈到 层并与中层模式 一起进送入调整子系统中进行相似度阈值测试。

设 为广义相似度，其值与的运算主要和样本与获胜模式间的相位相似度 与以及幅值相似度 的乘积开方成正比，具体表述如公式（12）所示：

（12）

与传统ART2阈值测试机制不同，GS-ART2阈值测试需满足一定的条件，即：

（13）

式中， ：表示预先设定的广义相似度阈值。；

当满足公式（13）获得满足，则调整对应模式的内外连接权值，否则将发生重置并抑制此节点参与后续竞争。

此这一GS-ART2网络将输入样本的幅值信息作为网络竞争和分类的依据之一，而解决了相同相位不可区分的问题，从而提高了系统分类性能。

2.2 基于置信度的抗漂移权值修正方法研究

对于传统ART2，每一个新样本进入网络后都会引起连接权值的更新，而可靠性低的样本引起的权值更新容则易导致ART2模式中心偏离实际的聚类中心，随之而降低了网络的稳定性。同时，权值快速更新方法又容易带来模式漂移问题。本文提出了一种基于置信度的抗漂移的权值调整技术，就是在GS-ART2网络的基础上的添加了样本的置信度计算模块，并且在 场增加了从属模式节点。

为了衡量输入样本属于相应模式的可靠程度，设样本属于获胜模式的置信度为 ，定义为输入样本与获胜模式的广义相似度和以及其与从属模式的广义相似度间的相对差别，具体如公式（14）所示。

（14）

其中， 、 分别为样本与获胜模式 和从属模式 的广义相似度，其值分别表征了样本与获胜模式和样本与以及从属模式间的相似程度。

其中并且，从属模式为除获胜模式外与样本相似度最高的模式，相应的计算公式如下：

（15）

其中，模式 即为从属模式。

置信度 作为评价输入样本属于相应模式可靠性的指标。此值越小，说明此样本越不易于模式间的分类，则即可靠性较低。；反之此值越大，样本的可靠性则越高。根据不同分类问题对样本可靠性的要求，设定相应的置信度阈值 ，如果有预先分类的数据集，则 应该满足如下公式：

（16）

其中， 和 分别为预先分类数据集中所有样本属于对应类别的置信度最小值和最大值。如果计算得到的置信度水平 超过此阈值 ，即则进行相应的权值调整，否则仅将此样本划分到至此模式，但而并不进行后续的权值调整。

针对传统ART2的快速权值调整公式容易产生模式漂移的问题，而且对渐变分类问题亦不敏感的状况，。经过分析可知，为了解决上述问题，GSC-ART2获胜模式更新后的连接权值即应该由此模式更新前的连接权值和由传统快速权值调整公式计算得到的连接权值联合确定。并且，由广义相似度的定义还可以知道，其值可以作为判别输入样本与所属模式中心相似程度的基础依据。同时，为了解决模式漂移的问题，还需要减弱那些与当前所属模式中心相似度较低的样本通过传统快速权值调整方式得到的连接权值在权值更新中所占的比例，因此进一步地本文提出了基于广义相似度的权值调整技术，具体公式如下：

（17）

（18）

其中， 和 分别为本文定义的广义相似度和及其阈值。 越小即，样本与所属模式的相似度越低，此样本通过传统快速权值调整方式确定的连接权值在权值更新中的所占的比例也就越低，反之亦然，从而有效抑制了模式漂移。

GSC-ART2网络通过在GSC-ART2的基础上引入置信度检测机制和基于广义相似度的快速权值调整方式，抑制了可靠性低的样本引起的权值改变，并使各模式聚类中心的数值更加接近实际的聚类中心，并同时也抑制了模式漂移问题，提升了系统整体的分类性能。

从上文分析可以知道，GSC-ART2网络在传统ART2网络的基础上进行设计了两方面改进。一方面，此该网络将输入向量的幅值信息 引入到网络的竞争和阈值检测中，避免了幅值信息丢失的问题。另一方面，此该网络又通过引入二近邻获胜机制得到样本置信度，并用此置信度结合样本与所属模式间的广义相似度信息共同决定连接权值的更新方式，使GSC-ART2网络各模式聚类中心的准确性得到提高并，而且也抑制了模式漂移问题。，从而真实全面地说明此该GSC-ART2网络即是一个适用范围更广、识别准确性更高的自适应谐振网络。

3 GSC-ART2网络性能分析

针对GSC-ART2网络相对较于传统ART2在各方面改进的有效性，又基于在模拟数据上进行了网络测试分析。

3.1 GS-ART2的广义相似度检测机制实验分析

为了验证基于广义相似度检测机制的GS-ART2网络在幅值相关分类问题中表现出的性能优于传统的ART2网络的结论有效性，本文设计了一个有效的对比实验。此该实验通过Matlab工具模拟生成3组服从正态分布的二维样本数据共45个，每组各15个。各组样本期望值分别为（2，8）、（3，3）、（6，6），所有样本各维属性的方差为0.5，

编号依次为1-15、16-30、31-45，而且各组内部编号由则按照数据生成的顺序决来依次确定定。

对于上述问题，首先用传统ART2网络进行分类，网络的基本参数设置为 、 、 、 、 、 ，在不同阈值下，按样本编号从小到大的顺序逐一运行，实验结果如表1.所示。

表1. 传统ART2在不同阈值的分类结果

Tab.1 The classification result of traditional ART2 under different threshold

分类结果

第一类 1-45 1-15 1-15

第二类 None 16-45 16-20、25-27、40-45

第三类 None None 21-24、33、38

第四类 None None 28-32、34-37、39-40

表1可以看出， 传统ART2网络在阈值小于0.972的情况下，将三类样本分到了同一类别。 而随着阈值不断增加直至超过0.972时，网络仍将第一组样本正确地与第二、三组样本分开进行了正确的区分。但是由于第二组和第三组样本的相位相似度较高，阈值的继续增加并不能使其正确分开，尤其当阈值达到0.999时，第二和第三组样本被即分到了三个类别，且混淆率较高。传统的ART2在处理此类问题上表现出一定局限性。

接下来，又使用GS-ART2网络对上述问题进行分类，网络基本参数与上述传统ART2设置相同，得到不同广义相似度阈值下的识别结果如表2.所示。

表2. GS-ART2在不同阈值下的分类结果

Tab.2 The classification result of GS-ART2 under different threshold

分类结果

第一类 1-15 1-15、31-45 1-15

第二类 16-30 16-30 16-30

第三类 31-45 None 31-45

由从表2可以看出，GS-ART2网络在 小于0.890时与传统ART2的分类结果相同，即将三组样本均分到至一类。但随着 的不断增加，首先将第二组样本与第一和、第三组样本分到不同类别，并且最终将三类样本均正确分开，也没有混淆的情况发生。

综合上述实验结果可以看出，由于GS-ART2网络的基于广义相似度的检测机制可将样本幅值信息引入到整个网络的竞争和阈值测试中，从根本上解决了传统ART2网络不能区分相位相似样本的问题，而且使网络的识别准确性得到了大幅提升。

3.2 GSC-ART2的基于置信度的抗漂移权值调整方式实验分析

为了验证GSC-ART2网络的抗漂移权值调整方式在处理实际分类问题中可能遇到的模式渐变问题上的有效性，本文在实验3.1的基础上进行提供了进一步的模拟试验。该实验过程是为实验3.1生成获得的三个模式各自随机产生三组符合正态分布的模式渐变数据，每组数据各15个样本，各组数据均值的横坐标和纵坐标分别以0.5和0.7的步长递增变化，而且各维属性的方差依然为0.5。即基于均值为（2，8）的模式所产生的三组数据的均值分别为（2.5，8.7）、（3，9.4）、（3.5，10.1），其余则依此类推。

将本实验新生成的九组数据以组间渐变组内随机的顺序输入到实验3.1中 时运行得到的初始GS-ART2网络，并分别以传统ART2的快速权值调整方式和GSC-ART2的抗漂移权值调整方式去运行此网络，置信度阈值 取为0.1。由此而得到不同权值调整方式下各模式的初始聚类中心和最终聚类中心表示图，见分别如图3和图4所示。其中，五角星表示原始聚类中心位置，正方形代表输入渐进模式数据后的聚类中心的位置。

由图3可以看出，在传统ART2的快速权值调整方式下，当大量渐进模式数据输入到网络并运行后，各模式的聚类中心发生了严重的漂移，最终其位置不能很好的有效地代表输入到此模式数据的整体分布情况，导致后续识别性能下降。而由图4则可以看出，基于GSC-ART2网络抗漂移权值调整方式运行得到的各模式聚类中心相对于其原始聚类中心差别合理，并且其最终位置能很好的有效表征输入到此模式所有数据的分布情况，从而使后续识别结果更加准确。由此可以即可证明GSC-ART2的基于置信度的抗漂移权值更新方方法在处理模式渐变问题上的优越性，也就是使网络的后续分类性能得到了明确提升。

图3 ART2网络的聚类中心 图4 基于GSC-ART2网络的聚类中心

Fig.3 The clustering center of ART2 network Fig.4 The clustering center of ART2 network

4 结束语

本文详细分析了传统ART2网络存在的幅值信息丢失和模式漂移问题，并针对这些问题提出了基于广义相似度的检测机制和基于置信度的抗漂移权值调整技术，从相似度检测和权值更新两方面解决了上述问题。通过实验对比，证明了本文提出的GSC-ART2网络在处理幅值相关、模式渐进分类问题上相对于传统ART2的优越性，从而可以将此网络用于处理模式识别中普遍存在的漂移问题。今后还需要对此网络的改进方式做进一步进行深入研究，包括更合理的阈值设置方法和网络结构的自组织优化方法，使此网络阈值能够得到动态的调整，阈值并能动态对网络结构进行实施动态调整，使其识别性能亦得到更进一步的提升。

参考文献：

[1]Wangang M， Lin X. The ART2 Neural Network Based on the Adaboost Rough Classification[M].Advances in Image and Graphics Technologies. Springer Berlin Heidelberg， 2013： 44-53.

[2]CARPENTER GA，GROSSBERGS.A massively parallel architecture for a self-organizing neural pattern recognition machine[J].ComputerVision， Graphics， and Image Processing， 1987，37（1）：54-115.

[3]CARPENTER GA，GROSSBERGS.ART-2：self-organization of stable category recognition codes for analog input pattern[J].Applied Optics，1987，26（23）： 4919-4930.

[4]CARPENTER GA，GROSSBERGS.ART-3：hierarchical search using chemical transmitters in self-organizing pattern cognition architectures[J]. Neural Networks， 1990， 3（2）： 129-152.

[5] HOURALI Maryam Hourali， MONTAZER Gholam Ali Montazer. Using ART2 Neural Network and Bayesian Network for Aautomating the Oontology Cconstructing Pprocess[J]，. Procedia Engineering 29 ，2012，：3914 -3923.

[6] KIMim K B， PARKark H J， SONGong D H. Self Hhealth Ddiagnosis Ssystem for Korean tTraditional mMedicine with eEnhanced ART2[J].Bioscience and Medical Research 2013，2013.：16-19.

[7]QIANian X D. A method of data clustering based on improved algorithm of ART2[C]//Machine Learning and Cybernetics， 2008 International Conference on. IEEE， 2008， 5： 2640-2645.

[8]ANGADIngadi U B， VENKATESULUenkatesulu M. Structural SCOP superfamily level classification using unsupervised machine learning[J]. IEEE/ACM Transactions on Computational Biology and Bioinformatics （TCBB）， 2012， 9（2）： 601-608.

[9]Wang M， Lin X. The ART2 Neural Network Based on the Adaboost Rough Classification[M]//Advances in Image and Graphics Technologies. Springer Berlin Heidelberg， 2013： 44-53.

[10] QIAN Xiaodong Qian，. A mMethod of dData cClustering bBased on iImproved aAlgorithm of ART2[J]. Proceedings of the Seventh International Conference on Machine Learning and Cybernetics，2008（12），：2640-2645.

[11] NAa C， LIZHUANGizhuang M. Pattern recognition based on weighted and supervised ART2[C]//Intelligent System and Knowledge Engineering， 2008. ISKE 2008. 3rd International Conference on. IEEE， 2008， 1： 98-102.

[12] AI Jiaoyan Ai， WEI Shange Wei， ZHANG Lihua Zhang.A mMagnitude-bBased ART2 cClassifier： sStructure and aAlgorithms[J]，. Proceedings of the World Congress on Intelligent Control and Automation （WCICA），2006（6），：9799-9803.

[13] LINin Z， YUEue Y， ZHAOhao H， et al. Judging the sStates of bBlast fFurnace by ART2 Neural Network[C].//The Sixth International Symposium on Neural Networks （ISNN 2009）. Springer Berlin Heidelberg， 2009： 857-864.