一种改进的基于STDP规则的SOM脉冲神经网络

王 蕾，王连明

(1.东北师范大学物理学院，吉林 长春 130024； 2.东北师范大学应用电子技术研究所，吉林 长春 130024)

一种改进的基于STDP规则的SOM脉冲神经网络

王 蕾1，王连明2

(1.东北师范大学物理学院，吉林 长春 130024； 2.东北师范大学应用电子技术研究所，吉林 长春 130024)

将脉冲神经网络的高效处理能力与自组织映射神经网络相结合，构造了一种基于突触可塑性(STDP)规则的SOM脉冲神经网络模型.该网络将输入和权值用脉冲发放时间编码，符合生物信息处理机制.用STDP规则调整权值，不需要通过学习率控制收敛速度，缩短网络训练时间.使用欧氏距离的平方计算权值和样本之间的相似度，与欧氏距离法相比简化了计算，便于硬件实现.基于MATLAB仿真平台，用该网络对UCI机器学习数据库中Iris数据集进行聚类后精度达到93.33%，比传统的SOM、K-means等聚类方法更具有优越性.

自组织映射神经网络；脉冲神经网络；STDP学习规则；聚类

0 引言

自组织映射(Self-organizing Map，SOM)神经网络具有无导师自聚类的特点，通过SOM神经网络可以降低数据的维数[1].SOM神经网络广泛应用在语音识别、数据降维、数据挖掘、图像处理等领域，它是人工神经网络领域的研究热点之一.[2-3]

生物神经领域的大量研究表明，在生物神经系统中是利用生物神经元发放脉冲的精确时间来处理信息.[4-5]Spiking神经网络是模拟这种脉冲时间编码方式的重要工具，由于Spiking神经网络具有计算能力强、信号简单等优点，将其硬件实现构造能够真正实现并行计算、分布存储的高性能、智能硬件处理器成为各国仿生脑研究的热点.2014年8月，IBM公司和康奈尔大学的联合研究团队在硅片上实现了命名为TrueNorth的神经网络芯片，该芯片集成了100万个脉冲神经元.[6]2015年，由浙江大学计算机学院牵头，浙江大学与杭州电子科技大学的学者合作，成功研制国内首款基于硅材料(CMOS)的支持脉冲神经网络(SNN)的类脑芯片——“达尔文”芯片.[7]

将Spiking神经网络与SOM神经网络相结合，不仅能够保持传统的SOM神经网络良好的聚类特性，还能弥补其收敛速度慢、计算量大等缺点.因此，很多学者基于Spiking对SOM神经网络做了改进，D.T.Pham[8]提出了一种用于对控制图表模式进行聚类的SOM延迟调整脉冲神经网络模型，用偶然检测神经元作为输出层神经元，对输入的脉冲进行同时检测；L.Y.Ming[9]提出了一种基于自适应坐标(SOM-AC)和Spiking神经网络的复合SOM模型，并用于多元时空数据的可视化和分类；B.Yusob[10]提出了一种基于脉冲时间编码机制的SOM神经网络模型，用脉冲神经元作为输入层神经元，输出层神经元对输入层送入的电压累加并发放脉冲；T.Rumbell[11]提出了一种针对连续输入的脉冲时间相位编码的脉冲自组织映射模型.

本文为进一步简化SOM脉冲神经网络的计算，并针对其硬件实现，提出了一种将输入和权值进行脉冲编码.采用突触可塑性(STDP)学习规则进行训练的SOM脉冲神经网络的改进方法，该方法采用欧氏距离的平方代替欧式距离计算样本与权值的相似度，简化了硬件的实现难度.

1 SOM神经网络

人脑是由大量的细胞组成.人脑中处于空间不同部位的区域分工不同，并且处于不同区域的细胞对来自某一方面或特定的刺激信号的敏感程度也不同.根据这些特点，1981年芬兰的神经网络专家T.Kohonen教授[12]提出了自组织映射理论SOM是无导师神经网络使用最多的架构之一，其核心思想是神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式响应不同，整个过程自动完成[13].SOM神经网络结构见图1.它是一个双层前馈全连接网络，由输入层和输出层构成.输入层用于将外部信息送入网络；输出层又称为竞争层，一般组织成网格形式，是一个低维空间，竞争层神经元同它周围的其他神经元侧向连接，模拟了人脑中神经元之间的侧抑制功能.网络可以把任意高维的输入映射到低维空间，并且使得输入数据内部的某些相似性质表现为几何上邻近的特征映射，在输出层映射出二维离散图形，并且保持其拓扑结构不变.

2 神经网络与STDP学习规则

Spiking神经网络是 1997年W.Mass教授[14]在Neural Networks期刊上提出的一种网络.在该网络中信息通过脉冲神经元发放脉冲进行传递，这种处理信息的方式更接近生物神经系统信息处理机制，对信息处理表现出极大的灵活性和自适应性.Spiking神经网络采用精确的脉冲时间编码，与传统的基于脉冲频率编码相比，拥有更强的计算能力.

图1 SOM网络结构

图2 STDP学习规则原理

3 基于STDP的SOM脉冲神经网络

网络的训练过程可分为4个阶段，见图4.

图3 自组织脉冲神经网络结构

图4 SOM脉冲神经网络算法流程

第1阶段为数据预处理，即编码过程.在该过程中，待分类样本被编码成脉冲送入网络进行学习.本文将样本数据用脉冲发放的精确时间来表示.时间编码分为线性编码和非线性编码，本文使用线性编码[17]

(1)

其中：y(f)为编码后网络输入值；f为实际输入值；[a，b]代表脉冲发放时间域；[Min，Max]代表输入样本的数值域；range=Max-Min.

第2阶段为寻找获胜神经元.在SOM神经网络学习中，最重要的问题之一就是获胜神经元的选择.在传统的SOM神经网络中，通过比较与获胜神经元相连接的权值和输入样本的相似程度来决定获胜神经元，一般选用欧氏距离法，计算输出神经元权向量与训练样本的距离，权向量和输入向量最相近的神经元被认为对于输入向量反映最强烈，即为获胜神经元.向量X和Y之间的欧氏距离计算公式为

(2)

为了简化计算，解决根式运算计算量大的难点，本文使用欧氏距离的平方计算样本脉冲串和权值脉冲串之间的相似度，即

dij=‖txi-twij‖2.

(3)

其中：txi表示第i个输入样本脉冲串时间值；j表示输出层神经元序号；twij表示第i个输入样本与第j个神经元连接的权向量脉冲串时间值；dij表示它们之间的相似度.

第3阶段为权值调整阶段，即网络的训练阶段.当通过上一阶段找到获胜神经元时，与该神经元连接的权值朝着有利于它竞争的方向调整，同时对其周围较大范围内的几何连接点上的神经元表现出激励，对范围外的神经元表现出抑制.经过对输入模式的反复学习，网络中的权重向量空间与输入模式的概率分布趋于一致，达到分类的目的.在训练过程中，可以将权值调整的过程简单地理解为权值不断向输入向量靠近的过程，这与STDP学习过程类似，所以本文采用此种学习规则对网络进行改进.根据图2的STDP学习规则原理图，对权值进行调整为

(4)

其中：s代表权向量脉冲串发放时间和输入向量脉冲串发放时间之间的差别；A+和A-决定了权值调整的范围，经过多次比较，使网络性能能够达到最好，在本文中分别取值为0.007和-0.005；τ+和τ-是间常量，取值为10和20.

第4阶段为分类阶段，经过前3个阶段的循环训练，根据最后训练的权值，相似样本会被分到相同类别中.

4 实验结果

基于MATLAB仿真环境，利用上述基于STDP学习规则的SOM脉冲神经网络，对UCI机器学习数据库中Iris数据集进行仿真实验.

Iris数据集是聚类中常用的知名数据集，共150个样本，分为3个类，每一类代表一种类型的鸢尾花，每类各有50个样本，每个样本的维数为4，即包括花瓣长度、花瓣宽度、萼片长度和萼片宽度4个元素.150个样本在3个类中分布均匀.其中一类与另外两类线性可分，另外两类有部分重叠.根据Iris数据集的特征，得到网络的参数见表1.

表1 训练Iris数据集的网络参数

经过上述网络训练后，Iris的分类精度为93.33%.表2给出本文方法及其他几种传统聚类算法和脉冲聚类算法对该数据集分类精度的比较.

表2 非脉冲和脉冲算法对Iris数据集分类的精度

从表2中可以看出，脉冲神经网络算法要比K-means和SOM等算法的分类精度高，本文提出的基于STDP的SOM脉冲神经网络算法分类精度高于上述脉冲神经网络算法.

5 总结

将Spiking神经网络与STDP学习规则应用于自组织映射，构造一种新型的基于STDP学习规则的SOM脉冲神经网络模型，并将该模型应用到聚类问题中.该模型结合了SOM神经网络良好的聚类特性和Spiking神经网络的高效处理能力，将输入样本和权值用精确的脉冲发放时间进行编码，符合大脑处理信息的生物特性.基于STDP学习规则调整权值，不需要通过学习率的衰减控制收敛速度，缩短了网络训练时间.使用欧氏距离的平方计算权值与输入样本的相似度，简化了计算过程，便于硬件实现.通过仿真结果可以看出，聚类效果较好.

与其他神经网络相比，SOM神经网络的结构更接近于大脑处理信息时的实际结构，而脉冲神经网络则是现阶段生物神经学证明的最符合生物神经系统处理信息机制的神经网络，本文将二者结合起来，为生物神经系统的仿生实现提供了思路.

[1] KOHONEN T.Self-organizing maps [J].Springer，1995，30(4)：266-270.

[2] KASKI S.Data exploration using self-organizing maps [J].Acta Polytechnica Scandinavica Mathematics & Computing，1997，82(12)：580-588.

[3] VESANTO J，VESANTO J.Data exploration process based on the self-organizing map [J].Acta Polytechnica Scandinavica Mathematics & Computing，2002(115)：1-82.

[4] MEHTA M R，LEE A K，WILSON M A.Role of experience and oscillations in transforming a rate code into a temporal code [J].Nature，2002，417：741-746.

[5] BOHTE S M.The evidence for neural information processing with precise spike-times：a survey [J].Natural Computing，2004，3(2)：195-206.

[6] SERVICE R F.Minds of their own [J].Science，2014，346：182-183.

[7] SHEN J，DE M A，ZONGHUA G U，et al.Darwin：a neuromorphic hardware co-processor based on spiking neural networks [J].Science China Information Sciences，2016，59(2)：1-5.

[8] PHAM D T，PACKIANATHER M S，CHARLES E Y A.A self-organizing spiking neural network trained using delay adaptation [C]// IEEE International Symposium on Industrial Electronics，Vigo：IEEE，2007：3441-3446.

[9] MING L Y，THE C S，CHEN C J.A hybrid spiking neural network model for multivariate data classification and visualization [C]// Information Technology in Asia (CITA 11)，2011 7th International Conference on Kuching，Sarawak：IEEE，2011：1-6.

[10] YUSOB B，SHAMSUDDIN S M H，HAMED H N A.Spiking self-organizing maps for classification problem [J].Procedia Technology，2013，11(1)：57-64.

[11] RUMBELL T，DENHAM S L，WENNEKERS T.A spiking self-organizing map combining STDP，oscillations，and continuous learning [J].Neural Networks & Learning Systems IEEE Transactions on，2014，25(5)：894-907.

[12] BENGIO Y，DE MORI R，FLAMMIA G，et al.Neural network-gaussian mixture hybrid for speech recognition or density estimation [J].Advances in Neural Information Processing Systems Nips，1992：175-182.

[13] 张琳，王珊，秦晓瑜，等.基于听觉仿生模型的乐器识别 [J].东北师大学报(自然科学版)，2014，46(1)：75-79.

[14] MAAS W.Networks of spiking neurons：the third generation of neural network models [J].Transactions of the Society for Computer Simulation International，1997，10(9)：1659-1671.

[15] DAN Y，POO M M.Spike timing-dependent plasticity of neural circuits [J].Neuron，2004，44(1)：23-30.

[16] SONG S，MILLER K D，ABBOTT L F.Competitive hebbian learning through spike-timing-dependent synapticplasticity [J].Nature Neuroscience，2000，3(9)：919-926.

[17] BELATRECHE A，MAGUIRE L P，MCGINNITY M.Advances in design and application of spiking neural networks [J].Soft Computing，2007，11(3)：239-248.

[18] BOHTE S M，POUTRE H L，KOK J N.Unsupervised clustering with spiking neurons by sparse temporal coding and multilayer RBF networks [J].IEEE Transactions on Neural Networks，2000，13(2)：426-435.

[19] YOON S Y，LEE S Y.Training algorithm with incomplete data for feed-forward neural networks [J].Neural Processing Letters，1999，10(3)：171-179.

(责任编辑：石绍庆)

Animprovedself-organizingmapspikingneuralnetworksbasedonSTDPrule

WANG Lei1，WANG Lian-ming2

(1.School of Physics，Northeast Normal University，Changchun 130024，China； 2.Institute of Applied Electronics，Northeast Normal University，Changchun 130024，China)

The features that process signal self-organizing of cerebral cortex can be simulated by SOM neural network.Spiking neural network is a technical with best bionic performance at present，what has become one of the popular research in neural network field is that combine SOM with spiking neural network.Combined with efficient processing capabilities of spiking neural networks with SOM neural network，an improved SOM spiking neural network model based on STDP learning rule was constructed.First of all the accurate times of fired spikes were used to represent sample and weights in the network，which was in line with biological information processing mechanisms；secondly STDP learning rule was based on to adjust the weights without control convergence rate by decreasing the learning rate，which could shorten time of training network；finally the square of Euclidean distance was used to calculate the similarity of spike sequences between sample and weights，which can simplify the calculation compared with Euclidean distance method.Based on MATLAB simulation platform，the network model was used for cluster analysis of Iris dataset in UCI machine learning library，the clustering accuracy of 93.33% was gotten after training network.What was proved is that the current method has better performance compared with traditional SOM，K-means.

self-organizing map；spiking neural networks；STDP learning rule；clustering

1000-1832(2017)03-0052-05

10.16163/j.cnki.22-1123/n.2017.03.012

2016-03-23

国家自然科学基金资助项目(21227008)；吉林省科技发展计划项目(20130102028JC).

王蕾(1991—)，女，硕士研究生，主要从事神经网络应用研究；通信作者：王连明(1972—)，男，博士，教授，主要从事智能信息处理及嵌入式系统领域研究.

TP 391.1 [学科代码] 520·60

A