基于均值/方差分类的三维SOM初始化模式库算法



基于均值/方差分类的三维SOM初始化模式库算法

引文格式： 程福林，黎洪松.基于均值/方差分类的三维SOM初始化模式库算法[J].桂林电子科技大学学报，2016,36(1)：35-38.

程福林，黎洪松

(桂林电子科技大学 信息与通信学院，广西 桂林541004)

摘要：针对传统的初始化模式库算法存在模式矢量利用率低、与信源匹配程度不高的不足，提出一种基于均值/方差分类三维SOM初始化模式库算法。根据均值分类，将训练矢量集按照方差排序，以相同间隔抽取矢量组成初始化模式库。将算法运用到基于三维SOM算法的图像编码，结果表明，均值/方差分类初始化模式库算法无效模式矢量数量少、与信源匹配程度高，能有效地提高三维SOM算法的性能。

关键词：三维SOM；初始化模式库算法；图像模式识别；图像编码

自组织特征映射(self-organizing feature maps，简称SOM)算法[1]是Kohonen受人脑神经元的组织原理启发而提出的一种具有自组织特性的人工神经网络算法。该算法模拟了人脑神经系统对某一图形或某一频率特定兴奋特征，同时，考虑了人工实现的条件，在数据挖掘和图像模式识别等领域得到了深入的研究和应用[2-9]，是一种高效的数据聚类方法。SOM算法的核心是模式库设计，SOM网络通过感知大量的数据，对初始化模式库进行调整，进而得到最佳匹配的模式库。

基于模式识别的图像编码是近年来出现的一种新的图像编码方法。Li Hongsong等[10]提出了一种基于模式识别的图像编码方案，该方案利用SOM算法训练图像模式识别模式库，初始模式库采用随机法，实验表明，该编码方案的性能优于JPEG2000。初始化模式库算法是三维SOM算法的重要组成部分，文献[11]提出了一种基于最小距离的初始化模式库算法，该算法优于随机抽取法；张可可等[12]提出了一种基于方差分类的初始化模式库算法，并应用到基于三维邻域SOM算法的图像编码中；黎洪松等[13]在分析随机抽取法优缺点的基础上提出了分离平均法，是一种对随机抽取法的改进算法，在一定程度上提高了初始化模式库算法的性能。因此，提出一种基于均值/方差分类的三维SOM初始化模式库算法，并应用到基于模式识别的图像编码中。实验结果表明，该算法提升了三维SOM算法初始化模式库的性能。

1三维SOM算法

1.1三维SOM算法原理

SOM网络采用输入层和映射层的双层网络结构，输入层用于感知输入模式，每个输入神经元通过权值与每个映射层神经元连接。映射层的神经元互相连接，用于输出结果。传统SOM网络采用一维输入层和二维映射层，能有效处理一维和二维信号，但不能直接处理三维图像、三维信号。三维SOM算法能将二维输入映射为三维输出，实现了三维信号的非线性映射，较好地解决了上述问题。三维SOM算法的网络结构如图1所示，将映射层神经元排列成三维立体结构，三维立体结构的行数、列数和层数可取不同的值，不同排列的三维结构在一定程度上影响算法的性能。三维邻域形状有不同的选择，通常选取球形邻域、正方形邻域或正交十字邻域。选取不同的三维邻域形状时，算法的性能也有差异。SOM网络与普通的竞争网络一样，对于每个输入模式，在映射层都有相应的获胜节点，获胜节点代表最相似的模式，该节点及其三维邻域范围内的所有节点均按一定规则调整自身的权值。与邻域为二维平面结构相比，邻域为三维立体结构时，在相等邻域半径内的节点数量增多，节点被调整的机会增加，更有利于得到最佳匹配的模式库。

图1　三维SOM算法的网络结构Fig.1　The network structure of 3D SOM algorithm

1.2三维SOM算法模式库训练步骤

初始化模式库采用均值/方差分类法时，模式库训练步骤如下：

1)设定SOM网络大小为(N,M)，其中N、M分别为模式库的大小、模式库中模式矢量的大小。

3)将初始化邻域设定为Nj(0),j=0,1,…,N-1。

4)向SOM网络输入一个新的步骤2)中获得的训练矢量X=(x1,x2,…,xM)T。

5)将失真准则设定为均方误差准则，均方误差dj(t)=‖X(t)-Wj(t)‖2，分别计算该训练矢量与模式库中各模式矢量的失真dj，并选择获胜模式矢量j*为具有最小失真的模式矢量。

6)按式(1)调整获胜模式矢量j*及其三维邻域Nj*(t)范围内的模式矢量，

(1)

其中：Nj*(t)为邻域函数，通常选用单调递减函数Nj*(t)=A0+A1e-t/T1，A0、A1分别为获胜模式矢量j*的最小邻域和最大邻域，T1为邻域衰减常数，在训练的初始阶段，邻域半径较大，随着训练矢量的增大，网络逐渐趋于稳定，只需对获胜节点进行较细微的权值调整，因而邻域半径不断缩小；α(t)为学习速度函数，它反映了模式矢量调整的幅度大小，一般选用单调递减函数α(t)=A2e-t/T2，A2为训练开始时的最大学习速度，T2为学习衰减常数。

7)返回步骤4)，直到训练完所有的训练矢量。

2传统的初始化模式库算法

三维SOM算法初始化模式库对最佳匹配模式库的设计影响很大，常用的三维SOM初始化模式库算法为随机抽取法和分离平均法。

2.1随机抽取法

随机抽取法是从训练矢量中随机选取矢量组成初始化模式库，通常训练矢量的数量远大于初始模式的数量。随机抽取法的优点是计算简单，复杂度低，缺点是模式矢量的选择没有针对性，模式矢量利用率低。

2.2分离平均法

分离平均法[13]的基本思想：将训练矢量集分成N段，每段长度为p=L/N，L为训练矢量数，N为模式库大小，在每段上取平均，得到的p个模式矢量即为初始化模式库：

其中j=0,1,…,N-1。分离平均法是随机抽取法的一种改进算法，其初始化模式库性能优于随机抽取法，但性能提高有限。

3均值/方差分类的初始模式库算法

设计三维SOM算法初始化模式库的基本思想是将相似的模式放在一起，均值相近的训练矢量有可能构成相似的模式。在均值相差不大的情况下，方差小的训练矢量中元素的值变化小，方差大的训练矢量中元素的值变化大，这时，方差大小相近的训练矢量也有可能构成相似的模式。本研究提出了一种基于均值/方差分类的初始化模式库算法，其基本思想为：根据训练矢量的均值大小将训练矢量分类，然后在每一类中根据方差大小排序，再从中抽取模式矢量。具体步骤如下：

1)计算训练矢量集{X(t),t=0,1,…,L-1}中各矢量的均值。

2)将得到的均值按从小到大的顺序排序，根据均值的顺序相应地调整训练矢量集中各矢量的排列位置，并将调整后的训练矢量集平均分为4个部分，即得到均值依次增加的4类：{X1(t)}、{X2(t)}、{X3(t)}、{X4(t)}，其中t=0,1,…，(L-1)/4。

利用基于均值/方差分类的方法选取模式矢量与其他方法相比，具有很强的针对性，与信源的匹配程度更高，从而能减少无效模式矢量的数目，提高模式库的性能。

4实验结果

实验图像选择分辨率为512×512×8bit的标准亮度测试图像Lena，用于模式库训练和图像编码。重建图像品质的客观评价采用峰值信噪比

其中EMS为原始图像与重建图像之间的均方误差。图像压缩比

CR=MBO/BC。

其中：M为模式矢量的维数；BO为原始图像的每像素比特数；BC为模式矢量地址比特数。实验得到的所有数据是在不断调整最小邻域、最大邻域、学习衰减常数、邻域衰减常数和三维网络结构等实验参数后获得的。

实验分别用基于训练矢量集随机抽取法、分离平均法和均值/方差分类法初始化模式库的三维SOM算法设计图像模式识别模式库，并通过编码后重建图像的质量来比较这几种初始化模式库算法的性能，其中训练矢量数为40 960。表1为模式库取不同大小时，3种初始化模式库算法重建图像的PSNR对比。从表1可看出，当模式库较小时，基于均值/方差分类的三维SOM算法性能提高不明显，但当模式库较大时，基于均值/方差分类的三维SOM算法性能明显提高。模式库大小为1024(压缩比CR=(64×8)/10=51.2)时，基于均值/方差分类的三维SOM算法重建图像的PSNR比随机抽取法和分离平均法分别提高了0.26dB和0.21dB。模式库大小为2048(压缩比CR=(64×8)/11=46.5)时，分别提高了0.51dB和0.55dB。

表1　重建图像的PSNR

图2　3种初始化模式库算法的重建图像Fig.2　The reconstructed images of three initial pattern library algorithms

图2为模式库大小为2048时，3种不同的初始化模式库算法得到的重建图像与原始图像的对比。从图2可看出，基于均值/方差分类的初始化模式库获得的重建图像优于其他2种初始化模式库获得的重建图像主观品质。

5结束语

从一个新的角度提出一种基于均值/方差分类的三维SOM初始化模式库算法，该算法具有模式矢量利用率高和模式库性能好的优点。下一步工作是将该算法应用于基于图像模式识别的三维立体视频编码等领域，进一步优化获得更好的性能。

参考文献:

[1]KOHONENT.Anintroductiontoneuralcomputing[J].NeuralNetworks,1988,1(1):3-16.

[2]ORTIZA,GORRIZJM,RAMIREZJ,etal.ImprovingMRbrainimagesegmentationusingself-organisingmapsandentropy-gradientclustering[J].InformationSciences,2014,262:117-136.

[3]LIANYuanfen,WUFalin.Three-dimensionalprobabilisticneuralnetworkusingforMRimagesegmentation[C]//2011 10thInternationalConferenceonIEEEElectronicMeasurementandInstruments,2011,3:127-131.

[4]PARISIGI,WERMTERS.HierarchicalSOM-baseddetectionofnovelbehaviorfor3Dhumantracking[C]//The2013InternationalJointConferenceonIEEENeuralNetworks,2013:1-8.

[5]KOHONENT.Essentialsoftheself-organizingmap[J].NeuralNetworks,2013,37:52-65.

[6]WIJAYASEKARAD,LINDAO,MANICM.CAVE-SOM:immersivevisualdataminingusing3Dself-organizingmaps[C]//The2011InternationalJointConferenceonIEEENeuralNetworks,2011:2471-2478.

[7]SCHMIDTA,HANSONC,KATHILANKALJ,etal.ClassificationandassessmentofturbulentfluxesaboveecosystemsinNorth-Americawithself-organizingfeaturemapnetworks[J].AgriculturalandForestMeteorology,2011,151(4):508-520.

[8]WIRTHH,LöFFLERM,VONBERGENM,etal.Expressioncartographyofhumantissuesusingselforganizingmaps[J].BMCbioinformatics,2011,12(1):306.

[9]黎洪松，王艳华.一种高效处理三维信号的自组织映射算法[J].桂林电子科技大学学报，2014,34(2):120-125.

[10]LIHongsong,LIDa.Anewimagecodingschemebaseduponimagepatternrecognition[C]//2010IEEEInternationalConferenceonIntelligentComputingandIntelligentSystems,2010:172-174.

[11]LIHongsong,XUBaohua.Anewinitialcodebookalgorithmforlearningvectorquantization[C]//2007InternationalConferenceonIEEECommunications,2007: 2610-2613.

[12]张可可,赵志文,徐崇斌,等.基于方差分类初始化码书的三维邻域SOM算法[J].北京师范大学学报(自然科学版),2011,47(4):378-381.

[13]黎洪松，刘洪伟.新的学习矢量量化初始码书算法[J].北京邮电大学学报,2006,29(4):33-35.

编辑：梁王欢

An initial pattern library algorithm based on mean/variance

classification for 3D SOM

CHENG Fulin, LI Hongsong

(School of Information and Communication Engineering, Guilin University of Electronic Technology, Guilin 541004, China)

Abstract：The pattern vector utilization and source matching degree is low for the traditional initial pattern library algorithm, so a new initial pattern library algorithm based on mean/variance classification for 3D SOM is proposed. The training vectors are sorted by mean value, then the training vectors in each part are sorted by variance and initial pattern library is chosen in pattern vectors at the same intervals. Experimental results show that the initial pattern library algorithm based on mean/variance classification has less invalid pattern vectors and high source matching degree. It is an effective way to improve the performance of 3D SOM algorithm.

Key words：three-dimensional self-organizing feature maps; initial pattern library algorithm; image pattern recognition; image coding

中图分类号：TP183

文献标志码：A

文章编号：1673-808X(2016)01-0035-04

通信作者：黎洪松(1963-)，男，湖北监利人，教授，博士，研究方向为智能信息检测、处理和控制。E-mail:hongsongli@guet.edu.cn

基金项目：国家自然科学基金(61261035)；桂林电子科技大学研究生教育创新计划(GDYCSZ201451)

收稿日期：2015-06-25