视知觉学习的自组织机制研究

陈家伟, 陈六君, 刘 艳

(北京师范大学管理学院,北京 100875)

知觉具有学习的特征,大脑感知外部世界的策略总是随着经验的增加而变化,汉字的知觉过程也体现了这个特点.汉语的初级学习者最常使用的学习方式是整体字形策略[1],例如,把“商”字看成一张悲伤的脸.这种方式可以帮助学习者记忆汉字,但也是使得他们在写汉字时常出现缺少笔画的原因之一.对中高级汉字学习者的研究表明,汉字的部件和位置信息在高年级留学生的汉字知觉过程中起到了重要作用[2],学习者已经能够对汉字做出拆解并对部件在汉字中的位置有一定敏感性.而母语为汉语的有经验学习者,能很快地抽取汉字的各个组成部分,而不是把整个汉字作为一个整体来知觉.例如,在测试对汉字反应时的实验中,当给学习者看过汉字“怕”以后,分别测试对汉字“白”、“百”、“黑”的反应时,结果“白”的反应时间明显少于其他两个字,这也说明了学习者在对汉字的知觉中具有快速拆解能力.

可见对汉字来说,有两种基本的知觉方式,即整字加工和部件分解,而部件分解方式具有更高的效率,通过训练,学习者的知觉策略会由整字加工方式向部件分解方式转化.知觉模型的模拟结果也表明[3],大脑中可能存在局部到整体和整体到局部两种知觉模式,局部到整体的知觉效率更高,这与行为实验的结果是一致的,但知觉模型不能实现行为实验中观察到的知觉模式的转变.由知觉模型可知,知觉模式在神经系统中体现为不同的权重分布方式,知觉模式的转变就体现为权重分布方式的变化.作者认为权重分布方式的转变过程是一个自组织过程,即通过神经元之间局部的相互作用从而形成整体上权重分布状态的改变,本文将讨论这个过程发生的神经动力学机制.

实际上,讨论大脑自组织机制的模型在20世纪80年代初就有了,1982年Kohonen提出的自组织映射(self-organizing map,SOM)神经网络模型就是其中一个成功案例[4],该模型能够比较好地模拟大脑中发生的一些自组织过程.Erwin等的研究表明,SOM模型可以解释猕猴初级视觉皮层形成的过程[5].邢红兵等用SOM模型模拟小学生对形声字命名过程中的一致性和规则性,得到了和行为实验一致的结果[6].本文以知觉模型为基础,加入局部的侧向相互作用机制,建立能反映汉字知觉学习过程权重演化的神经网络模型,通过对多个汉字样本的学习,权重整体的分布发生变化,实现汉字整体知觉向局部知觉的转变.

1 模 型

1.1 模型结构

在Edelman统计学习模型[7]和Chen知觉模型[3]的基础上建立知觉学习模型.模型分3层,输入层X、中间层Y和输出层Z,如图1所示.输入层和输出层都是由40×40的神经元点阵组成,中间层由4个40×40的感受野Ri组成.输入层神经元Xmn分别连接中间层4个感受野Ri的对应神经元Yi,m n,连接权重分别为ui,mn;中间层的4个神经元Yi,mn再共同输入到输出层神经元Zmn,连接权重分别为vi,mn.其中,下标i=1,2,3,4;m,n=1,2,…,40,分别表示感受野的编号和神经元的位置.

图1 知觉学习模型结构示意图Fig.1 Network structure of perceptual learning model

不同感受野之间的神经元存在竞争关系,当输入Xmn不为0时,Yi,m n只能有一个激活;同一个感受野内的神经元之间存在着合作关系,合作方式采用侧向相互作用机制,被激活神经元对近邻的神经元有兴奋性刺激.

1.2 输入层到中间层的权重调整

中间层加入侧向相互作用,使得输入层到中间层的权重矩阵U发生变化的因素变为了两个:一个是来自输入层的输入;另一个是来自同一层神经元之间的相互作用.两者引起的变化之和为总的权重变化.

对于外部输入引起的权重矩阵U的调整,参照Edelman使用的伪Hebb学习法进行[7],方程为

式中,t为时间;θ为感受野的阈值,具有历史相关的特性;h为历史长度;c为感受野的净输入;Y为感受野的输出;u为连接权重;η为网络训练时的学习效率;下标i表示感受野的编号;mn表示神经元在感受野中的位置;e为外部输入导致的权重变化.

感受野之间的竞争与合作仿照Kohonen使用的侧向相互作用[4],分为前期的竞争过程和后期的合作过程.对于输入层的任意神经元与它连接的中间层神经元为权重分别为当外界输入不等于0时,则第c个感受野的神经元获胜,如果xmnuc,mn≥xmnui,mn,对∀i成立,这是竞争过程.获胜神经元影响它邻域内的神经元,使得这些神经元和输入层之间的权重增加,这是合作过程.邻域半径设为Nc,mn(t),其大小随时间变化.

式中,S为感受野的大小,取值为40;β(t)为确定邻域范围大小的系数.

侧向相互作用的大小由该神经元到获胜神经元之间的距离决定,这里采用高斯分布的形式描写这种相互作用的大小,即当为获胜神经元时,获得的权重变化

总的权重变化为输入层和中间层引起的权重变化之和,即

再考虑权重矩阵U的归一化可得

中间层神经元的输出为

1.3 中间层到输出层的权重调整

采用感知机整合方式调整中间层到输出层的权重,每一次训练过程经过计算输出、调整权重和归一化3个阶段,方程为

式中,vmn为中间层,为中间层的输出,为输出层的输出;ξ为学习效率; ρ为输出层神经元的阈值.

2 模拟结果

2.1 初始状态

知觉学习模型模拟知觉模式改变的过程,假定初始时刻权重矩阵U的分布为代表整体到局部知觉模式的随机分布,即再进一步归一化,即结果如图2所示.

图2 输入层到中间层的初始权重是归一化了的随机分布Fig.2 Initial weights from input layer to middle layer is assumed as normalized random distribution

2.2 单个汉字的训练

首先采用单个汉字“打”对模型进行训练,考察权重分布的演化过程.选择上文中的参数分别为θi(0)=50,η=0.5,h=5,k=0.1,α=0.2,ρ=0. 3,ξ=0.5,β=0.1.权重矩阵U以及中间层和输出层的输出随时间的演化结果如图3所示.

图3 使用单个汉字训练网络时权重和输出随时间的演化Fig.3 One Chinese character is used to train the model, and the weights and outputs are displayed

学习的开始阶段,中间层每个感受野的输出以汉字的基本轮廓为主,随着训练的进一步进行,各感受野逐渐转向对输入的某一部分敏感,从而获取更多的细节,这种学习方式的转变能带来效率的提高,有利于输出层更快地重现样本,实际上,6次训练就已经能比较完整地重现输入了,9次训练能够完成对样本的再现.

2.3 多个汉字的训练

使用具有相同特征的多个汉字训练网络,不仅能够发生知觉模式转变,而且能够获得汉字的局部特征.本文选取如图4(a)所示的10个左右结构的汉字,每一次随机抽取其中1个汉字训练网络,参数选取与训练单个汉字时相同,只是邻域范围增为β(t)=0.35.训练40次后得到权重U的演化结果如图4(c)所示.训练过程中的两次输出结果如图4(b)所示.

图4 用相同结构的汉字训练网络能抽取汉字的局部特征Fig.4 A group of Chinese characters with the same structure are used to train the network, and the local feature can be extracted

用多个汉字对模型训练也能够实现感受野权重的重新分布,即从初始的随机分布状态转变到最终的块状分布状态,从而使得各感受野最终只对输入的某一部分敏感,实现了从整体知觉到局部知觉的转变.用特定结构的汉字训练模型,还能实现对汉字进行有意义的拆解,从而提取出局部特征——偏旁部首.

2.4 对神经连接受损时的模拟

某些脑区的神经连接受到损伤将会影响其功能的实现,本文研究知觉学习过程中神经连接损伤对权重U的最终分布状态的改变.采用与2.2条完全相同的参数和初始条件,只是假设β(t)=0.35-t(0.35-0.1)/40,当学习到第10次的时候,假设神经系统受到损伤,即当t=11时,u4,mn=0,对任意(m,n)成立.再继续学习30次,得到权重分布结果为图5所示.

图5 训练过程中神经连接受损时的权重演化过程Fig.5 Weight evolves with time before and after the damage of neural connections

第10次的结果和第40次时的结果相比,只是R2和R1的敏感范围扩大,占据了R4敏感的区域,而其他感受野的权重变化较小,没有引起全局性的重新分布.这说明在学习过程中,当有神经连接损伤,损伤部分所敏感的区域会被对该区域周围敏感的感受野代替,从而保证知觉过程能够完成.躯体感觉皮层也存在类似的情况,Merzenich在20世纪80年代所做的枭猴躯体感觉实验也发现了类似现象[8].

3 结束语

在Hebb学习法和侧向相互作用的基础上,建立了具有分解和整合功能的视知觉学习模型.在代表整体知觉模式的初始条件下,使用不同样本集对模型进行训练,权重均发生了分布状态的改变,即由随机分布向块状分布转变,权重分布方式的转变代表了整体知觉模式向局部知觉模式的转变,从模拟的角度实现了学习者对汉字知觉模式的转变.使用相同结构的汉字训练模型,模型还能够抽取汉字的局部特征——偏旁部首.在神经元受损的情况下,模型的结果与枭猴躯体感觉皮层损伤时发生的结果一致.

输入层到中间层权重分布模式的转变过程是自组织过程.模型中虽然只设定了局部的权重调整规则,却能够在整体上实现权重的有序块状分布,从而实现了对输入局部到整体的知觉,有着明显的自组织特性.神经元之间的侧向相互作用是自组织过程发生的核心机制,由此可以猜想,侧向相互作用可能是大脑皮层可塑性的重要机制,是神经细胞产生特异性选择的重要原因之一.

[1] 江新,赵果.初级阶段外国留学生汉字学习策略的调查研究[J].语言教学与研究,2001(4):10-17.

[2] 冯丽萍,卢华岩,徐彩华.部件位置信息在留学生汉字加工中的作用[J].语言教学与研究,2005(3):66-72.

[3] CHEN Jiawei,LIU Yan,CHEN Qinghua,et al.A neural network model for Chinese character perception [C]//Proceedings of the 5th International Conference on Natural Computation(ICNC'09),2009,319-323.

[4] KOHONEN T.The Self-Organizing Map[M].2nd ed. Berlin,Heidelberg:Springer-Verlag,1997.

[5] ERWIN E,OBERMAYER K,SCHULTEN K.Models of orientation and ocular dominance columns in the visual cortex:a critical comparison[J].Neural Computation,1995(7):425-468.

[6] XING Hongbin,SHU Hua,LI Ping.The acquisition of Chinese characters:Corpus analyses and connectionist simulations[J].Journal of Cognitive Science,2004,5: 1-49.

[7] EDELMAN S,INT RA TOR N,JACOBSON J S.Unsupervised learning of visualstructure[C]//Proceedings of the 2nd International Workshop Onbiologically Motivated Computer Vision,2002(2525):629-643.

[8] M ERZENICH M M,NELSON R J,ST RYKER M P, et al.Somatosensory cortical map changes following digitamputation in adult monkeys[J].Journal of Comparative Neurology,1984(224):591-605.