句子理解中的语义加工回路
——研究热点与未来的展望

2012-04-09 13:42王穗苹
关键词:颞叶研究者语义

王穗苹, 黄 健

(华南师范大学 心理学院/心理应用研究中心,广东 广州 510631)

在人类心智发展中,语言理解是一项十分重要的能力,人类通过对抽象的形状符号的加工实现人与人之间的交流,以及古代与现代的交流。虽然语言理解表面上看起来似乎是一项相当简单的技能,其过程和机制却十分复杂,自从19世纪Broca和Wernicke失语症患者被发现以来,对人类语言加工大脑机制的探索就从未停止过。然而,由于技术手段不足,直到20世纪末,随着以事件相关电位、功能磁共振为代表的脑功能成像技术的成熟应用,对正常人语言大脑机制的研究才蓬勃开展起来,而关于阅读理解大脑机制的研究更是取得了长足的进步(Hagoort, 2008)[1]。

研究者普遍同意,阅读理解的根本目的是获得意义的联贯性表征,具体来说,不仅包括单纯的字词意义识别,还包括对按一定规则进行的词汇排列(如短语和句子)所想表达的丰富意图、思想、情感和情绪进行理解。意义的单元从小到大可直观地分为字、词、短语、句子、语段几个层面,其中,句子作为联贯性意义表征的最小载体,其理解过程可以最集中地反映人类语言加工的本质机制,因而受到研究者的高度重视。本文将首先对这一领域比较重要的理论和研究进行回顾,在此基础上讨论目前研究的热点问题,并对未来这一研究领域的发展趋势进行展望。

一、语义加工回路的重要理论

在句子理解的加工过程中,小的信息块除了得到加工、获得意义之外,信息之间还将通过整合而形成更大的、意义更完整的意义单元。语义信息的提取和整合的机制如何,它对应的大脑机制又有什么样的模式和特点?这是语言理解研究的基本问题和核心问题。从认知神经科学的角度来看,对这些问题可以具体化到“when”(何时)与“where”(何处)两个问题上。when关注的是提取和整合的时间进程如何,where关注的是这些过程发生在哪里,两方面探讨的结合才能形成对语义加工回路的完整认识。

在语义加工的时间进程方面,高时间分辨率的技术,例如ERP的研究发现N400是一个经典的跟语义加工有关的成分(Kutas, Federmeier, 2011)[2],这一负走向的成分从词汇呈现之后250ms左右出现,400ms左右到达峰值。研究者们发现,无论是词汇的语义通达(Kutas, Federmeier, 2000; Lau, Phillips, Poeppel, 2008)[3-4],还是语义之间的整合机制(Brown, Hagoort, 1993; Friederici, 2002; Hagoort, Baggio, Willems, 2009)[5-7],主要都反映在N400左右的时间窗内。

而在语义加工大脑功能定位的研究中,研究者们较为一致地发现词汇的语义信息通达和提取与左侧颞中回后部密切相关(Hickok, Poeppel, 2007; Lau, Phillips, Poeppel, 2008; Hagoort, Baggio, Willems, 2009)[8][4][7]。至于通达之后的语义整合加工,研究者们发现它跟左侧额下回,尤其是左侧额下回的前部密切相关(Hagoort, Baggio, Willems, 2009; 朱祖德, 王穗苹,冯刚毅等,2010)[7][9]。

在相关研究的基础上, Hagoort(2005)[10]提出了一个较具影响力的MUC(memory, unification and control)模型,用以解释语义加工的大脑加工机制。他认为词汇的语义通达发生在颞叶的广大区域,尤其集中在左侧颞中回后部,而词汇语义信息激活之后将会进入左侧额下回、尤其是该区域前部进行整合加工,这一整合加工就发生在N400的时间窗内。

MUC模型为这一领域的研究提供了一个重要的框架,也引发了后继对语义加工回路的一些争论,这些争论尤其集中在左侧额下回在语义加工中所起的作用这一问题上。例如,BAIS (Bilateral activation, integration and selection) 模型(Jung-Beeman, 2005)[11]同意双侧的颞叶,尤其是Wernicke区是负责词汇语义信息的激活,但认为语义整合加工是发生在颞叶前部而非左侧额下回,左侧额下回的功能其实只是负责语义信息的选择和抑制。而另一个模型——N400产生源模型(Lau, Phillips, Poeppel, 2008)[4]与BIAS理论较为相似,它同样认为颞中回后部负责提取语义信息,但语义信息的整合加工是发生在颞叶前部和角回,而左侧额下回的功能是一般化的认知加工,其中左侧额下回的前部负责控制性地提取词汇语义信息,后部则负责对合适的语义信息进行选择。

二、当前研究的热点问题

随着对这一领域广泛而深入的探讨,研究者们发现语义加工不论在发生的具体时间进程及功能定位问题上都表现得比想象的更为复杂,以下从时间进程、大脑功能定位以及不同脑区的交互等几方面,对当前研究的热点问题进行梳理和总结。

(一)N400时间窗内外的语义加工进程

在语义加工的时间进程方面,由于N400这一语义加工标志性指标的发现,近二十年的语义加工理论普遍在N400的框架下开展。然而,近期来自不同研究技术所获得的辐合性证据越来越多地表明,语义的通达和提取可能是一个始于更早时间窗,并且持续时间更长的动态过程。

大量行为学和眼动的研究均发现,语义信息的通达和整合表现得非常迅速,在N400的潜伏期250ms之前甚至就可以完成(Marslen-Wilson, Tyler, 1975; Marslen-Wilson, 1987; Rayner, 1998; Sereno, Rayner, 2003)[12-15]。最近一些研究者采用更加侧重于自动化加工的实验技术,例如odd-ball设计,使用ERP技术,尝试探讨自动化语义通达和语义整合加工(Shtyrov, Pulvermüller, 2007)[16]的进程,结果发现,上述过程同样出现在N400之前。尽管如此,语义变量所导致的效应在常规的ERP的研究中,却极少在早期的脑电成分例如N1、P2上显现出现。一些研究者认为,这或许是在大多数语言理解的ERP研究中,为更好地提高研究的生态效度,研究者往往会从更大的范围内来选取关键词汇的物理变量,例如词长(类似中文的笔划数)、词频等,这些物理变量的差异有可能加大项目之间脑电信号的变异,使波峰非常狭窄的N1和P2等早期成分受到干扰,而无法敏感地反映出语义变量本身所造成的效应(Penolazzi, Hauk, Pulvermuller, 2007)[17]。

除了N400之外,与语言加工密切相关的ERP成分还包括晚期正波,这一成分先前通常被认为反映了句法加工(Hagoort, Brown, Groothusen, 1993; Osterhout, Holcomb, 1992)[18-19],然而近年越来越多的研究发现,操纵纯粹的语义变量常常也可以检测到晚期成分的变化(Bornkessel-Schlesewskya, Schlesewsky, 2008; Kuperberg, 2007)[20-21]。例如,研究者发现,语义上生命性的违背(Kuperberg, Sitnikova, Caplan, et al., 2003)[22],动词与题元之间的语义违背(Kim, Osterhout, 2005)[23],主宾反转等(Kolk, Chwilla, van Herten, et al., 2003)[24],甚至仅仅只是目标词不符合句子的语境(Federmeier, Kutas, 1999; Federmeier, Wlotko, De Ochoa-Dewald, et al., 2007; Delong, Urbach, Groppe, et al., 2011;Van Petten, Luka, 2012)[25-28],都可以观察到晚期正波的出现。因此,晚期正波的实质到底是什么,目前研究者仍有争论。事实上,由于相同的成分不但在语义和句法加工中出现,同时在非语言加工任务,如数字规则违背(Nunez-Penz, Honrubia-Serrano, 2004)[29]、音乐规则违背(Patel, Gibson, Ratner, et al., 1998)[30]的检测中也可以发现,因此,这一晚期正成分也有可能是由领域普遍性的、由冲突而导致的一般认知控制加工所引发,反映着个体在语言理解中冲突的检测和解决,以及对特定语义加工任务的执行(Kolk, Cwilla, 2007; van de Meerendonk, Kolk, Chwilla, et al., 2009; Ye, Zhou, 2009)[31-33]。

总体来说,在语义加工的时间进程方面,传统的以N400为框架的语义加工模型似乎需要拓展,研究者不仅需要考虑早期的语义加工在模型中的重要作用,还要考虑晚期认知控制系统在语义加工过程中的参与、及其与语义加工可能的相互作用,这样才能更全面地了解语义加工的动态过程。

(二)颞叶与额叶在语义整合中的作用

在语义加工大脑功能定位的研究中,较为一致的发现是词汇的语义信息通达、提取与左侧颞中回后部密切相关。然而通达之后的语义整合加工在何处进行,在这一问题上,经典的MUC模型主要强调额叶的参与,它把左侧额下回作为一个核心的整合区,认为词汇信息在左侧颞中回后部大脑区域激活后,将进入左侧额下回进行整合加工。的确,以往相关的fMRI文献中有90%以上均报告了这一区域的激活,MCU模型把这一区域作为语义整合的核心区。

然而,除了上述提到的左侧颞中回与左侧额下回,另一个时有报告的相关区域是左侧颞叶前部(LATL)。虽然这一区域在过去句子的fMRI研究中较少报告,目前却受到研究者越来越多的重视,甚至有研究者把它摆到了语义整合加工的核心地位(Lau, Phillips, Poeppel, 2008)[4]。一些研究者认为,颞叶前部是作为一个非模块化的功能而存在的,它负责整合概念中的各种特征属性,以便更好地组织我们的语义系统(参见 Patterson, Nestor, Rogers, 2007提出的distributed-plus-hub view)[34]。支持这种观点的证据来自语音加工的一些研究,这些研究发现这一部位作为语言加工腹侧通路的一个重要终端,可能与整合有一定的关系,在语音加工中负责整合音素而获得整体语音的信息(Hickok, Poeppel, 2007)[8]。然而,目前关于颞叶前部在联贯性语言理解中的作用尚不明确。假如左侧颞叶前部的主要功能真的与语义整合有关,一个重要的问题就是,它的功能与额下回的整合功能有何区别?

如果把发现左侧颞叶前部激活的文献与那些发现左侧额下回激活的文献进行比较,可以看出,从所加工的语义特征来看,在短语/句子层面的研究中,报告颞叶前部出现激活的研究,多数是在对比语义合理句与位置被随机打乱的词串、或者正常句与休息状态时发现的。而将语义违背句与正常句进行对比的研究,则基本上发现的都是左侧额下回的激活(朱祖德,王穗苹,冯刚毅等,2011)[9]。因此,颞叶前部的激活与语义正常句的加工关系可能更为密切,而左侧额下回的激活可能与加工语义被破坏而形成违背的句子有关。正常句与违背句中语义整合性质的本质区别到底是什么?对这一问题的深入思考,将有助于认识颞叶前部在语义整合中的独特作用。

综合以往的文献,两者的差异至少表现在以下几个方面:

首先,正常句与违背句中语义整合的时间进程可能有所不同。正常句的语义整合加工通常可以进行得十分迅速与自动化,因此,应该在较早的时间窗观察得到。而违背句中由于语义信息被破坏,这种整合可能需要更多的注意加工资源参与来完成,这就可能导致相关区域的激活出现得较晚。确实,相应的文献表明,颞叶前部的激活出现的时间似乎相当早,MEG的研究发现,当采用合理的短语跟假词短语进行对比,左侧颞叶前部会在很早的时间内出现持续时间很短的激活,约发生在184至255ms这短短的70ms左右(Bemis, Pylkkanen, 2011)[35]。相比之下,ERP和fMRI结合的研究表明,违背句子跟正常句子的对比可以观察到左侧额下回出现激活,但这一区域激活的时间发生在N400时窗内(Hagoort, Hald, Bastiaansen,et al., 2004)[36]。这些证据似乎表明这两个区域虽然都与语义整合加工相关,但是它们可能存在着不同的语义整合机制。其中,颞叶前部所负责的语义整合在早期的时窗内出现并且持续时间短,很可能反映一种自动化的整合加工。而左侧额下回负责的语义整合似乎出现得更晚,持续时间更长,需要更多意识的参与,可能与控制性的加工过程有关。

其次,从整合的内容来看,正常句与违背句也有所区别。Hagoort等人(2009)[7]对整合加工进行了分类,根据整合信息的新旧,他们认为可以将整合加工分成两种不同的类型。一类整合最终形成的信息块对语言加工者来说非常熟悉,这种知识块已经储存于长时记忆中,因此整合这种信息可以很快地实现。而另外一种整合形成的信息块要么是陌生的,要么是意义不合理的,因此需要花费更长的时间,需要更多的资源来进行。根据这种分类,结合上述对左侧颞叶前部与左侧额下回相关文献的分析,似乎可以推论,颞叶前部所负责的语义整合通常在合理句中出现,很可能与熟悉信息块的整合有关,而左侧额下回所负责的整合加工常在违背句中出现,很可能与陌生信息块的整合关系更为密切。

最后,正常句和违背句的语义整合,不仅在整合过程和内容上有所不同,在结果上也不一样。一般的正常句整合所需的努力小,最终却可以建立起相当联贯的语义表征,而违背句的加工,虽然读者在自然阅读理解中会努力去整合和建构文本的意义,但词汇与语境或常识的违背最终却导致读者无法形成一个正常、合理的表征。由于先前的研究发现颞叶的激活通常出现在正常句的研究中,因此,存在的一种可能是,整合的过程与整合的存储反映在大脑不同的区域上,颞叶前部的功能只是一种联贯性表征的动态存储。也就是说,只有在当前加工的信息整体联贯而有意义时,这个区域的加工才会参与。相比之下,整合的努力和加工的过程是由另外的区域,如额下回来进行的。

上述这些分析,在一定程度上反映出语义整合这一概念的界定仍然需要进一步精细化,事实上,不同的加工内容可能产生不同的整合进程和结果,只有精细而系统化对整合过程进行多维度的探索,才有望获得更加清晰的结论。

(三)语义加工各相关区域的联结与交互

语言理解是一个系统而复杂的过程,需要大脑多个区域的协同参与才能得以完成。目前已有越来越多的证据支持,即便是负责简单视觉加工的初级视觉皮层,在运作时也需要通过系统内部的各子区域交互活动来实现。高级的语言加工更加需要高级联合区域间的交互才能实现,单个区域无法独自完成。一方面,从信息加工的角度来看,语言信息的加工需要经历“输入—加工—输出”的一系列过程,这个过程需要经历多个在结构或功能上相互联结的大脑区域,最终才能实现语言理解或生成这样复杂的功能。另一方面,从脑功能定位研究来看,虽然目前已发现与语言加工相关的大脑区域包括额下皮层、颞上回、颞中回和顶叶等大范围区域,这些区域构成了语言网络的主要组成部分(Vigneau, Beaucousin,et al., 2006)[37],但一系列研究也表明,语言加工并不仅仅依赖于大脑皮质区域的参与,还需要连接它们的白质纤维束,才能使大量的信息在区域间进行快速传递(Friederici,2009)[38]。事实上,早期脑损伤的案例就已经表明,单个区域的损伤或病变并不会引起某一语言功能的全部丧失,但某些脑区间结构或功能联结的损伤可能会导致严重的功能障碍(Lichtheim,1885; Geschwind,1970)[39-40]。这些证据都无一例外地说明功能的实现需要脑区内神经元的活动,同时也需要脑区间信息的传递和相互作用。

脑联结与语言加工的关系近期已受到越来越多研究者的关注,这方面的研究对我们建构和修正语言加工理论有着极为重要的价值。从文献来看,对脑联结的分析不仅包括研究大脑结构之间的连接,还包括研究不同皮层之间如何随加工时程而发生相应的动态变化。

在脑结构联结方面,扩散张量成像(diffusion tensor imaging, DTI)由于可以较好地对联系皮层之间的白质走向进行很好的追踪,被认为是大脑结构联接方面一个非常突出的技术。早期DTI的研究发现,从负责词汇通达的左侧额中回出发,存在着两条通路到达左侧额下回,一条是通过弓状束(arcuate fasciculus, AF),从颞叶后部出发,经由运动区到达额下回,另外一条是通过极外囊(extreme capsule,EC),直接从颞叶后部连接额下回(Catani, Jones, Ffytche, 2004; Catani, Mesulam, 2008)[41-42]。进一步的研究发现,从颞叶后部直接连接到额下回的极外囊,跟语言理解最为密切相关(Saur, Kreher, Schnell, 2008)[43]。上述颞叶后部与额下回在结构上的联接很好地支持了Hgoort(2005)[10]提出的MUC模型。此外,DTI的研究还发现,从负责词汇通达的颞中回出发至大脑前部,除了左侧额下回是一个非常重要的终端之外,颞叶前部是另外一个非常重要的终端,存在一条经由下纵束(inferior longitudinal fasciculus)从颞叶后部到达颞叶前部的重要通路(Catani, Jones, Ffytche, 2004; Catani, Mesulam, 2008)[41-42],最近的研究发现这个通路跟语言理解、语言学习的关系同样非常密切(Wong, Chandrasekaran, Garibaldi, et al, 2011)[44]。因此,未来在语义加工大脑联结这一主题上,还需要考虑怎样将颞叶前部的功能引入到模型中,才能更全面地认识整个语义理解网络。

除了DTI技术之外,静息态功能联结技术通过考察不同大脑皮层自发活动之间的一致性,也可以研究不同皮层之间的连接关系。跟DTI结果类似的是,近年来静息态功能联结技术的研究发现,额叶和颞叶的语言相关皮层及其子区域间存在很强的功能联结(Hampson, Peterson, Skudlarski, et al. 2002; Xiang, Fonteijn, Norris, et al., 2010)[45-46],并且其联结强度与语言能力或语言加工有很强的相关(Koyama, Kelly, Shehzad, et al., 2010; Koyama, Di Martino, Zuo, et al. 2011)[47-48]。这些结果都进一步说明各种重要的语义加工区域之间不仅仅存在着纤维结构的联系,其活动的同步性也紧密相关。

三、未来研究的展望

由上可见,在阅读理解语义加工回路及其功能分析问题上当前存在着一些亟待解决的重要争论与分歧,根据这些争论与分歧,未来的研究可从以下几个方面进行丰富与完善。

(一)语义整合概念精细与系统的界定

阅读理解中语义的加工是一个复杂的过程,包含了提取和整合两个阶段,虽然对提取的概念相对较为明确,但对整合的理解,目前不同的理论在界定上却明显不够深入,这是造成研究结果出现冲突的最主要原因之一。在语义整合问题上,传统的研究都是通过破坏句子的语义信息,或者通过操纵句子的语境而造成语境违背的条件,然后跟语义合理句或符合语境的句子进行对比,来研究语义整合加工。这样研究语义的前提假设之一,是读者对语义破坏句与语义合理句的加工在语义整合加工层面上存在着单一的量的差异,然而这种假设很可能是过于简单化了。事实上,语义加工的最终目的是为了理解意义,这种意义的追寻加工在我们日常的生活中时时出现,使得语言理解成为一个极为快速和自动化的加工过程。由于在日常生活中我们较少有机会加工意义被破坏的句子,因此一旦面临语义破坏句时,自动化语言加工的过程会在某种程度上被阻断,换而言之,语义破坏句所经历的加工过程和实质很可能与理解正常句的加工过程存在着质上的差异。因此,更系统地去分离不同类型的语义加工过程,例如从加工的内容、方式、进程等多个层面来系统地考察可能存在着的语义整合形式以及可能需要的不同神经通路,这将有助于我们更全面和精细地理解语义整合的本质,以及语义整合的大脑功能。

(二)突破以N400为框架的语义加工传统

由于N400跟语义加工非常密切,因此,之前关于语义加工的研究主要均集中在研究N400如何受各种语义变量操纵的影响,或以N400作为语义加工的指标对语义加工与其他非语义加工过程之间的交互进行研究。N400几乎成为了语义加工的代名词,并引发了许多关于N400到底是代表着具体何种语义加工过程的争论。例如,一些研究者强调N400是代表着语义通达开始的指标(Kutas, Federmeier, 2000)[3];而另一些研究者则认为N400代表着语义的整合(Brown, Hagoort, 1993)[5]。这一争论持续至今,依然未得到满意的结论。然而从前述的分析可以知道,自然状态下的语义加工进行得非常自动化和快速,无论是语义通达和语义整合都可以发生在非常早的时间窗,甚至在N400的潜伏期250ms之前。此外,从N400的实质来看,越来越多的证据也表明N400所代表的语义加工非常复杂,一方面它是一个相对较晚的成分,其次它又是一个长时间持续的成分。从最近我们刚完成的研究来看(Huang, Wang, Jia, et al., 2012)[49],不同的语义操纵虽然可以看到相似的N400的效应,相应的大脑激活模式差别却很大,唯一的共同点就是都表现出一个多脑区协同激活的模式。可见,以N400这一成分简单地代替语义加工,可能会影响对语义加工本身精细过程的深入挖掘。后续的研究或许应该以更加开放的态度去分析各种早期成分跟语义加工的关系,以及更晚的如P600成分跟语义加工的关系,并通过系统的实验来动态考察不同成分对不同维度、不同层次语义变量的敏感程度,以更好地描绘语义加工的动态加工过程。

(三)强调大脑功能的整体性与交互性

研究者不但要关注某一特定的大脑区域,还要从整体分析的角度来考察某一区域作为一个网络的结点如何与其他重要的脑区进行交互作用。尽管现有结构和静息态功能联结的研究增加了我们对神经网络在语言加工中起着重要作用的认识,但直到目前对其具体运作机制的研究却仍然相当缺乏。因此,如何采用更新的方法与技术从脑网络和功能联结的角度来研究语言加工的神经机制是一个十分迫切并且有望产生重要突破的课题。最近几年发展起来的动态因果建模技术(Friston, Harrison, Pennya, 2003)[50]能够挖掘脑区间交互机制的信息,为上述问题的探索提供了新的方法和手段。这种分析模型中包含着三种成分,一种成分是考察感兴趣区间的固有联结(intrinsic connectivity),即没有任何外界刺激的情况下,所选定区域间的有效联结情况;第二种是考察这些区域如何受到刺激或实验条件的影响,称为联结的调节(modulation of connectivity);第三个成分是刺激的输入(direct input),即哪个脑区负责刺激的直接输入。定义好三个成分后,结合贝叶斯模型选择(BMS)的方法,对比不同的加工模型,可以得出符合数据的最优模型。动态因果建模技术的引入,有助于探讨语义整合加工的相关区域如何相互协同的。例如,利用动态因果建模技术,研究者已经发现,不同语言操作下大脑区域的交互通路是不同的,而且存在正馈与反馈等不同方式(Mechelli, Crinion Long, et al., 2005; Nakamura, Kouider, Makuuchi, et al., 2010)[51-52]。虽然这一分析方法在语言研究领域中的应用仍然处在起步阶段,然而通过系统地考察不同的语言刺激、语言任务以及实验条件如何影响语言区域间的联结,这将对语言理解这一复杂的认知操作在大脑中通过何种联结机制来实现这一问题的解决提供新的视角和突破。

除了语义加工内部各区域间的关系以外,语义加工跟其他非语言加工的交互也是未来研究的一个重要方向。由于语义的研究经常采用破坏语义结构的范式来进行,而语义的破坏常导致被试需要更多的心理加工资源来完成语义加工,这势必诱发非特异性认知加工,如控制性的抑制和提取加工的参与。让这一问题显得更加错综复杂的是,以往的研究证实,非特异性认知加工的大脑区域也是定位在左侧额下回,与传统语义加工模型中语义整合加工的大脑区域非常相似。因此,如何有效地分离语义整合加工与一般化的认知加工,进而研究两者如何相互作用就成为研究的难点。我们实验室最近使用外显和内隐的实验范式探讨语义整合加工的大脑区域(Zhu, Hagoort, Zhang, et al., 2012)[53],结果发现,内隐的语义整合加工显著地激活左侧额下回的前部,而外显的语义整合加工由于会引起一般化的认知加工,不仅在左侧额下回前部出现激活,后部也同样出现显著的激活。这可能表明左侧额下回存在不同的亚区,前部与模块化的语言加工,例如语义整合加工相关更高,而后部与一般化认知加工的关系更为密切。可以预见的是,未来在这一领域的研究还会更加深入,因为语义加工网络与其他网络之间的差异及其交互这一问题直接牵涉到语言理解网络的模块化特性,相关领域的探索对理解人类语言加工的本质具有极其重要的价值。

(四)不同成像技术的辐合性运用

除了研究思路需要系统化之外,还需要留意目前应用较广的几种脑成像技术,如fMRI、ERP以及MEG技术局限性在研究这一问题时可能造成的影响,在坚持现有研究技术的同时,应努力引入同时具有较好时间和空间分辨率、新的成像技术对不同时间窗下语义加工的机制,以及一些关键脑区(例如颞叶前部)的机制进行深入而系统地检验。

近年来,伊利诺斯大学厄尔本—香槟分校贝克曼研究所的Gratton 和Fabiani教授等研究者开发的事件相关光学成像技术(Event-Related Optical Signal, EROS)在认知研究领域引起了研究者越来越多的关注。这一技术与传统的近红外光成像技术(Near-infrared spectroscopy, NIRS)具有较大的差异。其基本原理是,认知活动一旦发生,与该认知活动相关的大脑区域神经元也会同时激活,神经组织的活动会使得它本身的光感受能力发生变化,突出地表现在对近红外光散射率的增大上。近红外光进入活动的神经元,由于散射率变大,光反射回到探测器上的时间会变慢。通过神经活动和近红外光的这种关系,可以检测特定大脑区域和认知活动之间的关系。目前这个技术已具备跟ERP相媲美的时间分辨率(30ms左右),空间分辨率也可达到5-10mm。由于这一技术在时间和空间分辨率上均有优势,目前已应用于认知研究的许多领域,获得一些极有价值的研究结果(Gratton, Fabiani, 2010)[54]。最近,我们利用ERP结合EROS技术完成了一项句子语义整合的研究(Huang, Wang, Jia, et al., 2012)[49],发现该技术可以较好地检测到跟语言相关的大脑关键区域,例如左侧额下回、颞叶前部。同时借助EROS的高时间和空间分辨率,研究结果能很好地展现语言加工在不同大脑区域的动态变化过程。

值得注意的是,虽然本文提到多种技术,如ERP、fMRI、EROS等,这些技术对大脑机制的探讨却都停留在相关研究的基础上。然而,心理学研究不但希望了解某一脑区与心理行为之间是否有关,更希望知道这些脑区与心理加工过程之间的因果关系,从而达到控制行为的最终目的。以往对这类因果关系的探索基本上只能利用临床脑损伤的病人进行,由于损伤的不可预见性,相关的研究进展相当缓慢。随着TMS技术的引入,近期这一领域得到了迅猛发展。TMS是经颅磁刺激 (Transcranial Magnetic Stimulation) 技术的简称,是通过强电流产生磁场再在颅内皮层内引发电流回路的技术,其引发的电流回路能够干扰到局部大脑皮层的活动,这种干扰是暂时性和无损的,因而为研究者提供了一个能够进行因果推断的重要方法(Walsh, Cowey, 2000)[55]。最初,经颅磁刺激用来研究皮层神经元环路结构、个体认知、运动以及行为机制,然而,目前已开始较广泛地应用于认知神经科学各领域的研究。在我们最近完成的一项TMS研究中(Zhu, Gold, Chang, et al., submitted)[56],我们采用TMS技术刺激大脑颞中回,观察刺激是否影响到语义提取的时间进程。结果发现TMS影响了不同SOA下的反应时,在短的SOA条件下,刺激颞中回会对语义启动效应产生干扰,而在长的SOA内刺激这一区域,影响则不明显,这一结果更清楚地说明左侧颞中回的作用主要是与早期的语义提取有关,而非晚期的控制性语义提取。可以预见的是,随着对脑区与心理行为之间相关性研究证据的积累,研究者能越来越清晰地认知不同脑区在心理加工中起作用的时间进程,这将为TMS研究的开展垫定坚实的基础,未来也将有越来越多具开创性的、令人兴奋的相关成果面世。

四、结 语

语言理解对人类的重要性毋庸置疑,因此,正如19世纪初著名心理学家Huey所谈到的那样,心理学家最重要的贡献之一就是能对阅读进行完整而透彻的探讨,这不但可以探索人类心理活动中许多极端复杂的内在动作,也可以为解释人类文明的发展提供重要的启示(陈烜之,1997)[57]。然而因为篇幅与作者视野所限,本文只是管窥一豹。可以确定的是,尽管语言理解的过程相当复杂,但作为人类认知加工的一个重要部分,它总会在大脑留下相应的时空痕迹。而随着当前认知神经科学技术的不断发展,研究者已经能越来越好地把握语言理解加工在大脑中留下的时空信息。这些多角度、多层面更为丰富的信息在未来一定能帮助人类更好地认识语言理解加工的本质,并建构起更完整和全面的语言认知模型。

参考文献:

[1] P.Hagoort.ShouldPsychologyIgnoretheLanguageoftheBrain?. Current Directions in Psychological Science, 2008, 17(2): 96-101.

[2] M.Kutas, K.D.Federmeier.ThirtyYearsandCounting:FindingMeaningintheN400ComponentoftheEvent-relatedBrainPotential(ERP). Annual Review of Psychology, 2011, 62: 621-647.

[3] M.Kutas, K.D.Federmeier.ElectrophysiologyRevealsSemanticMemoryUseinLanguageComprehension. Trends in Cognitive Sciences, 2000, 4: 463-470.

[4] E.F.Lau, C.Phillips, D.Poeppel.ACorticalNetworkforSemantics: (de)ConstructingtheN400. Nature Reviews Neuroscience, 2008, 9: 920-933.

[5] C.M.Brown, P.Hagoort.TheProcessingNatureoftheN400:EvidencefromMaskedPriming. Journal of Cognitive Neuroscience, 1993, 5: 34-44.

[6] A. D.Friederici.TowardsaNeuralBasisofAuditorySentenceProcessing. Trends in Cognitive Sciences, 2002, 6(2): 78-84.

[7] P.Hagoort, G.Baggio, R.M.Willems.SemanticUnification∥M.S.Gazzaniga (Ed.). The New Cognitive Neurosciences, 4th ed. Landon:MIT Press, 2009:819-836.

[8] G.Hickok, D.Poeppel.TheCorticalOrganizationofSpeechProcessing. Nature Reviews Neuroscience, 2007, 8(5): 393-402.

[9] 朱祖德, 王穗苹, 冯刚毅, 等.左侧额下回在句子语义整合加工中的作用. 心理科学进展, 2011, 19: 1147-1157.

[10]P.Hagoort.OnBroca,Brain,andBinding:ANewFramework. Trends in Cognitive Sciences, 2005, 9: 416-423.

[11]M.Jung-Beeman.BilateralBrainProcessesforComprehendingNaturalLanguage. Trends in Cognitive Sciences, 2005, 9: 512-518.

[12]W.D.Marslen-Wilson, L.K.Tyler.ProcessingStructureofSentencePerception. Nature, 1975, 257:784-786.

[13]W.D.Marslen-Wilson.FunctionalParallelisminSpokenWordRecognition. Cognition, 1987, 25:71-102.

[14]K.Rayner.EyeMovementsinReadingandInformationProcessing: 20YearsofResearch. Psychological Bulletin, 1998, 124:372-422.

[15]S.C.Sereno, C.C.Brewer, P.J. O’Donnell.ContextEffectinWordRecognition:EvidenceforEarlyInteractiveProcessing. Psychological Science, 2003, 14:328-333.

[16]Y.Shtyrov, F.Pulvermuller.LanguageintheMismatchNegativityDesign:Motivations,BenefitsandProspects. Journal of Psychophysiology, 2007, 21:176-187.

[17]B.Penolazzi, O.Hauk, F.Pulvermuller.EarlySemanticContextIntegrationandLexicalAccessasRevealedbyEvent-relatedBrainPotentials. Biological Psychology, 2007, 74:374-388.

[18]P.Hagoort, C.M.Brown, J.Groothusen.TheSyntacticPositiveShift(SPS)asanERPMeasureofSyntacticProcessing. Language and Cognitive Processing, 1993, 8: 439.

[19]L.Osterhout, P.J.Holcomb.Event-relatedBrainPotentialsElicitedbySyntacticAnomaly. Journal of Memory and Language, 1992, 31: 785-806.

[20]I.Bornkessel-Schlesewskya, M.Schlesewsky.AnAlternativePerspectiveon“SemanticP600”EffectsinLanguageComprehension. Brain Research Review, 2008, 59: 55-73.

[21]G.R.Kuperberg.NeuralMechanismsofLanguageComprehension:ChallengestoSyntax. Brain Research, 2007, 1146:23-49.

[22]G.R.Kuperberg, T.Sitnikova, D.Caplan, et al.ElectrophysiologicalDistinctionsinProcessingConceptualRelationshipswithinSimpleSentences. Brain Research, 2003, 17: 117-129.

[23]A.Kim, L.Osterhout.TheIndependenceofCombinatorySemanticProcessing:EvidencefromEvent-relatedPotentials. Journal of Memory and Language, 2005, 52: 205-225.

[24]H.H.J.Kolk, D.J.Chwilla, M.Van Herten, et al.StructureandLimitedCapacityinVerbalWorkingMemory:AStudywithEvent-relatedPotentials. Brain and Language, 2003, 85: 1-36.

[25]K.D.Federmeier, M.Kutas.ARosebyanyotherName:Long-termMemoryStructureandSentenceProcessing. Journal of Memory and Language, 1999, 41: 469-495.

[26]K.D.Federmeier, E.W.Wlotko, E.De Ochoa-Dewald, et al.MultipleEffectsofSententialConstraintonWordProcessing. Brain Research, 2007, 1146: 75-84.

[27]K.A.DeLong, T.P.Urbach, D.M.Groppe, et al.OverlappingDualERPResponsestoLowClozeProbabilitySentenceContinuations. Psychophysiology, 2011, 48: 1203-1207.

[28]Petten C.Van, B.J.Luka.PredictionduringLanguageComprehension:Benefits,Costs,andERPComponents. International Journal of Psychophysiology, 2012, 83: 176-190.

[29]M.I.Nunez-Pena, M.L.Honrubia-Serrano.P600RelatedtoRuleViolationinanArithmeticTask. Brain Research, 2004, 18: 130-141.

[30]A.D.Patel, E.Gibson, J.Ratner, et al.ProcessingSyntacticRelationsinLanguageandMusic:AnEvent-relatedPotentialStudy. Journal of Cognitive Neuroscience, 1998, 10: 717-733.

[31]H.H.J.Kolk, D.J.Chwilla.LatePositivitiesinUnusualSituations. Brain and Language, 2007, 100: 257-261.

[32]N.Van de Meerendonk, H.H.J.Kolk, D.J.Chwilla, et al.MonitoringinLanguagePerception. Language and Linguistics Compass, 2009, 3: 1211-1224.

[33]Z.Ye, X.Zhou.ExecutiveControlinLanguageProcessing. Neuroscience and Biobehavioral Reviews, 2009, 33: 1168-1177.

[34]K.Patterson, P.J.Nestor, T.T.Rogers.WhereDoYouKnowWhatYouKnow?TheRepresentationofSemanticKnowledgeintheHumanBrain. Nature Reviews Neuroscience, 2007, 8: 976-987.

[35]D.K.Bemis, L.Pylkkanen.SimpleComposition:AMagnetoencephalographyInvestigationintotheComprehensionofMinimalLinguisticPhrases. Journal of Neuroscience, 2011, 31: 2801-2814.

[36]P.Hagoort, L.Hald, M.Bastiaansen, et al.IntegrationofWordMeaningandWorldKnowledgeinLanguageComprehension. Science, 2004, 304: 438-441.

[37]M.Vigneau, V.Beaucousin, P.Y.Hervéa, et al.Meta-analyzingLeftHemisphereLanguageAreas:Phonology,Semantics,andSentenceProcessing. NeuroImage, 2006, 30(4): 1414-1432.

[38]A.D.Friederici.PathwaystoLanguage:FiberTractsintheHumanBrain. Trends in Cognitive Sciences, 2009, 13(4): 175-181.

[39]L.Lichtheim.OnAphasia. Brain, 1885, 7: 433-484.

[40]N.Geschwind.TheOrganizationofLanguageandtheBrain. Science, 1970, 170(3961): 940-944.

[41]M.Catani, D.K.Jones, D.H.Ffytche.PerisylvianLanguageNetwoksoftheHumanBrain. Annals of Neurology, 2004, 57: 8-16.

[42]M.Catani, M.Mesulam.TheArcuateFasciculusandtheDisconnectionThemeinLanguageandAphasia:HistoryandCurrentState. Cortex, 2008, 44: 953-961.

[43]D.Saur, B.W.Kreher, S.Schnell, et al.VentralandDorsalPathwaysforLanguage. Proceedings of the National Academy of Sciences of the United States of America, 2008, 105: 18035-18040.

[44]F.C.K.Wong, B.Chandrasekaran, K.Garibaldi, et al.WhiteMatterAnisotropyintheVentralLanguagePathwayPredictsSound-to-wordLearningSuccess. Journal of Neuroscience, 2011, 31: 8780-8785.

[45]M.Hampson, B.S.Peterson, P.Skudlarski, et al.DetectionofFunctionalConnectivityUsingTemporalCorrelationsinMRImages. Human Brain Mapping, 2002, 15(4): 247-262.

[46]H.D.Xiang, H.M.Fonteijn, D.G.Norris, et al.TopographicalFunctionalConnectivityPatterninthePerisylvianLanguageNetworks. Cerebral Cortex, 2010, 20(3): 549-560.

[47]M.S.Koyama, C.Kelly, Z.Shehzad, et al.ReadingNetworksatRest. Cerebral Cortex, 2010, 20(11): 2549-2559.

[48]M.S.Koyama, A.D.Martino, X.N.Zuo,et al.Resting-stateFunctionalConnectivityIndexesReadingCompetenceinChildrenandAdults. Journal of Neuroscience, 2011, 31(23): 8617-8624.

[49]J.Huang, S.Wang, S.W.Jia, et al.TheDynamicsofBrainActivationinSemanticIntegration:AStudyCombiningERPandEvent-relatedOpticalSignals. Presented in 19th Annual Cognitive Neuroscience Meeting. Chicago, USA,2012.

[50]K.J.Friston, L.Harrison, W.Pennya.DynamicCausalModelling. NeuroImage, 2003, 19(4): 1273-1302.

[51]A.Mechelli, J.T.Crinion, S.Long, et al.DissociatingReadingProcessesontheBasisofNeuronalInteractions. Journal of Cognitive Neuroscience, 2005, 17(11): 1753-1765.

[52]K.Nakamura, S.Kouider, M.Makuuchi, et al.NeuralControlofCross-languageAsymmetryintheBilingualBrain. Cerebral Cortex, 2010, 20(9): 2244-2251.

[53]Z.Zhu, P.Hagoort, J.X.Zhang, et al.TheAnteriorLeftInferiorFrontalGyrusContributestoSemanticUnification. Neuroimage, 2012, 60: 2230-2237.

[54]G.Gratton, M.Fabiani.FastOpticalImagingofHumanBrainFunction. Frontiers in Human Neuroscience, 2010, 4: 52.

[55]V.Walsh, A.Cowey.TranscranialMagneticStimulationandCognitiveNeuroscience. Nature Reviews: Neuroscience, 2000, 1: 73-79.

[56]Zude Zhu, Brian T Gold, Chi-Fu Chang, Suiping Wang, Chi-Hung Juan, (submitted). The Roles of the Left Posterior Temporal and Inferior Frontal Gyri in Word Recognition: A TMS Study.

[57]陈烜之.中文阅读的认知历程∥彭聃龄, 舒华, 陈烜之,编.汉语认知研究. 济南:山东教育出版社, 1997:159-194.

猜你喜欢
颞叶研究者语义
高等教育中的学生成为研究者及其启示
语言与语义
记性不好?因为久坐“伤脑”
研究者称,经CRISPR技术编辑过的双胞胎已出生。科学将如何回应?
研究者调查数据统计
“上”与“下”语义的不对称性及其认知阐释
额颞叶痴呆伴肌萎缩侧索硬化1例
医生注定是研究者
行为变异型额颞叶痴呆诊断标准的进展
认知范畴模糊与语义模糊