具身视角下文本阅读的增量加工探索

李晶晶 邵雯钰

内容摘要：本文主要从具身语言认知视角切入，探讨语言理解的增量性对文本阅读加工的影响，并对文本阅读加工中语内信息和语外信息之间的交互关系和层级制约关系进行例证和分析。研究表明：第一，文本中的句法语义增量加工有助于读者动态地预测接下来的信息并根据预期做出相应的变化;第二，语境制约强于语言规则制约，无论是语内语境还是语外语境提供的信息都可以即时地影响大脑对文本中句法结构的选择策略。其原因主要是语境这种高水平的信息可以自上而下地影响句法的最初选择策略，进而直接参与到文本阅读过程中。

关键词：具身认知 文本阅读 语言理解 增量加工 层级制约

语言理解过程具有具身性、层级性和整合性特征（林立红 2016）。具身性是指语言加工不是完全基于抽象符号的纯粹认知活动，身体对认知加工有直接影响，知觉和运动系统在概念的形成和理性推理中起基础性作用（Basalou 1999）。层级性是指语内信息和语外信息之间相互联系，具有层级制约关系，其中较小语言单位的语义信息受制于较大语言单位的语义信息，语内信息受制于语外信息（于善志 2015）。整合性是指读者在理解文本时，会即时提取文本中的物体和动作的联觉等语外信息，并在句法指导下对各种信息进行整合（林立红 2016）。如在加工句子“她打开 ______”中，读者仅仅通过理解动词“打开”，就开始构建各种“打开”的动作表征，而最合适的打开动作将根据具体对象在增量式加工中确定——打开“冰箱”通常表示用一只手握住冰箱把手并呈抓手形收回手臂，而打开“一包薯片”意味着双手向外水平运动，这表明读者对文本信息的表征是具身的，受到语外信息的制约，最终通过对各种信息的整合完成对文本的加工。

一.语言理解与增量加工

许多关于语言加工的解释都认为，语言加工是即时的，属于增量式加工，人们将他们看或听到的词语整合到当前文本或话语的持续表征中（Sanford & Emmott 2012）。也就是说，人们理解正在进行的文本或话语时会快速地、以递增式的方式来构建或修正句法语义表征，动态地预测接下来的信息并根据预期做出相应的变化（Altmann & Kamide 1999;Mazuka & Itoh 1995;Sedivy et al. 1999;Sato et al. 2013）。

有研究者利用大脑成像技术 （如 PET正电子放射断层造影术、fMRI功能磁共振成像技术）证明人脑中存在镜像神经系统。研究者发现，在大脑的布罗卡区 （Broca），人们做实际动作与阅读描述动作文本时的脑区反应相似，由此得出“语言是基于动作的”结论。动词在句子意义中起着重要的作用，英语句子中的动词通常出现较早，以动词为基础信息对下文有预测的作用，在语义上指定合适的指称对象（Altmann & Kamide 1999;Dahan & Tanenhaus 2004）。也就是说，动词的选择可以突出对指称对象的一些感知细节，例如，“抬钢琴”可能会激活与钢琴的大小和重量相关的细节，而“弹钢琴”可能会激活钢琴的声音属性或钢琴键的手感（Barclay et al. 1974; Tabossi 1998; Zeelenberg et al. 2003）。

Altman和Kamide（1999）采用视觉情境范式（the visual world paradigm， VWP），对语言加工中的预测性进行了考察，研究发现，受试在加工句子的同时观看高度受限的视觉表征时，会使用语言信息以及从世界知识中获取的视觉信息和储存在大脑中的语义知识来预测即将出现的非动词实体，这表明语言理解是可预测的，也是增量的。实验中受试在听句子的同时观看一个视觉场景，视觉场景中一些所描述的物体与听到的句子相关，另一些物体（干扰项）则与听到的句子无关。研究发现受试会更多地注视与听觉信息具有语义关系的物体，即对受动词限制的物体的注视比例比不受限制的物体更多。例如，受试在听“男孩将会吃/移动蛋糕”时，在听到“吃”的时候就已经有指向目标物“蛋糕”的眼跳出现，并且蛋糕的图片得到了比其他干扰图片更多的注视。眼动追踪结果还发现，在目标词还未出现之前就产生了指向目标物的眼动，这表明似乎只要动词出现时就可以提取到动词的完整意义（即真正的增量性），进而预测接下来可能出现的单词。由此可见，动词在句子意义中起着重要的作用，以动词为基础信息对下文有预测的作用，在语义上指定合适的指称对象。

另外，自定步速阅读实验表明，理解者在识别到不同的信息时会立即激活文本所隐含的动作表征，增量式地构建所描述场景的细节表征（Taylor & Zwaan 2008;Zwaan & Taylor 2006）。如Zwaan & Taylor（2006）研究句子加工过程中发生的动作共鸣。在这一实验中受试阅读如下句子“他/意识到/音樂声/太大/于是/减弱了/声量”。句子以分区形式呈现，受试边转动旋扭边进行阅读，结果发现受试在阅读暗示特定手动旋转的动词区域时，会立即激活特定方向的运动信息。即当句子描述的旋转方向（如减弱声量暗示逆时针）与受试实际转动旋扭方向（逆时针）一致时，受试阅读句子较快;当这两类方向不一致时，受试阅读句子较慢。且研究结果发现动作共鸣局限于句中所谓的“目标区域”（即句子描述旋转的内容），这是所有测试句子的动词区域，这表明行为模拟或动作共鸣是在阅读到关键动作时产生的结果，受试在动词信息被整合时才构建手部动作事件的心理表征。动作共鸣的即时性与句子加工的限制性模型（Constraint-based Models of sentence processing）的看法相吻合（MacDonald et al. 1994），即动词词组紧接着名词词组名词的出现将注意焦点从行为指向结果目标，这也为语言理解是增量式的提供了一定的证据。

二.增量加工中的层级制约关系

語言的加工并不是独立于其他信息的加工，而是各种信息即时交互作用、相互制约的结果。其中语外语境、语内语境和语言单位本身的语义命题之间具有层级性制约和压制关系，语境制约强于语言规则制约（林立红 2016;2017）。

MacDonald et al.（1994）认为文本理解是全面分析的，在语言加工中各类信息即时相互作用，语境、句法使用频率等信息可以即时被句法加工所使用，初级阶段的句法选择也会受到影响，整个文本的建构过程是各种信息交互作用、相互制约的结果。Altmann et al. （1992）通过严格地控制语境，使语境符合歧义句多种句法结构的其中一种，发现恰当的语境可以移除歧义句中的加工困难，直接选择与语境相符的句法结构。该结果说明语境这种高水平的信息可以自上而下地影响句法的最初选择策略，直接参与到句法初级阶段的加工过程中。另外，Tanenhaus et al.（1995）对视觉信息如何影响歧义句中的句法选择进行了考察，结果发现视觉情境也参与了句法加工的早期阶段，并且移除了临时歧义句中的加工困难。因此，在文本阅读过程中，无论是语内语境还是语外语境提供的信息都可以即时地影响大脑对文本中句法结构的选择策略，并即时地应用在句子结构歧义的消解上。

Kutas & Hillyard（1980）使用事件相关电位（event-related potentials，ERPs），给受试逐词呈现如“He spread the warm bread with socks.”语义异常的句子，记录受试的脑电反应。实验结果发现，在句末语义异常单词出现后400毫秒附近的时间窗口出现了波幅显著增大的负向脑电波，即N400效应，其和单词的语义加工有关。随后也有研究发现，即使句末词和前一个词具有局部高频搭配关系，但与总体句义不符合时，依然会诱发 N400效应（Coulson et al. 2005;Van Peten & Luka 2006）。这说明储存在大脑中关于现实世界情境的知识对文本理解加工有制约作用，由于读者对特定情景已经建立了相关心理模型，所以不符合该心理模型的词汇被视为异常。

认知神经科学的相关研究发现，当读者阅读身体动作类的动词时，控制相关身体动作的大脑运动皮层会迅速激活（Boulenger et al. 2006;Pulvermu-ller 2005）。而Raposo et al.（2009）利用功能磁共振成像技术（fMRI）研究大脑对“kick”在动作句如“After six minutes， the new recruit kicked the ball.”和非动作句如“After six months， the old man kicked the bucket.”中做出的反应。受试听到句子几秒钟之后，呈现一个视觉探测词，并判断该词汇与句子意思是否相关。结果发现，对行为词本身的研究结果与Pulvermuller看单词时会激活运动回路的发现是相似的，即动作句的激活模式与对行为词本身的研究中看单词时会激活运动回路类似，而在习语语境中的动词则不会激活相应的运动区域。这说明当不需要单词字面义的时候，与字面义相关的运动区域不会激活。所以当使用“kick the bucket”时，习语义压制了动词的本身义，读者并不需要也不可能亲自去体验。

同样，在加工反语句子时，由于句子内容本身与语境存在语义对立，语境也可以帮助读者在增量加工中即时推断出信息的真实情感。如句子“你跑得真快！”在不同的语境说明下，读者从中获取的情感信息也不同。如果语境信息表示的是积极情感信息（跑在其他人前面），读者理解该句时就会获得强化了的积极情感信息;如果语境表示是消极情感信息（跑在其他人后面），则由于语境制约强于语言规则制约，所以强消极性情感取消或压制了语言的积极情感信息，读者从二者的压制关系中获取“批评”或“责怪”之义。再如，句子“这糕点真好吃！”的语内概念意义只有一个，即“糕点好吃”，具有肯定的情感意义。但在具体语境中，若我们通过语外信息如视觉、味觉、嗅觉等感官通道获取了否定的情感意义时（如烧焦、异味等），文本表达的语内概念意义就会受较强语外信息的压制，由肯定情感义转化为反讽义，这便是语外和语内信息之间层级性制约的结果。

以上关于歧义句、语义异常、习语以及反语的实验证据都支持增量语义加工中的层级制约关系，且文本阅读中的增量加工不仅受语言系统内部制约，同时也受其他非语言信息（如物体的联觉性、世界知识、事件信息等）的制约，这些信息的相互作用影响语言的加工过程。

总之，从以上讨论可以看出读者对文本阅读的加工是增量式的，其有助于读者动态地预测接下来的信息并根据预期做出相应的变化。另外，物理世界、社会世界和情感世界等外部世界影响着读者对话语或文本的理解，因此语言的加工会实时的受到其他各类信息的影响和制约，且无论是语内语境还是语外语境提供的信息都可以即时地影响大脑对文本信息的加工，进而影响对文本阅读的理解。

参考文献

[1]Altmann， G. T.， Garnham， A. & Dennis， Y.， 1992. Avoiding the garden path： Eye movements in context[J]. Journal of Memory and Language， 31（5）： 685-712.

[2]Altmann， G. T.， & Kamide， Y.， 1999. Incremental interpretation at verbs： Restricting the domain of subsequent reference[J]. Cognition， 73（3）： 247-264.

[3]Barclay， J. R.， Bransford， J. D.， Franks， J. J.， McCarrell， N. S. & Nitsch， K.， 1974. Comprehension and semantic flexibility[J]. Journal of Verbal Learning and Verbal Behavior， 13（4）： 471-481.

[4]Barsalou， L. W. 1999. Perceptual symbol systems[J]. Behavioral and Brain Sciences， 22（4）： 577-660.

[5]Boulenger， V.， Roy， A. C.， Paulignan， Y.， Deprez， V.， Jeannerod， M. & Nazir， T. A.， 2006. Cross-talk between language processes and overt motor behavior in the first 200 msec of processing. Journal of cognitive neuroscience， 18（10）： 1607-1615.

[6]Coulson， S.， Federmeier， K. D.， Van Petten， C. & Kutas， M.， 2005. Right hemisphere sensitivity to word-and sentence-level context： evidence from event-related brain potentials. Journal of Experimental Psychology： Learning， Memory， and Cognition， 31（1）： 129.

[7]Kutas， M. & Hillyard， S. A.， 1980. Reading senseless sentences： Brain potentials reflect semantic incongruity[J]. Science， 207（4427）： 203-205.

[8]MacDonald， M. C.， Pearlmutter， N. J. & Seidenberg， M. S.， 1994. Syntactic ambiguity resolution as lexical ambiguity resolution[J].

[9]Mazuka， R. & Itoh， K.， 1995. Can Japanese speakers be led down the garden path[J]. Japanese sentence processing， 295-329.

[10]Pulvermüller， F.， 2005. Brain mechanisms linking language and action[J]. Nature reviews neuroscience， 6（7）： 576-582.

[11]Raposo， A.， Moss， H. E.， Stamatakis， E. A. & Tyler， L. K.， 2009. Modulation of motor and premotor cortices by actions， action words and action sentences[J]. Neuropsychologia， 47（2）： 388-396.

[12]Sanford， A. J. & Emmott， C.， 2012. Mind， brain and narrative[M]. Cambridge University Press.

[13]Sato， M.， Schafer， A. J. & Bergen， B. K.， 2013. One word at a time： mental representations of object shape change incrementally during sentence processing[J]. Language and Cognition， 5（4）： 345-37.

[14]Sedivy， J. C.， Tanenhaus， M. K.， Chambers， C. G. & Carlson， G. N.， 1999. Achieving incremental semantic interpretation through contextual representation[J]. Cognition， 71（2）： 109-147.

[15]Tabossi， P.， 1988. Accessing lexical ambiguity in different types of sentential contexts[J]. Journal of memory and language， 27（3）： 324-340.

[16]Tanenhaus， M. K.， M. J. Spivey-Knowlton， K. M. Eberhard & J. C. Sedivy.， 1995. Integration of visual and linguistic information in spoken language comprehension[J]. Science， 268（5217）： 1632-1634.

[17]Taylor， L. J. & R. A. Zwaan. 2008. Motor resonance and linguistic focus[J]. Quarterly Journal of Experimental Psychology， 61（6）： 896-904.

[18]Van Petten， C. & Luka， B. J.， 2006. Neural localization of semantic context effects in electromagnetic and hemodynamic studies[J]. Brain and language， 97（3）： 279-293.

[19]Zeelenberg， R.， Pecher， D.， Shiffrin， R. M. & Raaijmakers， J. G.， 2003. Semantic context effects and priming in word association[J]. Psychonomic Bulletin & Review， 10（3）： 653-660.

[20]Zwaan， R. A. & L. J. Taylor.， 2006. Seeing， acting， understanding： Motor resonance in language comprehension[J]. Journal of Experimental Psychology： General， 135（1）： 1-11.

[21]林立紅，2016，具身语言与具身语言理解[J]. 《宁波大学学报：人文科学版》，29（2）：27-31.

[22]林立红，2017，二语多选现象的模块加工视角[J].《宁波大学学报：人文科学版》，30（3）：52-56.

[23]于善志，2015，《心理、大脑和叙事》评介[J]. 《外语教学与研究》，47（6）：945-950.

基金项目：宁波大学研究生科研创新基金重点项目“二语隐含情景信息加工的具身认知研究”（IF2022059）（主持人李晶晶）;宁波大学研究生科研创新基金重点项目“人称视角对二语时态加工影响研究”（IF2022058）（参与人李晶晶）

（作者单位：宁波大学）