二语句子产出过程中形状信息的具身效应*

王慧莉 陈子昂

(大连理工大学 外国语学院，辽宁 大连 116024)

一、引言

语言学研究的热点问题之一是“人类如何理解语言以及进行知识概念的表征”，命题符号系统理论(Propositional Symbol System)是经典的信息表征理论。[1]根据这一理论，语言处理基于抽象的非模态符号系统，语言与指代物之间的关系是任意的。然而，这种观点没有解决符号接地问题(symbol grounding problem)，即抽象的、非模态的、任意的符号与实际经验没有联系，它们存在于某种精神空间中，因此符号本质上是没有意义的。[2]同时，很少有直接证据表明非模态符号的存在，难以解释知觉状态与非模态符号之间的转换方式。

然而，随着具身认知观的出现，这些问题得到了合理的解释。以Barsalou提出的知觉符号系统(Perceptual Symbol System)为代表的具身认知观认为，关于语言处理的研究应该基于心智与身体之间的关系，人类的语言理解过程不应该像计算机那样，被视为对符号的离身操作。相反，它应该是通过重新激活早期经验的痕迹来对事件进行的心理模拟。[3]这些观点挑战了传统的非模态系统理论。语言认知过程根据大脑感知、动作和情感系统的符号，基于实例和经验进行重组。这些符号是非任意的、多模态的、具体的，语言理解需要再入情境，对文本中所描述的人物、地点、事件和行为进行模拟，进而获得对描写语言的理解。[4]

迄今为止，有关具身语言的研究大量涌现，其实证证据也比较丰富，其中，语言理解层面产生的具身效应便是支持具身语言观的有力证据之一。具体而言，在接触某个单词或句子的时候，我们常常会想像其形状、方向、颜色等知觉特征。例如，当看到或听到“苹果”这个词的时候，我们会联想到苹果的形状和颜色等感知信息，这一过程就是心理模拟(mental simulation)，从而产生具身效应。语言理解中具身效应的概念要追溯到 Barsalou提出的知觉符号系统理论。[3]知觉符号系统理论详细阐述了概念表征中心理模拟发生的过程和主要特点，为之后的具身语义理解的相关研究提供了理论基础框架。后续研究者相继发现，在语言理解中存在听觉、视觉、触觉和运动状态的心理模拟，支持了知觉符号理论。

具身效应在语言理解中具有重要的意义。Zwaan & Taylor提出，语言加工离不开心理模拟，读者要理解句子，就需要再入情境，通过模拟句子所描述的任务、地点、时间和行为来理解句子意义。[5]心理模拟的过程即替代体验的过程。[6]人们在理解句子时，句子情境中所隐含的空间信息、动作信息均会被自动激活。语言理解所引发的心理模拟是一种实际感觉和知觉加工机制，利用感觉信息和运动信息形成相关语言概念的表征。[4](P5)[7]

我们理解句子时会产生具身效应，而句子中所隐含的知觉特征对句子的即时理解也有一定的影响，这一现象目前已经得到一定的证实。其中具有代表性的研究是Zwaan & Robert 在2002年所做的研究，在他们的研究中，被试根据文本隐含的物体形状信息对图片进行判断。例如，在被试阅读“冰箱里的鸡蛋”或者“煎锅里的鸡蛋”这样的文本描述后，屏幕会出现“鸡蛋”的图片。实验结果是，当图片与句子中所隐含的物体形状相匹配时，被试的反应速度要比不匹配时快，句子更容易理解。隐含的感知特征对长期的句子理解同样有所影响。[8]Pecher等人所做的实验结果显示，如果图片与曾出现的句子中的物体隐含形状或方向匹配，被试对图片的记忆识别更好。这一发现表明，心理模拟既会影响即时的理解过程，也会影响长期的理解过程。在较长一段时期内，感觉—运动模拟所包含的细节都不会消失。[9]对于这一结果，研究人员选取了不同年龄的人作为被试进行验证，也得出了相同的结果。Engelen & Bouwmeester以7—13岁的孩子做被试，让他们听预先录制的句子，这些句子描述了隐含形状或方向的物体。在听完句子后，被试会看到图片，并判断图片所含的物体是否在句子中出现过。结果表明，句子与图片匹配时，被试的反应速度更快，这表明他们形成了含有物体知觉表征的句子情境模型。[10]Zwaan & Pecher对形状、方向、颜色等物体信息的知觉表征情况进行了多次验证。结果表明，18—69岁年龄跨度的人在加工句子时，物体的形状、方向、颜色信息分别被激活，进而影响了被试对随后所呈现物体图片的识别速度。在这其中，物体形状的匹配效果最为显著。无论是哪一种物体信息，句子所隐含的物体信息与图片一致时的反应时都比不一致时更短。[11]

尽管在日常生活中，语言的产出频率与语言理解频率差别不大，但是关于语言产出的具身效应研究却比语言理解的研究少很多。[12]语言的理解与产出历来被认为是语言过程的相关活动。关于语言产出时的具身效应，其中比较典型的研究是Sato所做的研究。Sato参照了Barsalou提出的知觉符号系统理论，探究了身体运动、心理模拟与语言产出之间的关系。通过实验得出结论，与被试手部静止时造句相比，被试手部做出远离自己的动作，会造出更多远离自己方向的句子；与此相对，当被试手部做出靠近自己的动作时，则会造出更多的靠近自己方向的句子。[13]显然，听者和说话者都通过语言理解与产出来构建意义，同时参与有意义的活动，这些活动需要在主题、语言知识、结构知识等方面有类似的先验知识和经验。[14]在Engelen & Bouwmeester的研究中，其中的一个实验涉及语言产出的具身效应。实验者首先让7—13岁的被试大声朗读一句话，然后呈现一张图片，被试判断图片内容是否在那句话中出现过。结果表明，即使被试朗读有一定难度的句子，也会对所朗读的事件进行知觉模拟。因此，知觉模拟在语言产出中起着重要的作用。[10]Koning & Schoot经过研究发现，匹配效应越明显，被试基于句子心理模拟的物体特征越清晰。他们进一步采用 Zwaan & Pecher 的实验范式，[11]并添加了创造性写作任务的实验。结果表明，心理模拟的感官丰富性不仅在阅读理解中起作用，同时在叙事的创造性写作(从心理表征到文本)中也有相应体现。创造性写作需要类似于阅读理解的表征过程。[15]Nishiguchi & Kusumi的研究结果表明，日语母语者在产出日语句子阶段，会在头脑中激活句子中形状信息的知觉符号，这也是具身效应的体现。[16]

关于语言产出过程的研究，Levelt提出了语言产出的三个阶段。[17]首先是信息编码阶段。在这个阶段，说话者对他们所要传达的信息形成前语言概念(prelinguistic concept)。例如，在被试看到“egg”和“skillet”这两个词，并使用它们造句时，会形成 “某些器具上存在某些食物”这一信息。其次是语法编码阶段。在这一阶段，说话者使用恰当的词语来表示在信息编码阶段形成的信息，包括词汇选择、主格和宾格等功能的分配、句子结构的确定等。例如，在“The egg is on the skillet”这个句子中，词语“egg”是主语，“on”作为表示句子中的器具和食物之间关系的恰当介词，选用“is”作为表示平底锅和鸡蛋的状态的词。最后是音韵编码阶段，这个阶段主要形成句子的音韵信息，从而产出语言。

另外一个值得关注的问题是想像力与知觉表征之间是否有相关性，即想像力高低是否对图片与语言匹配状态的反应时产生影响。想像力和感知具有共同的特定模态机制,[18]同时概念表征及想像力在知觉加工过程中在大脑中激活的脑区也有重叠。[19]因此，一些学者认为，在认知活动中感知—运动系统类似于想像力。[20]Pecher通过测试被试空间视觉的想像力(spatial visual imagery)发现，模态切换效应(modality-switch effect)与想像力无关，这表明了知觉表征和想像力不相关，概念不是由有意识的想像力表征的。[20]Zwaan通过视觉表象想像力问卷(Vividness of Visual Imagery Questionnaire)测试被试的想像力，并与形状、颜色、方向等物体信息的反应时匹配效应(match effect)进行相关性分析，结果表明，匹配效应与想像力无关。[11]但是，在前人的研究中缺少对于汉语母语者想像力与知觉表征相关性的研究。同时，由于想像力和知觉表征在语言理解中会共享一些认知过程，想像力是一个可能影响语言表征的因素。所以，本研究将考察想像力在语言产出过程中对知觉表征的影响。

综上所述，相关研究已经证实，在语言理解过程中大脑会激活知觉符号，并形成知觉表征。然而，目前关于语言具身效应的研究大都在语言理解层面展开，很少有人从语言产出的角度来研究。因此，本文将选取汉语为母语的语言使用者为被试，探究二语产出时物体隐含形状信息的表征方式，以及想像力与知觉表征的关联性。

二、研究方法

本实验采用动窗技术及词集—图匹配范式，被试利用词集造句后，完成图片判断任务。

(一)实验被试

实验被试为汉语为母语、英语为二语的大学本科生或研究生，共68人，其中，男性30人，女性38人，平均年龄为23.3周岁。所有被试均通过了大学英语六级或者英语专业四(八)级的考试。被试均为右利手，视力或矫正视力正常，无阅读障碍。

(二)实验材料

本实验选取了40张黑白图片，一些图片取自 Zwaan的实验，[8]另外一些图片根据中国人的习惯进行了补充。图片均为600*450像素，并分别放置在同一水平或竖直位置。在这些图片中，20 张为实验组图片，其余20张为填充组图片。实验组图片的正确答案均为“是”，即表示图片中物体的单词在造句阶段出现过，它们分别为10对物品的两种状态或形态。而填充组图片的正确答案均为“否”，即表示图片中物体的单词在造句阶段未出现过。在实验组图片中设定了匹配条件和不匹配条件。匹配条件表示判断任务中的图片形状与含两个单词的造句所暗示的图片形状一致(例如，用“egg”和“skillet”造句子“There is an egg on the skillet”后呈现“破碎的鸡蛋”的图片)。不匹配条件表示判断任务中的图片与用两个单词的造句暗示的形状不一致(例如，用“egg”和“refrigerator”造句子“An egg is in the refrigerator”后呈现“破碎的鸡蛋”的图片)。其中匹配与不匹配条件的示例如表1所示。

表1 实验中匹配与不匹配条件的示例

为了筛选出与被试的心理预期更加匹配的实验图片，研究者对图片进行了前测，招募46名不参加正式实验的学生对实验所用40张图片进行判断。例如：用“egg”与“refrigerator”造句，你更能联想到以下哪张图片？被试从两个选项中选择与他们主观判断相匹配的图片。前测共设置了40个小问题，匹配率超过95%(43名被试)的图片视为通过，最终在前测中有一张图片(“corn”与“field”)由于匹配率较低，为82.60%(20名被试)，将其调换，其余匹配率均超过95%，视为符合大众认知。同时，实验材料中所包含的单词在前测实验中进行了熟悉度调查，有两名被试对“durian”这个词理解模糊，在正式实验中对这个填充材料组的单词进行了替换。评定实验图片的调查问卷如图1所示，以其中一组实验问题为例。

图1 评定实验问题(例)

(三)实验设计与实验流程

本实验采用E-Prime2.0编写程序，结合Nishiguchi & Kusumi的实验范式，[16]具体实验流程见图2。被试阅读完实验指导语，并在练习测验合格后，进行正式实验。

图2 实验流程示意图

首先，屏幕上会同时出现三个单词，一个目标单词在上方，两个关联单词在下方。呈现这些单词2000ms后，在两个关联单词的某一个的下方显示红线。被试用目标单词和画红线的关联单词共两个单词造句，并进行口头表达，限时7500ms。对造句的时间做了限制，是为了减小被试造句过程中考虑复杂的句子，或者非关联单词造句的可能性。当剩余时间在3000ms以内时，屏幕上会出现红色圆点进行提示。被试在该限制时间的基础上造句和发言，在发言结束的阶段按空格键，进入图片判断任务。同时，在限制时间内无法完成造句的情况下，也会自动进入图片判断任务，被试必须立即停止发言。在图片判断题前会出现250ms的注视点。在图片判断任务中，被试对图片中的物体是否出现在造句阶段的三个单词中，用 “是”(J键)或 “否”(F键)进行判断，判断的速度越快越好。在图片判断任务结束后，按空格键开始下一组测试。以上的流程作为一组测试，每名被试完成一个实验序列，共40组测试。一个实验序列由匹配条件的10组测试，不匹配条件10组测试，以及填充试验20组测试构成。

实验为2(匹配状态：匹配与不匹配)×2(词集产生的句子版本)的实验设计，同一目标单词的两个不同的关联单词(A1、A2)和两幅探测图片(B1、B2)共搭配成四种版本, 分别是 A1-B1、A1-B2、A2-B1、A2-B2。其中，A1-B1 和A2-B2 为匹配条件, A1-B2和A2-B1为不匹配条件。实验包含四个实验序列, 目的是控制实验材料和实验条件的顺序效应。自变量为词集产生的句子与图片的匹配关系，因变量为被试对图片判断的反应时。组合的单词种类、红线位置、图片种类在不同实验序列中获得平衡。各个实验序列中关联单词的左右划线数量相同。关于填充实验，全体被试使用相同的单词组合造句。

正式行为实验在一间安静的房间里进行，被试坐在电脑屏幕前，把双手放在电脑键盘上。相比于单手按键，这样做更有利于保证足够快的按键时间。所有被试在实验前都会被告知实验中产出的句子将同时进行录音。实验结束后，研究者以这些录音为基础，转写了被试的造句。

为了探究想像力和匹配效应之间的关系，在行为实验结束后，每一名被试都参加了想像力测试，测试采用了Zwaan实验中的视觉表象生动性问卷(Vividness of Visual Imagery Questionnaire)的中文版，[11]共32个问题。该问卷要求被试思考四种不同的情境以及在这四种情境下不同场景产生意象的生动性，并对意象生动性进行评分(5：非常清楚和生动，就像实际经历过一样。4：清晰，比较生动逼真。3：一般清晰。2：模糊不清。1：没有意象，你觉得你想到的不过是物体的名称)。测试的问题例如：“回答下面的13-16题，想象有一幅有山、有湖、有树的风景画，认真思考在你脑海里浮现的画面。13：整幅风景画的色彩及轮廓。14：树的形状和色彩。15：湖的形状和色彩。16：大风吹着树木，吹过湖面，泛起波纹。”我们采集了所有被试的想像力问卷的数据，并与之前的行为实验结果进行整合分析。

(四)数据处理

在所有数据结果中，反应时间短于300ms(预期反应、快速猜测)或超过3000ms(延迟反应、注意力缺失)的实验数据不被认为代表了当前任务所涉及的认知过程的知觉表征，[21]作为异常值被排除了。

研究者观察被试的造句过程，在实验的练习阶段，大部分被试在经过1—2次流程演示后，对造句的内容、结构有比较清楚的认知，极少数被试因为对实验内容陌生或其他因素在研究者给出一定的参考例句，比如可以用“There be”结构，或者“主系表”结构即某物在某地这样的表达后，能在正式实验时完整地完成实验，或者逐渐过渡到能使用相对复杂的句子。

由于在实验过程中，被试的造句时间最高为7500ms，并且相对具有连续性，所以被试在造句时可能会出现一些语法错误，或者语义上不太明确的情况，另外部分被试在个别单词的语音上也存在一定的偏差。对于这些录音数据的处理方法是，如果是一些可以自我修正的或者不影响单词意思理解的错误，则将它们视为有效数据。例如，关于“pear”与“basket”的造句，有一名被试忽略了单复数的问题，造出“There are pear in the basket” 这样的句子；另外还有介词误用的问题，例如关于“camel”和“desert”的造句，出现了“The camel is on the desert”这样类似的使用状况。因为被试并非犯了知识性的错误，而是类似于“error”这类可以自我修正的错误，本实验将这些句子依旧算作有效实验句。由于本实验对被试的英语水平有一定的要求，所以在删除了1.3%由于造句时间过长而未完成造句的实验数据后，本实验中被试单句产出的句子信息完整可信。

(五)实验结果

本实验使用SPSS软件进行数据分析，采用上文提到的标准进行数据的排除，删除了错误率高于30%的被试3名，以及极端反应时间数据，最后得到65名被试的有效数据。填充组实验数据的分析包含反应时及正确率统计，它们虽然不是本实验的主要考查内容，但是仍然得到分析，以确保被试遵守指导语，不偏向肯定或否定的回答。在匹配与不匹配条件下对图片判断的正确率统计如表1所示。

从表2中可以看出，匹配条件的正确率高于不匹配条件的正确率，也就是说被试在不匹配的条件下更容易出错。同时，在匹配和不匹配两种条件下对被试的反应正确率做了独立样本均值差t检验。统计结果表明，在匹配和不匹配两种情况下正确率差异显著(t=2.177，p<0.05)。关于在这两种条件下的反应时标准差及t检验的统计见表2。

表2 匹配与不匹配条件下被试对图片判断反应的正确率

从表3可以看出，在匹配条件下，被试的平均反应时为1422.89ms, 标准差为587.42ms;而在不匹配条件下，被试的平均反应时为1588.98ms，标准差为646.97ms。同时，采用独立样本t检验比较了在匹配条件与不匹配条件下被试对图片判断的平均反应时。统计结果表明，当句子与图片物体形状相匹配时，被试对图片的判断时间明显短于两者不匹配的情况，并达到了显著水平(t=-3.192，p<0.001)。

表3 匹配与不匹配条件下平均反应时、标准差及均值差别t检验结果(ms)

在想像力调查的研究问卷中，有1名被试的问卷结果显示全部为相同评价分数，因此评定为无效数据。关于匹配效应及想像力的相关性的统计方式是参照Zwaan的处理方式，[11]用匹配和不匹配条件下的均值之差，除以匹配和不匹配条件下的合并标准差，与每名被试的想像力得分进行相关性分析。

如表4所示，采用积差相关对效应量和想像力得分求相关，结果显示，二者不存在显著相关(r=-0.040，p=0.802)。

表4 VVIQ测试结果与匹配效应的相关性分析

三、讨论

本实验探讨了二语句子产出时形状信息的表征方式。统计结果表明，在完成语言产出后，关于图片的判断，匹配条件与不匹配条件有明显的差异。如果按照语言理解的非模态理论来看，物体例如 “鸡蛋” 可能被表示为一个特征列表或命题网络中的一个节点，这并不能很好地解释这种匹配效应。相反，本实验验证的匹配效应表明，意义是由先前感知经验的部分激活和整合来实例化的。在产出二语句子时，人们会适时对句子中物体的隐含形状信息进行加工。实验研究结果证明了语言产出过程中会形成形状信息的知觉表征，并进一步支持了知觉符号系统理论的观点。

(一)句子产出时形状信息知觉表征的特点

之前的相关研究表明，在语言理解过程中，当图片呈现的物体形状与句子中所隐含的物体形状相同时，被试的反应速度更快。语言理解过程中物体的知觉信息会被表征，人们在语言理解过程中会表征句子中的隐含形状。在句子理解过程中，物体的隐含形状产生的匹配效应与之前的研究中涉及到其他物体信息如方向、颜色等所得到的结果相似，说明形状这一知觉信息在语言理解过程中被激活，知觉符号得到表征。[8][11]

就语言产出而言，当二语学习者产出句子时，他们会激活形状信息表征的神经元，形成关于句子中物体的隐含形状的知觉表征。以往的研究验证了无论是在句子整合后的理解早期, 还是在句子整合后的理解晚期, 被试都能对句子中隐含的颜色信息进行身临其境的体验，完成知觉表征。[22]本实验在被试产出句子后要求被试立刻进入图片判断环节，其中包含250ms的注视点时间，这一过程即可视为句子整合后的理解晚期，因此本实验同时验证了无论在句子产出，还是在句子整合后的理解晚期, 大脑都能对物体形状信息进行知觉表征。

以往的研究探讨了在否定句理解过程中物体隐含信息在头脑中的具体表征过程。李莹、王瑞明、莫雷等人使用了否定句和图片作为刺激材料, 采用了句—图匹配范式，探讨否定句理解中被否定的情境和真实情境在大脑中的具体表征。[23]实验发现，当句子呈现时间为700ms时, 匹配条件中图片再认时间明显短于不匹配条件，证实了否定句理解中被否定情境的知觉表征。而当否定句呈现时间延长到1000ms时，在两种条件下，图片再认时间没有差异，说明读者已经转为对否定句所表达的真实情境进行模拟。然而，在本实验中，虽然我们在实验环节中并未要求被试使用肯定句或否定句造句，但是通过最后的录音转写发现，被试产出的句子差不多均为肯定句。那么在造否定句的过程中，句子隐含的但是被否定的物体形状信息是否能够得到表征，以及是否存在相关动态表征机制，这还需要进一步研究。

知觉模拟、心理模拟、心理表征、知觉符号等概念均与知觉符号系统理论相关，都体现了一种具身效应。在Zwaan的有关物体隐含形状对语言理解影响的研究中提到，我们在试图理解语言表达含义的过程中引发了我们对语言中涉及事物的心理模拟(mental simulation)，通过这个过程，人们在大脑中模拟(simulate)或者表征(represent)而形成知觉表征。也可以理解为大脑中知觉符号(perceptual symbols)或知觉表征(perceptual representation)被激活。[8]Richardson等人提到人们实时理解动词时会激活空间表征。[24]在Engelen & Bouwmeester的论文中使用的一词为知觉模拟(perceptual simulation)。[10]总之，语言理解的过程涉及到大脑负责感知和运动等区域的参与，大脑通过激活负责语言认知的神经元进行知觉表征，形成知觉符号。

(二)词汇的具身效应与词集产生句子的具身效应探讨

大量的研究证据表明，阅读或倾听孤立的单词会激活知觉符号，Zwaan & Yaxley的实验考查了感知信息，特别是物体形状，是否在语义的加工过程中被激活。实验被试需要判断屏幕上短暂出现的目标词与启动词是否有语义联系。当两者语义无关联，但是所指的物体有相同的形状(如“馅饼”与“时钟”)时，被试的反应要比启动词与目标词毫不相关时要慢。这表明，在语义相关判断任务中，形状信息被激活。[25]在本实验中，为了避免被试通过直接阅读单词本身而进行图片判断，一是在实验流程中加入了关联单词，并要求被试进行选择性地造句，这样在呈现单词的环节，被试不能直接造句，而是要在某个关联单词出现红线时再产出句子，这样确保了造句符合要求。由于时间限制，被试不能进行过多复杂的语言产出，因此保证了句子产出过程的完整性。二是在实验数据处理环节，我们对实验句子进行了筛选，排除了使用错误单词的句子，这样在一定程度上确保了被试通过词集产生句子，而不是仅仅通过理解或朗读单词而产出句子，从而可以验证句子产出时的具身效应。

(三)具身效应与想像力

值得注意的一点是，本研究中所提到的由于具身效应产生的知觉表征并不等同于想像力。多数情况下，想像力是人们有意识想像的一个过程，比如，当我们想像诗句 “抽刀断水水更流”的场景，我们会有意识地想像到像抽出宝刀去砍流水而水流淌更急的场景，而具身效应形成的知觉表征更多是一种无意识的过程，当我们读到“煎锅里的煎蛋”时，会无意识地形成一个摊碎的鸡蛋的知觉符号。想像力是一种有意识的、耗费认知资源处理复杂任务的能力。而由于具身效应产生的知觉表征是一种无意识的、不明显占用认知资源的过程，是日常认知过程的重要组成部分。本实验设置视觉想像生动性量表(VVIQ)来测试被试的想像力，该量表指导被试循序渐进想像四个不同的情景，并量化被试想像这些情景的生动性程度，根据得分评定被试的想像力，并将得分情况与之前产生的匹配效应进行相关性分析，得出二语产出时出现的匹配效应与想像力测试结果无显著性相关。此外，以往多数的研究证明匹配效应的大小与想像力没有显著相关性。在Zwaan & Pecher的实验中，被试进行了视觉想像生动性的测试，实验结果表明有关物体的方向、形状和颜色的知觉表征信息均与VVIQ的分值无关。[11]通过上文分析可以得出，二语句子产出时的知觉表征并不等同于想像力，它们并不共享所有语言处理过程；想像力包含更多的认知努力，可以策略性地处理任务；而语言产出过程中的知觉表征则是一种无意识的普遍机制，表现出较少的个体差异。

四、结论

本研究探讨了二语句子产出时隐含形状信息的具身效应，表明二语学习者在产出句子时会激活与事物形状特征相关的知觉符号，为具身语言效应提供了新的相应证据。除了之前所证实的语言理解的心理模拟观以外，本文在此基础上验证了语言产出时的具身效应，符合知觉符号系统理论，从而在某种程度上进一步强化了语言具身效应的相关理论。