启动语言对汉-英双语者场景一致性判断的影响

王 娟 张积家

(1江苏师范大学教育科学学院,徐州 221116) (2中国人民大学心理学系,北京 100872)

1 前言

语言、文化与思维的关系备受人们的关注。对这一问题,出现了不同的观点。语言普遍论认为,人类的基本认知过程相同,归类、学习、推理等具有普遍性(Nisbett,Peng,Choi,&Norenzayan,2001)。语言相对论则认为,语言影响认知,并在颜色知觉、时空表达、数的表达、亲属词认知、社会知觉等领域发现了大量的证据。语言相对论以Sapir-Whorf假设为代表。Sapir-Whorf假设可以分为3个层次：(1)强式：语言决定思维;(2)弱式：语言影响知觉;(3)最弱式：语言影响记忆(张积家,刘丽虹,谭力海,2005)。

近年来,跨文化研究得出了与语言相对论一致的结论。研究者采用眼动、脑电和fMRI技术考察了东西方个体在知觉、语义组织、记忆和推理等认知过程的差异,发现东方人优先地关注背景信息,西方人优先地关注目标物体(Nisbett&Miyamoto,2005;Chua,Boland,&Nisbett,2005);东方人根据人物的功能关系分组(如根据母子关系将母亲和孩子组合在一起),西方人根据人物的身体特征分组(如将女人与男人组合,因为都是成年人)(Chiu,1972;Ji,Zhang,&Nisbette,2004);当目标物的背景信息发生改变时,东方人能够再认编码过的目标物的数量显著减少,西方人对目标物的再认受背景影响的程度较小(Masuda&Nisbett,2001)。对东西方的老年人和青年人的适应性学习研究表明,东方老年人在目标物加工区表现出适应缺失,在背景加工区表现出正常的适应性(Goh et al,2007)。总的来看,东方人更多地采用整体思维和场依存型的认知方式,西方人更多地采用分析思维和场独立型的认知方式。Varnum,Grossmann,Kitayama和Nisbett(2010)提出的社会取向假说(Social Orientation Hypothesis)认为,社会取向的差异能够很好地解释东西方人的认知分化,但却不能排除语言、基因和文化的作用。

场景加工是检验文化差异效应的重要手段。场景是由空间分布合理的背景和离散的物体构成的真实环境(Henderson&Hollingworth,1999)。在场景中,物体是能够被移动的小范围的非关联的实体,背景是较大范围的实体,具有不可移动的表面与结构(Henderson,2005)。在场景加工中,人们有选择地注视感兴趣的区域,利用这些信息来考察所关心的问题,能够提供有效的实时性的数据。

语言差异是导致认知差异的重要因素。汉语和英语属于不同的语系,在许多方面存在着差异。这些差异既表现在词汇的书写形式、语音和语义上,还表现在语法和语用上。在时间表达上,汉语和英语均采用“前(front)”和“后(back)”来表征时间, 但汉语也使用“上(up)”和“下(down)”等表示竖直方向的词来表示时间(Boroditsky,2001;Chun,1997;刘丽虹,张积家,2009;Scott,1989;张建理,丁展平,2003)。Chen(2007)发现,在汉语讲话者的书面语言中,有36%的时间隐喻是竖直方向的。虽然英语讲话者有时候也用竖直方向的术语来表征时间[如“hand down”(传给后代)],但这种用法极少。李德高、袁登伟和李俊敏(2010)考察了汉-英双语者的概念联系,要求非英语专业大学生用中、英文词完成自由回忆和迫选判断,发现在汉语条件下,被试对主题关联和分类学关系的敏感程度相差不大,但在英语条件下,被试对分类学联系的意识比对主题关联的意识更强。语言差异促使被试的概念联系出现了分化。张积家和张萌(2009)考察了大学生在中、英文条件下对人称代词和物主代词的组织,发现在对应代词分类中,中、英文条件下都出现了词类维度(人称代词/物主代词或词组)。对中文代词分类还出现了“单数/复数”维度,对英文代词分类还出现了“人称”和“语法格”维度。在形容词修饰名词的语序安排上,汉语和英语也不同。汉语形容词修饰名词,形容词只能够在名词之前(沈家煊,1996)。而在英语中,形容词修饰名词时还存在着大量的后置现象,这是汉语中所没有的(乔翔,2011)。这一现象尤其体现在方所(方位和处所)表达上。在表达方所时,汉语和英语的名词短语中目标物和参照点出现的顺序恰好相反：在汉语中一定要先说参照点再说目标物,在英语中要先说目标物再说参照点。尽管如此,汉语和英语都把目标物作为名词短语的中心语,参照点充当修饰语(张璐,2002)。

因此,所使用的语言不同,人的认知加工也会出现分化。语序的差异是否会导致场景认知的分化？如果语言能够引导被试对场景进行不同的加工,其影响的机制又是什么？本研究采用图文一致性判断任务,先向英-汉双语者呈现英语短语或汉语短语,然后呈现与短语内容一致或不一致的场景图片,要求英-汉双语者对短语意义与场景内容进行一致性判断。研究假设是：若语言表达的语序影响了场景加工,那么,在不同的图文关系下,汉-英双语者对场景知觉的眼动指标也将存在着差异。考察这一问题有助于深化语言、文化与思维关系的研究,也为探讨语言影响认知的机制提供进一步的证据。

2 方法

2.1 被试

熟练汉-英双语者20名,男生7名,女生13名,均为大学生和研究生,平均年龄为23.50±1.60岁。视力或矫正视力正常,均通过了大学英语六级考试,属于较熟练的汉-英双语者。

2.2 设计

2(启动语言类型)×3(图文关系类型)两因素重复测量设计。启动语言类型包括汉语短语启动和英语短语启动两个水平;图文关系类型包括3个水平：图片场景(包括前景和背景)与启动语言完全一致(记为“一致”),图片场景中的前景物体与启动语言不一致(记为“前景不一致”),图片场景中的背景与启动语言不一致(记为“背景不一致”)。因变量为被试在进行图文一致性判断时的各项眼动指标。

2.3 材料

包括图片和文本两种。通过网络搜索获得了情境图片53幅,5幅作为学习材料,48幅作为实验材料。运用Photoshop软件统一目标物的大小(709×567像素)、位置(居中)及结构比例(目标物：背景 =1:9)。要求10名中文系研究生和10名英语系研究生对图片进行汉语命名与英语命名。选取一致程度较高的汉语短语和英语短语作为图片的启动短语,并将短语制作成BMP格式的文本材料。汉语文本材料为53个三字或四字短语,如“空中鹰”、“雪地企鹅”和“海中岛”。英语文本材料为53个五词短语或六词短语, 如“an eagle in the sky”、“a penguin on the snowfield”和“an island in the sea”等。在48 对图文对照的材料中,16对材料的启动短语的意义与场景图片的内容完全一致,如当启动短语为“池中荷”或“a lotus in the pond”时,对应图片为“池塘中的荷花”。16对材料的启动短语的意义与场景图片中的目标物不一致,如当启动短语为“花中蜜蜂”或“a bee in the flowers”时,对应图片为“花丛中的蝴蝶”。16对材料的启动短语的意义与场景图片中的背景物不一致,如当启动短语为“水中熊”或“a bear in the water”时,对应图片为“雪地上的熊”。在每种条件的16幅图片中,包含了12个生物目标物与4个非生物目标物。40名(女28人,男12人)不参加正式实验的汉族大学生在团体实验室完成材料评定,所有的评定均采用7点量表在规格统一的电脑上独立完成,不允许被试相互讨论。评定内容分为5个部分：(1)汉语短语的熟悉性评定;(2)英语短语的熟悉性评定;(3)图片的熟悉性评定;(4)汉语短语与图片的图文一致性评定;(5)英语短语与图片的图文一致性评定。5个部分的评定均分开进行,并将5种评定的顺序进行了伪随机处理。被试按照所设定的顺序进行评定。在汉、英短语和场景图片的熟悉性评定中,7表示被试对短语或场景图片非常熟悉,6表示比较熟悉,5表示熟悉,4表示不确定,3表示不熟悉,2表示比较不熟悉,1表示非常不熟悉。在图文一致性评定中,7表示场景图片内容与短语意义的一致程度非常高,6表示一致程度比较高,5表示一致程度高,4表示不确定,3表示一致程度低,2表示一致程度比较低,1表示一致程度非常低。同时,也对不同条件下的英语短语和汉语短语的字数进行了计数。英语短语和汉语短语的统计信息见表1。

表1 英语、汉语启动短语的平均字数和平均熟悉性信息表

评定结果显示,被试对3种实验条件下的英、汉启动短语均达到了熟悉的程度。方差分析表明,3种实验条件下的英语启动短语的平均熟悉性差异不显著,

F

<1,

p

>0.05;3种实验条件下的汉语启动短语的平均熟悉性差异不显著,

F

(2,47)=1.78,

p

>0.05。3种实验条件下的英语短语的平均字数相等(

M

=5.06),3种实验条件下汉语短语的平均字数相等(

M

=3.50)。3种场景图片的平均熟悉性分别为：

M

=5.83,

M

=6.19,

M

=5.90, 表明被试对场景图片也达到了熟悉的程度。方差分析表明,3种场景图片的平均熟悉性差异不显著,

F

(2,47)=1.77,

p

>0.05。3种实验条件的平均一致程度评定分别为：

M

=5.80,

M

=2.10,

M

=2.40。方差分析表明,3种实验条件的一致程度评定差异显著,

F

(2,47)=259.58,

p

<0.05。在一致条件下,场景图片内容与短语意义的平均一致程度与两种不一致条件的平均一致程度差异均显著,

ps

<0.05;在两种不一致条件下,场景图片内容与短语意义的平均一致程度无显著差异,

p

>0.05。20名不参加实验的汉族大学生在学习完场景图片名称一遍后,对3种图片进行快速命名,并记录命名反应时。方差分析表明,3种场景下图片命名的反应时(

M

=1182 ms,

M

=1211 ms,

M

=1194 ms)差异不显著,

F

(2,47)=0.47,

p

>0.05。

2.4 仪器

采用SR Research EyeLink 1000 eyetracker记录被试的眼动轨迹,由两台计算机组成,通过以太网连接。一台计算机记录眼动,数据采样率为每秒1000次,即相邻两次采样间隔为1 ms。一台计算机显示实验材料,屏幕分辨率为1024×768像素。材料呈现与眼动记录由专用计算机软件完成。

2.5 程序

分为学习和测试两个阶段。为了确保被试对英语材料和汉语材料的熟练程度无差异,实验前让被试学习了英语短语。在正式实验前,主试随机抽查,要求被试又快又准地说出英语短语的汉语译义。在测验阶段,包括英语短语预先呈现和汉语短语预先呈现两个区间。半数被试先完成英语短语预先呈现的区间再完成汉语短语预先呈现的区间,半数被试的完成顺序相反。

在正式实验时,被试端坐在计算机前,眼睛距离屏幕80 cm。告知被试在实验中尽量保持不动。通过校准,保证眼动轨迹记录的精确性。实验程序运行时,首先在屏幕中央呈现红色“+”注视点500 ms,随即呈现短语1000 ms,短语消失后,呈现场景图片6000 ms,最后呈现判断界面,要求被试对呈现短语的意义与场景图片内容的一致性进行判断,若场景图片内容与呈现短语的意义一致,按下“F”键;若场景图片内容与呈现短语的意义不一致,按下“J”键。若被试在3500 ms之内未做出反应,系统会自动进入下一次试验。每名被试共需要完成96次判断,其中,汉语短语预先呈现的场景图片有48幅,英语短语预先呈现的场景图片有48幅。相同的图片在实验过程中出现了2次,但与之匹配的语言不同。在正式实验之前,设有练习阶段。计算机自动记录从图片呈现到被试做出反应的反应时和错误率,计时单位为ms,误差为±1 ms。

3 结果与分析

记录被试的眼动指标,包括总注视点持续时间(fixation duration)、总注视次数(fixations)、兴趣区(目标区域)注视点持续时间、背景区注视点持续时间、兴趣区注视次数、背景区注视次数和平均注视时长(average fixation duration)7个指标。总注视点持续时间是指在图片加工中所有注视点的注视时间的总和,能够反映图片所需的中枢加工时间;总注视次数是指注视持续时间超过了30 ms的注视点个数,能够反映被试对此区域信息的关注程度;平均注视时长是指在加工中每个注视点所需要的时间。在英语短语和汉语短语启动下,对不同眼动指标进行重复测量的方差分析。在统计中,将前景区域作为兴趣区,前景之外的其他区域作为背景区。结果见表2。

3.1 总注视点持续时间

重复测量的方差分析发现,启动语言类型的主效应显著,

F

(1,19)=11.65,

p

<0.05。图文关系类型的主效应不显著,

F

(2,38)=1.28,

p

>0.05。启动语言类型和图文关系类型的交互作用显著,

F

(2,38)=4.94,

p

<0.05。当图文关系一致时,英语短语启动与汉语短语启动的总注视时间差异不显著,

p

>0.05;当图文关系不一致时,英语短语启动的注视时间显著长,

p

<0.05。这表明,在不同类型语言的启动下,被试对图片的注视时长存在着差异,并且启动语言作用的发挥受图文关系调节。当图文关系不一致时,在英语短语启动下的注视时间更长。

3.2 总注视次数

重复测量的方差分析发现,启动语言类型的主效应显著,

F

(1,19)=10.53,

p

<0.05,英语短语启动的总注视次数显著多于汉语短语启动。图文关系类型的主效应不显著,

F

(2,38)=0.29,

p

>0.05。启动语言类型和图文关系的交互作用不显著,

F

<1。这表明,启动语言类型影响被试对图片的注视次数。与汉语短语启动相比,英语短语启动下被试对图片的注视次数显著多。

3.3 前景区注视点持续时间

重复测量的方差分析发现,启动语言类型的主效应显著,

F

(1,19)=5.18,

p

<0.05。图文关系类型的主效应显著,

F

(2,38)=25.52,

p

<0.05。启动语言类型和图文关系类型的交互作用显著,

F

(2,38)=7.23,

p

<0.05。在图文关系一致与背景不一致条件下,汉语短语启动与英语短语启动的前景区注视时长无显著差异,

p

>0.05;在前景不一致条件下,英语短语启动(2609 ms)的前景区注视时长显著长于汉语短语启动下的注视时长(2264 ms),

p

<0.05。这表明,在前景不一致条件下,与汉语短语启动比,英语短语启动在前景区的注视时间更长。

3.4 背景区注视点持续时间

重复测量的方差分析表明,启动语言类型的主效应显著,

F

(1,19)=11.83,

p

<0.05,英语短语启动下被试对背景区的注视时间显著长。图文关系类型的主效应显著,

F

(2,38)=34.57,

p

<0.001。均数多重比较表明,当图文关系一致时,被试对背景区注视时间最长(2032 ms),与前景不一致条件和背景不一致条件差异显著,

p

值分别小于0.05和0.001。在前景不一致条件下,被试对背景区的注视时间(1959 ms)显著长于背景不一致条件下(1784 ms),

p

<0.001。启动语言类型和图文关系类型的交互作用不显著,

F

(2,38)=2.15,

p

>0.05。这表明,启动语言类型影响被试对图片背景区的注视时长,英语短语启动在背景区的注视时间更长。图文关系的类型也影响被试对图片背景区的注视时长。图文一致条件下背景区的注视时间最长,其次是前景不一致条件,最后是背景不一致条件。

表2 英语短语和汉语短语启动下英-汉双语者图文一致性判断的眼动指标的平均值

3.5 前景区注视点次数

重复测量的方差分析表明,启动语言类型的主效应不显著,

F

(1,19)=1.02,

p

>0.05。图文关系类型的主效应不显著,

F

<1。启动语言类型和图文关系类型的交互作用不显著,

F

(2,38)=1.00,

p

>0.05。

3.6 背景区注视点次数

重复测量的方差分析表明,启动语言类型的主效应显著,

F

(1,19)=17.72,

p

<0.001。图文关系类型的主效应显著,

F

(2,38)=16.44,

p

<0.001。启动语言类型和图文关系类型的交互作用显著,

F

(2,38)=3.33,

p

<0.05。简单效应分析发现,在图文关系一致和背景不一致条件下,英语短语启动下对背景区的注视点次数显著多,

p

<0.05;在前景不一致条件下,英语短语与汉语短语启动的背景区注视点次数没有显著差异,

p

>0.05。这表明,在图文关系一致和背景不一致条件下,与汉语短语启动条件相比,在英语短语启动下被试对背景区更为关注。

3.7 平均注视点持续时间

重复测量的方差分析显示,启动语言类型的主效应显著,

F

(1,19)=4.76,

p

<0.05,在汉语短语启动下的平均注视点持续时间显著长于在英语短语启动下。图文关系类型的主效应不显著,

F

<1。启动语言类型和图文关系的交互作用不显著,

F

(2,38)=1.61,

p

>0.05。很显然,在汉语短语启动下平均注视点持续时间显著长是由于总注视次数少造成的。

3.8 对前景区注视的百分比

为了更清晰地考察不同条件下被试的注视规律,计算了前14个注视点前景区获得注视的百分比,并将百分比叠加,绘制出英语短语和汉语短语启动条件下3种不同图文关系图片的注视比例折线图。图1为在英语短语启动下前景区获得注视的比例折线图,图2为在汉语短语启动下前景区获得注视的比例折线图。

图1 英语短语启动下英-汉双语者注视前景区的比例

从图1和图2可见,无论是汉语短语启动还是英语短语启动,在前3个注视点上,被试对前景的注视比例均超过了50%;在汉语启动下,对前景的注视比例超过了60%。这表明,汉语短语和英语短语在言语理解上具有共性,即对前景的注视具有优先性,这一优势将持续到第5个注视点。从第5个注视点起,在不同条件下的注视规律开始出现了分化,注视点由前景转向背景,但转移的速度和幅度却因为启动语言类型与图文关系类型的不同而不同。在英语短语启动时,在背景不一致条件与图文一致条件下,到第6个注视点时,已经完全转至背景区域。但在前景不一致条件下,注视点转向背景的速度较慢,到第8个注视点时才开始完全转向背景。在背景不一致条件下,对背景的注视将一直延续到第13个注视点,而在前景不一致条件与图文一致条件下,被试自第10个注视点起就转回前景区域。在图文一致条件下,被试注视前景和背景的比例一直维持在概率水平。在汉语短语启动下,被试对3种图文关系的注视比例比较统一,均表现为由前景区(1～6或7个注视点)转移至背景区(7～9或10个注视点),在第10个注视点之后,在背景不一致条件下,被试继续关注背景,而在图文一致和前景不一致条件下,被试注视前景区的比例增大。

图2 汉语短语启动下英-汉双语者注视前景区的比例

在汉语短语启动下,被试注视前景区的分布与在英语短语启动下有相似之处,也存在着差异。首先,无论哪一种图文关系类型,被试均优先地关注前景区,这体现了前景区的注视优势;其次,在3种不同图文关系类型上,被试注视转移的趋势基本一致,多数是在第5个或第6个注视点时由前景区转向背景区,区别主要体现在3种图文关系下对前景区和背景区的注视次数上。当背景不一致时,被试的注视点停留在背景区的次数要比其他两种类型多。当前景不一致时,注视点停留在前景区的次数比其他两种类型多。在英语短语和汉语短语启动下,眼动注视也存在着差异。在英语短语启动下,注视点转移受前景、背景是否一致的影响更大,而在汉语短语启动下,注视点转移受图文关系类型的影响较小。第三,自首注视点以后,在英语短语启动下,注视点逐渐转向了背景区,而在汉语短语启动下,注视点的转向速度相对较慢,而且在英语短语启动下,背景区获得注视的比率显著高于在汉语短语启动下。

4 讨论

总的来看,启动语言影响英-汉双语者对场景图片的加工。在英语短语和汉语短语启动下,被试在多项眼动指标上均产生了显著的差异。这些差异与语言的特性有直接关系。同时,任务加工深度也影响眼动的特点。下面,就对研究结果做一些讨论。

4.1 语言特性影响汉-英双语者的场景知觉

本研究采用眼动技术考察了在不同语言启动下汉-英双语者对场景图片的注视特点,发现在英语短语启动下的场景图片注视的特征不同于在汉语短语启动下,集中表现在总注视点持续时间、总注视次数、前景区注视点持续时间、背景区注视点持续时间、背景区注视点次数和平均注视点持续时间6个指标上。具体来看,在英语短语启动下,对3种场景图片的总注视次数显著多,对3种场景图片背景区的注视点持续时间显著长;对图文关系不一致场景图片的总注视时间显著长;对前景不一致场景图片的前景区的注视时间显著长;对图文关系一致场景和背景不一致场景图片的背景区的注视次数显著多;在汉语短语启动下的平均注视点持续时间显著长。这表明,启动语言影响汉-英双语者的场景知觉。并且,对场景图片背景区的注视时间显著长,或者注视次数显著多,这可能与英语的语言特性有关。

从对前景区和背景区的注视特征来看,被试对前景的关注更多,这主要体现在注视时长上。从前景区和背景区获得的总注视时长看,在英语短语启动下,前景区的平均注视时间(2568 ms)显著长于背景区的平均注视时间(2069 ms);在汉语短语启动下,前景区的平均注视时间(2362 ms)也显著长于背景区的平均注视时间(1779 ms)。由此可见,无论启动语言是汉语短语还是英语短语,前景区均获得了注视的优势。对前14个注视点注视前景区的比例考察发现,无论是英语短语启动还是汉语短语启动,被试均优先地关注前景区域,直到第6个注视点左右,才有将近50%的注视点开始转向了背景区,这显示了前景物体在言语理解中的优势地位。综合来看,无论是英语短语启动还是汉语短语启动,前景区比背景区均获得了更多的、更早的关注,这体现出英语短语和汉语短语在理解上的共性,即它们有共同的所指。

从任务操作的认知过程来分析,英语短语和汉语短语在意义所指上完全相同。在实验中,被试要先阅读短语,再加工场景,继而判断短语意义与场景内容的一致性。完成这一任务需要经过“表象提取”和“扫描验证”两个环节。当启动短语呈现时,被试要在头脑中提取与短语意义一致的表象。据知觉与表象等价的原理(Kosslyn,1980),表象具有知觉的特点,在表象中,前景和背景的清晰度不同。前景物体在背景中得以凸显,人们对它们的表象更加清晰;背景处在陪衬地位,虽然也能够获得表象,却比较模糊。由于场景表象的这一特点,使得前景加工和背景加工在被试头脑中自然地区分开来。在进行图文一致性判断时,出于加工速度的要求,被试会优先地关注清晰确切的前景信息,对模糊的背景信息的关注则处于次要地位。这也体现了英语短语与汉语短语虽然形式有异却意义相同的特点,在有时间压力的任务下,这一特点将更为突出。

从前14个注视点的注视比例看,在英语短语和汉语短语的启动下,前景区均受到了优先的关注。但是,由前景区转向背景区的过程却存在着差异。在英语短语启动时,在背景不一致和图文一致条件下,自第4个注视点始,被试开始转向背景;在汉语短语启动时,直到第6个注视点时,被试才开始转向了背景。在不同语言短语的启动下,停留在背景区的注视点个数相差不大,但由停留在背景区的注视比例可知,在英语短语启动下注视背景区的比例显著高,在汉语短语启动下注视背景区的比例相对低。英语短语启动使得被试对背景进行了额外的、快速的关注,汉语短语启动却使被试的注意由前景区转移至背景区的时间较晚。所以如此,主要源于英语短语和汉语短语在表达上的差异。语言学认为,修饰语前置是形容词修饰名词结构的优势语序,而英语形容词修饰名词除了前置语序外,还存在着大量的后置语序。例如,对偏正结构的表达,汉语短语是修饰语在前,中心词在后;英语短语的表达方式有两种,一种与汉语相同,如“table’s top”,另一种是中心词在前,修饰语在后,如“the top of the table”。形容词修饰语前置是优势语序,形容词修饰语后置是条件语序。当修饰语为固定词组或由短语构成时,这些修饰成分就要置于名词之后,其语法功能相当于一个省略形式的限制性定语从句或非限制性定语从句(乔翔,2011)。在表达方所时,汉语的表达语序一定要先说参照点再说目标物,英语的表达语序则是目标物先于参照点(张璐,2002)。在研究中,在表述场景中的目标物时,英语表达将目标物置于前,背景物置于后,如“a butterfly in the flowers”;汉语表达正好相反,将背景物置于前,将目标物置于后,如“花间蝶”。这样,就导致在英语短语启动时,背景后置使得注视点转向背景区的比例大幅度增加,而在汉语短语启动时,却未表现出这一特征。因此,被试的眼动特点受启动语言的结构影响。有研究者认为,这种表达方式是由于中西方语言在语序安排上的侧重点不同所致：汉语主要使用自然语序,即时间顺序原则,即按照人们如何感知时间顺序中的情状安排语序;西方语言遵守凸显语序原则,即按照说话者的兴趣与表达焦点来安排语序(徐行言,2004)。也有研究者从结构主义角度来分析,认为两种表征场景的方式反映了语言内部各自约定俗成的语序规则。这说明,人类对于外部世界的感知而形成的概念结构与语言结构之间存在着一种象似的关系(郭熙煌,2000)。还有研究者认为,语言单位的组织往往与人的认知过程一致,语言中成分的次序与物理经验的次序或对事物的认识次序是平行的(张敏,1998)。

由此可见,在首注视对象的选择上,语言共性发挥了重要的作用;在关注区域的转向上,语序差异又影响着注视转移的规律。综合地看,汉、英两种语言的共性与差异共同影响了英-汉双语者对场景图片的加工。

4.2 加工深度影响汉-英双语者的场景知觉

王娟、张积家、刘鸣和印丛(2011)采用喜欢度评定任务考察启动语言对场景知觉的影响。他们采用意义一致的启动语言与场景图片,记录被试在注视场景图片时的眼动轨迹,发现在英语短语启动下,被试对图片的总注视次数、对背景区的注视次数显著多;对背景区的注视时间显著长;在汉语短语启动下,被试对前景区的注视次数显著多,对前景区的注视时长以及平均注视时间显著长。这与本研究中采用图文一致性判断任务得出的结论不一致。这是由于任务的影响。喜欢度评定引导被试关注图片场景中感兴趣的区域或者目标,图文一致性判断引导被试对图片进行精确的意义加工。因此,任务的加工深度不同,眼动的特点也存在着差异。在喜欢度判断任务中,启动语言的特性对场景加工的影响更为凸显。由于两种语言的短语意义一致,被试均会优先地关注表象清晰的前景物体;然后,转移加工就会根据启动语言的侧重而产生了差异。在英语短语启动下,背景信息后置引导被试对背景进行额外的、快速的关注,而在汉语短语启动下,被试关注的重心由前景区转移至背景区的时间较晚。虽然采用图文一致性判断任务,被试需要在时间压力下完成信息的搜索和验证,但从眼动研究的结果来看,前景物体获得优先关注是极为稳定的现象。

王娟等(2011)也对图文一致性判断的行为指标进行了考察,发现背景不一致条件的反应时显著长于图文一致条件和前景不一致条件。在汉语短语启动时,背景不一致条件的反应时显著长于前景不一致条件;在英语短语启动时,图文一致条件的反应时显著短于前景不一致条件和背景不一致条件。这也与本研究的结果不完全一致。所以如此,与实验程序的变化有关系。在行为研究中,要求被试在场景图片界面呈现时,对图片和文字的一致性进行判断,而在目前的研究中,为了获取更为详尽的注视信息,将图片场景界面呈现了6000 ms,继而呈现判断界面,要求被试在判断界面呈现时,再做出判断。场景图片界面呈现的时间比行为实验长,在这段冗余的时间内,被试更多地是对于前景信息的注视。

从总体上看,在有加工深度的任务引导下,启动语言对场景图片的加工产生了影响。任务导向促使被试对前景物体进行了更早的、更多的加工。这与英语短语和汉语短语的意义指向具有共性有关。在加工后期,语言结构对图片场景的影响得以凸显,英语的背景后置语序促使被试更早地、更多地转向对背景的加工。

4.3 启动语言影响场景加工的性质

近年来,在场景知觉研究领域,一个重要的争论是“文化效应”(Culture Effect)。有研究发现,东、西方的个体在场景知觉上存在差异。在进行场景加工时,西方人更多地注视前景物体,他们善于分析物体的特性,倾向于将物体归入一定的范畴;东方人更多地关注背景,他们善于整体思维,更多地基于关系和相似性做出判断(Nisbett et al,2001;Nisbett,2003;Chua,Boland,&Nisbett,2005)。但是,也有研究者对文化效应提出了质疑。Rayner,Li,Williams,Cave和Well(2007)通过阅读、脸孔加工、场景知觉等6种任务,发现美国被试与中国被试注视背景和前景的平均时长没有显著的差异。他们认为,文化对场景知觉的影响没有那么强烈,不同文化群体之间的眼动差异应该更多地归结为语言经验的作用,而非文化效应。Evans,Rotello,Li和Rayner(2009)重复了Chua(2005)等的研究,发现美国人与中国人对前景的注视均多于对背景的注视,对前景的注视时间均长于对背景的注视时间。两种文化的个体在场景知觉和记忆中所使用的策略也相同。Rayner,Castelhano和Yang(2009)要求中国被试和美国被试注视特异的场景,发现在各项眼动指标上,中国被试和美国被试均未产生显著的差异。王娟等(2011)的研究也发现了与文化效应不一致的结果。由此可见,场景知觉的文化差异仍然存在着争议。

事实上,“文化”的概念太过复杂,外延也十分宽泛。即使文化效应确实存在,人们也不清楚究竟是文化的哪一部分影响了不同文化群体的人的场景知觉。与以往研究不同,目前研究考察了语言对场景知觉的影响,因为无论如何,语言都是文化的载体,语言在文化世界的建构、传承和交流方面发挥着难以替代的作用。研究不同语言对场景知觉的影响,有助于将“文化效应”的研究具体化。本研究表明,汉-英双语者在汉、英短语启动下的图片加工既存在着共性,又存在着差异：无论启动语言的类型如何,前景物体均更多、更早地获得了汉-英双语者的关注,这与不同语言短语的所指相同有关;语言特性又确实影响了汉-英双语者的眼动轨迹：在英语短语启动下,被试对背景进行了额外的、快速的关注;在汉语短语启动下,注视由前景区转至背景区的时间较晚而且注视比例较小。这表明,如果两种语言表达的所指相同,启动语言对场景知觉的影响就是局部的,而非颠覆性的。启动语言对场景知觉的影响可以用Slobin(1996)的“我说故我思”(thinking for speaking)的理论来加以解释。Slobin(1996,2000,2003)认为,语言影响人对事件的特征选择和注意。语言使人关注于知觉的某些层面,忽略了其它层面。每一种话语都代表了一种特征选择：它预留给讲话者在不断变化的环境和背景知识基础上去填充细节。结合王娟等(2011)的研究,可以认为,语言的特性、结构和意义指向性均会对汉-英双语者的场景知觉产生一定的影响,并且在不同的实验范式下出现类似的趋势。这样,与文化的影响相比,语言对场景知觉的影响就更为明确和直接。

5 结论

(1)无论是汉语启动短语还是英语启动短语,在图文一致性判断任务中,被试均更多地关注前景区域。这反映了英语短语和汉语短语在意义表达上具有共同的所指。

(2)语言特征影响眼动注视的特性。英语与汉语在场景表达上存在着语序差异,这会影响被试注视图片的眼动特点。

(3)任务的加工深度影响汉-英双语者的场景知觉。

Boroditsky,L.(2001).Does language shape thought?English and Mandarin speakers’conceptions of time.

Cognitive Psychology,43

,1–22.Chen,J.Y.(2007).Do Chinese and English speakers think about time differently?Failure of replicating Boroditsky(2001).

Cognition,104

,427–436.Chiu,L.H.(1972).A cross-cultural comparison of cognitive styles in Chinese and American children.I

nternational Journal of Psychology,7

,235–242.Chua,H.C.,Boland,J.E.,&Nisbett,R.E.(2005).Cultural variation in eye movementsduring scene perception.

Proceedings of the National Academy of Sciences of the United States of America,102

,12629–12633.Chun,L.(1997).

Conceptualizing the world through spatial metaphors:An analysis of UP/DOWN vs.SHANG/XIA metaphors

.In Proceeding of the 19th annual meeting of the cognitive science society.Mahwa,NJ:Erlbaum.Evans,K.,Rotello,C.M.,Li,X.,&Rayner,K.(2009).Scene perception and memory revealed by eye movements and ROC analyses:Does a cultural difference truly exist?

Quarterly

Journal

of

Experimental

Psychology,

62

,276–285.Goh,J.O.,Chee,M.W.,Tan,J.C.,Venkatraman,V.,Hebrank,A.,Leshikar,E.D.,…Park,D.C.(2007).Age and culture modulate object processing and object-scene binding in the ventral visual area.

Cognitive,Affective,&Behavioral Neuroscience,7

(1),44–52.Guo,X.H.(2000).A cultural interpretation of syntactic iconicity.

Journal

of

Sichuan

International

Studies University,16

(3),66–69.[郭熙煌.(2000).句法临摹的文化阐释.

四川外语学院学报,16

(3),66–69.]Henderson,J.M.(2005).Introduction to real-world scene perception.

Visual Cognition,12

,849–851.Henderson,J.M.,&Hollingworth,A.(1999).High-level scene perception.

Annual Review of Psychology,50

,243–271.Ji,L.J.,Zhang,Z.Y.,&Nisbett,R.E.(2004).Is it culture or is itlanguage? Examination oflanguage effects in cross-cultural research on categorization.

Journal

of Personality&Social Psychology,87

,57–65.Kosslyn,S.M.(1980).

Image and mind

.Cambridge,MA:Harvard University Press.Li,D.G.,Yuan,D.W.,&Li,J.M.(2010).Non-English majors’awareness of thematic and taxonomic relations in English and Chinese.

Foreign Language Teaching and Research,42

,131–137.[李德高,袁登伟, 李俊敏.(2010).大学生汉、英语条件下不同概念联系意识比较.

外语教学与研究,42

,131–137.]Liu,L.H.,&Zhang,J.J.(2009).The effects of spatial metaphorica representation of time on time cognition.

Foreign Language Teaching and Research,41

,266–271.[刘丽虹,张积家.(2009).时间的空间隐喻对汉语母语者时间认知的影响.

外语教学与研究,41

,266–271.]Masuda,T.,&Nisbett.R.E.(2001).Attending holistically versus analytically:Comparing the context sensitivity of Japanese and Americans.

Journal of Personality and Social Psychology,81

,922–934.Nisbett,R.E.(2003).

The geography of thought:How Asians and Westerners think differently and why

.New York:The Free Press.Nisbett,R.E.,&Miyamoto,Y.(2005).The influence of culture:Holistic versus analytic perception.

Trends in Cognitive Sciences,9

,467–473.Nisbett,R.E.,Peng,K.,Choi,I.,&Norenzayan,A.(2001).Cultural and systems of thought:Holistic versus analytic cognition.

Psychological Review,108

,291–310.Qiao,X.(2011).

The comparative study of Chinese-English AN structure

.Unpublished doctorial dissertation,Minzu University of China.[乔翔.(2011).

汉英形修名结构对比研究.

博士学位论文,中央民族大学.]Rayner,K.,Castelhano,M.S.,&Yang,J.M.(2009).Eye movements when looking at unusual/weird scenes:Are there cultural differences?

Journal of Experimental Psychology:Learning,Memory,and Cognition,35

,254–259.Rayner,K.,Li,X.,Williams,C.C.,Cave,K.R.,&Well,A.D.(2007).Eye movements during information processing tasks:Individual differences and cultural effects.

Vision Research,47

,2714–2726.Scott,A.(1989).The vertical dimension and time in Mandarin.

Australian Journal of Linguistics,9

,295–314.Shen,J.X.(1993).A survey of studies of iconicity in syntax.

Foreign Language Teaching and Research,

(1),2–8.[沈家煊.(1993).句法的象似性问题.

外语教学与研究,

(1),2–8.]Slobin,D.I.(1996).From “thoughtand language” to“thinking for speaking”.In J.J.Gumperz,&S.C.Levinson(Eds.),

Rethinking

linguistic

relativity

. Cambridge:Cambridge University Press.Slobin,D.I.(2000).Verbalized events:A dynamic approach to linguistic relativity and determinism.In S.Niemeier,&R.Dirven (Eds.),

Evidence

for

linguistic

relativity

.Amsterdam/Philadelphia:John Benjamins.Slobin,D.I.(2003).Language and thought online:Cognitive consequences of linguistic relativity.In D.Gentner,&S.Goldin-Meadow(Eds.),

Language in mind:Advances in the study of language and thought

.Cambridge,MA:MIT Press.Varnum,M.E.,Grossmann,I.,Kitayama,S.,&Nisbett,R.E.(2010).The origin of cultural differences in cognition:The social orientation hypothesis.

Current

Directions

in Psychological Sciences,19

,9–13.Wang,J.,Zhang,J.J.,Liu,M.,&Yin,C.(2011).Impact of language on proficient Chinese-English bilinguals’scene perception.

Foreign Language Teaching and Research,43

,850–863.[王娟,张积家,刘鸣,印丛.(2011).启动语言对熟练汉-英双语者场景知觉的影响.

外语教学与研究,43

,850–863.]Xu,X.Y.(2004).

Comparison between Chinese and western culture

.Beijing,China:Beijing University Press.[徐行言.(2004).

中西方文化比较

.北京:北京大学出版社.]Zhang,J.J.,Liu,L.H.,&Tan,L.H.(2005).The hypothesis of linguistic reality:New evidence and view.

Linguistic Sciences,4

(3),42–56.[张积家,刘丽虹,谭力海.(2005).语言关联性假设的研究进展—新的证据与看法.

语言科学,4

(3),42–56.]Zhang,J.J.,&Zhang,M.(2009).The organization and application ofperson pronounsand ownerpronouns.

Journal of South China Normal University(Social Science Edition),

(5),31–38,150.[张积家,张萌.(2009).人称代词和物主代词的组织和运用.

华南师范大学学报(社会科学版),

(5),31–38,150.]Zhang,J.L.,&Ding,Z.P.(2003).Comparative study of temporalmetaphorin English and Chinese.

Foreign Languages and Their Teaching,

(9),31–34.[张建理,丁展平.(2003).时间隐喻在英汉词汇中的对比研究.

外语与外语教学,

(9),31–34.]Zhang,L.(2002).The cognitive process reflected by word sequence of English and Chinese from the view of“East,West,South and North”.

Language Research,

(4),11–17.[张璐.(2002).从东西南北谈汉英语语序所反映的认知过程.

语言研究,

(4),11–17.]Zhang,M.(1998).

Cognitive linguistics and Chinese noun phrase

.Beijing,China:Beijing Social Science Press.[张敏.(1998).

认知语言学与汉语名词短语

.北京:北京社会科学出版社.]