《话语、视觉、认知》介绍

王立琼 李 冰

（红河学院 外语学院，云南 蒙自 661100）

1.前言

《话语、视觉、认知》（Discourse，Vision，and Cognition）是由John Benjamins出版社2008年推出的 “人类认知加工”系列丛书，本书是该系列的第23册，包含了前言、文献、索引（作者索引，主题索引）及9章节的内容，由瑞典的隆德大学博士Jana Holsanova编著。

Jana Holsanova的研究领域主要是神经学与认知学，她最近的研究涉及了报纸文本、图像感知行为及读者模式等。其论文“Entry Points and Reading Paths and Newspaper Spreads”被中国学者大量引用。由于她高级研究员的有利身份，在她的实证研究中，运用了眼动追踪报告、多模态分析及大量的口语脚本资料。本书正是作者多年实验研究成果的结晶，它基于话语分析与认知主导的行为研究，探讨了语言、视觉和认知的关联问题。

Jana Holsanova认为要直接揭示人类的认知过程是不可能的，如果想知道大脑是如何工作的，就必须通过间接而明晰的解释，比如分析口头描述话语、图画感知及心理意象之间的关联，为此作者进行了这方面的研究。

2.内容简述

第一章：Segmentation ofSpoken Piscourse（口语话语切分）

本章有4节，是作者进行进一步研究的理论基础。本章主要涉及了口语描述话语的切分。

作者首先解释了言语是以喷发状态产出的，具有停顿、犹疑、打断、重新开始等不流畅特质，所以提供了探索认知思维的线索。为了分析口头语的表达产生，作者把口头语转录，转录的数据包含话语特质、韵律及非言语特质。说话者切分话语及创造整体及局部的转移，这反映了在话语产出时一定的认知节奏（cognitive rhythm）。很多理论提出一次只可以关注一定的小信息量，但是至于信息量的大小和形式众说纷纭。所以作者为了进一步研究，她定义了反映人类注意力的口头描述话语最重要的单位——言语焦点（verbal focus）、言语超焦点（verbalsuperfocus）。接下来，作者介绍了口语数据切分规则，除了韵律、听觉标准外，还介绍了语义标准及话语标记。之后作者对母语听话者及非母语听话者进行切分标准的直觉测试，得出了两个结论：如果韵律和听觉标准相互作用能被语义和词汇标准进一步证实就有助于识别话语边界；听者在更高的层次——言语超焦点层面（superfoci）上更容易识别话语边界。

第二章：Structure and Contentof Spoken Picture Descriptions（图画描述口语结构与内容）

本章有2节，介绍了在无眼追踪场景下，构成图画描述结构和内容的言语焦点分类；比较了在不同场景下言语焦点类型及分布情况。

作者通过12人看图之后进行交互性描述的实验得到的脚本说明：说话人不仅谈论了他所看到的，还谈到了它们是如何呈现在说话者面前的。根据Chafe的分类，作者采用了三大类：呈现功能、态度功能和组织功能。作者认为每一类可以看作是言语焦点或言语超焦点，呈现功能包含了实体焦点（substantive foci）、总结焦点（summarizing foci）和地点焦点（localizing foci）；态度功能包含了评价焦点（evaluative foci）和专家焦点（expertfoci）；组织功能包含了交互焦点（interactive foci）、内省焦点（introspective foci）、元原文焦点（metatextual foci）。如例5所示（p23）：

1102 it’sa.pictureabout.sowing SUM（summarizing foci）

1103 and.It’sa fellow’SUBST（substantive foci）

1104 Idon’trememberhisname’INTROSPECT（introspective foci）

1105Pettson’Ithink，SUBST（substantive foci）

1106who is firstdigging.in the field’SUBSTLIST（substantive listofitems）

1107 and then he’s sow ing’SUBST LIST（substantive listofitems）

1108 quitebigwhite seeds’SUBST（substantive foci）

1109 and then the cat starts watering’SUBST LIST（substantive listofitems）

1110 theseparticular seeds’SUBST（substantive foci）

1111 and itendsupwith the fellow.eh.raking，.this field SUBSTLIST（substantive listofitems）

作者用描述者的原文图释了以上八类焦点的存在，同时，采集了另外三组数据来证明在叙述指令下或空间提示的无图描述与看图描述（无眼追踪或有眼追踪）中以上八类焦点的存在。数据量化分析说明了在其他的场合它们同样存在的事实，但在不同的场景，各焦点的分布和比率不同，比如在凭记忆描述图画的场景中总结焦点占主导地位；而在叙述提示下的现场图画描述中实体焦点占主导地位。

第三章：Description Coherence&Connection between Foci（描述时焦点之间连贯性与连接性）

本章有2节。第一节探讨了图画描述时焦点之间的转换。作者对有眼追踪的即时交互性描述的数据进行T检验，认为如果说话者转到另一个超焦点层面的话，与同一超焦点层面的内部焦点之间转换相比，停顿和犹豫的时间会变得更长，超焦点层面的停顿均时为2.53秒，而内部焦点之间的停顿均时为0.53秒；改变看图的位置也会使停顿和犹豫时间变得更长；当说话者从呈现图中的具体事物到总括更高层面转换时，停顿时间变得更长；最长的停顿出现在描述结束时的人际交流阶段。提出了三种模式可以影响焦点的思维距离的转换，它们是语言背景的主题距离，图像为背景的主题距离，描述话语的行事话语距离，转换同时受词汇和韵律的影响。第二节涉及了连贯性描述的图示。作者利用自发性描述的脚本，说明了为了到达连贯的目的，言语、韵律/语音及非言语手段都会用来表示焦点的转换，这样通过语言，部分非言语的行为（在面对面的场景）共同的注意焦点被创造。

第四章：Variations in Picture Description（图画描述的变体）

本章有3节。作者认为我们描述目的不同，其呈现的内容和形式会不同，不同的人会在描述时关注不同的方面，而忽略了其它方面。作者采集的数据表明存在动态和静态两者不同的描述风格。在静态描述中，空间关系占主导地位，有大量的空间关系术语、名词、存在结构、情态动词、位置动词及被动语态。在关注和重新关注图画的各部分时，表达会有重音、响亮、音质的伴随。动态描述中时间关系和活动的事件是说话者关注的中心，具有短暂动词、时间副词和行为动词、主动语态特征。说话者往往遵循叙述的模式：描述以介绍主要角色开始，然后是参与的活动及场景的描述。同时作者把言语焦点的分类对应动态和静态的描述风格进行研究。

在第二节中作者探讨了造成两种不同描述风格的因素。作者以个人差异、记忆的实证研究、信息的存储和提取等方面的理论为依据进行阐述。认为Grow提出的言语思考者和视觉思考者与她的研究吻合，她的动态描述与言语思考者的描述相当，而静态描述与视觉思考者的描述相当，尽管他们的研究有书面语与口语的不同，但动态描述风格与静态描述风格和言语思考者及视觉思考者平行。从信息提取角度来看，认知是由心象系统和言语系统构成的。视觉思考者主要依赖心象系统，而言语思考者更多通过言语逻辑手段来加工信息。根据Bartlett（1932）的记忆实验，视觉思考者更容易记住物体，有时用二级联想描述记住的物体。言语思考者更倾向言语分析策略，他们的描述受命名的影响，运用分类手段描述物体，依赖类别和二级联想。而Kozhevnikov et al.（2002）所做的个人差异的研究，证实了神经物理学的研究：一些人是物体视觉，另一些是空间视觉。继而作者进一步提出她的研究，甚至可以把描述细分为言语、空间和图像描述风格。

在第三节中作者进一步探讨了动态描述风格与静态描述风格在空间，叙述的提示下是否受到影响。最后作者的实验数据表明空间提示会导致大量的地点表达语的产生及明显少的时间用语和较短的描述，而叙述的提示会提高描述的动态用语。

第五章：Multimodal Sequential Method and Analytic Tool（多模态有序性方法及分析工具）

本章有3节。介绍了用来进行视觉数据和言语数据对比的多模态有序性方法。作者首先论述了当今研究思维的方法如视线追踪、口头言语，提出图画浏览和图画描述是了解思维的两扇窗户。作者把视线追踪和口语描述数据综合起来进行同步研究，以期了解隐藏的思维的动态过程。作者创造性地把视线追踪数据转换到时间轴，把它变成视觉流，同时把浏览到的物体标注出来，再把口头描述言语换成时间轴的言语流，同时把言语焦点与超焦点的边界标出。这样就创建了一种多模态时间测量表。作者的多模态时间测量表与ELAN及其它的转录工具相比，独特的是加入了焦点和超焦点分析。这样就可以随着时间的变化同步记录视觉和言语行为，追踪和比较注意的焦点聚焦的内容，抽出视觉和言语流的聚类。

第六章：TemporalCorrespondencebetween Verbaland VisualData（言语和视觉数据的时间对应）

本章有2节。是本书的核心及难点。希望回答视觉信号和言语信号是否同步？视觉的目视物体的顺序和言语关注的顺序是否相同？在视觉数据和言语数据中能否发现参数单位？作者基于Chafe的看法，认为在言语和视觉数据流之间蕴含着时间和语义的对应关系。作者首先关注了时间关系。通过简化多模态时间测量表，横轴为时间，视觉和言语行为以方格图表示，作者分别在言语焦点和超焦点内进行对比研究，多模态匹配分析的结果表明：频数最多的匹配是N对1型（37），其次是延迟匹配型（30），接下来是三角形型（17）和N对N型（11），最少的是完美匹配型（5）。从而作者得出了以下结论：言语和视觉信号不是同步发生的；视觉感知经常快于言语产出；有时视觉感知会跟随言语表达，这样描述者会再次浏览某物；区域或物体会被多次回视；一次视觉凝视通常并不匹配于一次的言语焦点，完美的重叠很少。通常，几次的视觉凝视关联到一次的言语焦点，特别是在总结焦点类型中；视觉的目视物体的顺序和言语关注的顺序不相同；多次来回的视觉焦点会被整合到更大的单位——超焦点；可以发现参数单位，但不是在焦点层次，多数情况下是超焦点层次，所以，在视觉数据和言语数据之中注意的超焦点才是理想的参数单位。

第七章：Semantic Correspondencebetween Verbaland VisualData（言语和视觉数据的语义对应）

本章有4节，是本书的难点和重点。利用多模态时间测量表，以有序性方法，作者对比了视觉和言语的集聚焦点，探讨了三方面内容：语义对应、详细程度及时间临近与新“思维单位”的创造。根据射体—界标理论，视觉看到的和言语描述的物体的语义关系是含蓄的。它们有物体—物体、物体—地点、物体—方向、物体—活动、物体—属性之间的变化。说话者不仅判断物体的大小、现状、位置、典型性、相似性和功能，还形成印象和联系。这表明了视觉和言语的语义对应只能是更高层次的单位，比如超焦点层面。

数据同时表明对物体的关注度和概念化是在不同的详细程度上形成的；从模糊的分类，说话者自己的评论，提取的相关特征，对物体分类的较具体的猜测到评价。形成了分步的规格、评价、解读、甚至重新概念的完整的循环过程。

至于空间、语义和心理聚合的问题，根据格式塔的心理学理论，结合到她的研究，作者提出了空间临近原则、分类原则、成分原则、人物和动物原则，并通过实验证明了受试者的视线是基于空间临近原则聚合了具体物体；基于分类原则聚合了多数量的物体；基于成分原则聚合了多数量的物体；同时证明了思维缩小时，视线会重新追踪，进行分类；思维聚合具体物体时会基于相同的特性和活动；思维聚合具体物体时基于概况的方案。

作者做了触发研究。目的是调查在看图之前呈现口头语是否能触发相同视图模式。12个人听事先录好的描述录音，按要求得出的数据分析表明有些眼动模式不限定于描述的情景。通过主动描述一幅图的言语，可以得到相同的视图模式即使是对听者。但在时间顺序和视图长度有较大的差异性。时间、空间和心理聚合研究证明了积极的视觉感知理论：不仅识别物体重要，图画怎样呈现在视者面前的同样很重要。研究同时表明视觉和言语数据的关联有助于视觉维度、眼动角色、凝视模式及言语产出和言语计划方面领域的研究。

第八章：Picture Viewing，Picture Description and Mental Imagery（图片浏览、图画描述及心理意象）

本章有3节。涉及了在描述话语下的心象和外部形象化问题。作者以当前心理语言学为讨论依据，认为在自然发生的对话中，外部形象化能帮助当事者获得注意的共同焦点，协作及在构建意义时调整他们的心象，但心象和内部形象化同样重要。为此，作者做了两个实验，得出在看图时的眼动模式和进行图画描述时的眼动模式是相同的结论；眼动反映了原图的内容和时间关系，说明了在凭记忆描述图画中，交流的双方运用了某种心象作为帮助手段，甚至言语描述触发了心象，从而同时触发了反映空间关系的眼动。

作者涉及了心象和心理模式对教育方法和学习策略的有用性，提出它和设计人机互动的相关性；在学习含有多种形式的文本时，信息要以连贯的方式建构，这样使用者才能以自己的形象化方式和经验对不同的资源进行概念化、加工、整合。不过，要注意不同的个体有不同的整合多种表征的能力，最后谈到了心理模式对语言理解的重要性。

第九章：Concluding Chapter（总结）

本章回顾了最重要的问题和发现，提及了多模态综合方法在其他领域的应用，它们包含了设计的评估、使用者的多重表征的交互、多模系统等。

3.简评

本书属于语言与视觉的映射实证研究。在当今大量的语言与视觉的映射实证研究中，针对句子及词汇层面的较多，但说话者在更高的话语层次上如何感知、概念化及自发描述复杂的图像的研究几乎是空白。作者弥补了这个空白，主要在话语层次上进行了在口头话语中的语言、视觉和认知的关系研究。她的研究和Clare Painter的“儿童画册：跨语言和图像的用途模拟和意义示例”研究具有互补性。Clare Painter在Kress&van Leeuvan（1966）视觉语法的基础上，提出了一种适合于分析儿童叙事画册这一特殊的文学形式的多模态分析模式。她根据每一元功能中两套符号系统之间的互补性和一致性，阐述了图像和语言的潜在用途（庞玉厚、方琰，2010）。而本书的特色是调查了图画感知、图画描述的动态过程，以及隐藏于两者之后的认知过程。本书的优势在于通过大量的口头话语及认知主导的研究和眼部运动报告相结合，通过量化的数据探索了潜在的认知过程的动态变化。作者认为一方面眼部动作反映了人的思维认知过程。它容易看出哪一部分以什么顺序及次数吸引了观察者的注意。另一方面，在图画描述中形成的言语焦点是注意的有意识焦点的言语表达。有了切分过的话语原文，就可以了解在特定的时间里口语焦点里蕴藏的东西。所以口头和视觉的数据（注意焦点内容）是思维的两扇窗户。两种数据是间接地探索潜在的认知过程的资源。但不足的是作者采集的数据量不够大，以来自瑞典的12人为研究对象，面不够广，描述的图画虽然符合研究的要求，可惜变化较少。此外作者在最后一章介绍了多模态综合法及分析工具。这是上世纪90年代以来，语篇分析领域关注的焦点，其领域应用于教材、课堂互动、广告和网页等（庞玉厚、方琰，2010）。而本书作者把多模态综合方法扩大到更深的领域，应用到了设计的评估，使用者的多重表征的交互、多模系统等。本书的价值值得我们认真看待本书，作者得出的有价值的研究成果，不仅可以丰富相关研究领域，而且作者通过实验的方法，验证了当今心理学、认知语言学等领域的一些理论，如验证了Grow提出的言语思考者和视觉思考者结论；Yarbus’（1967）和Norton&Stari（1971）的眼睛注视模式结论：“在视图和进行图画描述时，说话者多次回视相同的物体”；Linell’s的话语产出和计划结论：“起初交际的目的可能有点模糊，但随着言语的表达，结构才慢慢多起来，变得准确和有意识”等。作者运用的研究方法具有创新性，突破了以往的某些局限，如作者的实验与以往的心理语言学比，有了很多的改进，以往的研究以1至3的时间箭头，3个物体，而本书用的是复杂的包含许多关系的图画，是真实的描绘的情景，画里有人、动物，有进行语义阐释的通道，所以视觉的感知、概念化的过程需要更多的时间；同时我们必须考虑语言描述的产出；说话者拥有组织各个层次的话语的自由，更多选择话题、指代、状态，事件、关系、判断等。在心理语言学的实验，完全控制可能可以精确测量视觉凝视相应的言语，但有局限性。受试者必须用特定的句法和表达式来识别和标出单独的物体。很难把其发现扩大到对复杂的场景和认知加工的解读。另外，作者提出了自己的理论：言语焦点和超焦点是口头描述话语最重要的单位，这一理论是基于话语层次的认知加工研究，同时结果关注了视觉和言语信息加工的相似性而提出的，这个发现对语言学有价值的同时能丰富人类注意和意识方面的研究。

本书的文字论述清楚，思维严谨，数据分析科学，从实证方面为心理语言学、认知语言学方面的研究确立了示范地位。作者的研究思路、方法、手段都反映了当前认知心理学的潮流。因为近年来，认知心理学已不仅专注于内部心理过程的研究，还注意了行为的研究。在研究方法上，认知心理学则既重视实验室实验，也重视主观经验的报告。认知心理学企图把全部认知过程统一起来，它认为注意、知觉、记忆、思维等认知现象是交织在一起的，对于一组现象的了解有助于说明另一组现象。由于它们之间的相互依赖关系，很可能会发现人类认知过程的统一加工模式。同时Dirk Geeraerts在“认知语言学的方法论”中就预测认知语言学必然是实证研究有不断的增长需要，同时量化的数据分析极有可能占据中心位置（Gitte Kristiansen，MichelAchard，et.al，2006）。

本书的阐释基于心理学、认知心理学、认知科学研究成果，使读者在语言学、心理语言学、心理学、认知科学、计算机科学方面都能获得一定背景知识，同时能引起正在进行可用性应用领域、语言使用和视觉有关的认知体系的跨学科领域研究的学者们的兴趣。

［1］Gitte Kristiansen，Michel Achard，Rene Dirven& Francisco J.RuizdeMendoza Ibannez（des.）.Cognitive Linguistics：Current Applications and Future Perspectives. Berlin：Mouton deGruyer.2006.

［2］庞玉厚，方琰，刘世生.系统功能语言学的发展和面临的挑战［J］.外语教学与研究，2010，（2）：（144-147）.http：// www.hudong.com/wiki.