视觉文本信息对应关系对EFL听力理解的影响

董剑桥,刘乃嘉

(江南大学 外国语学院，江苏 无锡　214211)



视觉文本信息对应关系对EFL听力理解的影响

董剑桥,刘乃嘉

(江南大学 外国语学院，江苏 无锡214211)

[摘要]文章整理分析了有关视频对听力理解影响的实证研究以及视频分类、视觉—文本信息关系的相关研究，将内容性视频分为两类：内容直接相关视频、内容间接相关视频。通过视频组与音频组的对比实证研究，发现两类视频的视频组均分均显著高于音频组。文章还对各类视频与不同听力题型的关系进行分析，发现两类视频与细节辨认题上呈显著性相关，内容直接相关视频在词义推测上更有显著帮助。

[关键词]内容性视频；视觉信息；图文关系；听力理解

一、研究背景

计算机、网络时代，多媒体在大学英语教学的应用随处可见，多模态技术也日益强大，随之出现了众多关于多媒体多模态的应用和研究，如CALL(计算机辅助学习)，知识可视化等。关于视频在二语听力上的应用已成为不可忽视的重要研究领域。

然而，虽然大多数研究支持看图、视频听力，一些大型外语考试如TOEFL也采用看图听力模式，但并非所有图片、视频都适用于听力测试，这也是有些研究认为视频并不适合作听力测试材料的原因。[1]不过，不论支持与否，现有的共识是画面效应受到各种因素影响，如听力任务、视觉信息、视频材料类型以及学习者特质等。[2]Coniam也在文中承认，虽然视频和音频听力水平没有显著性差异，但可能是视频文本本身的性质造成了这种结果。[1]

因为视频有不同的类型，所给予的画面线索则就不同，有的主要提供情景画面，而有的注重画面与文字的对应和互补。对于不同的视觉信息、视频类型，学习者的大脑识别、认知机制也是不同的。[3]不过，角度不同，分类标准也不一，不少有关视频的实验研究并没有太多关注视频类型对听力的影响。直到2002年Ginther通过对TOEFL听力测试题的研究，将视觉信息分为较基础的两大类：内容性画面和情境性画面，[2]此后，国内一些有建设性的研究都用到此分类，[3-4]杜冰在此分类的基础上，对情境性视频作了更为细致的类型研究，将其分为强语境、弱语境和零语境视频，结果表明视频所提供的语境信息越全面学习者越容易理解。[5]但是关于内容性视频，目前国内还没做具体的研究。

在国外，Cross通过对新闻的研究，从不同的视觉与文本信息相关程度出发，利用Walma van der Molen 的新编码系统，[6]将新闻中的视觉信息分为了头部特写、直接相关视觉信息、间接相关视觉信息和语义分歧视觉信息，并将直接相关视觉信息细分为计算机合成动画和计算机合成文本。间接相关视觉信息最典型的代表为“标准场景”，其只能显示文本信息的主题，却很少载入更多的内容信息。结果发现，虽然CGA与文本信息显著相关，但是由于学习者要同时协调他们的注意力、进行信息解码、整合，超出了他们的认知资源，所以CGA并非完全有帮助性。而CGT，大多数学习者认为其很有帮助，因为此类型的视觉信息相当于字幕。[7]关于字幕对听力影响，大多数研究认为，字幕对听力理解有一定的辅助作用，[8-9]不过，这要取决于在学习者语言水平和输入难度之间的差距，否则会从听力转为阅读。[10]间接相关视觉信息提供相关主题、情境信息，画面中的人物肢体语言有一定的帮助作用。语义分歧视觉信息则会对听力理解造成干扰。但有趣的是，虽然Cross将不少视觉信息归到了语义分歧类，但是受试者的对话中很少提到语义分歧视觉信息。Cross分析可能在听力过程中，受试根据视觉以及文本信息已经形成了暂定的认知框架，所以没有受到显著影响。

这与Gruba在1999年的所建立视觉元素在听力理解各个阶段的作用如出一辙。Gruba以建构主义学习理论为基础，将视觉信息在听力各个阶段的作用分为五大类：识别文本类别、建立初步宏观框架、生成框架、确定假设以及缩小解读范围。[11]

Mayer在其对多媒体学习的一系列研究中也指出，学生的学习行为并不是被动、单纯地接受知识，而是主动地选择、组织以及整合所接受到的视觉、言语的相关信息。[12]

综上所述，本文旨在从认知角度，参照Walma van der Molen的新编码系统，更进一步将含有内容性视觉信息的内容视频进行分类，将Gruba的视觉信息角色初步框架以及Mayer的多媒体学习的认知理论作为此次研究的理论框架，把内容视频分为直接相关内容视频——绝大部分的视觉信息与语言文本信息语义高度一致和间接相关内容视频——大部分的视觉信息与语言文本信息在语义上部分重合，同时也包含直接相关视觉信息、头部特写甚至语义分歧视觉信息。分析不同类型的内容视频中，在其不同的视觉和文本信息相关程度下，学习者是如何利用和受视觉信息影响的，不同类型的内容视频又适于什么样的听力题型。

二、研究设计

(一)研究问题

(1)视频视觉与文本信息的相关关系程度是否对EFL听力理解有显著性影响？

(2)不同的内容视频在不同的听力题型上对听力理解有何异同？分别有怎样的影响？

(二)被试

正式实验之前，有113名某大学英语专业三年级学生参加听力水平能力测试，除去得分最高和最低的同学，共95名学生参加正式实验。95名学生被分为两组：视频组49名，音频组46名。两组听力水平一致。

(三)实验步骤

本实验先进行听力水平能力测验，测试前，先找水平相当的113名以外的6名学生做先导测验，对听力试题做了相应的修改。

通过筛选，共有95名被试参加正式实验，实验之前，有6名以外的水平相当的学生做先导实验。主要测试材料难度、熟悉度、题目设置以及做题时间等。听力测验结束后留下10名视频组的学生做视频听力访谈，5名主要针对直接相关内容视频(DCV)，另外5名则针对间接相关内容视频(ICV)。虽然视频组的被试做的是同样的材料，由于短时记忆的限制，为了得到有关访谈内容的更清晰的信息，听力材料的顺序有所不同，如表1：

表1　视频材料听力顺序

(四)正式实验

1. 实验材料

本实验选取两篇听力材料，分别代表直接相关内容视频(DCV)和间接相关内容视频(ICV)。

DCV选用的是有关经济学的知识，画面生动有趣，并且大部分视觉信息和语音文本信息直接相关。全篇381个词，时长2分08秒，去除停顿的时间，语速约为165.24wpm。

ICV选用的是有关日本东京旅游所必然去的几个地方，主持人一边展示当地的风景人文，一边进行讲解，材料囊括了直接相关、间接相关视觉信息以及头部特写等，符合ICV的定义。全篇654个词，时长3分42秒，去除只有画面和停顿的时间，语速约为173.3wmp。

被试均称没有看过和听过此材料，也不熟悉此类话题，则去除背景专业知识对听力理解的过多影响。

2.实验任务与过程

本实验将被试分为两组——视频组和音频组。两组听的材料相同——DCV和ICV，区别为视频组的听力材料为视频，音频组为视频的语音版。其中为了便于得到更清晰的访谈信息，视频组又被分为所听材料顺序不同的两组。在看完或听完每篇听力材料之后，则会有相应的单项选择题和单词填空题，被试可以像平时听力测验一样做题。DCV共6题，ICV共7题。关于题目的类型，胡英等通过对四级阅读理解题型的研究，将题目分为主旨类；细节类，包括细节辨认类和细节推断类；作者态度观点类；词义推测类和指代类。[13]根据国内考试如四六级、专四专八的听力特征，本文将听力题型分为主旨推断、细节辨认、细节推断和词义推测四大类。除了DCV的词义推测为词义填空外，其余都为单项选择题。具体设置如表2：

表2　听力题型设置

做完听力测试后，从视频组的DCV和ICV分别留下5人，做相应的访谈任务，来探知受试在听力过程中所受视频信息的影响，视觉信息在理解形成的哪个阶段最有帮助等问题。听力理解成绩用SPSS处理。

三、研究结果与分析

(一)问题一：视频视觉与文本信息的相关程度是否对EFL听力理解有显著性影响？

1.直接相关内容视频

表3　DCV视频与音频听力成绩对比

由独立样本T检验得知，F=1.012，P=.036< 0.05，表明DCV视频组的听力成绩显著高于音频组的成绩。

从整体上看，DCV视频对听力理解有帮助作用。在邱东林等对内容视频对词汇记忆影响的研究中，发现在对没有对应图片的单词记忆时，分数相对较低，而对于有对应图片记忆时，记忆率相对提高。[3]本实验的结果也支持了视觉信息与文本信息直接相关时，对听力理解有帮助作用的这种观点。根据双重编码理论，此现象这可解释为，画面对文本内容补足作用，当学习者无法通过语言通道获取信息时，视觉画面对视觉通道的使用降低语言通道的认知负荷，增加记忆容量，并且由于两种不同模态、媒体的信息高度一致，学习者更加容易将语言和视觉认知模型结合起来。

从对学生的访谈得知，5位被试有4位表示视频画面对她们的语篇理解的形成过程一直有影响。根据Gruba的视觉信息角色初步框架，视觉信息在框架中的5个阶段都扮演了不可忽视的角色。

这似乎更加肯定了视觉信息和文本信息高度相关时，对听力理解的积极作用，但有一位受访者称画面对她一开始的理解起到作用“因为一开始就听不大懂，所以只能依靠画面，而由于一直听不懂，画面也就没有起到很大的作用。”从她的解释也可以看出在听力任务中，视觉信息只能起辅助作用，听觉一直占主导地位。我们再看平均分，6分视频组也只得了1.8分左右，由于题材偏难，口音为英式英语，所以分数普遍低，这更加证明了听力水平的决定性。下文的题型解释中也会说明DVC的作用受制于听力水平。

2.间接相关内容视频

表4　ICV视频与音频听力成绩对比

独立样本T检验得知，F=2.792，P=.005<0.05，表明ICV视频组的听力成绩显著高于音频组的成绩。

整体上看，ICV对听力理解也有帮助作用。从对5位同学的访谈得知，画面每一个场景与叙述一致，能够更容易在大脑中形成概念形象。Cross在对Indirect Category的研究也发现标准场景的重要性。画面提供与文本相关的主题、场景信息，便于学生激活认知图像。[7]除了大多数的间接相关画面，此视频还包括一些直接相关画面、头部特写、景区出现时的名称字幕，更加便于学生的理解。此外虽然此篇的语速较快，但是内容较为简单、遣词造句也并不复杂，这也是ICV均分较高的原因之一。

(二)问题二：不同的内容视频在不同的听力题型上对听力理解有何异同？分别有怎样的影响？

本实验分别将两组在两类内容视频的不同题型得分表现作了进一步分析。由于各类题型数目不同，本分析将只设有1题的题型用卡方检验测量，两题及两题以上的则用独立样本T检验。

1.直接相关内容视频

表5　DCV—主旨推断题与细节推断题检测报告

表6　DCV—词义推测题与细节推断题答对百分比

根据独立样本T检验，主旨推断：F=.697，P=.559> 0.05，两组得分没有显著性差异。但是和总体成绩相反，视频组均分小于音频组均分，这是始料不及的；细节推断：F= .132，P= .556> 0.05，两组得分没有显著性差异，视频组均分大于音频组均分。根据卡方检验，词义推测：P= .003< 0.05，视频组答对人数显著高于音频组；细节辨认：P= .011< 0.05，视频组答对人数显著高于音频组。

从结果来看，DCV最有助于细节辨认和词义推测的解题。对于主旨和细节推断类，都没有显著影响，甚至视频组的主旨类均分低于音频组。根据胡英对细节辨认题的定义，此题型只需简单识别、判断就能找出正确答案。[13]而本材料的问题是“为什么菲利普斯曲线在20世纪70年代不起作用”。文本有一句“But they forgot that the workers could also see the effects of the curve.”为解题的关键，同时，视频也出现了员工边工作边看到此曲线的画面。可能两类信息同时进入两种信道，增加了工作记忆容量，相较音频组，有了视觉心理模型，听者能够更快地理解并作出反应。同样，词义推测题也有相应的视觉信息作辅助，有受访者也回忆道，印象最深的就是曲线图，让她猜出来词组的词义。由于题目是按照材料内容呈现顺序出的，此题相当于测量DCV对词汇短时记忆的作用。邱东林等指出，当实义词伴有具体图像时，词汇的记忆率则会相对提高。[3]但本题的词汇题为“What does ‘took the bend out of ’ Phillips’s curve mean”，相较于抽象，要根据上下文才能理解。此现象可解释为视觉信息的辅助使抽象词汇有较为具体的模型，同时也说明上下文语境的重要性。

但为什么主旨推断题和细节推断题没有显著性效果，视频组甚至在主旨推断题落后于音频组？

这可由视觉信息的显著性和强调作用来解释。在词义推测题中，其相对应的视觉信息只在屏幕中显示曲线从坐标轴离开的动作，动作、意义尤为明显。受访者也有提出，关于这条曲线的记忆尤为清晰。这就说明了视觉信息可能有指引和分配注意力的作用。[3]这也符合Mayer的强调原则。[12]那么再回看主旨推断题和细节推断，根据对这两种题型的定义，此两类题型都要做出归纳、判断和推理，不是单单听到或看到了有用信息就能立即做出。[13]此两类题型需要动用更多的认知资源以及占据了过多的工作记忆，由题型本身造成的认知负荷使学习者没有足够的认知资源去接受、加工新进的语音、视觉信息。再者，虽然视频的大部分画面与语音文本信息一致，但有受访者称，画面过于抽象又很生动。Findahl和Hoijer指出，伴随着具体图像的事件、地点和原理比原因和结果更容易被记忆。[14]换句话说，视觉信息过于分散，没有突出重点，而此题型需要更为复杂的逻辑运算，这使得学习者要动用更多的认知资源去寻找和分析相关信息，造成认知冗余。[15]最后，本篇材料可能过于专业，学生没有相应的背景知识，还要利用语言知识来加工二语信息，相对于熟练的一语学习者，视觉与文本信息简单的一致运用在二语听力时则会更复杂。[16]

2.间接相关内容视频

表7　ICV—细节辨认题检测报告

表8　ICV—主旨推断、细节推断与词义推测题答对百分比

由表7得知，根据独立样本T检验，细节辨认：F=.445，P= .013< 0.05，视频组在细节辨认题上得分显著大于音频组。由表8得知，三类题的P值均大于0.05，视频组与音频组在这三类题型的差异不显著，不过视频组的答对百分比均大于音频组。

与三、(二)1的细节辨认题一样，可能有对应的视觉信息，再加上容易寻找、辨认，所以此类视频的视觉信息更利于细节辨认类的解题。

关于其他三类题型，我们仔细看答对人数，发现视频组和音频答对人数相较DCV材料都较高，此现象也已在三、(一)2给出相应解释。推断推测类的复杂性也在三、(二)1给予相应解释。

在访谈中，受访者均表示画面和语音较容易理解，其中有一位称每讲解一个地方对应一个场景，几乎每个场景又与题目对应。笔者对受访者关于ICV所提供的效应评价做了总结：

(1)开头的字幕与标志性场所(建立初步宏观框架)；(2)画面的导向作用(生成初步宏观框架)；(3)通过画面实物对语音信息的确认(确定假设)与补足；(4)对图式的激活。

四、结语

本文将直接相关视觉信息和间接相关视觉信息运用到视频中，分析直接相关内容视频和间接相关内容视频对听力理解的影响，结果发现：

1． DCV和ICV的视频组的整体均分均显著大于音频组。主要可能是视觉信息和文本信息相关，减少了语言信道的负荷，使听者更加容易激活认知图像和图式，便于较快地将两类信息整合。

2． DCV和ICV的视频组在细节辨认题的表现显著高于音频组；DCV的视频组在词汇辨认上的表现显著高于视频组；关于其他题型，视频组与音频组没有显著差异。DCV的视频组在主旨推断题的均分甚至小于音频组。

最主要原因是，听力理解主要取决于听力水平，语言信息起决定性的主导作用，视觉信息终究只能起辅助、导向作用，只有当理解达到一定限度是，视频才能发挥作用。[10]在DCV中，视觉与文本信息直接相关并不完全带来积极的效果，原因可能是，画面过于抽象，听力材料较难，听者在理解语音信息的同时，还要搜寻和理解与语音信息相关的视觉信息，造成冗余，换句话说，本文所选视频虽然符合视觉信息和文本信息直接相关的要求，但同时也一定程度上违背了Mayer的强调性原则。两类内容视频在推断类题型表现不突出说明视频的视觉信息只能作指引和强调，却在更深层次的推理判断上没有太大的帮助。

关于内容视频的研究，还有待于进一步探讨，此研究结果表明在选材上最好不要选取太专业难以理解的材料，视频画面不需要过于丰富；本文是用单选题的形式进行比较的，在其他任务的表现如自由回忆等还有待进一步研究。

[参考文献]

[1] Coniam，D. The Use of Audio and Video Comprehension as an Assessment Instrument in the Certification of English Language Teachers：A Case Study [J]. System，2001，(1).

[2] Ginther，A . Context and Content Visuals and Performance on Listening Comprehension Stimuli [J]. Language Testing，2002，(2).

[3]邱东林，李红叶.多种输人模式对听力理解和词汇记忆的影响[J].外界，2010，(l).

[4]孔文，王淑琼，周芸，陈艳艳. 视频信息对EFL听力理解影响的实证研究[J].外语电化教学，2011，(141).

[5]杜冰.CALL环境下情境性视屏对英语听力理解的效用性研究[D].无锡：江南大学外国语学院，2010.

[6] Walma van der Molen，J. Assessing Text-picture Correspondence inTelevision News：The development of a new coding scheme [J]. Journal of Broadcasting and Electronic Media，2001，(3).

[7] Cross，J. Comprehending News Videotexts：the Influence of the Visual Content [J]. Language Learning & technology，2011，(2).

[8] Chung，J. M. The Effects of Using Video Texts Supported with Advance Organizers and Captions on Chinese College Students' Listening Comprehension：An Empirical Study [J]. Foreign Language Annals，1999，(3).

[9] 刘桂如.字幕呈现方式对中国英语学习者听力理解的影响[D].无锡：江南大学外国语学院，2012.

[10] 顾琦一，陈瑜之.视觉辅助对外语听力语篇内容理解的影响[J].解放军外国语学院学报，2014，(3).

[11] Gruba，P. A. The Role of Digital Video Media in Second Language Listening Comprehension [D]. Melbourne：University of Melbourne，1999.

[12] Mayer，R. E. Multimedia Learning [M]. Cambridge： Cambridge University Press，2009.

[13]胡英，杨云安，刘兴，李文辉.四级阅读测试题型与对策 [J].太原理工大学学报，2002，(4).

[14] Findahl，O. & Hoijer，B. Some Characteristics of News Memory and Comprehension [J]. Journal of Broadcasting and Electronic Media，1985，(29).

[15] Ozcelik，E.，Arslan-Ari，I. & Cagiltay，K. Why does Signaling Enhance Multimedia Learning? Evidence from eye Movements [J]. 2010，(26).

[16] Meinhof，U. Language Learning in the Age of Satellite Television [M]. Oxford：Oxford University Press，1998.

责任编辑：思动

Effect of the Correspondence Between Visual and Verbal Information on EFL Listening Comprehension

DONG Jian-Qiao，LIU Nai-Jia

(Jiangnan University，Wuxi 214211，China)

Abstract：Through the review and analysis on the empirical studies about the effect of videos on EFL listening comprehension，the taxonomies of videos and the relations between verbal and visual information，the present study divides content videos into two categories——direct content video and indirect content video. Through the comparison for the video group and audio group，it is found that the total means get by video group is significantly higher than that from audio group. It is also found that video group significantly outperform audio group in questions of identifying details，and the direct content video has significant positive effect on word inference.

Key words：content video；visual information；verbal-visual relations；listening comprehension

[中图分类号]H319.9

[文献标识码]A

doi：10.3969/j.issn.1004-5856.2015.12.015

[文章编号]1004—5856(2015)12—0077—07

[作者简介]董剑桥(1953 -)，男，江苏南通人，教授，研究生导师，主要从事应用语言学、多媒体辅助教学研究；刘乃嘉(1988-)，女，江苏淮安人，2012级硕士研究生，主要从事多媒体辅助教学研究。

[收稿日期]2014-12-19