论多模式话语分析中视觉素养的重要性

叶起昌　赵　新

(北京交通大学,北京,100044)

论多模式话语分析中视觉素养的重要性

叶起昌赵新

(北京交通大学,北京,100044)

摘要:从超链接文本作为网络话语的范式、视觉素养的变革、视觉交流在多模式话语中的应用以及图像的主导地位等方面,本文强调视觉素养的重要性,并指出“以图做事”应理解为图像统治屏幕的事实和用图做事的能力。同时,本文还指出,继续学习能力是定义素养必须包含的主要内容。

关键词:多模式话语,视觉素养,超链接文本,图像

[中图分类号]H03

[文献标识码]A

[文章编号]1674-8921-(2015)11-0036-04

[doi编码] 10.3969/j.issn.1674-8921.2015.11.008

作者简介:叶起昌,北京交通大学语言与传播学院教授。主要研究方向为话语分析。电子邮箱:yqcguist@163.com

1. 前言

在社会符号学产生之前,就有过三个符号学流派将语言学应用于交流的非语言模式研究。第一是20世纪三四十年代的布拉格学派,该学派为分析视觉语篇留下了十分有用的观念,如“前景”(foregrounding)、指称与诗学功能(referential and poetic functions)等。第二是六七十年代的巴黎学派,这个流派主要将索绪尔的语言学理论应用于视觉分析,其中最得力的实践者与推广者之一是Roman Barthes。第三学派源自两个分支:70年代的批评语言学与80年代后期的澳大利亚学者以符号学为基础研究文学、视觉符号学和音乐研究。这两个分支均受益于韩礼德的系统功能语言学。

当代网络的发展将视觉素养推到了语篇理解与分析的前沿。网络语篇以超链接文本为范式(paradigm)。超链接文本是信息和知识时代的统一语码,是互联网用以存贮、传递、提取、显示与读写数据库、智库和各种文档等的最主要途径,还是文字、图像、声音、音乐、手势、视频等符号体系交互与产生意义的普遍场所。

2. 视觉素养的变革

视觉素养(visual literacy)并不是新事物,而是比文字要早得多的人之素养。图像的应用历史悠久,古人就曾以图像进行交流。视觉交流的历史可追溯到三万年前的洞穴壁画,而对壁画的描述则仅有二千五百多年的历史,视觉素养作为术语则仅有四十多年的历史。从语言教学角度重视“视觉素养”的培养始于1965~1966年(Fransecky & Debes 1972:20)。随后,教育传播与技术协会(The Association for Educational Communications and Technology,简称AECT)1968年的休斯顿年会上,出现了第一批标示着“视觉素养”这个名称的论文。AECT这个名称的正式确认是在1969年3月在纽约的罗切斯特举办的第一届美国国家视觉素养年会上。这之后,AECT每年举办一次年会。根据上世纪七八十年代谈论视觉交流的资料显示,人们对视觉读写的认识与重视还处在萌芽状态,因为当时人们接触到的视觉媒介仅是电视机。下面是早期对视觉素养的定义。

赵新,北京交通大学语言与传播学院副教授。主要研究方向为英语语言文学。电子邮箱:xzhao@bjtu.edu.cn

*本文为北京市哲学社会科学规划项目(编号13ZXB004)成果之一。

美国国家视觉素养大会成员达成下述定义:“视觉素养指一个人通过观察产生其他感觉,并将观察与其他感觉经验整合起来的一类视觉能力。这些能力的发展构成正常人的学习基础。当这些能力得到发展,有视觉素养的人就可区分和解释自己在周边环境中看到的行为、事物,以及自然和人造符号。通过创造性地应用这些能力,他就可以与别人交流。通过鉴赏性地应用这些能力,他就可以理解与欣赏大师的视觉交流作品”(Fransecky & Debes 1972:7)。看来,当时专家们在定义视觉素养时颇费周折,这种定义不仅读起来佶屈聱牙,而且依据上述定义,视觉素养的最终目的是欣赏大师作品。

1976年,Lida Cochran邀请参加媒体峰会的代表就“视觉素养”进行定义(Pettersson 2009:38)。在提交的62个定义中,界定形容词“视觉”一词有52个不同的短语,从“素养”一词中产生出3个主要含义:作为一类能力、作为教学法与教学过程以及作为一场运动。所有的代表都同意,视觉素养指三大不同的范畴:人之能力、教学策略和提升观念。总体上,60至70年代的视觉素养教育是作为语言学习的辅助教学手段。

当代的“素养”是个含义极广的术语:“‘素养’是组群,每一组由相互依存的社会实践构成,这些社会实践将人、媒介客体和意义生产的策略相联系。每一组都是某种文化必备的部分,或是这种文化的次文化。每一组承担着维护和变革社会的角色,因为素养为意义与做事之间提供根本的联系。素养自身就是技术,它们又为应用更大范围的技术提供秘诀。它们也为自我和社会之间建立主要通道:是我们作用、参与和被塑造的更大范围的‘生态社会’系统和网络的手段。素养在这个更大范围的自组织体系的动态中得到变革,人之感知、身份和可能性也随之得到转变”(Lemke 1998:283)。这段引言对理解什么是素养以及它与技术的关系具有启发意义,但在实际研究中这种定义却很难派上用场。

Pettersson(2002:68)列出了17种“素养”,这足以说明其复杂性:计算机素养(computer literacy)、文化素养(cultural literacy)、图表素养(diagrammatic literacy)、文献素养(document literacy)、经济素养(economic literacy)、环境素养(environmental literacy)、电影素养(film literacy)、信息素养(information literacy)、数学素养(mathematical literacy)、媒介素养(media literacy)、音乐素养(music literacy)、政治素养(political literacy)、科学素养(scientific literacy)、技术素养(technical literacy)、电视素养(television literacy)、录像素养(video literacy)和视觉素养。

上述各种“素养”实际上就是各个行业要求的基本素质,不同的行业还有各自不同的要求。当然,也存在要求不明确的地方,如计算机素养是指需要程序设计员的素质还是一般的电脑使用者?如此多的“素养”,一个人在某方面是“文盲”也就在所难免。

Erstad(1998)主张,我们必须放弃将“素养”定义为一整套无实体的“技巧”,而素养总是不可避免地处在特定的实践与社会语境中。信息素养则是能为所有人增强能力的素养。我们不否定,获取信息在这个时代具有与读懂多模式话语同等的重要性,但获取信息不等于理解语篇,多模式话语的理解与分析仅仅依赖信息的获取是不够的。

3. 视觉交流在多模式话语分析中的应用

下面这张图片(参见van Leeuwen 2004:8;White 2010:373)是谈论视觉交流经常援引的例子。这是英军在第一次世界大战期间的征兵布告,有四个语言特征组合在一起构成命令,实现了一个言语行为:直呼(YOU,大写,字体粗大);公告;词汇化为动词的要求(“need”需要);施事者的需要在这里变为一种可直接向被呼者索取的权力(基于爱国主义之上的一种道德权力)。然而,这则公告还实现了一个图像行为,也是通过几个特征相结合而成:手指指向读者与严肃的面部表情实现了视觉指令,其他特征(如表情的霸气本质、军装和军国主义式的八字胡,这两者代表官方权威)则增强了视觉命令的直接性和权威性。

图1　英军在第一次世界大战期间的征兵布告

但问题是:图中是一个还是两个行为?是相同的命令被表达了两次?一次是用视觉的直接方式表达,另一次用言语的间接方式表达?还是这两者相结合完成了一个单一的多模式的交流行为?社会符号学指出,这是一个单一的多模式交流行为。图1中各元素的具体分析见图2。

图2　图1的各元素分解

上述分析说明,话语分析不能忽视多模式,单一模式的分析通常顾此失彼;同样,多模式话语分析应以视觉素养为基础,因为当代话语最重要的两个模式就是文字和图像,而文字在屏幕之中首先应当服从图像规则。

对此,van Leeuwen(2004:8-18)提出了语言学家应该重视视觉交流的十大理由。

(1) 言语行为不仅必须重新命名为交流行为,而且必须理解为是所有应用于此行为的各种符号相组合所决定的交流意图的微观事件。

(2) 言语与书写体裁事实上都是多模式的,言语体裁由语言与行为组合成整体,而书面体裁则由语言、图像和插图组合成整体。应将言语体裁改为行为体裁,书面体裁改为题写体裁,行为体裁与题写体裁还可以有多种可能的组合方式。

(3) 界定为不同阶段的行为体裁的交流行为可以包含或不包含言语;同样,界定为不同阶段的题写体裁可以包含或不包含书写。

(4) 行为与题写体裁之成份或阶段之间的界线通常由视觉标示。

(5) 甚至在单一“命题”内,视觉与言语可整合成一个单一的组合单位。

(6) 印刷字体与手写不再只是语言意义的表达手段,它们自身就是符号模式。

(7) 批评话语分析不仅要描述话语的语言方面,也需描述非言语方面,要描述话语、图像、语篇的各个层次,因为它们通常表达富有差别甚至是对立的意义。

(8) 在研究语法与语篇中发展起来的许多概念并不只适用于语言。

(9) 将语言作为资源的结构描述等概念和谈话的“基础”(footing)概念①均可用于多模式研究。

本研究结果表明，Danu具有较好的体外抗HCC效果，为下一步进行体内实验奠定了基础。Danu引起的自噬起到了保护细胞的作用，提示联合使用自噬抑制剂能够增强AURK抑制剂的抗HCC效果。此外，Danu联合索拉菲尼等现有的靶向药物从而增强抗HCC效果可能是日后的研究方向。

(10) 研究视觉交流的学者也应关注语言学,因为语言学的许多概念和语法可直接应用于视觉交流研究,且生产性能强。

我们赞同van Leeuwen(2004)的第1和第2个理由。在当今这个信息时代,从多种符号模式视角来重新审视言语行为的贡献是必要的,甚至在不否定语言还是日常生活最重要的交流方式的前提下,“以言做事”已为“以图做事”所替代。

上述第2个理由在汉文化中更为显著。一方面,中国传统语言学仅有两个层面:一个是文字和训诂,一个是音韵,没有西方语言学中的“语法”体系。语言学家韩礼德深受中国传统文化熏陶,对此有深刻的认识(Kress,Hasan & Martin 1992)。另一方面,汉语更多的是视觉,从象形文字起源到书法艺术,它本身就是图像,书画同源。在Mitchell(2007:11-13)看来,汉字与其说是文字不如说是图画。要用汉语进行阅读与写作,首先要“识”字,就是辨识和记住两千多个常用汉字。

4.图像占据交流的主导地位

探讨读写(或“素养”)很难与广泛的社会、经济和技术等因素分离开来。有两个相互区别但又相互关联的因素特别值得关注。一方面,就是大范围的长达几个世纪的书面语(writing)统治转向了图像(image)统治;另一方面,纸质媒介统治走向屏幕媒介统治。这两个因素使得表征和交流的相关手段正经历着一次革命。在此语境下,社会符号学强调多模式话语分析的首要条件是超越语言,重视多种符号体系。“我们不能将语言看作是唯一的表征与交流手段,其他模式(即多种符号化模式)也同时存在,甚至在许多情况下,即使出现了书面语,其他模式或许更突出,更富有意义。结果就是,语言学理论并不能完全解释什么是读写,读写都做了什么;仅仅通过语言是无法理解多模式构建的迅息,语言与读写只是意义的部分载体”(Kress 2003:35)。

图3按照Bateman等(2002)以及Bateman(2008)的“体裁与多模式方法”(Genre and Multimodality Model),用高斯模糊处理原图,目的是为了清楚辨识与标注网页的不同模块,建构多模式语料库。

图3　人民网英文网页②

在255个划分出的单位中,文字单位占151个,图像占104个。图像在总比中接近41%。当然这只是个别网页,而且是首页,理所当然图像要多些,所以还不足以说明问题,更何况现在上图与录入文字在技术上几乎都是同样简单的事。

尽管这种统计文字与图像的比例数字在表层上有一定的说服力,但是,“以图做事”并不由此来决定,而应理解为文字语篇必须服从图像的逻辑方能在屏幕上显示的事实。如现在的文字处理就是一个典型的例子,不管是以Word还是WPS格式处理文字,首先这些文字是以图像的方式显示的。即以空间分布为特征的数字语篇代替了以时间先后为序的口头语篇和以线性排列为序的印刷语篇。“以图做事”同时还指能以图做事,就是视觉素养。

1900年在伦敦举办的第一届泛非大会(The First Pan-African Conference)的闭幕式上,Du Bois作了题为《向全世界各民族的演说》的演说，其中有句名言:二十世纪的问题是颜色线条的问题(Du Bois 1970:125)。这里的“颜色”与“线条”是与种族身份相关的。Mitchell(1994:2)巧妙地引用此名言并指出:当我们进入一个“颜色”与“线条”(作为身份标记)成为广泛的仿真与大众媒介技术可操纵的成分的时代,话语发生了“图像转向”,我们发现21世纪的问题是图像问题。

5. 结语

从社会符号学的角度来看,我们要注意的是,“信息”一词的动词是“inform”(意为:通知、知会),它所预设的交流模式是单向的(unidirectional),而非双向,在这个意义上,信息仅仅只是人或机器接收到的数据。这种“中性”意义上的信息不足以说明信息和意义是如何塑造并最终决定人们交流事件的本质。因此,光有“信息”的获取与量化分析是不够的,社会符号学更重视的是“信息”之外的东西。

我们也赞同van Leeuwen前述的第8与第10个理由,语言学的许多概念当然可以应用于视觉分析,但仅凭语言学知识来推断其他符号模式的应用及其意义的多模式分析是片面和不完整的。多模式是一个宽广的领域,在这个领域中,几乎人文学科的所有知识都有发挥的余地。从事多模式研究的学者除自身专业知识之外还应当掌握至少一种其他模式的充足知识,如运用摄影(像)知识来解构和阐释图像,这一点至关重要,而不是单纯依靠某种语言学理论做间接解释(Forceville 2007:1237)。

数字时代对素养的要求已经与过去完全不同了,它包括下述内容:“基础、科学、经济和技术的素养;视觉与信息素养;多文化与全球意识”(Solomon & Schrum 2007:19)。上述定义中的各项无疑是重要的,但似乎还有一个方面未得到应有的重视,那就是继续学习的能力,树立终身教育的理念。只有这种能力方能使我们摆脱“文盲”的境地。网络的发展与语篇的变革也是依据人的这种能力,因为网络和语篇是人的网络和语篇,而不是远离尘世的“怪物”。

于是,今天的读写(素养)应涵盖:习得新技巧,包含应用技术、理解科学、拥有全球意识,而最重要的是,拥有继续学习的能力。同时,我们还需要共同关注:读写的未来会怎样?这种变革给社会和文化带来什么效应?

附注

① 此处原文有注释:“footing源自Goffman(1981)”。

② 图3由北京交通大学英语语言与文学专业2013级硕士研究生王雪同学所标记,特致谢意。

参考文献

Bateman, J., J. Delin & R. Henschel. 2002. A brief introduction to the GeM annotation schema for complex document layout [R/OL].Paperpresentedatthe2ndWorkshoponNLPandXML(NLPXML-2002)Taipei. [2015-06-21]. http:∥www.purl.org/net/gem.

Bateman, J. 2008.MultimodalityandGenre:AFoundationfortheSystematicAnalysisofMultimodalDocuments[M]. Basingstoke/New York: Palgrave Macmillan.

Du Bois, W.E.B. 1970.W.E.B.DuBoisSpeaks:SpeechesandAddresses1890-1919 (S. F. Philip ed.) [C]. New York: Pathfinder Press.

Erstad, O. 1998. Media literacy among young people: Integrating culture, communication and cognition [A]. In B. Höijer & A. Werner (eds.).CulturalCognition:NewPerspectivesinAudienceTheory[C]. NORDICOM: Göteborg.85-101.

Forceville, C. 2007. Book review: Multimodal transcription and text analysis: A multimedia toolkit and course book [J].JournalofPragmatics39(6): 1235-38.

Fransecky, R. B. & J. L. Debes. 1972.VisualLiteracy:AWaytoLearn-AWaytoTeach[M]. Washington: Association for Educational Communications and Technology.

Goffman, E. 1981.FormsofTalk[M]. Philadelphia: University of Pensylvania Press.

Kress, G., R. Hasan & J. Martin.1992. An interview with M. A. K. Halliday [J].SocialSemiotics2(1): 176-96.

Kress, G. 2003.LiteracyintheNewMediaAge[M]. London/New York: Routledge.

Lemke, J. L. 1998. Metamedia literacy: Transforming meanings and media [A]. In D. Reinking,etal. (eds.).HandbookofLiteracyandTechnology:TransformationsinaPost-TypographicWorld[C]. Mahwah/London: Lawrence Erlbaum. 283-301.

Mitchell, W. J. T. 1994.PictureTheory:EssaysonVerbalandVisualRepresentation[M]. Chicago/London: The University of Chicago Press.

Mitchell, W. J. 2007. Visual literacy or literary visualcy? [A]. In J. Elkins (ed.).VisualLiteracy[C]. London/New York: Routledge. 11-30.

Pettersson, R.2002.InformationDesign:AnIntroduction[M]. Amsterdam/Philadelphia: John Benjamins.

Pettersson, R. 2009. Visual literacy and message design [J].TechTrends53(2): 38-40.

Solomon, G. & L. Schrum. 2007. Web 2.0:NewTools,NewSchools[M]. Eugene, OR./Washington, DC.: International Society for Technology in Education.

van Leeuwen, T. 2004. Ten reasons why linguists should pay attention to visual communication [A]. In Philip LeVine & Ron Scollon (eds.).DiscourseandTechnology:MultimodalDiscourseAnalysis[C]. Washington: Georgetown University Press. 7-19.

White, P. 2010. Grabbing attention: The importance of modal density in advertising [J].VisualCommunication9(4): 371-97.

(责任编辑甄凤超)