多模态历史教科书中评价语义的图文双重建构

多模态历史教科书中评价语义的图文双重建构

石春煦王振华

(上海交通大学,上海,200240)

摘要:本文综合Martin关于文字、图像的评价理论(Martin & White 2005)及其图文关系框架理论(Martin & Rose 2007),提出基于图文关系的多模态评价语义分析框架,以多模态历史教科书为例,从个案例示和数据统计来讨论多模态历史教科书中评价语义的图文双重建构及其作用。经统计和分析发现,文字评价和图像评价是一个有机的整体,图文评价受图文关系影响产生同步性。在多模态历史教科书语篇中,图像、文字以扩展关系为主建构评价语义。在评价的实例化过程中,以不同图文关系建构的评价对历史文类的选择有一定的盖然性。

关键词:多模态历史语篇,图文关系,评价

[中图分类号]H030

doi[编码] 10.3969/j.issn.1674-8921.2015.09.002

作者简介:石春煦,上海交通大学外国语学院2014级博士研究生。主要研究方向为系统功能语言学、语篇分析。电子邮箱:yusikiki@163.com

1. 引言

基于Halliday的三大元功能思想,Martin和White(2005)发展了其中的人际元功能思想,关注词汇层面上有关情感、道德和美学的话语,提出了文字模态的评价理论。针对多模态语篇,Martin和 Rose(2007)又建构了图像的评价理论。自评价理论创立以来,它便彰显出极大魅力,被广泛运用于语言学领域及跨学科的相关研究(刘世铸2010)。其中大多数的评价研究主要集中于文字模态,对Martin的图像评价鲜有人关注,忽视了对文字、图像如何联合实现评价语义的研究。

历史教科书中编写者的态度在主、客观频谱间转换,是评价研究的理想语料。伴随数字时代的发展,历史教科书中图像资源日益增多,多模态历史教科书逐渐成为主流。因此,对多模态语境下的评价研究,应给予足够重视。本文结合多模态历史教科书,基于Martin的图文关系框架和评价理论,研究文字评价与图像评价之间的关系;通过统计基于不同语类的图文评价使用概率,考察多模态历史教科书语篇中评价语义的图文双重建构的规律和作用。

2. 理论框架

Kress和van Leeuwen(1996/2006)认为在社会文化环境中,同样的人际意义可以用不同模态符号来表达。评价是关于人际意义的系统(Martin & White

王振华,上海交通大学外国语学院教授、博士生导师、博士后。主要研究方向为语篇语义、系统功能语言学、评价理论。电子邮箱:wzhenhua@sjtu.edu.cn

2005)。文字模态的评价理论主要通过“评价词汇”体现语言使用者的意识形态,是社会视角的研究:它探索说话者通过语言赋予语言对象的价值意义,既注意语篇中评价性词汇修辞功能的理解,又关注人际意义和社会关系的协商(王振华2001)。除了对文字模态中的评价系统进行全面阐述,Martin和Rose(2007)还关注图像中的评价语义,他们将评价系统纳入语篇语义体系,并简要描绘了图像中的评价框架。

多模态语篇中评价语义的图文双重建构,要考虑文字、图像之间的相互关系。图文关系研究始于Barthes(1977)提出的图文符号关系理论,并随着多模态语篇研究的发展而不断深入。学者们重点关注图文位置、图文系统,对图像与文字的逻辑语义关系、衔接关系、模态间的互补性予以强调(如Kress & van Leeuwen 1996/2006,2001;Martin 2001;Martinec & Salway 2005;Royce 2007)。Martin和Rose(2007)将小句复合体相互依赖关系和逻辑语义关系运用于图文关系,认为图文关系包括图文逻辑语义关系(logicosemantic relation)、图文界限(image-text boundary)和图文追溯(identification)。

综合马丁的上述理论,我们提出基于图文关系的多模态评价语义分析框架(见下页图1),并将其用作本文的理论框架。

英语中的评价系统包含态度、介入和级差三个子系统。态度系统可细分为情感、判断和鉴赏三个次系统;介入系统可划分为自言、借言两个次系统;级差系统可再分为语势和聚焦两个次系统。情感系统是态度系统的中心,判断系统和鉴赏系统都是以情感系统为基础的。情感系统考察人们对行为、语篇/过程和现象的心理反应;判断系统基于伦理道德的标准来评价语言使用者的行为;鉴赏系统关注对语篇/过程与现象的评价(王振华、马玉蕾2007)。根据精密阶,相关的次系统还可以细分,形成一个系统的评价体系。评价语义还可以通过图像建构(Martin & Rose 2007:326):图像可以激发情感,不同图像所表达的情感会引起读者的共鸣;图像中引人入胜的场景和物体同样可以让读者进行鉴赏、裁断。不同的图像也可以使读者产生不同的介入意义,如图像中人物直视或侧对观众,介入程度就大不相同。图像中的介入分直视和侧视两种。而情感、裁断和鉴赏意义也会随图像变化而增强或减小,故作为态度介入分级的级差系统可分为扩大和缩小两种。

图1　多模态评价语义分析框架

评价语义在文字与图像中的双重实例化(dual instantiation),还需要考虑文字与图像的关系。图文关系如下图所示:

图2　图文关系(Martin & Rose 2007:329)

图文逻辑可以分为扩展关系和投射关系。扩展关系可以分为详述关系、延伸关系和增强关系等三类关系。投射关系有两种:图像和文字之间可以相互投射言语和思想。图文界限有强有弱。图文互指表明图像和文字之间有追溯性,如图像中的元素可以在文字部分得到印证。

3. 多模态历史教科书中

评价语义的图文建构例示

历史常常需要借鉴陈述和图片来记录。历史包含主观和客观的问题,涉及记录者、说明者和评判者等三种视角:记录者客观陈述事实;说明者进行行为判断;评判者嵌入态度,对史实和道德性进行分析(杨信彰2012)。因此历史教科书是研究语类中文字、图像评价有机结合的理想语料。

TheAmericans是广受好评的美国高中历史教科书,是多模态历史教科书的经典之作。该书共26章,以时间为顺序,图文并茂地刻画了美国历史。该教科书在对某一历史知识点做介绍时,首先以记叙一个美国人故事的方法联系该历史知识,而后对知识点的重要特征进行阐述和因果解析,在重要章节还加上一系列相关评论。基于王振华(2011)介绍的Martin对历史语篇的分类,本文将该历史教科书中的语篇按文类目的划分为三类:讲述性文类(recount genre)、解释性文类(account genre)和议论性文类(argument genre),综合显示该教科书中图文评价在三种文类中的图文逻辑语义关系分布。下文将结合该教科书中的罗斯福新政第五节内容,具体研究不同历史文类中的图像评价和文字评价之间的关系,以及它们对评价语义整体的建构作用。

3.1讲述性文类的图文评价

在该教科书中,讲述性文类主要出现在经典版块“一个美国人的故事”中,其涉及的图文关系往往采用扩展关系中的详述关系。罗斯福新政这一章节中的如下介绍便是一个典型的例子。

板块中以“FDR was extremely popular among working-class Americans.”这句话记叙了罗斯福总统在工人阶级中的受欢迎程度,所配图片是1932年罗斯福总统和工人的握手照片(如上图)。形容词“popular”属于态度评价中的正面判断资源。语篇以自言方式体现介入系统,而级差系统资源“extremely”增加了态度的强度。从图像角度看,照片中两人的笑容、握手动作等和谐氛围印证了文字“extremely popular”,也反映了态度系统中正面的判断意义。照片从侧面进行拍摄,产生侧视的介入效果。照片中展现了一群各式各样的人物,图片中的男女老少都与罗斯福总统关系融洽,体现了扩大型的级差系统,以增强说服力。

上例显示文字评价和图像评价产生了重叠性的评价语义:文字评价体现了罗斯福总统在工人阶级中极受欢迎的正面态度,图像评价体现罗斯福总统与工人阶级的紧密联合。这也对应了详述型图文关系的作用。图文之间界限明显,图文相互追溯,相互印证。详述型图文关系使图像、文字中的评价性信息进行叠加,强调公众人物的领导魅力,从侧面说明罗斯福新政顺应广大人民群众的意志,总体上加强了评价语义。

3.2解释性文类的图文评价

解释性文类是该历史教科书的主要文类,描述了以下内容:面对美国经济危机的混乱局面,罗斯福总统致力于实施新政,整顿和改革财政金融,加强国家对经济的干预与指导,同时采取一系列措施,促进民众就业,以缓和国内阶级矛盾。解释性文类中,评价语义所涉及的图文关系多样,在这一章节中主要体现为详述关系、增强关系、延伸关系和投射(言辞)关系。

3.2.1详述型的图文评价

在阐述罗斯福新政的影响时,文字中提到下面一句话,“Although the New Deal did not end the Great Depression,it did help reduce the suffering of thousands of men,women,and children by providing them with jobs,food,and money.”,并辅以拍摄于1936年的历史场景图片加以例证(见下图)。文字中阐述罗斯福新政减少了人民的痛苦。文字中使用“not”和“did”这些对话性压缩资源进行介入,加上“help reduce the suffering...”的这个社会判定,总体上赞扬了罗斯福新政给予人民生活上的帮助,其中“suffering”体现了评价系统中的否定情感,“thousands of”则属于级差系统中的语势资源,强调罗斯福新政下受益的民众众多。

图像则对文字评价资源“suffering”进行详述:在历史场景图片中,失业者在表情落寞地闲聊着,真实地再现失业者的百无聊赖和不安,以闲聊这一物质过程,通过读者的介入,细述了态度系统中负面的情感。这张历史照片记录了罗斯福新政前人民生活的困难,照片从侧面进行拍摄,体现了评价语义的客观性。图像中出现了一组人,体现了扩大型的级差系统。文字评价提及人民生活的苦难,而图像评价则刻画了新政前人民对生活的苦楚,因而图文评价在详述型图文关系的影响下,建构了对新政前人民生活的图文双重评价,引导学生对罗斯福新政改变人民生活的作用加以肯定。

3.2.2增强型的图文评价

在对罗斯福新政结果进行分析时,语篇中的表述句子为“The federal government had to go deeply into debt to provide jobs and aid to the American people.”。在图像上则使用了数据统计的曲线图(见下图),上升的抛物线代表政府赤字,下降的抛物线代表失业率。曲线图可以形成一种类向量、类描述的效果(Kress & van Leeuwen 1996/2006:102),可对文字信息产生的历史结果进行强调:政府赤字总体在上升,而失业率则呈下降趋势。

在文字评价中,使用借言的介入方式,以“debt”、“aid”体现正面及反面的态度系统资源,而“deeply”属于级差系统中的过程强化(intensification),这一级差系统词汇的评价效果又在图片的两条对比曲线中得以加强。该曲线图以年度为单位对文字描述的结果进行信息补充,突显了新政造成的财政赤字和失业率的对比,体现为扩大型的级差系统。图像评价和文字评价在历史影响上进行叠加,体现了增强型图文关系的作用,引导读者介入分析罗斯福新政的巨大影响。

3.2.3延伸型的图文评价

这一章节的延伸关系体现在以下的典型例子中。在介绍罗斯福新政的政策条款时,教科书编写者在文字部分这样描述:“New Deal economic and financial reforms,including the creation of the FDIC,the SEC,and Social Security,have helped to stablize the nation’s finances and economy.”。这句话写明“social security”(社会安全)在当时的作用。图像又对该知识点信息进行延伸,以栏目“Now and Then”嵌入的方式,介绍社会安全的现状。

在文字部分,评价词汇“stablize”构筑了对社会安全保障的正面态度;图像部分细述了当今社会安全的状况。其中第一句话确定了下文的评价基调“Today the Social Security system continues to rely on mandatory contributions paid by workers—through payroll deductions—and by employers.”,其中的“mandatory contributions”(强制性贡献)则显示教科书编写者对社会安全保障资金来源的保留态度。因而,语篇与图像评价资源间没有重叠的评价信息,延伸型图文关系联合了图像评价与文字评价,构建教科书编写者对社会现象的多角度观察,体现他们对待历史的辩证态度。

3.2.4投射言辞型的图文评价

这一章节的解释性文类也出现了投射型的图文关系。在介绍人们对罗斯福新政的态度时,教科书编写者使用了投射言辞型的图文关系(如下图)。与图相关的表述性文字为”Over time,opinions about the New Deal have ranged from harsh criticism to high praise...”。评价词汇“harsh”属于态度系统中的否定情感,“high”归属级差系统中语势的增强,分别用于修饰“criticism”和“praise”,引领随后的正反面观点,反映了编写者客观、辩证的态度:正面言论,即罗斯福新政发挥政府在经济调节中的重要作用,并克服了国家的经济困难;反面言论是罗斯福新政使联邦政府变得太过强大,且未消灭社会经济不平等。而其采用投射型的图文关系,图片中用“point”和“counterpoint”较大字体凸显了正反对立面观点:引文型图像投射了“high praise”和“harsh criticism”的代表性观点,投射了正面观点“罗斯福新政改变了美国政府的工作方式”及反面观点“罗斯福新政制造的麻烦比解决的问题多”。文字、图像中的文字资源皆采用自言型的介入方式,其中的正面、负面评价资源相互印证,实现了图文评价之间的联系,间接反映了教科书编写者立场的辩证,引导读者进行思考。

3.3议论性文类的图文评价

议论性文类往往涉及对某一历史事件影响的评论。议论性文类并非教科书主体,一般出现在重要章节的末尾,其涉及的图文关系数量较少,但种类较多。在论及罗斯福新政的影响时,主要采用详述型和投射思想型的图文评价。

3.3.1详述型的图文评价

第一个例子是关于社会保障体系。图像是一张与社会保障体系相关的海报,图像背景为美国国会大厦,图中身穿制服的人手中伸出一张支票,与图相关的文字表述较多(见下图)。句子“the federal government has assumed some responsibility for the social welfare of its citizens”指出罗斯福新政最重要的影响之一就是社会保障体系,该体系保障居民的社会福利,是对罗斯福新政的社会判定。其中涉及的态度词汇为“important”、“responsibility”、“needy”及“assistance”,皆是正面的评价词汇,反映了编写者的肯定态度。级差系统词汇如“some”、“a large number”表明了编写者在议论历史时的谨慎态度。

而图像与议论文字相契合,使用历史上退休制度福利的宣传图片,详述了该福利保障65岁以上老人的晚年生活,每月提供生活费(a monthly check)。图像中没有人与读者进行眼神交流,而图像中的支票在全部画面中所占比例不是最大,美国国会大厦和公务员的手却占很大比例,因而凸显社会保障与美

国政府之间的联系,并肯定了美国政府的作用。这里的论述使用详述型的图文关系,强调了对政府积极作用下的社会福利制度的正面评价意义,也从文字、图像两种模态阐明了编写者对罗斯福新政在社会保障方面做出重要贡献的肯定。

3.3.2投射思想型的图文评价

在对罗斯福新政结果进行评议时,出现了投射思想型图文关系(如下图)。因文字、图像之间不出现重叠性信息及迁移性信息,漫画生动地诠释了文字中的思想,图像中的信息实为文字信息的思想投射。文字对罗斯福新政进行客观评价,综合议论新政社会影响的多维性:“The New Deal legacy has many dimensions.It brought hope and gratitude from some people for the benefits and protections they received.It also brought anger and criticism from those who believed that it took more of their money in taxes and curtailed their freedom through increased government regulations.”，该语篇的评价资源以自言的介入方式提到罗斯福新政一方面带来“希望与感恩”(hope and gratitude),另一方面则带来“怒气与批评”(anger and criticism)。其中“hope”、“gratitude”是反映正面态度的评价资源,“anger”、“criticism”及“curtailed their freedom”是反映负面态度的评价资源。另外,“many”、“some”为体现级差系统的评价资源,“many dimensions”则确定了下文的评价基调。

而漫画正是文字思想在图像上的投射:漫画中罗斯福总统积极推动慢速行进的国会实施他的众多改革方针,说明罗斯福总统对采取新政所做的极致努力,而美国国会则动作甚慢。漫画中罗斯福总统侧对读者,体现了图像的侧视介入。而罗斯福总统与美国国会两者在图像的中心,体现了扩大型的图像级差系统,强调总统与其领导的国会在新政改革的作用。文字的客观议论配合带有政治意义的漫画,实现了图像与文字评价之间的关联,综合展现了编写者对历史事件看法的立场,说明其不仅是客观的“记录者”、“说明者”,在议论性文类中更是隐性的“评判者”。

综上所述,图文逻辑语义关系与图文评价密切相关,图文逻辑语义关系使图像评价与文字评价相互联系,并形成一种同步性。图文关系在联合群体建立共享价值观中发挥重要作用(Martin 2001:334-335)。图文详述关系会增加重叠型的评价语义,而图文增强关系会增加环境成分的评价语义,使评价语义得以增强;图文延伸关系会增加非重叠性的评价语义,图文投射关系会投射相关思想与言辞信息,两者都使图文的评价语义相互联系。在罗斯福新政这一整个章节中,教科书编写者面对高中生这一阅读群体,在多种图文关系中综合建构并实现评价的实例化,同时通过图文评价的同步性对学生的历史观形成起引导作用。

4. 多模态历史教科书中

基于不同语类的图文评价统计

多模态历史教科书中图文评价的示例表明图文关系(特别是图文逻辑语义关系)影响图像评价、文字评价之间的同步性。以下基于图文关系的多模态评价语义分析框架,关注该教科书(不含补充材料)中可以相互追溯的图像和文字,以一个图文关系为单位进行统计(组合图共享标签,按一个计),并运用UAM CORPUS TOOL 2.8辅助统计结果,综合显示该教科书中图文评价在讲述性文类、解释性文类和议论性文类中的图文逻辑语义关系分布,最后得出的数据如表1所示。

表1　文类中图文评价资源的逻辑语义关系分布

上述数据显示多模态历史教科书中建构评价语义的图文逻辑关系呈多样性,且其在不同文类中的分布亦不相同。在这本多模态历史教科书中,最多的是扩展关系,在三种文类中分别占到100%、95.6%和48.5%。其中,详述关系在三种文类中的比重都相对较大,分别占到100%、60.0%和34.3%。扩展关系中的延伸关系和增强关系在解释性文类中更多出现,分别占解释性文类图文关系总数的21.3%和14.3%,而投射型更频繁地出现在议论性文类中,占该文类图文关系总数的51.5%。在该教科书中,详述关系更多出现在讲述性文类中,体现为图文互溯并对教科书要呈现的史实进行总结、细述;延伸关系、增强关系更多在解释性文类出现,增强关系用于加强对历史时间、历史地点、历史原因、事件目的或其他环境成分的强调,延伸关系往往对某个历史知识要点进行迁移式阐述;投射言辞关系、投射思想关系更多出现在议论性文类中,图像中的信息为文字意义的思想、言辞投射。

在多模态语篇中,图像的一种作用就是与文字一起共同表达态度(Martin 2001:334)。在图文关系影响下,在语料中,处于详述关系下的图像往往是人物肖像、历史照片和人物引文,图文界限较为清晰,其传达的评价语义往往与文字评价资源相互呼应,增加重叠性评价语义。增强型的突出表现形式为曲线图和地图型,解析历史时间、历史地点及历史因果,图文界限清晰,通过新信息的补充对这三者的评价语义进行加强,体现编写者正面或负面的态度。延伸关系往往出现在解释类文类中,对历史知识点的相关解释或发展进行延伸,图像往往是带有评价性文字的图,图文界限较为模糊。投射关系中的图像往往以漫画、带文字的图表形式出现,映射与文字相应的思想、言论,图文界限清晰,体现了多模态历史语篇中主观意识的介入。

因此,在建构评价语义时,以不同图文关系建构的评价对历史文类的选择有一定的规律和盖然性:在该教科书中,详述型图文评价占有相当大的比重,因为在历史等人文学科中,图像的主要作用在于知识点的详述、知识点描述和信息的传播(Kress & van Leeuwen 1996/2006:16)。文字、图像相互联系,在表达概念意义、共同表征课程内容的同时,也表达编写者的价值观,体现多模态语篇的人际意义。延伸型和增强型的图文评价在解释性文类中更多出现,因为历史解释性文类涉及析因(factorial explanation)和析果(consequential explanation)等次类,历史学家往往在解读史实、析因析果时加入相关评价(Martin & Rose 2008:125)。而知识迁移的延伸型及强调环境成分的增强型,都可以为相关评价提供理据,加强评价的图文双重建构。投射型图文评价更频繁地出现在议论性文类,在该教科书中,其涉及的图往往是一些漫画。相对于图表(表格、地图、示意图)在高度客观的语境中传递知识的作用,漫画作为插图的目的是使入门级读者带有情感地介入主题(Kress & van Leeuwen 1996/2006:121)。这样漫画作为文字信息的另一种模态的读解,与文字一起,产生整体性、同步性的评价语义。因此,多模态历史语篇中的图文评价,不仅让教科书编写者成为“记录者”,更以“说明者”和“评判者”的立场影响着读者主体对评价语义的阅读反应。

综上所述,结合Martin和White(2005:164)对评价的阶的分析,本文通过下表构建起多模态语篇中评价系统的实例化过程:

表2　多模态语篇评价的实例化

在表2中,评价系统这个图文双重系统具有各种各样的操作子系统(马丁、王振华2008)。在评价系统的实例化过程中,多模态历史教科书语篇中的评价是基于语境的评价选择,讲述性、解释性和议论性文类的评价可做为评价立场,是评价性选项的二次选择。讲述性、解释性和议论性文类中多模态评价的方式是多种多样的,某个具体的图文评价可成为评价实例。基于上文分析,图像、文字评价在图文关系的影响下,可形成一种同步性。在这一过程中,读者主体对语篇的评价语义形成阅读反应。

5. 结语

多模态评价理论是探究作者态度的有效工具。在不同语类中对图文评价的研究,不但能深入解读和分析图文关系对图像、文字评价的前景化作用,而且也为数字时代多模态教科书语篇的创作提供一定理论参考。在多模态历史教科书语篇中,通过分析不同的图文评价使用与语类的关系,我们认为文字评价和图像评价是一个有机的整体,使图文评价产生同步性。图文关系在联系图像、文字概念意义的同时,也映射了图文之间的评价语义以及图文与读者之间的人际互动关系。

图像评价与文字评价在历史文类的实例化过程相互协调,图文评价建构以扩展关系为主,且以详述型数量居多。在多模态历史教科书语篇评价的实例化过程中,以不同图文关系建构的评价对历史文类的