李战子 范冰冰
〔关键词〕 中美聚焦网;图库;功能语言学;图文类别;多模态教学
语言教育受数字时代的影响日渐深重,互联网资源已成为教学应用的重要来源[1]30-31,尤其是互联网多模态资源。模态是物质媒体经过社会长时间塑造而形成的意义潜势,它是用于表征和交流意义的社会文化资源[2]21。随着数字化的发展和广泛应用,多模态交流已成为社会符号传播的主流,曾被视为副语言的图像、颜色、声音、动作等符号正在和语言符号一起形成更为宽泛的符号资源共同参与构建意义[3]。而在目前的课堂教学中,符号资源的使用也正随着社会关系、教学理念、教学内容的变化和符号手段的更新而进行着调整。伦敦大学的学者Jewitt[4?5] 指出多种符号意义系统的应用将对教师的教学态度、教学方法和学生的参与程度、学习效果产生影响,多模态意义的发生方式或者制约或者促进学生的能力提高。同时,她也批评说,虽然技术发展为课堂的多模态应用提供了更多选择,但课堂并未合理地利用多模态资源,对课堂多模态的认识不足会造成资源的误用和滥用。如何合理选择模态资源,从而发挥多模态教学的正效应,是课堂教学研究中亟待关注的问题。与此同时,课堂教学资源的深度混合(deep remixability)也呼唤着对多模态课堂教学语料库的深化研究[6]97。
在多模态话语分析兴起以后,国内的很多学者开始了对多模态理论的探讨和研究,并取得了一定的进展。同时,多模态理论也广泛运用于语言教学设计。例如张德禄[7] 曾在“多模态话语理论与媒体技术在外语教学中的应用”一文中提出了现代技术条件下,基于多模态话语交际框架的模态选择的三个角度。考察一些英语教材的多模态设计,可发现有时多模态形式与教学内容匹配度不够[8]。目前有一些教学语料库构建可能存在建设周期长、用途指向不明确倾向。本文从适用适量角度出发,基于中美聚焦网①图文类别分析,提出构建一个能够支持多课程、多场景、多用途的教学图库,探讨实现模态合理选择的方法和路径,探索构建有效的跨课程多模态外语教学模式。
一、作为网络多模态图文资源的的中美聚焦网概览
中美聚焦网是中美交流基金会2011 年创立的专注于中美关系的中英双语评论性网站。中美交流基金会以中美之间积极而和平的关系为基本理念,试图以客观、中立和平衡的态度建立一个能够让中美专家、学者、智库以及中美有识之士交流意见和观点的平台。2015 年,习近平主席在对美进行国事访问时,与美国民众和社会进行了广泛接触,还到访了大学和智库进行交流。学界和智库的观点一直发挥着构建两国关系的重要作用。该网站作为了解中美关系的一个窗口,是西方智库深入了解中国的一个管道,同时也是中美广大读者了解中美关系动态、观点和背景的一个窗口。
浏览网站可以发现,它提供了关于塑造中美关系的多种视角,围绕中美热点话题,发布了多方观点,这有助于帮助读者理性、全面地了解和思考中美关系,因此我们认为它属于新媒体公共外交的观点类网站。网站囊括了中美两国150 多位中美问题专家和学者的评论性文章,每篇文章均采用文字加图片的形式进行观点展示。通过多符号系统资源的协同表达,使作者的观点立场更加清晰。同时在语言上,网站为方便读者,提供中英文两种语言编译版本。
中美聚焦网网站设计简洁清晰,多媒体元素丰富,包含了大量的图片、文摘、视频等元素,为学习者和研究者浏览中美关系话语提供了全面而便捷的资源,有助于考察國际新闻传播与构建中美新型大国关系之间的话语建构关系,对于分析网络话语传播和多模态特点则提供了数据支持,同时也为多模态教学图库的构建提供了有益的素材基础。
二、图文关系研究和图集分类
Castells 把公共外交看作是潜在地建构了“一个围绕全球化的交流网络建构的公共领域,在这个领域里,公开论辩可以为新型的共同约定的全球治理提供帮助”[9]91。Chitty[10] 也认为有一种融合正在出现,即围绕通讯技术和信息技术出现的表达意义的(symbolic) 影响力技术。也就是说,意义和符号的各种呈现,比起新媒体技术出现之前,其重要性达到了全新的高度。而这些符号表达并不是自身带有意义的,需要经历话语的建构过程。这些认知为话语分析在理解公共外交的过程中拓展了广阔的空间。
本文中我们通过对网站文章中图片的分类实现一种多模态的话语分析。关于图文关系的研究,已经有功能语言学为基础的多种理论。韩礼德[11] 依据小句间的关系类型,把图文关系分为详释、扩展和加强类,详释又可再分为阐释和等同,不难理解,其中图文“ 等同” 的类别则会有信息的冗余。Lemke[12]130-149 谈到了图文结合产生的意义增值(multiplication of meaning),这也给我们研究意识形态在多模态中的作用提供了借鉴。
John Knox[13] 在他对在线报纸主页图文交流的研究中,描述了“要闻剪影(newsbites)”。这种图像为核心的新闻可以被看作独立的新闻故事,用以体现文化和社会与读者的关联,能很好地加强和读者的联盟。Helen Caple & Monika Bednarek[14] 探讨了澳大利亚印刷媒体与读者的互动和结盟。这一新闻语类中,事件呈现为简短的新闻报道,带有标题、主导照片和说明,可称之为图像为核心的新闻故事(the image-nuclear news story)。在这些故事中,标题和图像形成一种基于对常见表达的语言视觉呈现,其标题则详细阐述故事的新闻价值。通过这种表现风格,报纸满足了特定类别的读者在不同类型的知识(语言、文化、符号等)方面的一定期望。而中美聚焦网的图文关系中,图片属于文章配图,与文章的关系更灵活、更发散,用于激发思维的作用更凸显,因此也值得我们作为全新的课题进行分类研究。
三、图库的构建及应用
为在多模态话语交际的框架下更好地提供外语教学学习情境和辅助条件,从而提高教学效率,我们在对中美聚焦网进行多模态话语分析的同时,也尝试将研究成果应用于教学实践,以收集到的图片和文本信息为基础数据,建立适用于外语及相关课程的教学图库系统,为构建多通道的话语意义表达方式提供便利。
(一) 图库构建的价值化原则
随着数字化时代的发展,可借助多种信息化手段,通过网络获取到大量的图像、音频、文本、视频等符号资源,从而开展多模态外语教学和研究。然而网络资源往往呈现出分散的、混乱的、不明确的特点,使得在海量的资源中寻找对课程有参考价值的资源变得困难,从而在某种程度上限制了教学的有效开展。而图库建立的初衷即是为使用者提供对外语教学有参考价值的多模态资源,为多模态外语教学提供合理的模态资源选择,为探索构建有效的多模态教学课堂提供参考模式和建议。因此图库系统在对数据进行采集时,我们对数据资源进行了基于功能语言学理论的筛选,力求做有参考价值的资源选择平台。
(二) 图库的基本构建
教学图库系统定位为一个以共享有益资源,为多模态外语教学提供学习情境和模态资源选择为建设目标的网络数据库系统。系统以B/S(Browser/Server)模式为基本架构,构建初期主要以图像和文本数据为主要类型,基于XML 语言对资源进行统一组织和描述,并通过超链接、检索、在线浏览、下载等方式实现话语意义的传递[15]。
1. 数据的采集与筛选
当前系统数据主要以中美聚焦网网站的图片与文本信息为基础數据。中美聚焦网是新媒体公共外交的观点类网站(网站主页如图1 所示),网站结构鲜明,聚焦议题广泛,内容丰富,共包含九个栏目,涉及六大话题领域:外交策略、经济金融、军事安全、能源环境、社会发展和文化历史。每一领域内的观点文章均通过超链接的方式引导用户选择交流。
网站文章内容观点多样,体现出开放和包容的态度,观点展示也均采用图文并茂的方式,实现话语的传递和意义的构建。即每篇文章都包含三个元素:标题、图像、正文(如图2 所示)。其中文章标题置于网页详细内容展示区域的最上方,并以大字号、加粗形式呈现,后面紧跟较大尺寸的配图,图像后则为文章的正文。这里图像被置于标题与正文之间,所处位置则是网页中最显要的位置,充分表明该图对于预测、概览、丰富文章内容、与文章内容互动或作为文章内容的索引等方面具有特定的作用。同时网页的这种布局方式,也为我们快速、准确地定位素材提供了便利。基于网页结构,我们制定了有效的数据采集方案,通过自动化手段实现基础数据资源的获取。
依据数据资源的价值化原则,数据采集后,我们需对数据进行适当的筛选。参照系统功能语言学的元功能分类标准,我们在对各类意义的图像特征和实现方式进行细化后,综合图库系统的应用需求,提炼出若干对外语及外交类课程教学具有较高参考价值的多模态资源,为开展双语读写、论辩、语言学理论等课程教学提供必要的模态资源选择。
2. 数据的分类规划和关键词标注
用图片教学应充分了解图像作为社会符号和语言作为社会符号的区别和联系,以及图像与语言之间在所用资源上的差异[16]。基于系统功能语言学理论和研究路径,我们制定了面向不同需求的分类标准,将收集得到的数据从多个维度进行了类别划分,包括:按语种、课程类别和图文关系三个分类,每个分类又具体划分为若干子类(具体分类情况详见图3),通过类别的规划,不同应用目的的使用者可以快速获得清晰、有效的资源,同时也为多模态话语分析提供便捷的统计与分析通道。
这里我们以对中美聚焦网图文类别分析为例,简述类别划分的依据和标准。为考察中美聚焦网网站的话语传播和多模态特点,我们运用系统功能语言学网站多模态的分析方法,依据文章与配图的关系,将图片划分为四类,并分别从概念意义、人际意义和语篇意义三个层面研究了四类图片之间的关系[17],同时通过量化分析方法,对文章的配图进行了评价。以下是对图文关系类别划分的说明:
(1)指涉类
指图片内容涉及与文章内容直接相关的人物或事件场景。它可以是全文的参与者(participants)提要,也可以是全文的背景或场景,可以分为较完全指涉和部分指涉。
例如:图4 的文章为“中美贸易战会成为欧盟的机遇吗?”,配图为中欧企业家圆桌会的照片,照片中核心背景清晰表明会议时间、地点、主办方等基本信息。
图5 的文章涉及外国媒体一些报道的内容,图片是叠放的十余家英语报纸,这是以点带面的指涉,各类新媒体载体在这幅画面中无法展现出来。文章指责了外国媒体的一些新闻报道中蕴含的不当言论。
(2)符号象征类
指通过抽象符号、卡通形象或者物体指代和文章内容相关的人或事。该类的意义较指涉类更加开放。例如文章“G20 峰会后的中日韩关系展望”①,文中图片采用国旗符号象征中日韩三国,用石头、剪刀、布的未知猜测结果比喻发展关系中存有的不确定性。
(3)评价凸显类
指图片明显带有作者感情色彩的评价。例如:在“中国的锐实力:幻想和误读”一文中②,文章图片虽与第二类符号象征类明显有重合,但图片的评价色彩更为浓烈,通过在构图中表达中国与美国和欧盟的关系,将对中国“锐实力”的臆想和误读形象化、符号化地展现出来。作者在文中明确指出,此类臆想和误读是荒谬的,希望两国之间有更充分更广泛的人文交流。
(4)强化主旨类
该类别的图片特点是通过象征性的物件强化文章的主旨。比如,图6 的文章题为“极限施压是解决中美经贸问题的危险策略”。图中通过压力表表达“压力”的含义,通过通气管道表达危险的意象,从而强化文章认为“极限施压”是危险策略的主旨。
从社会符号学角度来说,图像不仅是有赖于文字诠释的形式,它和语言一样,对社会现实和心理现实既具有再现作用,又具有重构作用,因而在系统数据检索方式的考虑上,我们不能仅从图像自带的文字信息出发,同时也要考虑图像本身所体现的语义信息[18]。因此对于图像的标注,我们不仅标引了图像的标题、分类、属性特征、来源信息等,还从图像本身、语境、背景关系、人物特征、隐含意义等多方面分析,提炼了若干关键词以表达图像的语义,从而实现对图像的多重索引方式的构建,满足用户对图像多角度的查询需求。例如图7,该图片是“为什么太空能够成为中美合作的下一个机会”一文的配图,图像以文章名+扩展名形式加以收集保存,同时通过分类规划,将其分配为图文关系类中的评价凸显类数据,基于图像本身所自带的语义信息,我们又为之提炼出太空、月球、嫦娥四号、握手、合作及隐喻性象征六个关键词标签。使用者可以任意从自己习惯的检索角度进行相关图片资源的检索。系统可以支持单一项条件的检索,也能够支持多条件组合检索,保证资源的精准定位。
依据诸如上述图片的分类标准简述,我们可为所有图片至少匹配到一种类别的划分。并参照系统功能语言学元功能分类标准,进一步探究四类图片之间的关系和各类别的进一步精细化细分。同时以类为单位,通过量化分析方法,分析《中美聚焦网》文章配图的选择特点,从而考察《中美聚焦网》的话语传播特点。
3、数据的呈现方式
依据不同的应用需求,在数据的呈现方式上系统选择浏览和下载两种方式。其中浏览既提供缩略图方式,即将检索结果以缩略图列表的形式呈现以供选择。也提供原图展现方式,即在详细信息页面内,以百分之百原图形式展示。这里为实现语境构建等目标,还提供了图像的放大、缩小和全屏展示功能。同时,基于学习参考考虑,在详细页面内系统也将选择以高亮超链接的呈现方式提供原文参考,参考原文时既提供单一语种的內容呈现,同时考虑翻译场景需求,提供中、英两种语言平行对比查看显示方式。
(三) 图库的多课程应用
图库系统是探索构建有效的多模态课堂教学模式的一种尝试,它的创建将为看图写作、辩论激发、外交场景口语练习、外交场景可视翻译等多种外语课程提供有益的素材,成为激发学习者学习兴趣和热情的手段,同时也为多模态教学提供必要的模态资源补充,它是现代外语学习语境构建的平台,也是实现多模态交流和传播的新途径。
1. 图库丰富外语学习的社会文化场景
当代外语教学的培养目标强化了跨文化交际等社会文化场景相关能力。实现目标的主要途径包括为学习者创建丰富的目标语言匹配语境。在以课堂为基础的外语学习环境中,能够接触到多样化社会文化场景的机会有限,图文库的建立可以为丰富场景提供一种途径。在图文库中,既包含文本信息,同时又包含图像信息,此外在展现方式上,我们还提供了并行查看方式,通过中英文的对比查看和图像信息的辅助表达,可以有效理解特定语言在不同场景中的真实应用,从而为跨越语言文化障碍提供可能。当然这里如若再配合语音等其他模态资源将更易构建学习语境。此项将作为系统后续的考虑因素,逐步增加更多元的多媒体信息,丰富多模态化教学的场景选择。
2. 激发学习兴趣和对大国外交的关注
外交教学关注概念和理论,对于入门的学生来说,抽象的文章常使他们望而却步,生动的图片场景则可快速激发他们对于话题的兴趣和联想,同时有助于发散思维。比如中美聚焦文摘2018 年11 月号的封面①。图片题为“一念之间”,图中两位拳击手处于图片显要位置,人物特征明显,服装颜色、符号象征意义突出,背靠背地相持在悬崖峭壁之间的山脊中,人物之间关系体现明确,能够立即使人联想到一些相互依存的关系。而环境的展示和人物的相持相依姿态,虽然夸张,但比较中立和传神,引发人们的担忧和对情境的洞察,从而激发学习者对当前中美关系的思考,也会使学习者进而对更多相关问题产生深入的兴趣和关注。
在图库系统中,我们通过数据的采集和筛选,得到了一些类似上述图片资源,并提供多种检索方式。使用者可以方便快捷地找到需求的图像,同时再辅以系统提供的全屏播放模式进行展示,在课堂教学中可以迅速吸引学生的注意力,引发学习者的思考,激发学生的交际热情,使之更愿意参与到大国外交相关话题的讨论和学习当中。
3. 从多模态外语教学到外交相关课程
在外语教学过程中,教学图库系统将能够通过网络在课堂构建学习的语境,为教师的教学准备提供有价值的模态参考,为多重教学场景提供资源支撑。它是我们将多模态理论运用于外语教学的一种尝试,也是对多模态资源合理选择问题的一种思考。当前由于系统的资源量还较少,选择的来源也较为单一,模态类型以图片为主,其更多应用的价值还有待后续系统的完善和发展,同时类别的划分也需要随着研究的深入而调整和扩展。
合理地使用图片教学并非是一个简单的命题,图库的出现可以为话题的呈现提供一个解决的方案,通过图库资源的多重分类规划,使用者可以得到专业的使用建议,为构建有效的话语表达提供支持,也为真正发挥多模态教学的优势提供了良好的实践平台。多模态研究的兴起似乎和外语教学有着最紧密的关联,随后的研究还考察了多模态在科学课堂上的应用,目前我们还没有发现多模态在和外交相关的国际政治学科领域的深入应用,希望这一基于网络的图库建设是一个积极有益的尝试。