人工智能时代大学英语多模态信息化教学研究

贾慧慧

(晋中师范高等专科学校 外语系,山西 晋中 030600)

人工智能(Artificial Intelligence)是在互联网大数据信息化的基础上，研究、开发用于模拟、延伸和扩展人的智能的技术科学，对人们的交际方式产生重大影响。使话语交际不再局限于单一的语义构建与传达模态，而是综合运用听觉、视觉、触觉、语言、图像、声音、动作等多种方式进行多模态交际。随着人工智能时代的来临，多模态话语的研究成为语言研究的新热点，也是英语课堂教学改革关注的重点问题。

一、多模态话语分析理论的研究框架

多模态话语分析理论最早可追溯到法国社会学家巴尔特(Barthes[1])的图像修辞学。英国语言学家韩礼德(Halliday[2])将语言的社会符号扩展到图像、动作、声音等多种模态进行语言研究。20 世纪90年代，多模态话语分析兴起，美国学者和荷兰学者分别从多维互动、认知框架方面论证了多模态是包括语言、技术、图像、颜色、音乐、动作、姿态、身体语言、面部表情等符号系统。[3]国内较早研究多模态与外语教学关系的学者有顾曰国[4]、朱永生[5]、李华兵[6]等人，他们对理论基础、教学设计、功能分类、应用领域、发展前景等进行了详细的阐述，代表了我国现阶段研究的最新成果。学者们一致认为，随着大数据、人工智能、物联网、云计算、移动互联、区块链的深入发展，多模态研究与应用将成为语言学的重点，同时，多模态研究将对人工智能的发展产生重要的促进作用。其难点在于人工智能在设计中需要考虑不同模态的协同运作，进一步优化人工智能的语言,使其具有态度、情感等人际交往能力。

多模态话语产生的根源是科技的发展,特别是计算机的应用。人工智能的基本“食物”是海量数据，支柱是计算能力。2020年全球数据总量达到44个ZB，全球联网设备数量将达到约500亿台。世界超级计算机的计算能力提升了100倍。各种先进又复杂的指令和规则的集成使得深度知识正在推动人工智能在一些领域达到与人类相同的水平。例如图像测试、声音辨识和阅读理解等，也是多模态产生的背景。尽管人工智能已是一个非常成熟的概念，但在现实中该领域几乎所有发展都是在近20年实现的。因此，其研究者均为近年来的当代学者，英国著名语言学家韩礼德创立了系统功能语言学，澳大利亚著名语言学家马丁创立了语言评价理论和积极性话语分析理论。在此基础上，我国学者张德禄[7]于2009年首次提出了多模态话语理论，其综合理论框架主要由文化、语境、内容(意义+形式)、表达四个层面的系统及其次级范畴组成(见图1)。当前人工智能的发展非常迅速, 对英语教学多模态提出了较高要求，该理论框架对于我们研究英语课堂多模态教学具有积极的指导意义。

图1 多模态话语分析框架

二、多模态话语的评价标准与实际应用困境

人工智能不仅是受过训练的机器取代人类完成某项特定工作，更精确的定义还包括机器拥有自我意识、自主寻找解决方案，即自主学习+设定整体目标。在人工智能时代，多模态在语言学界有标准可循。

(一)多模态话语的评价标准

1.模态数量标准。同时使用两种或两种以上模态的话语，是当前语言学界普遍认可的标准。通常情况下，模态有视觉、听觉、触觉、嗅觉和味觉模态。一种模态的话语被称为“单模态话语”(monomial discourse),如听觉模态听广播，视觉模态读书等。“双模态话语”(bimodal discourse) 是指同时使用两种模态的话语，如用PPT上课是视觉模态与听觉模态同时进行。同时使用两种或两种以上模态的话语叫“多模态话语”(multimodal discourse)，如电视电话系统可以同时获得声音、文字、数据和图像。

2.符号系统标准。一种模态包含两个或两个以上的符号系统。如广播只涉及听觉模态,但包含背景音乐；连环画只涉及视觉模态，但包含文字和图画。

(二)大学英语课堂多模态实际应用困境

在现实生活中，教育、艺术、外交、文化传播等都可以运用多模态或多种符号资源解决实际问题。在大学英语课堂中，单纯对语言符号的话语研究和教学已经不能满足学生的认知需求, 按照张德禄文化、语境、内容(意义+形式)、表达四个层面的多模态话语分析框架，在实际应用中存在一些困境。

1.文化层面，观念陈旧，缺乏系统性多模态教学理念。随着信息技术的发展，人工智能的应用逐步深入各个领域，人与人之间的沟通方式发生了翻天覆地的变化。在一些领域, 多媒体和网络的产生促进了多模态话语的研究，交际的主模态已经由语言转为图像或其他模态。目前的英语教学中，多模态教学却并没有全面普及，原因在于人们对多模态教学模式的跨文化具体实践应用不足。文化层面决定了交际传统、交际形式和交际技术，是使多模态交际成为可能的关键层面。文化语境包含意识形态和体裁两个方面，意识形态是对事物的理解、认知的观念、思想、价值观等要素的总和，而体裁是意识形态实现的交际程序或结构潜势。在英语教学中，很多教师跟不上信息社会发展的速度，不愿意接受新事物，教学观念和思想陈旧，缺乏系统性多模态教学理念。单一或者较少的模态使得整个课堂教学气氛压抑，活跃程度不够，教师教得吃力、学生学得乏味。

另外，语言既是文化和意识形态的载体，也是传播媒介。随着工业革命的成功，西方文化有被神圣化的倾向。过去的教学过多的注重了政治教育的显性思政，忽略了英语教育隐性 “课程思政”的作用。对于西方文化，广大青年学生存在判断力较弱，不加辨别、全盘吸收的错误倾向。因此，大学英语“课程思政”教学对立德树人尤其是增强文化自信具有重要意义。

2.语境层面，忽视创设，缺乏实际交流机会。交际要受到语境因素的制约，大学英语所具备的听、说、读、写、译五项技能受制于包括话语范围、话语基调、话语方式所决定的语境因素。在传统大学英语课堂教学模式中,教师忽视对语境的创设,学生也缺少交际机会。在“互联网+”的人工智能时代，教育技术得到了充分的深入和拓展，教学方式和教学手段逐步革新,外语教育上升为“语言+课程+技术+人”的四维模式，他们的相互作形成了外语教育的四维学科生态网络。尤其是在时间和空间上的充分拓展延伸,对外语教育的影响深远，甚至是颠覆性的革命。人工智能时代，英语教学的听、说、读、写、译均可以实现现实语境模拟，多模态技术的应用能够对教学时间、空间、受众、资源产生多维重组。如通过“线上+线下”“慕课+微课+翻转课堂”等实现跨时间、空间的语境创设,这都是技术和课程深度融合的产物,也是未来语言教学的发展走向和基本图景。

3.内容层面(意义层面和形式层面)，话语意义确定，形式系统选择与关系协同。内容层面由“话语意义”和“形式及关系”两部分组成。“话语意义”可分为概念、人际、谋篇三个方面，由情景语境制约。“形式及关系”包括“形式”(语言、图觉、声觉、感觉)和“关系”(互补、非互补)两个方面组成。在英语教学中，概念、人际、谋篇话语意义需要确定，但还要注重信息的多方位传达。不同模态的形式特征相互关联，共同体现话语意义。多媒体学习光盘、多媒体教学课件和网络资源，提供更生动、更便捷的英语语言学习环境，同时方便教师备课和教学。但视觉语法、听觉语法、触觉语法等每一种模态都有自己的形式系统，即固定的语言语法中，视觉、听觉语法并不确定，而是具有相当大的主观性。做到各种模态之间协调、联合、互补比较困难。

4.表达层面，语言与非语言的有效使用。语言与非语言都是沟通交流的重要手段。语言分为“伴语言”和“纯语言”，非语言分为“身体”和“非身体”。“纯语言”指声音、文字。传统语言学上实现意义传播的形式和主要媒介是声音符号和书写符号。而“伴语言”指音响、音调、字体、布局。“非语言”指“身体”和“非身体”。而“身体”包括动作、比拟、面容、肢体。“非身体”包括PPT、音响、网络工具和实验室、同声传译室环境。

英语教学主要基础是“纯语言”。随着信息网络技术发展和人工智能的升级换代，“伴语言”会通过声音的大小、语调、音调、口音、语气、声频、音响及字体的大小、形状、颜色、空间布局等对语言意义的传递起到辅助、补充和强化的作用。但是有些教师过分依赖多媒体课件，课下花费时间较多准备，课堂上对着PPT照本宣科，或者简单放视频，不在黑板上写板书。这样师生之间缺少互动交流，教学资源没有得到充分利用。学生知识技能简单掌握, 缺乏主动思考,教学目标也没有达成。另外,有些教师所使用的多媒体课件信息量太大,各种资源之间互动、交替切换过于频繁，有的还需要手机同时操作。节奏很快，形式多样，眼花缭乱，匆匆忙忙。只注重表面形式，分散了注意力，导致教学内容不深，达不到预期效果。

三、人工智能时代大学英语多模态话语教学革新路径

(一)熟悉多模态融合教学平台工具，培养跨文化交际能力

1.要熟练使用多功能智慧教学平台和高级教具使用。简单的在课堂上使用雨课堂，微助教、学习通等软件就能做到多模态互动，关注课堂反馈的实时性，弹幕功能可以让教师快速了解学生的掌握程度。还可以看之前做过的题目，而且有课件的专属空间，这在复习上就要方便很多。而且雨课堂好友摇号功能，在课堂答题上还能活跃气氛。同时，大学英语涉及科学技术、道德情感、文化知识、社会热点等各个方面，需要教师尽快适应智能软件工具。比如，同样是讲解温室效应，虽然教师通过课下精心准备，能够通过课堂精美PPT,工整板书等讲解到位，但依然是使用传统的黑板进行教学较多，模态使用较少，学生需要花费几分钟来了解。如果使用更高级的智慧课堂和3D软件模型图示关联运动演示，则一目了然，学生很容易理解。甚至英语基础不好的学生一下子就会明白其中的原理，即高级教具。

2.培养跨文化交际能力。跨文化交际能力的具体构成要素为知识、能力、态度、素养四部分。在跨文化英语教学中，知识目标、能力目标、情感目标的实现方式均可应用多模态理论。比如，通过合理组合PPT、语言讲授、肢体动作、面部表情、欣赏英文视频歌曲、讨论答疑、课堂互动、慕课微课、翻转课堂等等，实现声音、文字、语言、颜色、图像、动作、表情等各个模态的运用，强调了学生在“做”中学，有利于激发学生学习兴趣。训练了语言交际能力和非语言交际能力，训练了交际策略。

3.注重英语课程思政建设。大学英语“课程思政”担负着“培养什么人，为谁培养人”的历史重任，是贯彻落实习近平新时代中国特色社会主义理论思想的根本要求。深入挖掘大学英语不同课程和教学方式中蕴含的思想政治教育资源，引导青年学子以批判的眼光学习西方文化，是培养民族文化自信，讲好中国故事，传播好中国声音，阐释好中国特色，落实立德树人、三全育人、以本为本、四个回归的重要体现。

(二)借助现代信息技术，开发多模态语境授课方式

语境是语言赖以生存和发展的环境，由于以往受传统教学条件所限，我国英语教学无法实现欧美国家身临其境的语言环境教学，导致学生对语言形式的得体与否很难作出判断。更多注重语言能力、语言知识和语言技能，而忽略了英语学习中的文化意识、思维品质、学习能力等。随着人工智能和5G的发展，使教师通过多模态教学，人机对话创造地道语境学英语成为可能。大学英语教学可以基于中国大学慕课平台、微信公众号moolsnet、科大讯飞E听说、移动虚拟实验室Mlabs、国家虚拟仿真实验教学共享平台等在线教学资源，实现贯穿教、学、考、评、管全过程教学赋能。借助网络技术、计算机技术，虚拟仿真技术等，可以实现大学英语教学与国外大学共享教育资源，与国外师生进行教学互动，实现外教封闭式语境授课，在一定时期内排除外界干扰，使得学生的听、说、读、写全面系统化培养。构建既有互动教学模式特点，又有情景教学模式特征的创新性教学模式，激发学生的兴趣，提高学生在学习中的参与度。

广东外语外贸大学的虚拟仿真实验室是目前全国同类院校中建设标准和规格最高的实验室。实验室的环境建设强调师生互动和分组学习，设备安装、灯光设计、声学设计、教学桌椅和手写板等教学设备都围绕着这一主题进行设计和布置。比如，通过VR实验室介绍飞机，以前只能是平面的，现在可以立体地呈现机场及飞机的情况，甚至可以在飞机机舱内进行介绍。同时，教师在此上课的情景，能够直接立刻转换成三维立体的网络课程，传输到云平台上，从而方便更多学生随时观看。同时，教师上课的情景和内容，还可经过后台的采集和处理，将课堂上教师讲的若干个知识点进行拆分和归纳，变成微课程，以便学生了解所需要学习的知识点，而无须再观看一整节课。

(三)内容层面坚持多模态教学意义和形式统一协同

多模态教学内容是指教师对教学素材的凝练，使用多媒体平台，将语言、图像、声音等组合起来形成有效的意义最大化，并指导学生利用这些表达形式进行协同合作, 交际交流的过程。在构建多模态教学意义的过程中，需要教师在课上课下做足功夫，进行意义的挖掘与形式的协同。

1.进行本意的诠释。学生对于英语的意义层面理解，包括词汇、句式、语法、文化背景、历史风俗等认知。在教学过程中，教师要通过凝练教学素材，介绍英语词汇、语法、句型在不同情况下的唯一意义或多重意义。通过视觉、听觉、触觉等使学生掌握语言基础知识，夯实语言基本功，培养英语学科语言能力、文化意识、思维品质和学习能力等核心素养。

2.挖掘英语教学的课程思政育人价值。当前,大学英语课程思政存在理念不清、重视不够、方式生硬等问题。要以习近平新时代中国特色社会主义思想为指导，将课程思政元素春风化雨、润物无声地融入英语教学，全面推进课程思政建设。培养青年学子对民族文化的自信，在学好弄懂语言的同时，更好构筑中国价值，传播好中国声音。如通过BBC纪录片“《中国春节》(Chinese New Year 2016)”“《中国故事》(The Story of China 2016)”引导学生正确认识和系统学习中华文化，实现大学英语教学与“课程思政”的有机融合，实现立德树人的目的。

3.有针对性地凝练名师教学风格，带动和促进全体教师队伍整体水平的提升。名师风格是教师在长期的实践活动中，通过凝练教学素材，挖掘教学价值，形成富有特色的教学技巧和方法的教学形式。教学内容与形式的统一，往往具有风格独特，效果明显的引领作用。在构建多模态教学形式的过程中，重点在于引导实践应用，培养学生的超前意识与宏观视野。比如，在涉及国外节日的时候，可以在虚拟教室直播互动或者播放录像等感受国外的节日欢庆场面。众所周知，英语中节假日的讲解离不开食品，可以通过直接参与食品的制作来引入视觉、味觉等方面的多模态语言信息解读内容。比如教师尽量拓宽教学内容，通过校企合作应用案例、虚拟酒店活动场景等多模态展现形式帮助学生形成酒店英语思维，了解酒店活动文化，训练在特定语言文化环境之下的酒店英语应用能力。

(四)有效使用语言与非语言，优化多模态媒体层面学习感受

在以数字化、网络化、智能化为核心特征的新一轮科技革命和产业变革中，人工智能和机器学习技术飞速发展，正在改变着人们的生活方式、学习工作方式和教育教学方式。英语课堂上，传统“纯语言”“身体非语言”已经不能适应教学要求，需要“伴语言”“非身体语言”对教学内容和形式进行延伸和拓展。AI人工智能、物联网等技术得到深度应用，英语教育要做到与时俱进，就要改革人才培养标准。

1.借助平台，延展空间。在英语的教学活动中，可将学习资料上传到微信公众号、微博、抖音等社交媒体平台进行展示，甚至开通专门平台进行网络直播。可增强学生的情景带入感，加强英语知识的交流互动效果。

2.扩增模态层面的多模态结构，拓宽教学时间。从现实的课堂教学转化为网络虚拟教学，通过智能化交际设备开展更多的英语活动，同时在社交网络环境下为学生创建更多交流互动的机会。

3.优化人工智能语言，实现“以学生为中心”的真正转变。传统教育思想是以教师为主体，学生为客体。现代电子计算机的产生便是对人脑思维功能的模拟，是对人脑思维的信息过程的模拟。这两个方面共同构成了人工智能语言。表现为结构模拟，仿照人脑制造出“类人脑”机器和功能模拟，即对人脑功能过程进行模拟。在许多情况下，将人工智能应用于高校英语翻译活动、情景模拟教学中, 使其具有态度、情感等人际交往能力，它将代替教师教授学生知识。这样必然会改变着教师的思维和教学方式，实现“以学生为中心，教师为主导”的教学转变。