以职业能力为导向的外语数字化多模态创编教学研究

吴筱明

摘  要： 数字化转型背景下，外语教学在教学环境、教学工具、教学资源和教学模式上都发生了改变。针对高职英语课堂互动性和时效性低的问题，以职业能力为导向，把数字化多模态创编教学手段融入教学过程，通过“目标定位（target-orienting）—资源整合（resources-integration）—课堂导入（activation）—知识内化（internalization）—成果检验（testing）”五个步骤，形成TRAIT教学设计模型，使教和学的过程转变成师生共同的创造性设计活动，创设师生共生、教学相长的生态环境，从教和学两方面共同促进学生的学习效果提升。

关键词： 职业能力； 外语数字化； 多模态创编； 教学模型； 教学研究

中图分类号： G712          文献标志码： Ａ          文章编号： １６７１－２１５３（２０23）０4-0065-07

数字化转型背景下，外语教学在教学环境、教学工具、教学资源和教学模式上都发生了改变。魏朝夕指出，面向職业教育的外语教学，不再是简单的“学生+教材+教师”互动形式，创新驱动将成为外语教学实践的主旋律[1]。随着国际商务领域数字化、网络化和智能化的发展，新产业、新业态和新模式下新的职业岗位对高职院校外贸专业人才提出了新的要求。高职学生普遍英语基础薄弱、英语水平参差不齐，课堂上抬头率和点头率不高，教学互动性和时效性不强。要改变这种状况，高职教师必须转变教学观念、调整教学策略和改进教学方法，真正让课堂“活起来”。本文以职业能力为导向，把数字化多模态创编教学手段融入教学过程，形成TRAIT教学设计模型，使教和学的被动过程转变成师生主动进行创造的设计活动，从教和学两方面共同促进学生的学习效果提升。

一、多模态教学理论

（一）多模态及多模态创编概念

模态是交流的渠道和媒介，包括技术、图像、语言、音乐、颜色等符号系统。不同学科对模态的划分标准不同，系统功能语言学和社会符号学认为，人们通过一系列具有意义潜势的符号进行交流，主要有语言（文字）、言语（声音）、副语言、图像、肢体动作、音乐等模态[2]；认知科学从人类的感知通道出发，把模态分为视觉、听觉、嗅觉、味觉、触觉等。顾曰国指出，“模态是指人类通过感官（如视觉、听觉、触觉等）跟外部环境（如人、机器、物件、动物等）之间进行互动。用单个感官进行互动的称为单模态，用两种感官互动的称为双模态，用多种感官进行互动的称为多模态。”[3]多模态指的是通过整合、编排或编织多种不同模式的符号资源而形成的一个语篇[4]。Kress和Van Leeuween认为，多模态是用多种符号综合表达相同意义，使符号之间相互增强或补充信息[5]。1996 年The New London Group提出了“多模态教学”[6]这一新概念，把多模态理论应用到了语言教学中，提倡教师应该充分利用图像、音频、多媒体及其他教学模态来激发学生在语言学习中的多种感官功能。

“多模态创编”概念来源于英文“multimodal writing”或“multimodal composing”。国外有学者认为multimodal composing是学生使用文本、图像、声音、音乐、手势等多种社会符号进行交流和创作的过程[7]，即“用非文字资源创造性地表达意义”的过程。多模态创编活动都以数字化形式开展，即数字化多模态创编（digital multimodal composing，DMC）。人类生活在多模态形式的世界里，人们是运用多模态进行感知和交流的。实验心理学家赤瑞特拉（Treicher）的著名心理实验证实：人类获取的信息83%来自视觉，11%来自听觉，3.5%来自嗅觉，1.5%来自触摸，1%来自味觉[8]。目前，很多学校开展了数字化多模态创编的活动，其成果形式丰富多样，如视频博客、微课、音视频、PPT课件、博客、 海报、小册子等。随着教育信息技术的介入，以社会符号学为视角、以系统功能学为主要理论基础的多模态教学理论应运而生，越来越多的学者也开始意识到了这一理论对语言教学的指导作用。

（二）数字化多模态创编理论的内涵及特征

多模态创编的教学过程创设了一种新的“教和学”的新境界，提供了更加广阔的、多向度的探索空间，激发了师生的学习内在驱动力，成为师生交往、积极互动、共同发展和共同提高的过程。一方面，教师的“教”成为了有趣的探索过程，教师利用数字化多模态创编进行课程设计的过程是对教材理解逐步深化、开展信息化技术技能学习实践的过程。教师从多元识读教育法出发，用语言国际化、文化多元化及教育信息化的视野，在数字化环境下设计多模态教学策略，通过充分调动学生的视觉、听觉和触觉等各种感官，改变学生知识输入和能力输出的过程，让学生享受学习的过程，教师依此进行教学实践和实施教学改革，这有助于提高教师的教学实践能力、信息化技术能力、教学创新能力和科研教改能力；另一方面，学生的“学”也变成了有意义的创造性活动，以多模态创编方式完成作业任务并以作品化方式呈现学习成果增强了学生学习的体验。学生在完成任务的过程中不断学习、思考、讨论和创作，也成为了作品的创造者和设计者，这对学生来说也是一种能力的释放，可增强学生的多元识读能力、自主学习能力、创新创作能力和合作学习能力，同时有助于提高学生的外语沟通能力和跨文化交际能力。

二、高职外语数字化多模态创编教学设计

（一）多模态创编教学的研究现状

20世纪70年代以来，国外许多学者Halliday、Kress、van Leeuwen都对多模态语篇进行了分析，用各种符号模态如语言、图像、声音、色彩、印刷版式的“语法”来解释各种符号模态如何在多模态语篇中和谐并存以及人们如何在特定的情景语境和社会实践中有效利用多种符号模态构建意义、传达信息、达到交际目的。后来Kress、van Leeuwen在语言的语法分析模型上构建出视觉符号的语法分析模型，在《多模式教学——科学课课堂的修辞》一书中探讨了在课堂中如何构建多模态意义，他们认为图像等是教学过程的有机组成部分。自20世纪90年代起，国内对多模态理论的研究逐渐兴起，其中比较具有代表性的人物有胡壮麟[9]、朱永生[10]、张德禄[11]，这些学者对多模态话语分析理论进行了介绍并且部分学者已意识到该理论对教学研究有一定的指导作用。国内的研究目前并没有对“multimodal writing”或“multimodal composing”加以具体的区分，一般都翻译为“多模态写作”[12]。虽然关于多模态的研究主张“所有的写作过程都是多模态的（all writing is multimodal）”， 但传统观念中的“写作”一般指利用纸笔的文字符号进行创作，“multimodal writing”或“multimodal composing”都翻译为“多模态创编”，主要是为了强调 “创作”和“编制” 过程以及成果的多模态形式，它们已超越了传统意义的写作过程。刘晓斌等在中国大学MOOC外语教育技术课程中指出：“在信息时代，由于数字化工具和资源具有简单友好、易于获取、便于传播等特点，数字化多模态创编活动（digital multimodal composing）是学校创编活动的常见方式。根据数字化资源的常见类型，当前创编形式可以包括但不限于图片、电子书、演示文稿、视听媒体、网页及社交网络等。”[13]

国内学者对多模态、多模态教学在多模态语篇分析方面已有了一定的研究，目前对多模态创编的研究成果并不多，主要集中在中学阶段的英语教学研究，对高职英语教学实施多模态创编教学活动设计的研究成果甚少。

（二）以职业能力为导向的多模态创编外语教学设计的基本技术路线

“职业能力是指完成工作任务需要采取的活动方式，包括职业专门技术能力和职业关键能力，职业专门技术能力主要是运用专门技术从事基本职业工作的能力及掌握技术所需的基础知识；职业关键能力是完成职业工作任务时除职业专门技术能力以外的必不可少的能力。”[3]本研究将职业能力界定为从事外贸职业活动必须具备的知识、技能、态度等各项能力的整合，根据高职外贸相关岗位的就业需要和能力要求，职业能力主要包括专业基础能力、专业业务能力、方法能力和社会能力。

以职业能力为导向，把数字化多模态创编方式融入“教”和“学”的过程（如图1），通过“目标定位（target-orienting）—资源整合（resources-integration）—课堂导入（activation）—知识内化 （internalization）—成果检验（testing）”五个步骤形成TRAIT教学设计模型，改变以往高职英语课堂互动性和时效性不强的状况。师生以多模态方式分别进行教学和学习，通过交互式教学提高学生参与度，使教和学的过程从被动转变为师生主动的、具有挑战性的创造性设计活动，创设师生共生、教学相长的生态环境，促进学生对知识、技能和能力的主动建构、协调发展和综合提高，最终使教师和学生在教学活动中共同进步、共同提高，从教和学两方面共同促进学生的学习效果提升。

三、以职业能力为导向的多模态创编TRAIT教学设计

（一）目标定位（target-orienting）：以职业能力培养为导向

依据维基百科的定义，职业能力（occupational ability）是指人们从事某种职业的多种能力的综合。职业能力分为一般职业能力、专业能力和综合能力。职业能力是高职学生学习、成长的关键素养，而职业能力培养是高职教育的目标和特色，是高职学生综合素质与能力培养的重点[14]。要满足数字化转型下的新职业、新岗位、新技术对高素质应用型技术技能人才的要求，教师需借助信息技术培养学生的学习能力，把专业学习和技术技能学习融合到学习实践中，真正实现 “学中用”与“用中学”，做到学用结合、学以致用，提高职业能力。

外贸相关岗位的职业能力由专业基础能力、专业业务能力、方法能力和社会能力组成（见表1），其中专业基础能力包含英语听、说、读、写、译等基础语言应用能力；专业业务能力包含与外贸业务直接相关的涉外业务操作、谈判沟通和跨文化交际能力；方法能力是指与职业活动相关的工作和学习方法，包含信息处理能力、计算机办公操作能力、学习能力和创新能力；社会能力指处理与他人、环境、社会和职业关系的能力，包括人际交往能力、团队协作能力、环境适应能力、心理承受能力和职业素养。教师在进行多模态创编教学活动设计前，需要明确教学设计要以职业能力为导向，有意识、有目的地把职业能力的技能训练融入课堂教学设计，让课堂教学成为具有职业性和创造性的活动。

（二）资源整合（resources-integration）：整合教学内容与媒体资源

在进行多模态创编教学准备时，教师应不断深化对教学内容的认知，充分理解教学内容并对其进行分析和解构，确立教学活动的主线。认知是对信息的整合过程，包括信息整理、信息输入、信息存储、信息产出、信息改编和信息产出。好的课程设计的基础在于对课程内容本质的进一步理解，课程设计的过程又是对内容本质的理解和揭示。以职业能力为导向，教师需要把教学内容和媒体资源进行网络化、立体化、多模态化的生态整合，利用文本、图形图像、音频、视频、动画、微课、PPT演示文稿、网页课件、网址课件等丰富的媒体资源进行立体优化组合、协同创编，科学有效地利用多模态素材，充分发挥模态间的互补和增强的作用。

课堂可以看作是多模态话语相互交织的符号空间，教师根据对教学内容和学生学习的认知规律，把岗位知识技能与多媒体技术融合，将学生的视觉、听觉、空间以及技术识读能力（technology literacy）和信息识读能力（information literacy）进行融合，通过对多模态的选择和组合的方式创设一个集文字、图像、图形、动画、音频和视频为一体的全新的、多元化的、多维度的立体课堂环境，通过学生的听觉学习、视觉学习、触觉学习（体验学习和实践操作）实现教学过程的意义构建最大化和教学效果最优化。不同模态转换组合使用可以增加学生对所学知识的内化程度，提高内容记忆的持久性，有助于提高学生的理解能力和语言能力。

（三）课堂导入（activation）：以多模态可视化方式呈现知识

课堂导入是实施新知识教学的重要手段，旨在激活旧知识，联结新知识和新技能，可采用情景法、视听法、背景知识导入法，最重要的是要抓住学生的注意力。“注意”是二语习得研究中的重要概念，Schmidt认为，“注意”是语言学习的必要条件，也在语言从输入（input）到吸收（intake）的学习过程中起着至关重要的作用[15]。在知识碎片化时代，面对注意力持续时间不断缩短、学习积极性不高的学生，教师要做到有效吸引学生注意力必须改变呈现知识的方式，在导入环节就要抓住学生的注意力。在知识呈现方式上，可在PPT页面上用词汇云图、简笔画、艺术字体、微软雅黑或颜色鲜明的字体突出教学的重难点，运用插图、思维导图、多模态PPT、vlog、纪录片和微信公众号形式等来呈现知识，吸引学生的注意力，帮助学生建构知识和理解知识。通过调动学生的视听感官和学习新知识的兴趣，引导学生以不同的方式理解和感受知识，使学生乐于学习、主动学习，提高学生的课堂参与度。以可視化呈现知识的方式能够使学生对知识输入感到愉悦，使学生不知不觉地进入学习环境中，把学生的“无意注意”转变为“有意注意”，促进知识在教学过程中的高效传播和理解。

语言的功能在于表意，除语言以外，意义表达和交流可以通过视觉模态、听觉模态、手势模态和空间模态等多种模态来实现，其中图像图形、音频视频在语言与意义表达上起着非常重要的作用。教师在新知识导入设计时，对可视化的多模态的组合方式、多模态课件工具的选用及制作效果等要进行深度思考，如可以选择“文本+图像/图表”形式，“文本+图像/图表+音频/视频”形式或是“文本+图像/图表+音频/视频/动画”形式，教师需要判断采取哪种模态的组合方式更适合于抓住学生的眼球，更容易让学生直观形象地理解新知识。图片素材的选择可从觅元素、素材天下、矢量图网站、我图网、西田图像、素材中国、昵图网、懒人图库、教材电子书网等网站获取；图标素材的选择可从iconfont、素材公社、站长素材、千图网、爱看图标网、freepik等网站获取；音效素材的选择可从音效网、中国素材网音效库、中国声音网等网站获取；字体素材的选择可从字体天下、猫啃网等网站获取。

（四）知识内化（internalization）：通过教学设计深化对知识的理解

1. 对教师“教”的过程进行教学设计

外语学习应被看作是通过多模态方式传递信息的过程，教师是多模态的选择者、协同者和示范者，语言教学的主要任务是培养学生的多元识读能力[16]。教师需依照教材提供的内容设计组织多模态教学，对学生进行多模态知识的传授和多模态技能训练，并引导学生进行多模态经历体验，创设融知识性、趣味性和互动性为一体的课程环境。教师可以根据教学内容，对知识点和技能点进行归纳总结，利用互联网的海量资源、多媒体网络技术及数字化手段，开发多模态教学微课和教学资源。教师在进行资源制作时可以优选和参考国家智慧教育公共服务平台、爱课程、中国大学MOOC、智慧职教等各大学习平台的微课资源，利用剪映、喀秋莎、小影、Focusky、来画动画、万兴喵影等微课制作软件进行多模态资源的创编，对教学重点难点、知识点和技能点进行微课制作。

教师在进行多模态创编时，选择任一模态都要以取得更好的传播效果为前提。模态并不是越多越好，过多使用模态和无效使用某个模态都会增加学生的认知负荷或分散学生的注意力。教师对模态的选择、教学内容的契合度、课程设计的切入点、资源的有效利用等方面都需综合考虑。教师需有效整合不同模态，使各模态优势互补、互相协调，为学生加深理解和内化知识发挥补充、强化和优化的作用。同时教师需让学生在活动中完成语言文化习得、有声模仿、形式记忆、社会交際运用和学习理解，开展观察、比较、理解、想象等意义探究活动，充分利用各种感官来感知、获取、认知与传递信息，引导学生进行自主学习和小组合作，提高师生课堂参与的积极性和创造性，把学生培养成自主、高效的学习者。

2. 对学生“学”的过程进行教学设计

认知心理学强调，学习的过程是知识的构建与理解的过程，是构建意义的过程。高职学生普遍英语基础较为薄弱，英语学习能力较差，在当前的信息时代和读图时代，只有激发学生的学习动机，让学生真正动起来参与到学习实践中，才能使学生从“要我学”变成“我要学”。“I hear，I know；I see，I remember；I do，I understand.”这句英文谚语和《荀子·修身》中的“不闻不若闻之，闻之不若见之，见之不若知之，知之不若行之。”都说明了实践学习在学习过程中的重要性。学生在完成任务的过程中，通过对接收的信息进行深加工，把新知识和原有知识联系起来，深化对知识的理解并使之内化，形成有意义的学习。

The New London Group认为，任何制造意义的过程基本上都是设计行为[6]。教师设计多模态创编任务，任务可以是课堂报告/汇报、辩论、小组讨论、个人演讲、情景表演等，让学生以作品化形式呈现学习成果。学生在教师的指导下，分析解构原有知识，对知识进行理解和重构，调动手、眼、耳、脑来获取信息、解读意义和理解思考，在大脑中形成对比、链接的关系。一种完整概念的表达是多种模态互相联合、交互运用的结果，信息的不同组织方式对学习效果会产生重要影响。教师在指导学生完成任务时，需有意识地教授学生辨识多模态资源，提高对各种模态的敏感度，让学生了解不同模态在建构意义中发挥的补充、强化作用，避免模态间叠加使用时产生相互排斥和抵消的作用。在完成任务时，教师需引导学生成为知识的积极主动的探索者，学生可以运用不同模态对资源进行组合创编，发挥不同模态组合的协同作用，将学习成果以可视化的形式呈现。通过师生互动、生生互动，可激发学生学习的积极性，学生在获得新知的同时可以提高语言输出能力和团队合作能力。

（五）成果检验（testing）：以多模态作品化方式展示学习成果

为了检验学生的学习成果和知识巩固情况，教师要求学生以多模态形式展示学习成果并对学生作品给予评价。教师可通过视觉、听觉、手势、触觉和空间等多模态形式进行交流，还可通过多模态方式考查学生的知识与技能掌握程度。例如外语教学与研究出版社出版的新时代职业英语《通用英语1》中的第2单元Shopping，教师可要求学生利用创客贴网站把图片创编成英文产品广告、海报、插图等，用英文介绍双十一购物节并分享自己在双十一购物的经历；对英语基础薄弱的学生，也可适当降低任务难度，可要求学生用亿图脑图、MindManager、XMind、Mindmap等思维导图软件和Tagul云图软件制作购物相关词汇的思维导图、词汇云图，如购物的地点、购物方式、购物节的优缺点等，对所学词汇进行复习和回顾；在第7单元Travelling，教师可要求学生利用文字、图片、照片、音频、电影片段、视频等创编多模态PPT进行现场演讲，分享自己的旅游经历，也可要求学生剪辑制作含中英字幕的音视频vlog或纪录片；对于个别有创作基础的学生，可要求学生利用网络文字、音视频资料创编博客、微博和微信公众号等，把学生的学习过程变成挑战性的任务。教师在此阶段需善于观察，引导学生运用口头、书面、身势语等渠道进行交流，突出交互性并指出学生作品的优点，激发和保护学生的参与热情并提出改进意见。

四、结束语

祝智庭等指出，数字智能时代教育的价值之本是一切以学生为中心，为学生发展服务，让学生从“学会”发展到“会学”，进而发展到“会创造”的阶段[17]。以职业能力为导向的多模态创编活动教学设计是一个对新知识、新媒体和新技能进一步深化理解、提高认知并逐渐熟练的过程，通过以职业能力为导向的多模态创编形成的TRAIT教学设计模型，能够实现教学过程的意义构建最大化和教学效果最优化。数字化、智能化和网络化已成为数字时代教学模式依托的载体，多模态教学模式也将成为高职英语教学改革的方向，教师需提高教育信息化技术水平和数字素养，充分利用集多样性、交互性、数字化为一体的现代信息技术媒介和工具进一步提高课堂教学质量。

参考文献：

[1] 魏朝夕. 数字化转型下面向职业教育的外语教学探讨[J]. 文教资料，2021（8）：230-231，206.

[2] OHALLORAN K.L. Mutltimodal discourse analysis：systemic functional perspectives[M]. London：Continuum，2004.

[3] 顾曰国. 论言思情貌整一原则与鲜活话语研究：多模态语料库语言学方法[J]. 当代修辞学，2013（6）：1-19.

[4] 郭万群. 大学英语多模态课堂教学研究[M]. 上海：上海交通大学出版社，2015.

[5] KRESS G，VAN LEEUWEEN T.Multimodal discourse：the modes and media of contemporary communication[M]. London：Arnold，2001.

[6] The New London Group. A pedagogy of multiliteracies：designing social futures[J]. Harvard Educational Review，1996（1）：60-92.

[7] MILLER S M，MCVEE M B． Multimodal composing：the essential 21st century literary[C]//Multimodal composition in classrooms：learning and teaching for the digital world． New York：Routledge，2012．

[8] 袁在成. 可视化工具“词云”在英语教学中的应用研究[J]． 中国教育学刊，2016（增刊1）：102-103．

[9] 胡壮麟. 社会符号学研究中的多模态化[J]. 语言教学与研究，2007（1）：1-10.

[10] 朱永生. 多模态话语分析的理论基础与研究方法[J]. 外语学刊，2007（5）：82-86.

[11] 张德禄. 多模态话语分析综合理论框架探索[J]. 中国外语，2009（1）：24-30.

[12] 雷茜，张德禄. 英语多模态写作中的学习者身份认同研究[J]. 外语电化教学，2018（6）：52-57，64.

[13] 刘晓斌，谢秋竹，邓家璇，等. 看视能力培养新亮点：从高中英语新教材语篇中的多模态类词切入[J]. 英语学习，2021（2）：52-58.

[14] 唐红霞. 高职英语专业学生“职业能力”培养探索[J]. 中国成人教育，2007（7）：189-190.

[15] Schmidt R. The role of consciousness in second language learning[J]. Applied Linguistics，1990（11）：129-158.

[16] 苏一凡. 多模态英语教学理论与实践[M]. 北京：中华工商联合出版社，2022：45.

[17] 祝智庭，罗红卫，王诚谦，等. 外语教育数字化转型与融合创新[J]. 外语电化教学，2022（4）：7-17，110.

A Study on the Digital Multimodal Composing of Foreign Language Teaching Oriented by Vocational Ability

WU Xiaoming

（Guangzhou Institute of Technology， Guangzhou 510075， China）

Ａｂｓｔｒａｃｔ： Under the background of digital transformation of education， the English teaching environment， teaching aids， teaching resources and teaching modes change a lot. Aiming at the problems of low interactivity and timeliness of English classroom in vocational colleges， this study is intended to explore the practical ways of digital multimodal composing（DMC） project oriented by vocational ability. By utilizing digital multimodal composing in the teaching and learning process， and through the five steps of “target-orienting—resources-integration—activation—internalization—testing”， the author introduces a TRAIT teaching model， transforming the teaching and learning process to creative activities for both the students and the teachers so as to create an ecological environment in which teachers and students co-exist and promote the learning effect of students together.

Ｋｅｙｗｏｒｄｓ： vocational ability； foreign language digitization； multimodal composing； teaching model； teaching research

（責任编辑：姜聪瑞）