多媒体画面语言学理论体系的构建研究*

王志军，王 雪

(天津师范大学 教育科学学院，天津 300387)

多媒体画面语言学理论体系的构建研究*

王志军，王 雪

(天津师范大学 教育科学学院，天津 300387)

为进一步发展和完善多媒体画面语言学的理论体系，该文借鉴语言学、符号学、心理学、教育技术学等相关学科的研究成果，从多媒体画面语言学的理论框架、研究内容、研究方法及其与梅耶(Mayer)的多媒体学习认知理论的关系等几个方面对多媒体画面语言学理论体系的构建问题进行了深入的探索论证，期望为多媒体画面语言学后续的相关研究及其信息化教学应用提供可借鉴的框架、思路和方法，使多媒体画面语言成为多媒体学习材料设计与开发的可循之语言工具，从而有效地提高信息化情境下的教学效果。

多媒体画面语言学；多媒体学习；理论框架；研究内容；研究方法

一、引言

“多媒体画面语言(Language with Multimedia)”这个概念是由我国著名教育技术专家游泽清教授于2002年提出来的[1]。多年来，在游泽清教授的指引下，研究团队以“多媒体画面语言”概念为出发点进行了一系列的相关研究，创建了一套多媒体画面艺术理论(Multimedia Design Theory)，提出了设计多媒体学习材料界面可遵循的一些规则，近年来又进一步创新性地提出了“多媒体画面语言学(Linguistics for Multimedia Design，LMD)”的理论体系，将多媒体画面语言研究上升到了语言学的层次。该理论体系的研究目标是使信息化教学中多媒体学习材料的设计、开发和应用有章可循，从而促进信息化教学情境下教学效果的提升。多媒体画面语言学是诞生和成长于中国本土的一门创新理论，是在信息时代形成的一个新的设计门类，具有重要的应用价值，是教育技术的一个重要的研究领域。目前该理论体系的研究尚处于初级阶段，有必要在理论框架、研究内容、研究方法、理论基础等方面进一步深入探索和完善，为后续的相关研究提供可借鉴的框架、思路和方法。

二、多媒体画面语言学的核心概念与理论构建的逻辑起点

多媒体画面语言学理论体系中两个最核心的概念是“多媒体画面”和“多媒体画面语言”。

(一)多媒体画面

多媒体画面是多媒体学习材料的基本组成单位，是多媒体问世之后出现的一种新的信息化画面类型，是基于数字化屏幕呈现的图、文、声、像等多种视、听觉媒体的综合表现形式[2]。多媒体画面在功能上是人与多媒体学习材料之间传递与交换知识信息的界面和对话的接口。多媒体画面具有以下特点[3]：

1.多媒体画面是基于屏幕显示的画面

多媒体画面是基于狭义的多媒体定义(只限于电子屏幕呈现的领域，如台式计算机、平板计算机、手机等)提出的。在多媒体交互式环境中媒体信息的呈现、输入与输出信息的感知和交互操作都是通过显示屏完成的，因此多媒体学习材料正是由这种基于屏幕显示的一帧帧的多媒体画面组合而成的。

2.多媒体画面是动态的、具有交互性的画面

多媒体画面是随着时间不断变化的画面，这种特点不但有表现运动的潜能(即经常用一个动态“画面组”来表示学习材料中一个完整运动的变化过程或贯穿一个“知识点”)，更重要的是便于通过控制画面的变化和组接，实现人机之间的信息交互。

3.多媒体画面是融合视、听觉两类媒体形式的画面

多媒体画面是视、听觉等多种媒体综合作用的结果。屏幕画面与声音时空对应、同步变化，两者的作用和发挥的效能是不同的，但都成为多媒体画面中不可分割的媒体形式。

4.多媒体画面种类纷繁

按多媒体学习材料的类型来划分，多媒体画面是多媒体学习材料的基本组成单位，而多媒体学习材料的形式有很多种，如电子教案、电子教材、教学动画、教学视频、多媒体课件、网络课程(网页)等等，因此多媒体画面可以分为电子教材的画面、多媒体课件的画面、网络课程(网页)的画面等等；按照多媒体学习材料的呈现设备来划分，又可分为手机上的画面、计算机屏幕上的画面、平板电脑上的画面、电子白板上的画面等等。

(二)多媒体画面语言

多媒体画面语言是信息时代出现的一种区别于文字语言的新的语言类型，它主要靠“形”表“义”，即通过图、文、声、像等媒体及其组合来表达知识和思想或传递视听觉艺术美感，也可以通过交互功能来优化教学过程，促进学习者的认知和发展思维。将多媒体画面语言与文字语言进行类比分析，可以有更深刻的认识。

1.从成为“语言”的条件看，两者具有共通性

概略地讲，多媒体画面语言满足“语言”所需的三个基本条件，如表1所示。

表1 两种语言满足“语言”的条件

2.从实践应用的方式看，二者有所不同

对文字语言来说，字形和字义是分离的，而多媒体画面语言则是以“形”表“义”，对“形”的要求是准确表意与视觉美感并重，通过合理的设计使不可见的内在信息可视化，对教学信息有更丰富多元、生动形象的表达方式。

3.从影响受众的范围看，二者有所不同

由于全人类的视觉生理构造是相同的，因此人类的视觉感知方式和感觉的结果是相同的。所以，多媒体画面语言不像文字语言那样受到国别语种、受教育程度等限制，更容易为人们接受和理解，它的受众面具有大众化、世界化的特点。

再回到多媒体画面语言学理论体系构建的逻辑起点上。“多媒体画面”和“多媒体画面语言”之所以成为多媒体画面语言学理论体系构建的逻辑起点，可以从以下三个方面进行总结：其一，随着媒介载体技术的发展，新的表现形式和手段不断出现，多媒体画面成为信息传播的文本，是人类认知的基础性手段，在教学中是最直接、最具象、最可信的体现形式；其二，人们意识到多媒体画面给教学带来的效用和魅力，开始在实践中探索多媒体画面的表达技巧，多媒体画面语言逐渐成为与传统的“文本”语言相对应的语言工具，是信息传播的重要语言形式之一；其三，如果把图、文、声、像、交互功能等媒体视为“单词”(或词语)的话，那么多媒体画面就可视为由这些“单词”按照“画面语法规则”组合而成的“语句”，“多媒体学习材料”就是由这些画面“语句”按照画面语言逻辑组合而成的一部“著作”。 显然，多媒体画面语言学理论体系构建的最根本目的就是使信息化教学中多媒体学习材料的设计、开发和应用有章可循，这样看来，“多媒体画面”和“多媒体画面语言”成为多媒体画面语言学理论体系构建的逻辑起点是成立的。

三、多媒体画面语言学的理论框架及研究内容

(一)以符号学的理论为依据确定理论框架

美国著名的实用主义哲学家查尔斯·威廉·莫里斯以逻辑与法学、经验主义语义学和实用主义符号学为基础，将符号学划分为三个组成部分，即语形学、语义学和语用学[4]。语形学主要研究符形之间的关系即符号的结构，也称为语法学、语构学或句法学；语义学主要研究符形与符号所代表的对象之间的相互关系，即符形与符号所表达和传递的关于符号对象的信息内容之间的相互关系；语用学主要研究符形、对象以及应用符号的具体情境之间的关系[5]。从符号学的三个组成部分来看，符号学研究的就是符号及其相关因素之间的三种关系。语言作为人际间交流和沟通的一种符号工具，也属于符号学的研究范畴[6]。

如果将多媒体画面语言类比为符号语言，可以得出如下观点：(1)多媒体画面中使用的基本符号是各类媒体；(2)通过各类媒体符号所表达和传递的信息内容是教学内容；(3)多媒体画面中各类媒体符号的具体情境是真实的信息化教学环境。

以符号学的理论框架为蓝本，以上述的观点为依据，可以初步形成多媒体画面语言学的理论框架：多媒体画面语言学由画面语构学、画面语义学、画面语用学三部分组成。画面语构学研究各类媒体之间的结构和关系，画面语义学研究各类媒体与其所表达或传递的教学内容信息之间的关系，画面语用学主要研究各类媒体与信息化教学环境之间的关系。理论框架如下页图1所示。

图1 多媒体画面语言学理论框架

多媒体画面语言学的三个组成部分不是相互独立的，它们之间也存在相互影响和相互作用。画面语构学是基础性的，画面语义学和语用学需要在语构学的基础上开展研究，反过来这两个方面的研究又为语构学的基础性研究提出了相应的设计要求。

(二)以理论框架为依据确定研究内容

以理论框架为依据，将多媒体画面语言学的研究内容也分为三个部分。

1.画面语构学

画面语构学又可称为画面语法学或画面语形学，主要研究多媒体画面中各种符号(即各类媒体)之间的结构和关系，依此得出多媒体画面语言的语法规则。

多媒体画面语构学研究可以采用“构成”的研究路径：构成要素分析→构成要素的设计规则→要素之间的相互配合关系，即将设计对象概括成具有某种特征的视、听觉对象，对这一特定的对象进行构成要素分析，然后将构成要素的设计规则以及要素之间的相互配合关系总结为设计规律[7]。因此，可以确定画面语构学的研究内容有三个方面，即：多媒体画面的构成要素分析、各要素的设计规则研究和各要素之间的配合关系研究。多媒体画面的构成要素分析是画面语构学中另外两部分研究内容的基础，而各要素的设计规则研究和各要素之间的配合关系研究实际上就是多媒体画面语言的语法规则研究。

(1)多媒体画面的构成要素分析

构成要素是画面构成的基本单元。多媒体画面的构成要素可以概括为图、文、声、像四大类媒体符号以及画面的交互功能，即：图——图片，包括绘制的图形和静止的图像；文——文本，包括多媒体学习资源中出现的各类数字化文本；声——声音，包括解说、背景音乐和音响效果；像——运动的图片，包括动画和视频；交——交互，交互功能本质上则属于多媒体画面的组接功能。交互输出结果的呈现以及交互输入操作的触发都是由含有交互功能构成要素的多媒体画面来实现的。多媒体画面的交互形式，不但决定于输入、输出这两种画面的各种组接形式，还决定于不同的多媒体画面呈现终端交互信息输入技术方式自身的特点。

(2)各种画面要素的设计规则研究——画面语法规则研究

画面构成要素也简称为画面要素。各种画面要素设计规则的研究即画面语法规则研究，包括两个层面：基本属性设计规则研究和视、听觉效果设计规则研究。

其一，基本属性设计规则研究。分析各种要素基本属性的特点和结构关系，总结基本属性设计的一般规律，依此得出相应的画面语法规则。多媒体画面中各要素的基本属性如表2所示。

表2 多媒体画面中各要素的基本属性

其二，视、听觉效果设计规则研究。分析画面要素中各种属性之间相互配合而衍变出的新的视、听觉效果，研究其规律，进而依次得出相应的画面语法规则。虽然视、听觉效果也与画面要素的基本属性成分相关，但它决不等于这些成分之和，而是一个完全独立于这些成分之外的全新整体，这个整体有一种超越各部分的独立的“新质”，这个新质就称为“格式塔质”，这是一种从显性刺激中生成隐性刺激(新质)的过程。还是以文本为例，通过字体、字号、颜色、间距、位置、版式等文本的基本属性的变化、布置、组合和搭配能够衍变出新的视觉效果，在呈现文本(显性刺激)的同时还呈现出一种文本的综合风格(隐性刺激)，在学习者的知觉过程中生成“新质”。如果这种综合风格符合学习者的审美需求，便会产生和谐的视觉效果，反之则会成为多媒体画面中的败笔，对学习者的学习产生负面影响。

(3)各种画面要素之间的配合规则研究——画面语法规则研究

在一个基本的多媒体画面中经常同时出现图、文、声、像、交中两种或两种以上的画面要素，需要通过各种画面要素之间的配合，使学习者能够在轻松、愉悦、优美的多媒体情境下开展符合他们认知加工机制的学习。多媒体画面中各画面要素的配合关系研究，也是画面语法规则研究，包括两个层面：认知心理层面的配合研究和视觉审美层面配合的研究。

其一，认知心理层面的配合规则研究。多媒体学习认知理论认为，人有两个相对独立的信息加工通道，即视觉通道和听觉通道。多媒体学习材料呈现两种通道的信息，例如图片和声音，分别由两个不同的通道加工，因而并不会相互干扰而造成信息超载。相反，两种通道呈现信息既增加了学习者信息的接受和处理数量，又加深了对信息的处理程度，因此有利于学习者对学习材料的深度理解[8]。那么，在同一多媒体画面中，各类媒体之间的配合首先要关照到各类媒体元素的配合是否符合多媒体情境下学习者的认知心理机制，比如图片+声音(视觉+听觉)的配合要好于图片+文字(视觉+视觉)的配合。

其二，视觉审美层面的配合规则研究。多媒体画面中既包括基本媒体要素呈现的客观刺激，又包括由基本媒体要素相互配合而生成的新的视听觉效果。多媒体画面中的各类媒体要素的组合搭配，同样也会在学习者的知觉过程中生成“新质”或“格式塔质”。换言之，如果多媒体画面中各类媒体要素之间的配合是相辅相成、相得益彰的和谐关系，就会产生视听觉美感，有利于引发、维持学习者的良好情绪和学习体验，从而增强他们的学习动机。例如，文本与背景或图片的和谐搭配，解说与文字或图片的和谐搭配等等。

2.画面语义学

画面语义学研究各类媒体与其所表达或传递的教学内容之间的关系，从中总结一些表现不同类型教学内容的规律性的认识，形成“画面语义规则”。

按照教育学观点，教学内容是指师生教学交往活动中为服务于教学目的而动态生成的各类素材和信息，教学内容不仅包括教材内容(素材内容)[9]，而且包括了动机作用、引导作用、方法论指导、规范概念和价值判断等等，是学校和教师给学生传授的知识和技能、灌输的思想和观点以及培养的行为和习惯的总和。

教材内容虽不是教学内容的唯一成分，但却是最重要成分。多媒体学习材料作为教材内容的一种表现形式，其主要任务是负责呈现或承载教学内容中的各类知识信息。因此，更准确的讲，画面语义学实际上是研究各类媒体与所表达或传递的知识信息之间的关系，挖掘各类媒体与不同类型的知识信息之间的匹配规律——“画面语义规则”。

多媒体画面中的媒体类型是确定的，而通过媒体所传达的知识信息的类型是不确定的，因此需要找到一种知识的分类方法。通过对相关文献进行梳理，发现由于人类知识的丰富多样，因而存在十余种知识分类方式，例如，按照知识是否可以通过语言符号表述，将知识划分为“显性知识”与“缄默知识”；按照知识的效用可以分为“实用知识”“学术知识”“消遣知识”“精神知识”以及“不需要的知识”；按照研究对象的性质可以分为“自然科学知识”与“社会科学知识”；按照知识的形态又可以划分为“主观知识”和“客观知识”等等[10]。而在教育学和认知心理学界，倾向于按照知识的属性进行分类，将其划分为“事实性知识”“概念性知识”“程序性知识”和“元认知知识”，目的是能够按照知识的属性特征进行分门别类的教学。事实性知识指独立的、特定的知识内容，如关于专有名词等；概念性知识相对于事实性知识要复杂、更有组织性，如关于理论、模型、结构的知识等。这两类知识都是指有关什么的知识。程序性知识是指如何去做的知识，如关于技能、方法的知识等；元认知知识是指个体认知方面的知识，如关于策略的、任务情景和自我认知的知识等[11]。多媒体学习材料是应用于教学过程当中的，按照教育学和认知心理学的方式采用按照知识属性进行分类的方式更为适合。

通过上述分析，可以确定画面语义学的研究内容就是要研究多媒体画面中图、文、声、像四大类媒体及交互形式与所表达或传递的事实性知识、概念性知识、程序性知识和元认知知识四大类知识间的关系和匹配规律(如图2所示)，总结出适合于不同知识类型的语义规则。通过语义规则的规范，使多媒体画面的设计能够更准确地呈现和表达各类知识。

图2 画面语义学的研究内容

3.画面语用学

画面语用学研究各类媒体与真实的教学环境之间的关系，总结出适合于不同教学环境特征的媒体设计规律，形成“画面语用规则”，旨在取得好的教学效果。也就是说，画面语用学研究的是画面语言在不同语境下的运用规则。本文所指的教学环境是狭义的概念，特指与一个教学过程相对应的真实的教学环境，这个真实的教学环境即是一个完整的教学系统，多媒体画面中的各类媒体在教学过程中要与这个系统中的各个要素发生联系。

分析教学系统中的要素构成是确定画面语用学研究内容的前提。多年来我国教育理论研究领域对教学要素问题进行了大量的研究，出现了一批有代表性的研究成果。通过对已有的研究成果进行梳理和分析发现，除了“三要素说”即教师、学生、教材以外，还有“四要素说”“五要素说”“六要素说”“七要素说”以及“教学要素层次说”等等[12-16]。不同教学要素说体现出学者们不同的研究视角和侧重点，但从本质上来说不同的教学要素说并不存在根本上的对立与冲突。教学是作为文化传承方式的师生交往活动，因此教学从本质上来说是一种认识活动，一种存在形态和社会现象，即包括主体也包括作用的对象[17]。教学就是由教师和学生作为主体，以文化为内容，以媒介为手段所进行的一种文化交流和传承的活动。因此，教学系统构成的基本要素应当包括教师、学生、教学内容以及媒介。四个要素并不是彼此独立的，而是相互作用、相互联系的一个有机整体，从而形成相对稳定的教学系统，如图3所示。这种观点与何克抗教授提出的教学系统的四要素学说相一致[18]。

图3 教学系统四要素图

在这个教学系统中，教学内容(教材)与各类媒体之间的关系和规律属于上述多媒体画面语义学的研究内容，这里不再赘述。

教学系统中的媒介指的是存储和传递信息的物理载体，如信息化设备和网络等等。媒介与多媒体画面中作为信息呈现形式的各类媒体之间的关系和规律则属于画面语用学的研究内容，重点研究不同媒介载体如计算机、移动设备的不同特性与多媒体画面中各类媒体符号的匹配规律。

教学系统中教师和学生与多媒体画面中各类媒体之间关系和规律也属于画面语用学的研究内容。使用多媒体学习材料进行学习的学习者是具有差异的，因此多媒体学习材料中的所选用的媒体和媒体的属性设计要照顾到学习者的个体差异，做到“因材设计媒体”；使用多媒体学习材料的教师是教学系统要素之一，其在教学系统中的作用主要体现为教师自身的职业活动，教师通过其职业活动引导整个教学过程，实现教学目的。在多媒体学习材料的设计过程中同样要考虑教师的职业活动即不同的教学策略、教学方法，挖掘其中与多媒体画面设计的匹配关系和规律。

通过上述分析，可以确定画面语用学的研究内容就是要研究多媒体画面中图、文、声、像四大类媒体及交互形式与作为物理载体的媒介、教师和学生之间的关系和匹配规律(如图4所示)，依此得出画面语用规则。通过语用规则的规范，使多媒体画面的设计更符合媒体的特性、学习者的个体特征以及教师的教学策略和教学方法，实现多媒体情境下教学效果的最优化。

图4 画面语用学的研究内容

四、多媒体画面语言学的研究方法

(一)定性研究与定量研究相结合

本研究团队在多媒体画面语言学初期阶段主要采用哲学思辨、经验总结和概念演绎等定性研究方法。例如，8个方面的共计33条的多媒体画面设计原则是通过对大量的多媒体课件进行赏析而总结提炼出来的，主要采用经验总结的方法；理论体系的核心概念“多媒体画面”“多媒体画面语言”是通过屏幕画面、电视画面和计算机画面的概念和特征演绎出来的；多媒体画面语言学是由符号学、语言学的概念推导出来的，采用的是概念演绎的方法。

采用哲学思辨、经验总结和概念演绎等方法自然有其不可替代的作用，但是，归根结底这些方法并不能直接用于解决科学的具体问题。随着理论体系研究的不断进展，必须在定性研究的基础上，借助于定量研究手段对哲学思辨、概念演绎和经验总结的一些结论进行证实，并且经过思维抽象上升到一定的具有普遍意义的理论，只有这样才能保证多媒体画面语言学相关研究的科学性。

定量研究建立在实证主义的基础之上，强调通过量化手段分析测量或获取数据和资料，并从中总结出结论，如实验研究法、调查研究法、内容分析法等。其中实验研究方法尤为适合多媒体画面语言学的进一步研究：其一，通过实验手段可以对通过经验总结、概念演绎等方法得出的结论进行检验，使其真正成为可以指导实践的理论；其二，通过实验手段可以对画面语构学、画面语义学和画面语用学中一些尚未触及的内容开展实证性的研究，获得新的研究成果，拓展多媒体画面语言学理论体系。

(二)传统的认知行为实验手段与现代的眼动跟踪技术相结合

目前，多媒体学习材料有效设计研究中所采用的实验方法主要分为两种：传统的认知行为实验手段和眼动实验方法。

传统的认知行为实验手段是指反应时间测定、认知负荷测试以及正确率测试等认知行为实验方法。这类实验通常将被试随机分配到实验组和对照组中，两组学生使用不同的学习材料进行学习。两组被试完成规定的学习任务以后通过保持测试和迁移测试对其学习效果进行测试。其中保持测试一般可以了解被试学到了多少，即学习的数量；迁移测试一般可以了解学生学到了什么，是否能够理解和运用知识，即学习的质量，根据学习者的学习效果总结出多媒体画面的一些设计规则。

眼动技术，又称视线跟踪技术，是指对人在完成不同的认知任务时的眼动轨迹进行记录，分析诸如注视时间、注视点、注视次数、眼跳次数和瞳孔大小等眼动指标，从而研究个体的内在认知过程[19]。眼动技术是一种“在线(Online)手段”，可以直接跟踪学习者使用多媒体画面信息表征的学习材料进行学习的视觉认知过程，透过这些测量数据可以揭示学习者的多媒体学习认知过程和认知规律，从而总结出多媒体画面语言设计原则[20]。

需要注意的是，传统的认知行为实验方法，无论是反应时测试、认知负荷测试还是正确率测试都是一种“离线(Offline)”手段，通常采用的是在学习者的认知任务完成之后的回顾性的测试方式，与学习者实时的认知加工并不同步，很可能会与学习者认知加工的真实情况有所偏差[21]。而眼动跟踪技术恰恰是一种“在线手段”，可以直接跟踪学习者的视觉认知过程。因此，在多媒体画面语言学的实验研究当中，应该将在线方法(眼动实验)和离线方法(反应时测试、认知负荷测试以及正确率测试等)相结合，从知觉和认知的双重视角全面进行多媒体画面语言学的相关研究。

(三)实验室研究与自然情境下的教学实验研究相结合

研究者通过实验研究可以对实验变量进行控制，在控制无关变量的前提下，能够比较精确的探索自变量与因变量之间的因果关系，从而得出实验结论。通过实验室条件下的实验研究，研究者可以严格控制环境条件，对实验环境进行“纯化”，自由控制实验变量，产生较高的内部效度。

然而这一优点反过来看则是致命弱点，实验条件控制的越严，离真实的教学活动就越远，会导致较低的外在效度，使得研究成果较难推广到自然的真实的教学情境当中。而自然情境下的教学实验则可能造成无法控制的变量增多，导致研究不够严谨，内部效度降低。但是却因为在真实的教学情境下进行，所以外在效度较高，具有较强的实际应用和推广价值。

多媒体画面语言学的相关研究也要将实验室研究与自然情境下的教学实验研究有机结合，充分利用这两类实验研究的优点，保证研究结论的严谨性和可推广性。

五、多媒体学习认知理论对多媒体画面语言学理论体系构建的支持

美国加州大学圣巴巴拉分校的梅耶(Mayer)教授及其研究团队从认知心理学的角度出发，在20多年的时间里对多媒体学习的认知加工过程机制和多媒体的教学设计原理进行了理论探索和大量的实验研究，构建了多媒体学习的理论体系[22]。该理论以双通道、容量有限和主动加工三个假设为出发点，以双重编码理论、工作记忆模型、认知负荷理论为理论基础，建立了多媒体学习的认知理论模型。多媒体学习着眼于探究不同的多媒体学习材料设计如何影响学习者的学习，学习者的认知心理机制和认知过程是什么样的，重点在于描述和解释多媒体情境下的学习是怎样发生的，本质上属于心理学中的学习理论。

多媒体画面语言学致力于研究设计多媒体学习材料时的所应遵循的规律(规则)，改变目前设计和制作多媒体学习材料时毫无章法的混乱局面，探讨多媒体画面中媒体符号之间、媒体符号与教学内容、媒体符号与教学环境之间关系和规律，使多媒体学习材料的设计、制作和应用都遵循一门独特的“画面语言”。多媒体画面语言学的研究重点在于对如何设计和使用多媒体学习材料给出一些规则，本质上属于教学理论。

按照布鲁纳对解释性理论和规定性理论的划分框架，我们可以认为，一方面，作为学习理论的多媒体学习认知理论属于解释性理论，而作为教学理论的多媒体画面语言学属于处方性理论，所以它们二者之间保持相对独立的关系；另一方面，由于只有先认清学习者的心理作用机制，才有可能通过多媒体画面语言设计成功的多媒体学习材料，所以多媒体学习认知理论作为揭示多媒体学习情境下学习者的心理机制的一种解释性理论，应该作为处方性理论即多媒体画面语言学的理论基础。

因此，今后多媒体画面语言学的相关研究，应该以多媒体情境下学习者学习的心理机制为基础，以多媒体画面中各要素的有效设计和应用为主要研究内容，逐步形成一个完善的研究体系。

六、结束语

通过对多媒体画面语言学理论体系的建构与梳理，为多媒体画面语言学后续的相关研究提供一些可借鉴的思路和方法。同时，围绕当前多媒体画面设计取得的相关成果，使之整合在多媒体画面语言学的系统框架之内，这对多媒体画面语言学理论体系的构建和完善大有裨益。随着多媒体画面语言学相关研究的不断展开，教育学、心理学、语言学、视觉设计和信息技术等相关学科的不断发展，研究方法的不断创新，多媒体画面语言学理论体系会越来越成熟，成为多媒体学习材料设计、开发和应用的可遵循的理论依据和行动指南，对提高多媒体学习材料的质量和多媒体情境下的教学效果起到至关重要的作用。

[1][2][3]游泽清.多媒体画面艺术基础[M].北京:高等教育出版社,2003.5-10.

[4]张良林.莫里斯符号学思想研究[D]. 南京:南京师范大学,2012.1-3.

[5]岑运强.语言学概论[M].北京:中国人民大学出版社,2004.62-70.

[6]韩宝育.语言学概论[M].西安:西北大学出版社,2007.3-4.

[7]赵战.新媒介视觉语言研究[D]. 西安:西安美术学院,2012.55-60.

[8]Richard E. Mayer. The promise of multimedia learning: using the same instructional design methods across different media[J]. Learning and Instruction, 2003,13(2): 125-139.

[9]俞红珍.课程内容、教材内容、教学内容的术语之辨——以英语学科为例[J].课程·教材·教法,2005,(8):49-53.

[10]陈洪澜.论知识分类的十大方式[J].科学学研究,2007,(1):26-31.

[11]张燕,黄荣怀.教育目标分类学2001版对我国教学改革的启示[ J].中国电化教育, 2005, (7):16-20.

[12]吕国光.教学系统要素探析[J].上海教育科研,2003,(2):25-28.

[13]张广君.教学系统基本要素初探[J].宁夏大学学报(社会科学版),1988,(1):83-87.

[14]南纪稳.教学系统要素与教学系统结构探析——与张楚廷同志商榷[J].教育研究,2001,(8):54-57.

[15]李泽林,石小玉,吴永丽.教学“要素论”研究现状与反思[J].当代教育与文化,2012,(3):94-98.

[16]张楚廷.教学要素层次论[J].教育研究,2000,(6):65-69.

[17]胡德海.教育学原理[M].兰州:甘肃教育出版社,2006.313-314.

[18]何克抗.E-learning与高校教学的深化改革(上)[J].中国电化教育,2002,(2):8-12.

[19]Jukka Hyönä. The use of eye movements in the study of multimedia learning[J].Learning and Instruction,2010, 20 (2) :172-176.

[20]Richard E. Mayer. Unique contributions of eye-tracking research to the study of learning with graphics[J]. Learning and Instruction, 2010,20(2):167-171.

[21]Tamara van Gog, Katharina Scheiter. Eye tracking as a tool to study and enhance multimedia learning[J]. Learning and Instruction,2010,16(2):95-99.

[22]郑旭东,吴博靖.多媒体学习的科学体系及其历史地位——兼谈教育技术学走向“偱证科学”之关键问题[J].现代远程教育研究,2013,(1):40-47.

王志军：教授，博士生导师，研究方向为多媒体画面语言、多媒体技术与网络远程教育应用(army.w@163.com)。

2015年4月27日

责任编辑：宋灵青

Study on the Construction of the Linguistics for Multimedia Design Theoretical System

Wang Zhijun, Wang Xue
(School of Education, Tianjin Normal University, Tianjin 300387)

In order to further develop and improve the Linguistics for Multimedia Design (LMD), the theoretical framework, research content, research methods and the relation between multimedia learning of Mayer and LMD are thought and discussed deeply based on the researches of linguistics, semiotics, psychology, and education. The purpose is to construct and complete the LMD theoretical system which can be applied into the practice of information teaching. Framework, thinking and methods are provided for the following researches. And the aim is to make the language of multimedia to be the design tool of multimedia teaching materials and therefore improve the teaching and learning effects in multimedia context.

The Linguistics for Multimedia Design(LMD); Multimedia Learning; Theoretical Framework; Research Contents; Research Methods

G434

A

1006—9860(2015)07—0042—07

* 本文系天津市教育科学规划重点课题“数字化教学资源中多媒体画面视觉认知规律及教育应用研究”(项目编号：CEXII2002)、天津市哲学社会科学规划课题“基于项目开发实践的大学生实践能力培养模式研究”(项目编号：TJJX12-058)的阶段性研究成果。