从“语言学”的角度看“多媒体画面语言学”

张茹燕 普济

“多媒体画面语言学”（The Linguistics for Multimedia Design，LMD）是今年出现的一门全新的学科门类[1]，具有时代性和跨领域的明显特征。它的出现，直接原因是当前在国内外广泛开展多媒体教材建设的需要；更深层次的原因，则是信息时代迫切要求认识和规范该时代流行的语言——多媒体画面语言。

本文从一般语言学的角度，揭示多媒体画面语言的本质属性和语言特征；探讨多媒体画面语言学划分为语构、语义和语用三部分的理论依据，旨在考证多媒体画面语言学的合理性，即研究它的思路和结论都可在“一般语言学”中找到依据。

● 为什么将多媒体画面视为一种语言

1.多媒体画面具有语言的本质属性

一般语言学将语言定义为，人类用于交际和思维的符号系统。“符号”是指人们在交际过程中，用于传达信息的有意义的媒介物。这个定义说明语言具有两个方面的本质属性，即：语言是一套“符号”系统；语言用于交流和思维。

将多媒体画面视为一种语言，是因为它符合语言的定义，即可以将其视为一种符号系统，并且可以用它来传递知识信息或视听觉美感，也可用来进行思维。

（1）多媒体画面语言是一套符号系统。构成（绘画、摄影、动画、影视等）传统艺术中的基本元素，早已分别形成了各艺术门类中的符号系统。多媒体画面的基本元素，是由上述各传统艺术中的基本元素组合而成的，将其分为图、文、声、像4种媒体类型，并且运用多媒体画面艺术规则（即画面语言的语法规则）对这4类媒体的符号间关系进行规范，从而使该符号系统形成了一套严密的画面语言结构。

（2）多媒体画面语言可以用来传递知识信息或视听觉美感。用多媒体画面语言编写的多媒体教材,由于包含了图、文、声像各类媒体，充分利用了学习者的视觉、听觉渠道和表象、概念渠道，因而传递知识和美感的效果更加优于文字语言和传统艺术。

必须指出，采用多媒体画面语言符号进行交流，需要注意它不同于文字符号的两个特点，即“以形表义”和“分时呈现”。

（3）多媒体画面语言也可以用于思维。多媒体画面语言是通过视、听觉的表象渠道和概念渠道将信息内容传入人的大脑的，这些信息内容可以在人的头脑中以表象和概念的形式进行思维加工。因此可以认为，这就是运用多媒体画面语言进行思维的形式。

2.多媒体画面具有一般语言的三个特征

在语言学中，语言一般应具有符号性、系统性和可生成性三个特征[2]。多媒体画面也具有语言学描述语言的这些特征。分别讨论如下。

（1）符号性。语言学认为，语言符号是有层级结构的：由语素、词组成短语；由短语组成句子。多媒体画面语言符号也有类似的层级结构[3]。例如，图形语言符号的层级结构是，由点、线、面组成形态；由色彩、肌理、影调组成属性；由形态、属性、声音、运动等组成运动画面（即电视画面、计算机画面、多媒体画面）。

（2）系统性。语言学认为，语言是一种由语法规则维系的语言符号系统。多媒体画面语言作为一种语言符号系统，它的语言符号是由多媒体画面艺术规则（语法规则）维系的，这种维系需注意两个要点：①内容上，多媒体画面艺术规则规范的是视（听）觉要素符号，即规范基本元素符号在画面上的衍变。强调这一要点，是因为它明确了该语言基础理论（多媒体画面艺术理论）的思路，语法规则是需要按照这一思路运用的。②范围上，多媒体画面艺术规则是从八个方面进行规范的。其中“突出主题（或主体）”、“媒体匹配”和“有序变化”三个方面基本规则用来覆盖“图”的静态呈现和动态呈现；文本和解说两个方面的艺术规则对文字语言的形、声在画面上的呈现进行规范；色彩和背景两个方面的艺术规则对图、文的属性和背景进行规范；运用交互功能方面的艺术规则对导航、互动教学方面的运用进行规范。从而体现了这套语法规则的完备性。强调这一要点，是为了说明这套规则与该语言的基础理论密不可分，即语法规则是从理论中提炼出来的。

（3）生成性。语言学认为，虽然语言符号系统是由有限的语言符号和语法规则构成的，但却能生成无限多种句子。多媒体画面语言便是由有限的语言符号（基本元素、视觉要素）及其语法规则（多媒体画面艺术规则）构成的语言符号系统。正是由于具有这种有限性，才能使多媒体画面语言具有可学习性，并能利用它开发出无限多种多媒体教材出来。

因此，可以将多媒体画面视为和文字一样，二者分别属于两种不同类型的人工语言。

● 研究多媒体画面语言，为什么要分为基础理论与理论运用两部分

1.语言学中存在“语言”和“言语”的概念

进入20世纪以后，首先在语言学中提出“语言”和“言语”概念的是瑞士语言学家索绪尔（结构主义语言学创始人），他称其为“建立言语活动理论的第一条分岔路”。也就是说，对于语言学，需要把语言和言语区分开来进行研究[4]。索绪尔所说的“语言”，实际上是指由语法规则规范的语言结构，而“言语”则是指运用语法进行表达的过程和结果。如果将“语言”视为一种工具，便可将“言语”看成是工具的运用。1957年，乔姆斯基（美国语言学家）基于认知心理学理论，创建了“转化生成语言学”，其中提出的“语言能力”和“语言运用”概念，与索绪尔的“语言”和“言语”概念是对应的。20世纪70年代后期兴起的功能语言学，其特点是重视语言的功能,认为仅有语法是不够的，需要通过功能和认知来解释句法和其他语言现象。

从上述语言学的发展历程可以看出，尽管语言学的研究在不断深入，但是索绪尔最初提出的区分语言与言语的思路，却一直延续至今。在现有研究成果的基础上，可以将该思路表述如下。

语言是一种形成了共识的、相对稳固的词汇系统和语法系统，对外，可以帮助人们进行交际；对内，可以帮助人们进行思维。言语有两方面含义。其一是指讲话（包括写作），是一种交流的行为动作；其二是指所讲的话（包括所写的文字），需要考虑交流行为所产生的结果。

从社会功能的角度看，语言无非是一种工具。语言和言语的关系，犹如工具和工具运用的关系。

一般语言学认为，句子是划分“语言”和“言语”的分界线。句子以下的静态单位，包括词、音、义，属于语言的研究范畴，它们是组成语言这个相对稳固的交际工具的内部结构模式；句子以上的动态单位，包括语流、语调、句群、段落、段群、篇章是人们运用语言系统这个交际工具在一定的语境中完成的，属于言语的研究范畴。而且认为，句子的模式属于语言范畴，具体句子的运用属于言语范畴[5]。

2.多媒体画面语言学中语言和言语的分界线

在多媒体画面语言学中，也是按照索绪尔区分语言与言语的思路，将多媒体画面语言分为基础理论与理论运用两个方面进行研究的。

多媒体画面语言学认为，多媒体教材中的教学内容是通过多媒体画面表现的，或者广义地讲，是通过（包括电视画面、动画画面和多媒体画面在内的）运动画面表现的。这就表明，运动画面应相当于一般语言学中的“句子”，是多媒体画面语言学中语言和言语的分界线。

将多媒体画面艺术划分为媒体呈现艺术和画面组接艺术，体现的便是按照多媒体画面划分的思想。前者将画面上各类媒体的基本元素，视为多媒体画面语言（符号）系统中的“词汇”，而将多媒体画面艺术规则视为规范这些词汇衍变的“语法”（衍变后的基本元素叫视觉要素）。因此，多媒体画面便是通过这些“语法”规范的“词汇”，组成了各种表现教学内容的结构模式，即“句子”。显然，这些属于多媒体画面艺术（基础）理论的内容，对应于语言学中的“语言”研究范畴；后者按照不同题材和语境的要求，运用编辑功能或交互功能对各画面进行组接，就像组接“句子”一样，旨在准确地表现各种题材内容和取得好的教学效果。显然，这些属于基础理论运用的内容，对应于语言学中的“言语”研究。

● “多媒体画面语言学”为什么要分为语构、语义、语用三部分

现代语言学认为，语言学是研究语言工具（即符号系统）、工具内部结构系统（语法）以及人们在不同语境中运用语言系统工具的过程及结果的学科[6]。语言学分为“语言的语言学”和“言语的语言学”。

语言的语言学是以“语言”为唯一对象的语言学，“语言”是指音义结合的词汇（即符号系统）和语法系统。言语的语言学研究人们在不同语境中运用语言系统工具的过程及结果[7]。

美国哲学家英里斯则进一步把符号学划分为语形学、语义学和语用学三个组成部分。语形学研究符形之间的关系（符号的结构），也称为语法学或句法学；语义学研究符形与符号对象之间的关系，即符号通过符形所传达的关于符号对象的讯息；语用学研究符形、对象以及符号情境之间的关系。符号情境是指符号使用者之间应用符号传达思想感情时的具体环境[8]。

多媒体画面语言学借鉴了现代语言学和符号学的观点，也相应地分为语构学、语义学和语用学三部分[9]。

其中多媒体画面语构学研究由语言符号（基本元素、视觉要素）及其语法规则（多媒体画面艺术规则）构成的语言符号系统，属于“语言的语言学”的范畴。

此外，按照现代语言学将“言语的语言学”中的语境分为小语境和大语境的观点。小语境指口语的前后语或书面语的上下文；大语境则是指言语双方的身份、场合、心情以及所处的社会文化环境等方方面面的因素。根据编写多媒体教材的需要，多媒体画面语义学将“小语境”的概念延伸为不同题材的教学内容，研究画面语言的不同设计格式以适应这些题材内容的需求；多媒体画面语用学将“大语境”视为课堂教学环境，研究画面语言的不同教学格式以适应课堂教学策略的需要。因此，可以将多媒体画面语义学和语用学视为“言语的语言学”的研究范畴。

如何看待多媒体画面语言学中语构学、语义学和语用学三者的关系？

由于多媒体画面语言的语法规则与多媒体画面艺术理论密不可分，如果将后者比作土壤，前者则好像埋在土壤里的树根。语义、语用学是建立在语构学(语法)基础上的，因此，可以将它们视为由此树根长出地面的两棵大树。

参考文献：

[1]游泽清.多媒体画面艺术应用[M].北京:清华大学出版社,2012.1.

[2]储一鸣.站在巨人肩上的开拓——《言语的语言学导论》述评[J].现代语文，2008(2):125-128.

[3]游泽清.多媒体画面语言的语法[J].信息技术教育,2002(2):79-80.

[4]岑运强.语言学概论[M].北京:中国人民大学出版社,2004.

[5]岑运强,石艳华.二十年来语言和言语问题研究述评[J].汉语学习,2008(4):69-76.

[6]岑运强.语言和言语、语言的语言学和言语的语言学[J].汉语学习,1994(4):13-16.

[7]岑运强.言语的语言学的界定、内容及其研究的方法[J].北京师范大学学报，2000(4):71-77.

[8]视觉文化与技术.符号学的三分天下：语形学、语义学、语用学[DB/OL].http://www.fromeyes.cn/Article_Show.asp?ArticleID=1339.

[9]游泽清.十年磨一剑——“多媒体画面语言学”诞生纪实[J].中国信息技术教育，2011(22):9-13.