画面语构学

　　编者按：在信息化教学环境中，多媒体教材的知识是以画面形式呈现的，或者说是用“画面语言”写成的。随着信息化教学日益常态化，多媒体教材的制作与使用缺乏科学性、规范性的问题日渐凸现、亟待解决。
　　早在2002年，游泽清教授就在本刊率先提出了“多媒体画面语言”的概念。十年磨一剑，他本着高度的历史责任感和使命感，带领课题团队和研究生，进行了持之以恒的研究。这十年，他们曾误入歧途、也走过弯路，但他们从未放弃，从深入进行大量基础性的研究到终有灵光一闪，从点滴概念的明晰到学科体系的建立，今天，“多媒体画面语言学”终于系统、完整地与读者见面了。
　　本刊将分四期，按“画面语用学”、“画面语义学”、“画面语构学”和“多媒体画面语言学诞生过程”的顺序详加介绍，让多媒体教材在教育教学改革中的制作与应用更加有序、规范，绽放更加夺目的光彩。
　　
　　画面语构学研究画面语言的结构。
　　《多媒体画面艺术理论》（以下简称《理论》）将多媒体画面语言视为一个系统，并且认为，构成“画面语言系统”的元素，和构成“画面艺术系统”的元素是相同的，二者区别仅在应用上：前者用于认知，后者用于审美[1]。构成系统的这些元素分别属于“媒体呈现”和“画面组接”两个范畴，其中“媒体呈现”范畴可以采用四种媒体类型：
　　◇静止画面（图）：图形、图片 (包括主体、背景以及色彩等属性)。
　　◇运动画面（像）：动画、视频 (包括主体、背景以及色彩等属性)。
　　◇文本（文）：文本(主体，包括文字的背景、运动以及色彩等属性)。
　　◇声音（声）：解说(主体，包括声音的背景：背景音乐、音响效果）。
　　“画面组接”范畴可以采用两种功能类型：编辑功能、交互功能（包括特技、菜单、热区及超链接等）。
　　在《理论》中，将这些元素称为“基本元素”，认为它们的演变是要受多媒体画面语言的语法规则（即多媒体画面艺术规则）规范的。正是这些语法规则，规定了画面语言中众多基本元素之间的结构关系。因此，画面语构学的研究工作，实际是按照该《理论》的思路进行的。
　　● “两个层面”和“三个界定”
　　按照《理论》的思路，可以将该理论的要点概括成“两个层面”和“三个界定”，即在理论和接口两个层面上，分别对基本元素、视（听）觉要素和艺术规则三个重要概念进行界定。
　　1.理论层面上，对四种媒体类型的界定是统一的，旨在维持《理论》的完整性。
　　◇基本元素：(客观上)呈现在画面上，(主观上)对视（听）觉形成刺激的所有元素（基本元素是客观的，又称为“显性客观刺激”）。
　　◇视（听）觉要素：(客观上)基本元素在画面上的演变，(主观上)这些演变在视（听）觉效果中产生了“新质”（视听觉要素也是客观的，又称为“隐性客观刺激”）。
　　◇艺术规则：(客观上)规范基本元素在画面上的演变（即规范视听觉要素），(主观上) 这些演变在视（听）觉效果中产生了“亮点”（“亮点”是赏心悦目知觉的俗称，指和谐、有序的“新质”。这样的“新质”只有遵循艺术规则的隐性客观刺激才能产生）。
　　换句话说，基本元素在画面上的演变，如果遵循了艺术规则，就会出“亮点”，反之，就会出“败笔”。这一结论便是建立《理论》的基础。它在语言学领域的意义是，明确了多媒体画面艺术规则在建立画面语言结构关系中的重要地位；而在美学领域的意义是，首次揭示了画面艺术产生美感的内在机理。
　　2.接口层面上，再将这三个概念的界定细化，旨在分别与上述四类媒体呈现艺术和画面组接艺术接轨。详细介绍如下。
　　①引入“动静”和“形义（或音义）”两个参数。
　　《理论》中的四类媒体是用这两个参数划分的。分两步讨论。
　　第一步，定义动态、静态媒体和形象、抽象媒体：
　　◇动态媒体（如图像、解说）：媒体表达的意义存在于基本元素的运动、变化之中。
　　不同的运动、变化代表不同的意义，停止变化则无法表达意义。
　　◇静态媒体（如图形、文本）：意义的表达与基本元素的运动无关。运动并非表义的需要，而是出于认知或审美的需求。
　　◇形象媒体（如图像、图形）：意义的表达与形有关，以形传义。
　　◇抽象媒体（如文本、解说）：意义的表达与形、音无关，形（音）和义是分离的。
　　第二步，再由动态、静态媒体和形象、抽象媒体，来划分上述媒体呈现艺术中的四种媒体类型：
　　◇静止画面（图）：指静态、形象媒体。
　　◇运动画面（像）：指动态、形象媒体。
　　◇文本（文）：指静态、抽象媒体。
　　◇解说（声）：指动态、抽象媒体。
　　②细化四类媒体基本元素的界定。
　　界定基本元素的细化，是按先“动静”、后“形义（或音义）”的顺序进行的。
　　先界定动态和静态呈现的基本元素。静态呈现的基本元素包括（图、文）形态、属性、（配合或主从）关系、字义（图义含在形中）；动态呈现的基本元素是指，使静态基本元素产生运动（变化）的技术手段或运动方式（变化形式）。
　　在此基础上，再进一步对图、像、文、声四类基本元素的界定进行细化。
　　◇（静态）静止画面（图）：图形（面、线、点）、属性（色彩）、空间（包括主体之间的配合关系和主体、背景之间的主从关系）。
　　◇（动态）运动画面（像）：运动镜头、景别组接及软件制作等技术手段。
　　◇（静、动态）文本（文）：字形（字体及其特征元素）、属性、空间、运动、字义。
　　◇（动态）解说（声）：语音（音色、语调、速度等）、音义、关系（包括与图文的配合关系和与背景音乐之间的主从关系）。
　　经过这样处理以后，《理论》中的基本元素便可通过“接口层面”与四类媒体呈现艺术接轨了。
　　③细化四类媒体视（听）觉要素的界定。
　　界定视（听）觉要素的细化，也是按同样的顺序进行的。
　　先界定静、动态的视（听）觉要素（听觉要素没有静态呈现）。静态呈现的视觉要素是指画面上基本元素（形态、属性、背景）的变化、布局、搭配；动态呈现的视（听）觉要素是指，在产生运动（变化）技术手段中运用的技巧。
　　在此基础上，再进一步对图、像、文、声四类媒体视（听）觉要素的界定进行细化。
　　◇（静态）静止画面（图）：图形（属性、背景）在画面上的变化、布局、搭配。
　　◇（动态）运动画面（像）：在运动镜头、景别组接等技术手段中运用的技巧。
　　◇（静、动态）文本（文）：静态呈现字形（属性、背景）的变化、布局、搭配，动态呈现字形（属性、背景）的变化技巧。运用字义的技巧。
　　◇（动态）解说（声）：语音（音色、背景音乐等）变化、配合的技巧。运用音义的技巧。
　　经过这样处理以后，《理论》中的视（听）觉要素，便可通过“接口层面”与四类媒体呈现艺术接轨了。
　　④ 细化接口层面的艺术规则。
　　“多媒体画面艺术规则”（或画面语言的语法规则）是通过两条途径形成的：一是借鉴传统艺术规则，但延伸到其他艺术领域；二是按照多媒体教材的需求，从多媒体画面艺术理论中提炼。
　　前者明确了它和传统艺术规则的关系，即“借鉴”，而不是“照搬”！例如，借鉴平面构成中的“均衡”规则，但是已将其延伸到了运动画面之中，如时间均衡是指画面间的“跳转”与“返回”；又如，背景艺术中的“不喧宾夺主”规则，不仅对于图和文，而且对于视觉和听觉领域都适用，等等。因此，应该将多媒体画面艺术规则视为跨艺术领域的规则，它规范的是美术、摄影、动画、影视等多个艺术领域中基本元素的演变。
　　后者规定了它的运用必须按照《理论》的思路进行，即艺术规则规范的，是上述四类媒体基本元素的演变（即视听觉要素），或者是交互功能的运用。提炼艺术规则的过程是这样的：通过大量多媒体教材，收集有“亮点”的画面，对其上的基本元素演变进行分析，概括出一些抽象的规则，再将其归类，以形成不同方面的艺术规则。
　　
　　● “３+５”规则
　　经过近10年的努力，现在已经形成了一套比较完备的“多媒体面画艺术规则”，共8个方面[2]，基本上能够满足设计多媒体教材的需求。
　　可以将8个方面的艺术规则视为“3+5”的结构，其中基本规则包括3个方面，另外再配上5个具体方面的规则。
　　1.3个方面的基本规则。
　　只有关系到多媒体教材（或画面）全局性的肯定或否定，并且可以覆盖画面语言整体的那些艺术规则，才能算作“基本规则”。这就是说，设计一个多媒体教材（或画面），只要在这3个方面遵循了艺术规则，就应该基本肯定。这个结论不仅适用于画面语构学，而且适用于画面语义学和画面语用学。这三个方面分别是：
　　①“突出主题（或主体）”艺术规则。
　　“主体”是对画面上呈现的内容而言的，一般指某个（或某些）具体的实物、人物、关键词等有形对象。“突出主体”的目的是为了强调画面上需要强调的内容。
　　一个教材（或知识点）的教学内容，是通过许多画面呈现出来的。“突出主题”不仅要求在这些画面上突出主体（这些画面上的主体可以相同或不同），而且要求这些画面适当配合，把该教材（或知识点）的教学内容交待清楚。
　　多媒体教材中用于“突出主体”的形式是很多的，除用异形、异色、异质等方式使其引人注目外，还可对主体进行精美制作或突出造型，使其与周围环境的反差扩大，达到吸引观者视线的目的。此外，还应注意主体在画面上呈现的位置，最好将其置于画面的视觉中心，或比较明显的位置，以减轻视觉疲劳。
　　②“媒体匹配”艺术规则。
　　“媒体匹配”有两方面含义，即选用媒体的依据，一是要与学习对象匹配，二是要与专业内容匹配。
　　由于学习者的年龄、知识水平不同，画面上媒体的选用和表现形式应该有所不同。例如，小学生和大专生的课件中，文与图的比例、色彩运用的比例、动态呈现与静态呈现的比例、侧重内容还是侧重形式等，是有很大区别的。
　　由于学科门类太多、太杂，一般很难回答“什么专业内容应该用哪些媒体表现”的问题。但是这个问题可以反过来问，即“哪些媒体，适合表现哪种专业的教学内容”。于是，一个“媒体与专业内容匹配”的问题，转化成了“探讨各类媒体的优势和用场”的问题。由于媒体的数量是有限的：动画、视频、图形、文本、解说等，或者动态、静态呈现的媒体等，只要将这些媒体的优势和用场搞清楚了，那么对于每一门课，只要按照这些媒体的优势和用场套用，就可以对号入座了。
　　选用媒体要与专业内容匹配，不仅要强调“选”，而且要强调“用”。按照教学内容选择媒体时，关键词是“选准、选够”；而当已选的各类媒体在画面上呈现时，关键词则是“分工合作、优势互补”。
　　由于多媒体艺术中能够选用的媒体比任何传统艺术都多，这是一种潜在的优势，选用得好，多媒体的优势就显示出来了，反之便浪费了资源。
　　③“有序变化”艺术规则。
　　对“有序变化”，应按两个层次来理解：其一，变化是基础；其二，对变化的规范是关键。这是概括了所有传统艺术规则（美术、摄影、动漫、影视）得出的结论。
　　首先，画面的美产生于各种变化的形式之中，包括静态的空间布局变化形式，也包括动态的运动变化方式。一成不变就会显得死板，缺乏活力。因此变化是产生美感的基础。
　　但是，无序的乱变，或者显得杂乱，或者使人感到生硬，甚至难以接受。所以在传统艺术领域中，形成了规范各种变化形式的艺术规则，如平面构成中的对比、均衡、变化艺术规则；色彩构成中的对比、调和艺术规则；版面设计中的分割与搭配的艺术规则；影视领域中镜头组接的蒙太奇艺术，等等。在《理论》中，将这些领域的艺术规则统一地视为规范各种变化形式的“度”。因此，与传统艺术接轨的细化工作可以这样进行：将某个传统艺术规则视为一类“变化形式”，界定该类“变化形式”中的基本元素和视（听）觉要素，再将该艺术规则定位在由基本元素向视（听）觉要素的演变上即可。
　　3个方面基本规则已经覆盖了“图”的静态呈现和动态呈现，可以将三者的关系概括成“一主两翼”：“媒体匹配”和“有序变化”规则分别为传递知识信息和传递视（听）觉美感提供了具体的保证，而“突出主体（主题）”规则则为两个“传递”明确了指导思想。因此，如果设计一个多媒体教材（或画面）考虑了这3个方面的话，则该教材的整体质量是应该受到肯定的。
　　2. 5个具体方面的艺术规则。
　　5个方面艺术规则从三个角度补充上述基本规则，旨在使多媒体画面语言的规范更加完备，满足设计多媒体教材的需求。这些角度分别是，“图”的属性和背景：对图的属性以及图与背景之间关系的规范；文本和解说：对文字语言的形、声在画面上呈现的规范；交互功能：对导航、互动教学方面的运用进行规范。
　　①属性和背景方面的艺术规则。
　　《理论》对“图”的属性和背景进行了新的界定。
　　在图的属性中，只有色彩算作基本元素（肌理和影调可视为由形态、光等基本元素演变产生的新质，将其归到视觉要素中）。在多媒体教材中，色彩可以作为认知对象或审美对象的属性，也可以作为教学工具或手段，因此对它的选用要适应视觉习惯，满足审美的心理需求，或者满足教学内容的需要。
　　采用了平面构成中将“空间”视为一类基本元素的观点，但是进行了新的界定：“空间”表示在画面上呈现，并对视觉形成刺激的一些“关系”。在多媒体画面上存在两类关系，分别遵循不同的艺术规则。主体与主体之间的“配合关系”，遵循的是“分工合作、优势互补”的艺术规则；主体与背景之间的“主从关系”，遵循的是“不喧宾夺主”的艺术规则。
　　 ②文本和解说方面的艺术规则。
　　文字语言不同于“图”，它们的形、音、义三者是分离的，因此需要对文本（形、义）与解说（音、义）分别进行规范。
　　“屏幕文本”（Text On Screen，TOS）是在《理论》中引入的一个新概念，旨在强调它与书本上呈现文字（即“书本文字”）的区别。
　　在多媒体教材中，可以将屏幕文本的艺术规则概括为两类：静止画面和运动画面的艺术规则，既适用于图形，也适用于字形；鉴于屏幕文本毕竟源于书本文字，需要针对其特殊性另加三条，即“适配性、艺术性和易读性”的呈现三原则。需要强调的是，在三原则中，易读性是底线，其要求有两点，即不仅要在画面上能看清字，而且要求久看不会感到视觉疲劳。为此，将书本教材搬上屏幕变成多媒体教材，需要改编。
　　解说只能动态呈现，而且没有形态（只有声音）。与屏幕文本类似，“解说”艺术规则也是由通用规则和专为解说制定的规则两部分组成的。
　　屏幕文本和解说的艺术规则，都是用来规范它们的视（听）觉要素的，因此，只有对它们基本元素的演变进行深入研究后，才能深刻理解这些艺术规则的内涵。例如，由于屏幕文本的字义和解说的音义也是基本元素，因此应该将运用文字技巧的规则（即作者的“文字功底”）也列为艺术规则之中。
　　多媒体教材中的声音媒体除解说外，还有背景音乐和音响效果，后者属于背景范畴，遵循背景艺术规则。
　　③运用交互功能方面的艺术规则。
　　以上4个方面艺术规则，通过规范动静态、图文声色等媒体在画面上的呈现，旨在将视觉、听觉和表象、概念等认知渠道充分利用起来；而“运用交互功能”艺术规则则是属于教学策略范畴的，旨在使画面上呈现的教学内容，在教学过程中得以最佳的运用。
　　在多媒体教材中，交互功能主要以手控形式用于导航和互动教学中，其特点是，为学习者参与教学过程提供了一个切入的环境。
　　运用交互功能的水平，主要体现在技术应用和教学应用两个方面。前者指对学习者（手控）参与程度的限制，取决于计算机软件设计的智能化水平，可以用“智能度”指标来衡量：学习者操作越主动，智能度越高。后者指运用交互功能时对画面艺术呈现的影响，取决于课件（网页）设计的艺术化水平，可以用“融入度”指标来衡量：越是只感到操作该课件方便，而察觉不出交互功能在画面上的痕迹，融入度越高。
　　显然，在多媒体教材中设计交互功能，需要遵循的艺术规则是：
　　◇尽可能提高交互功能的“智能度”，使学习者感到有求必应，有问必答。
　　◇尽可能提高交互功能的“融入度”，使学习者只感到操作方便了，却察觉不出交互功能的技术支撑。
　　最后需要指出的是，不要以为采用了交互功能，就能实现“以学为主”的教学策略。课件中的教学内容、习题、答案以及选择答案后转移的去向等，都是教师设计时安排的，如果交互功能的“智能度”较低，学习者只能按照课件（即教师）的要求进行学习，选择答案、转移到预置的教学内容。这样的课件，虽有“交互功能”和“学习者参与”，仍属“以教为主”的教学策略范畴。由此明确一个重要概念：只有设计智能度高的交互功能（即计算机能够满足学习者主动提出的要求时），才能用来实现“以学为主”的教学策略。
　　
　　参考文献：
　　[1] 游泽清.认识一种新的画面类型——多媒体画面[J].中国电化教育，2003（7）.
　　[2] 游泽清.多媒体画面艺术设计[M].北京：清华大学出版社，2009.