多模态话语交际模式：传承与构建

傅 顺 罗永胜 杨劲松

广东医科大学外国语学院 广东东莞 523808

交际是人类最基本的行为之一。随着多模态话语研究的发展，多模态交际研究也开始在我国逐渐兴起。例如，郭恩华、张德禄从会话分析视角出发，探索序列分析在CA多模态交际研究中的应用，指出多模态交际除了有序列性之外，还有共时性[1]。而甘小亚、黄莹雪等则提出了多模态的跨文化交际能力评测模式[2]。还有人对CMC环境中开放外语学习者多模态交际策略展开了系统的分析[3]。而潘鸣威从多模态视角出发重构了口语交际能力框架[4]，在此之前和刘芹一起对多模态环境下中国大学生英语口语非言语交际能力展开富有成效的探讨[5]。这些研究主要围绕多模态交际的外围因素，如多模态交际能力、多模态交际特性、多模态交际能力评测、多模态交际策略进行开展，却忽略了多模态交际本身，规避了对多模态交际本体性问题的探讨，没有回答多模态交际过程中信息是如何产生的，又是如何传播和如何接受的等根本性的问题。尽管对于一般交际过程中信息的产生、传播和接受的问题，有许多语言学家从语言的视角出发提出了许多解决方案，如Saussure的循环交际模式[6]、Sharron和Weaver的线性交际模式[7]、Leach的梯形模式[8]等。然而这些方案没有把各种交际模式的符号选择和整合问题考虑在内，无法解决多模态交际中的基本问题。本文在借鉴这些交际模式的基础上构建多模态话语交际模式，试图探讨多模态交际过程中的信息产出、传播和处理方式。

1 多模态话语交际

多模态话语交际是指各种符号体系整合在一起的交际模式，它和语言交际一样会涉及交际双方所处的社会文化环境、交际发生时的具体情境、交际双方的认知背景和认知方式、交际双方的心理词库等相关因素。具体交际过程也会涉及信号的形成、信号的传送、信号的理解3个最基本过程。其中，信号的形成主要有说话人完成，信号的传送主要由物理媒介来完成，信号的理解主要由听话人来完成。但是和纯语言交际有一定差异性。

第一，信号的形成过程不一样。信号的形成是一个由概念转化为逻辑媒介、逻辑媒介转换为物理媒介的过程。在语言交际过程中，根据Leech的交际模式，概念形成后，就直接转换成语言符号[8]。在多模态话语交际过程中，概念形成后，要经历一个逻辑媒介的选择过程，即交际内容形成后，说话人会根据当时的情境和交际内容选择一种或者几种合适的交际模式，然后在再按照这些模式的运作规律，将概念转换为可感知的信号。

第二，信号的传输方式不一样。语言交际过程中，语言符号主要通过声波或光波传送到听话人的耳朵或眼睛，耳朵或眼睛接收到信号之后，再由中枢神经系统将感知到的信号转换为概念。而在多模态话语交际过程中，所有的感官系统都可以是信号的接收器，所有能够传送信号的物质都是媒介。例如，通过握手人们可以传递友好的信息，握手的力度可以传递出友好程度的信息，当交际双方通过手感受到对方握手的力度之后会形成一个友好程度的概念。有时候，通过握手可能比用语言表示友好获得更好的交际效果。而这个信息的传送方式和语言交际的信息传送方式是完全不一样的：前者主要通过触觉完成，后者主要通过听觉完成。

第三，信号的理解过程不一样。信号的理解是通过中枢神经系统将信号换成概念、再通过推理将概念转换为会话含义的过程。概念是外部世界在人脑中的语言表征，或者说语言符号在大脑中的心理表征。在语言交际过程中，大脑中枢神经系统接收到信号刺激之后，可以直接把语言转换成概念，在概念的基础上，结合其他各种因素进行推理，形成理解。而在其他非语言的交际过程中，大脑中枢神经系统接收到信号刺激之后，要通过语言系统才能够转换成概念。例如，通过握手可以形成“我们是好朋友”的概念，通过听到语言符号“我们是好朋友”也可以形成“我们是好朋友”的概念。然而通过握手，大脑需要将握手这个动作的刺激转换成脑海中的语言表征，在通过语言表征形成心理表征。而通过语言符号符号表征则可以直接转换为心理表征。

第四，语言交际是多模态话语交际重要组成部分，多模态交际过程中往往会镶嵌语言的元素。概念转换为逻辑媒介是一个选择过程，也是一个心理过程；而逻辑媒介向物理媒介的转换则是一个生理过程。概念形成后，可以选用语言表达，也可以选用非语言的方式表达，选择语言表达，往往需要激活心理词库，选用非语言的表达方式则需要激活心理符库。心理符库在多模态交际过程中，发挥着一个水库的作用。表达时从中提出符号资源形成信号；理解时通过它形成概念，构成推理的基础，同时把推理获得的新的概念储存起来为新的交际过程提供基础。

2 多模态交际模式的构建

综上所述，我们可以构建一个多模态话语交际模式(如图1所示)。

图1

整个模式包括8个过程，4个转换，3个层面，两个循环。8个过程可以分为4个转换。一是概念转换成心理符号(1-2)，二是心理符号转换成信号(2-3)，三是信号被接收之后转换成心理符号，四是心理符号转换成概念被大脑所接受。信号的形成过程是1-2-3和1a-2a-3a，信号的传播过程是4-5和4a-5a，信号的理解是6-7-8和6a-7a-8a，交际角色的转换过程是8-1a和8a-1。3个层面分别是物理传播层面、信息生理转换层、信息心理形成层面。灰色的背景表示交际双方的社会文化背景以及所有的人类交际都是在一定的社会文化背景下进行的。

物理传播层面(4-5和4a-5a)是信号形成后通过物理媒介在交际双方的传播过程。说它是物理层面，一方面是因为信号本身就是信息的物质形态的表征，是可以被人的生理器官所感知到的；另一方面因为信号必须以物质为依托而存在，也必须借助一定的物理媒介才能够传播。需要进一步强调的是，无论是独白式的写作、演讲还是交互式的会话、小组讨论都离不开物理媒介的作用。而且所有的交际形式都是通过物理媒介交互式进行的，否则就不能称之为“交际”，包括自言自语—当自语者说出话之后，通过物理媒介会听到自己发出的声音，这实际上就是和自己的交际，写作也是如此。最后，物理媒介只是决定信息的传播方式，本身不是信息，例如声波、光波、无线电波、光纤、我们看到的文字和图画、听到的言语和音乐等，人们借助它们可以交换信息，但是本身不是信息。信息随着交际的产生而产生，随着交际的消失而消失。

生理层面是3-4和3a-4a。之所以称之为生理层面，是因为这个过程是一个从看不见摸不着的信息通过生理器官转换为物理信号的过程，在这个过程中，人体生理器官发挥了主要的作用。这个过程是所有生物都能够完成的，即便是植物也会把自己的生存需求转化为信号，如向日葵会随着太阳的升起而转动，各种动物都能够发出自己求爱的信号。也就是说，将自身的需求转换为某种表征形式是所有生物的共性，各种生物都可以通过自身的生理构造完成这一过程。人类的高明之处，就在于不仅能够运用自身的生理构件完成信号的生成过程，还可以通过其他的工具来生成信号，不仅如此，还能够利用各种手段设计出各式各样的特殊信号以适应不同的交际需求。这里需要强调的一点是，我们不仅能够通过声带、舌头、嘴唇、牙齿、肺脏等发音器官来生成信号，我们还可以通过手、脚、腰、头、脖子等生成各式各样的信号，表述各种各样的信息。

信息的心理生成层面是整个交际过程中最复杂、涉及因素最多的一个层面。信息看不见、摸不着、感觉不到，但却是实实在在地存在于我们的脑海当中。它不断地产生，又不断地消失。生理正常的人，无论感知到什么东西都可以形成信息，然而信息到底是如何产生的，人类一直没有一个确切的答案。人们用各种各样的词描述它—知识、思想、概念、想法、理论、看法、论点、点子等—但是到底什么是信息，也没有一个公认的答案。但是我们可以确定的是，信息的产生和各种各样的因素有关，我们的生长环境、文化背景、认知能力、生理结构、生存方式都有可能影响信息的产生。我们认为，信息是在交际过程中动态生成的，无论是交际的发起者在需求的基础上生成信息，还是交际的接受方在感知到信号之后获得某种理解都是在动态中生成的。促使它们生成的因素也是基本相同的。只有将信息理解为动态生成的，才能够解释为什么同一个符号不同的人会有不同的理解，同一个人在不同的时期对同一个符号也有不同的理解；才能够解释同一种现象在不同的人，不同的时期看来是不一样的；才能够解释为什么人们对事物的认识总是在不断变化的。但是信息是动态生成的，并不意味着每次生成的信息就没有一点相似性—信息是动态生成的，但是每次生成的信息可能是和上次类似的，也可能和别人类似的，然而从理论上来说是不可能绝对等同的。

3 结语

对比语言交际，多模态话语交际模式主要有以下特征。第一，突出各种交际模式在交际过程中的作用，在概念和信号之间还有一个交际模式的选择。第二，突出符号和信号的区别，符号只是可供选择的交际模式或者方式，本身没有意义，只有转换为信号才有意义。符号没有用于交际，就没有意义，交际中符号才是信号。第三，突出推理在交际过程的作用，在信号的形成和理解中都存在一个推理过程。第四，突出交际过程的角色转换过程，交际过程中角色转换是即时的，个人在发出信号的同时也在理解信号。日常交际是内循环和外循环的结合体。个人的独白、写作、艺术创作等等旨在表示意义的行为本身也是一个循环的交际行为。我们曾经预言多模态交际研究将成为多模态话语分析延伸出来的另一个亮点[9]，现在我们仍然相信，随着各种多模态交际研究的会议不断召开，今后会有更多学者从事多模态交际研究，取得更加丰硕的成果。