语言研究的多模态视角

【摘要】顾曰国在《多模态感官系统与语言研究》一文中界定了“多模态”的概念，梳理了多模态感官系统与语言跨学科研究的主要理论基础及所研究的三个理论问题，为多模态与语言学的研究提供了理论基础和新的视角。

【关键词】多模态 多模态感官系统 语言研究

【基金项目】本文为衡水学院2016年教育教学改革课题（项目编号为jg2016093）和2015年河北省高等學校英语教学改革研究与实践项目（编号：2015YYJG051）的阶段性研究成果。

【中图分类号】G64 【文献标识码】A 【文章编号】2095-3089（2017）35-0031-02

《多模态感官系统与语言研究》是顾曰国2015年发表在《当代语言学》上第4期的一篇文章。文章梳理了多模态感官系统与语言跨学科研究的主要理论基础。全文共分为五个部分：引言、学术背景、以单模态为基点的语言学研究基础、以多模块的语言学研究基础、多模态感官系统与语言研究的三个理论问题。下面对文章每个部分进行介绍和评论：

1.引言部分中，作者对汉语“模态”所对应的英语“mode”和“modality”进行了澄清和区分。术语“mode”对应功能语言学中语境的三要素之一“语言方式”（mode）。Hodge和Kress拓展了韩礼德的社会符号学理论，用其来指非语言方式。Kress后来用它泛指能产生意义的任何符号资源，如文字、图像、颜色甚至发型等。混合使用多种mode的这种呈现方式叫做multimodal，普遍译为“多模态”。本文所讨论的“多模态”源自于脑神经科学中的“感官模态系统”。例如眼睛加上处理视觉信号的神经系统就组成了视觉模态。为了避免混淆，顾曰国将“multi+mode”译为了“多符号”，将“multi+modality”译为“多模态感官系统”。

评：顾曰国在澄清定义时还特别指出了多模态话语分析同本文所要讲的多模态感官系统之间的关系，前者是包含在本文所研究的多模态感官系统之内的。作者以“五官”为例，举例说明了本文所要讨论的多模态感官系统，并用multimodality的英文释义分别说明了其在多模态话语分析中（multi+mode）和本文研究中（multi+modality）的不同之处。近年来国内学者对多模态的研究也涉及到了话语分析、教学、隐喻等多个方面，但这些和多模态相关的研究大多都属于本文所讲的“多符号”研究，对本文所定义的“多模态感官系统”和语言学的研究涉及较少也更缺乏系统地说明。

2.学术背景中作者简要介绍了多模态感官系统研究的七个视角：生物视角、胚胎视角、心理视角、认知科学视角、哲学视角、临床视角和人工模拟视角，并指出这七个视角的研究是互补的。此部分中，作者还对五官的功能进行了详细的介绍。中医依据五官的“望闻问切”推断出人本身内在的身心状况，而西方研究多模态感官的重心则是放在了感官主体和外部世界互动的关系上。此外，该部分中作者还介绍了西方胚胎学和神经医学对多模态感官系统的研究成果（主要是视觉和听觉），其中最为有影响力的是Kolb和Whishaw以及Sadler归纳了多模态感官系统的共同生物特质。

评：在学术背景中，作者不仅说明了多模态感官研究的七个视角，而且还指出了这七个视角是互为补充的。将该部分与后面介绍单模态和多模态理论的发展相结合，读者可以纵向看出每个理论的研究视角及缺点，后人的研究理论是从哪个视角进行弥补的。另外，此部分中作者主要按从古到今的顺序对“五官”功能进行了中西方研究的对比，特别对多模态感官系统的生物特性进行了详细的说明。作者为了更好地说明其生物特性采用了生活中的例子（如人的视觉和听觉感知、动物的视觉和听觉感知等），使得很重要的该部分变得通俗易懂，且容易和读者产生共鸣。

3.第三部分作者主要介绍了以单模态为基点的语言学基础研究。该部分包括乔姆斯基的“语言器官论”、福德的“心智模块理论”、视觉模态和手语，以及胎儿的听觉和视觉研究。作者首先就乔姆斯基的“语言器官论”提出了假设然后就福德的“心智模块理论”进行了说明，接着对该理论和“语言器官论”进行了对比。福德认为人的心智是高度模块化的，并将心理处理过程分为了转化器、输入系统和中央处理器三个功能块。其中，多模态感知系统在此模块中起到了转化器的作用。福德认为人脑处理语言的心智是高度模块化的，且语言模块是单独的模块，其转化器是由听觉模态实施的，独立于其他感官模态。

乔姆斯基的“语言器官论”是仿照人类其他的器官进行建模的，认为母语不是学来的，而是长出来的。但乔姆斯基对于多模态感官的作用并没有直接涉及，顾对此进行了分析，指出多模态感官系统通过后天经验触发语言器官的成长。

作者还在此部分中分析了福德和乔姆斯基的相同点和不同点，并指出了与下文讨论密切相关的两点：一是“天赋”的时间线；二是，两者所涉及到的跟语言相关的感官模态都默认为听觉和相关联的发音器官的神经控制系统。顾也指出关于先天聋哑人的母语和胎儿听力的研究使研究者看到了以上两种理论的局限性。如果“天赋”时间以出生为界，那胎儿听觉能力如何解释？如果和语言相关的感官模态默认为听觉和相关的发音器官，那天生聋哑人的母语又如何解释？

顾指出手语也是母语，手势和语音都为语言的载体（Meier， 2002）。因此，作者在这里提出了两个问题：乔姆斯基的普遍语法是超模态的还是只适合于有声语言的听觉模态？随后又指出有些学者从进化的角度分析了人类语言，指出“语言源自身体”（Armstrong， et al. 1995：4），同时也指出目前尚无定论究竟是有声在先还是手势在先，抑或两者是同步运行。

顾从乔姆斯基的角度，指出听觉模态的起始时间和外部语言的形成有关，因此外部语言是在出生前就萌发了。但人类的视觉模态却要等到出生后才开始接受外部的刺激。然后作者就“视觉有没有先天的东西”从神经学（捆绑难题）和心理学（格式塔）角度的讨论。endprint

评：本部分中，作者对以单模态为基点的语言学基础研究进行了理论梳理。对所涉及到的“心智模块理论”、“语言器官论”、手语、胚胎学按时间进行了理论梳理。该部分作者不仅有理论描述，还分析了不同理论的优点、与局限性，展现了四大部分的动态演化轨迹。作者为了更好地描述“心智模块论”中的心理过程时，采用了人对蛇所作出的反应这个例子。虽然在后面，顾也提到举这个例子是为了让读者更好地理解，但例子本身从语言学角度还是不太恰当。

关于手语的讨论，作者只指出了“手语也是母语”，但没有解释原因也没有对相关研究进行说明。关于胚胎学的研究，特别是有关婴儿视觉的研究，作者也从分析了不同的研究视角，并指出了该研究的未解决问题。无论是手语研究还是胚胎学有关听觉和视觉的研究。

4.第四部分作者介绍了以多模态感官为基点的基础研究。作者首先指出了多模态感官研究的前提。养育论者认为个体语言的习得都靠后天养育，在其语言学模型中，造义（meaning-making）为语言本体的核心，而非乔姆斯基和福德认为的天赋运算能力。

作为经验主义的建构人，皮亚杰的行为中心论和感觉运动体验与多模态感官研究相关。他将“渐成论”扩展到整个生命周期，认为新生儿出生时没有天赋知识，婴儿的行为是知识的各种来源而不是多模态感官对外部世界的感知（Piaget 1997）。皮亚杰提出了“体验时空间”的概念。皮亚杰的第二个核心概念是“感觉-运动体验”。他以符号表征的出现为界，将符号出现前的儿童行为发展称为“感觉-运动行为”并认为其是一种当下行为，并将其作为认知智力发展的早期行为进行剖析。顾指出皮亚杰该理论最大的缺陷是他忽略了多模态感知系统在儿童情感发展中的作用。针对这一缺陷，文章继续讨论了鲍比（Bowlby）的“情感依附理论”，并指出情感依附研究中和本文主题相关的是触觉模态与情感依附的研究。

卡密洛夫-史密斯的“成长理论”认为皮亚杰的理论作为婴儿习得母语的基础不充分，需要一定的天赋作为补充，但此“天赋”不同于乔姆斯基和福德。卡氏弥补了皮亚杰自然观察法的缺陷（被观察儿童年龄偏大），采用试验方法将出生的婴儿作为其理论的实验基础。

顾曰国在琼森的“身构主义”的观点基础上提出了“当下行为”并将其与“非当下行为”进行了区分。顾指出，多模态感官系统在当下行为中是同时、同步运作的。这个体验是具有充盈意义的充盈经历。顾也同时强调充盈体验和充盈意义对于构建多模态现场即席话语语料库有较大的理论价值。

评：在该部分的理论梳理中，作者不仅对相关理论进行了解释性的说明，还有批判性的观点。同时也展现出了几个理论之间的逻辑关系，让读者清楚地了解到该理论的起点性研究、发展性和突破性研究，并指出了继续研究的方向。

作者在解释每个理论时还说明了该理论中与本文所要讨论的主题所相关的研究。如，情感依附研究中的触觉模态与情感依附研究、卡氏理论中的婴儿实验基础、琼森所强调的感觉运动体验；充盈体验和充盈意义对构建多模态现场即席话语语料库的价值。

此部分和前面介绍以單模态为基点的研究理论并不是相互孤立存在的，作者清楚地指出了两个阶段之间的关联性，特别是对前面研究的突破。

5.第五部分作者介绍了多模态感官系统与语言学研究的三个理论问题，即多模态转换、多模态搭配和多模态过滤，此部分主要通过具体的例子来向读者进一步阐释了这三个问题。

评：从第一部分到第五部分，顾在对相关研究或者理论进行说明时并非是线性的描述而是加入了很多例子。这些例子大都是我们在生活中有过的共同经历（如学术背景中多模态感官研究的七个视角，此部分中多模态转换和搭配与语言教学的关系等），能够让作者的观点更清晰直白地呈现给读者。虽然文章分为了五个部分，但每个部分都是相互联系而非独立存在的。如此部分中作者指出多模态的搭配与第一部分中提到的中医“望闻问切”的诊断法就是多模态感官系统研究的应用；第二节提到的荀子的观点正是“多模态过滤”的一种现象。

参考文献：

[1]顾曰国.多模态感官系统与语言研究[J].当代语言学， 2015（4）.

作者简介：

张丽，女，硕士研究生，河北省衡水市人，衡水学院公共外语教学部，讲师。主要研究方向：跨文化交际、外语教学。endprint