多模态话语视角下脑瘫儿童沟通互动的干预

邓灵奇 徐添喜

一、引言

模态（Modality）指的是交流的渠道和媒介，包括语言、技术、图像、颜色、音乐等符号系统；多模态话语（Multimodal Discourse）指同时利用两种或两种以上模态进行交流的话语。在这一过程中，人们综合调动自己的感知通道，包括视觉通道、听觉通道、触觉通道、嗅觉通道和味觉通道［1］。沟通（Communication）是人们分享信息、思想和情感的过程，包含口头语言和书面语言，也包含形体语言、个人的习气和方式，以及赋予信息含义的物质环境［2］。沟通建立在沟通者双方均具备发送和接收信息能力的前提之下，发声和简单的动作可以回应单一的“是/否”的请求，如果要传递更为复杂的信息，则需要沟通者使用语言，即口语或书面语。沟通者需要通过视觉感知、语音感知及语言的加工处理来编码和解码信息［3］。沟通交往是人类的基本社会活动，具有沟通障碍的个体难以高效地参与社会活动，其社会适应往往存在困难。

脑瘫（Cerebral Palsy，又称脑性瘫痪、脑性麻痹）是自受孕开始至婴儿期非进行性脑损伤和发育缺陷所导致的综合征，主要表现为运动障碍和姿势异常［4］。脑瘫病变在脑，累及四肢，一方面直接损害语言脑区，另一方面可能会伴有感觉系统异常、智能异常、口运动异常或情绪及行为异常等［5］。由于自身障碍，在参与沟通互动时，脑瘫儿童面临着诸多阻碍，不仅影响了其个性与人格的健康发展，还限制了其参与学校及社会生活的范围与质量。

20 世纪50 年代起，国内外学者们开始关注脑瘫人士沟通障碍相关的话题，从语言障碍、听觉障碍、视觉障碍等各类感知觉障碍的维度分别探究脑瘫人士沟通障碍的根源与成因。同时，学者们致力于探究针对学龄前脑瘫儿童的康复对策，调查学龄脑瘫儿童的互动交往状况。但迄今为止，从多模态视角对脑瘫儿童沟通交往进行分析与思考的研究尚不充分。本文尝试从多模态话语的视角解释与分析脑瘫儿童沟通互动的过程，结合国内外相关的实证研究，提出脑瘫儿童沟通互动的多模态干预思路。

二、多模态话语视角下的沟通互动模式

20 世纪50 年代前后，解释信息传递过程的沟通模式强调从传递信息者到接收信息者的单向流程，但自20 世纪六七十年代以后，沟通模式更强调沟通的交互性、动态性和发展性，其中，最具代表性的是奥斯古德-施拉姆的循环模式［6］（如图1）。参加沟通过程的双方在不同阶段都依次扮演着译码者（执行接收和符号解读功能）、释码者（执行解释意义功能）、编码者（执行符号化和传达功能）的角色，并相互交替三种角色。

图1 奥斯古德-施拉姆的循环模式

多模态话语分析从符号学理论中汲取媒介、对象、解释三位一体等理念，并以Halliday 创立的系统功能语言学为主要理论基础［7］。在多模态视角下，各感官在具身经验中联合与互动［8］，均能在沟通互动中发挥作用。从多模态话语的视角出发，结合信息加工理论，分析个体在沟通互动中参与信息接收、处理与发送的过程，提出以下假设模型（如图2）：

图2 多模态话语视角下的沟通互动模式

在奥斯古德-施拉姆的循环模式中，讯息为沟通环境中的符号在媒介呈现下，通过各种感官渠道传递至个体，从不同感知通道获得的讯息为该通道接收的模态，个体对感官渠道接收的多模态符号进行感觉登记，但并非所有的符号都能通过感知通道被个体感觉登记；讯息通过感觉登记在译码阶段形成多模态信息，感觉统合系统通过信息加工，将多模态信息进行解释、关联和统合；进入释码阶段，大脑处理已加工好的多模态信息，通过记忆获得知识，产生知识模型；知识模型在个体动机的作用下应用到个体的行动中，执行监控系统同时参与行动过程，反应发生，为编码阶段；个体通过生理行为、肢体运动呈现声音、图像等各种符号，符号再次输出到沟通环境中，依次循环，形成动态的沟通与互动。

三、多模态话语视角下脑瘫儿童的沟通互动特征

脑瘫可导致感觉和认知发育障碍以及运动障碍，这些功能领域的问题会影响儿童的言语、语言和交流发展。脑瘫儿童的言语、手势和肢体动作所表达的交流信号不明确，且语言表达延迟，致使沟通对象的信息接收出现失误［9］。从多模态话语视角下的沟通互动模式来看，脑瘫儿童的沟通互动障碍应归因于对沟通环境中的讯息接收与转换不全，以及对多模态信息的处理不充分。

沟通环境中的有效符号完全转换为能被感觉登记的讯息需要两个条件，分别是良好的媒介和完善的感官通道。就脑瘫儿童自身生理发展来说，各感官通道可能同时存在不同程度的受损，甚至缺失。在译码、释码与编码阶段，个体需要对已登记的多模态信息进行处理，脑瘫儿童由于脑发育异常而引发感觉统合失调，在信息获取、加工及反馈处理、信息表达等方面存在缺陷，导致其沟通互动困难。

（一）感官通道受阻，多模态信息获取受限

在多模态话语视角下的沟通互动模式中，沟通环境中的符号通过媒介呈现，个体利用感官通道接收多模态信息。脑瘫儿童因大脑受损区域的不同表现出一种或多种感觉障碍，一条或多条感官通道受到阻碍，感觉登记不全面，对多模态信息的获取受到一定限制。

在沟通活动中，听话者主要凭借听觉来接收交流信息，此外，还可以通过视觉观察说话者的口部动作、面部表情、手势及周围环境等以获得更多有价值的潜在信息［10］。听觉障碍会直接影响脑瘫儿童沟通能力的发展，还会直接阻碍脑瘫儿童在沟通活动中对听觉信息的接收。在幼儿时期，听觉障碍会影响大脑建立听觉信息的神经通路［11］，导致脑瘫儿童的言语障碍与语言理解困难。脑瘫儿童视觉障碍的发生率为28.2%—47.0%［12］，主要表现包括斜视和屈光不正等［13］，有视觉障碍的脑瘫儿童在沟通中视觉通道也会受限，使其视觉模态信息接收不完全。除了听觉、视觉障碍外，脑瘫儿童在触觉、嗅觉、味觉等其他感知觉方面也可能存在缺陷，进而影响触觉模态、嗅觉模态以及味觉模态参与个体感觉登记。脑瘫儿童其他感知觉障碍发生率相对较低，目前国内外的相关研究较少。

（二）感觉统合失调，多模态信息加工困难

Ayres 在1972 年将感觉统合定义为“将人体器官各部分感觉信息输入组合起来，经大脑整合作用，完成对身体内外的知觉，并做出反应”［14］。感觉统合系统将通过空间与时间维度输入的各种感觉模态解释、关联和统一。感觉统合涉及感觉信息的登记和调节，以及传入登记的内部组织，以提供适应性行为，促进反应执行［15］。

沟通中的译码阶段需要完善的感觉统合能力处理多模态信息，或分别传导各类感觉模态信息，或将多种感觉模态信息进行整合再传导。感觉统合能力良好的儿童在沟通活动中接受来自环境和身体运动的感觉信息，在译码阶段，通过中枢神经系统内处理和整合这些感觉输入，并使用这些感觉信息来计划和组织沟通行为。与普通儿童相比，脑瘫儿童表现出明显的感觉加工缺陷，在处理视觉、前庭觉和多感官信息方面表现出不同程度的缺陷，并在调节感官信息方面存在困难［16］。脑瘫儿童通过感觉接收信息的神经处理效率低下，译码阶段多模态信息加工困难，导致个体的沟通行为出现问题。

（三）生理运动有缺陷，多模态信息输出不全

传统的脑瘫分类主要基于运动功能障碍，当前学术界的运动行为理论则支持将运动与感觉进行关联。沟通活动中的编码阶段，个体在动机刺激下通过生理运动，即说话、书写、做表情、肢体动作等，形成多模态信息，将大脑构建的知识模型输出到沟通环境中。脑瘫儿童由于自身障碍，其生理运动存在不同程度的缺陷，言语及非言语形式的多模态信息输出过程与输出结果不能完整传递其沟通意志，导致听话者接收的多模态信息缺失或误解，不能达到沟通的理想状态。

1.言语表达不易

语言障碍是脑瘫的主要表现之一，也是国内外学者最早发现的脑瘫儿童的障碍表现之一［17］，脑瘫儿童的语言障碍包括言语障碍、语言发育迟缓和失语症等［18］。研究显示，脑瘫儿童言语障碍的发生率为44%—73.55%［19］，包括呼吸、发声、共鸣、构音、语音等障碍。脑瘫运动功能障碍累及发声发音肌群，因此有言语障碍的脑瘫儿童通常伴有呼吸运动及吞咽功能障碍［20］，表现包括发音不清晰、音调异常、言语不清、口语不流利等，严重者甚至会失去言语表达和接受的能力［21］。同时，脑瘫儿童因语言发育迟缓在预期时间内不能够像普通儿童一样用语言符号进行语言理解与表达，与他人的日常生活语言交流不能正常进行［22］。语言障碍在不同程度上阻碍了脑瘫儿童的语言发展，导致脑瘫儿童口语交流困难，形成了沟通障碍。此外，由于脑瘫儿童完成精细动作较为困难，在书写能力与书面表达方面，脑瘫儿童往往比同龄的普通儿童要弱。但也不排除有部分轻度的脑瘫儿童，相比于口语沟通，在有足够的时间和耐心的前提下，他们也能较好地运用书面语进行沟通［23］。

2.非言语表意失准

除了言语，面部表情与肢体动作也会在沟通交往的过程中提供个体的情绪和思想线索，为言语表达提供支撑，或单独传递信息，属于非言语沟通方式。由于脑组织受到不同程度且不可逆的损伤，脑瘫儿童的肌肉控制与协调能力较弱，其面部表情呈现不自然、反应夸张，使得沟通对象不适，沟通状态欠佳。Coleman 等人通过磁共振成像（Magnetic Resonance Imaging，MRI）验证了脑瘫儿童的沟通能力与粗大运动能力的正相关关系，并得出了运动障碍比脑损伤的严重程度更能影响个体的整体沟通能力的结论［24］，运动障碍限制儿童探索环境、独立游戏和产生交流信号的能力，从而影响沟通能力的发展［25］。脑瘫儿童存在姿势障碍与运动异常，在使用肢体动作进行表达时易出现错误。上肢运动障碍会限制个体使用手势进行交流，而手势与沟通能力的发展也存在一定的关联［26］。由此可见，由于生理方面的原因，脑瘫儿童除了言语沟通存在困难，以面部表情和肢体动作为载体的非言语沟通在表达信息的过程中也往往准确度不足。

四、脑瘫儿童沟通互动的多模态干预思路

沟通环境中的多模态成分是形成多模态沟通互动的前提，个体对于多模态信息的充分处理是完成多模态沟通互动的必要条件。多模态成分涉及感官通道、媒介和符号系统，对于多模态信息的处理要求个体具备良好的感觉统合能力。

鉴于此，脑瘫儿童沟通互动的多模态干预需立足于完善多模态成分与提升个体感觉统合能力，在构建多模态沟通互动环境的同时，促进与实现脑瘫儿童的缺陷补偿和潜能开发。当前，国内外学者通过实证研究提出了多种脑瘫儿童沟通互动的干预措施，其中，能反映出多模态思维的干预措施可大致分为三种，分别是基于多模态形式的早期互动干预、提升模态处理能力的感觉统合训练和实现模态渠道转换的智能辅助干预。

（一）基于多模态形式的早期互动干预

与婴幼儿进行早期互动干预能有效促进其建立语言系统、发展沟通思维与技巧。在早期互动中，当向婴儿展示一个新物体时，看护者通过同时命名和移动物体来同步信息输入，这种多样化的感觉信号已被证明能吸引婴儿的注意力［27］，也能促进其学习［28］。因此，多模态输入呈现方式的差异以及多感官整合的缺陷可能会影响沟通技能的早期发展。针对脑瘫儿童的言语语言治疗（Speech and Language Therapy，SLT）侧重于训练父母识别孩子特殊沟通信号的能力，要求父母创造频繁且多样化的对话机会来促进孩子沟通能力的发展［29］［30］，这里的多样化对话是相对于单一语音对话而言的，可涉及视觉模态、触觉模态、除语音外的听觉模态以及其他各类感官模态，例如表情、手势、肢体接触、展示玩具、播放音乐、给孩子读图画故事书等。其中，在人际交往中发挥重要作用的触觉模态尤其令研究者们感兴趣。Seidl 等人通过研究发现婴儿的早期词汇通常是与其看护者的触摸相关的单词［31］［32］，当触摸与言语相结合时，可以促进婴儿在多模态互动中的言语感知，这进一步强调了多模态形式的互动在沟通能力早期发展中的重要性。

（二）提升模态处理能力的感觉统合训练

脑瘫儿童的脑部损伤是非进行性的，但随着中枢神经系统的生长和发育，若不开展训练及教育，其各方面机能则会发生进行性改变［33］。适当的感觉统合训练能帮助脑瘫儿童达到模态处理的最佳水平，提高个体在环境中的功能表现，如沟通互动表现［34］。由于脑瘫儿童个体在视、听、智力、言语、语言等一个方面或几个方面存在不同程度的障碍，针对脑瘫儿童的感觉统合训练内容很大程度上取决于受训个体的具体特点。总体来说，为改善脑瘫儿童的沟通互动表现，对各类模态信息的处理能力经过感觉统合训练无论是降低还是增加，其目的都是为个体提供分级的感官体验，通过接收、记录、调节、组织和解释从感官传入大脑的模态信息，以实现个体对沟通环境的充分理解。

（三）拓宽模态渠道的智能辅助干预

人工智能辅助技术在脑瘫儿童的沟通互动中发挥着转换模态渠道、完善多模态成分、建立多模态沟通环境的作用。当前应用于脑瘫儿童的智能辅助技术包括增强和替代沟通系统、机器人、虚拟现实技术等。

早期干预可以促进脑瘫儿童建立语言系统、发展沟通思维与技巧，但对于言语表达存在严重缺陷的脑瘫儿童来说，则需要使用增强和替代沟通（Augmentative and Alternative Communication，AAC）系统来实现主动沟通［35］。AAC 起到将无法被接收及发送的模态转换为易于接收及发送的模态的作用，如图片交换沟通系统（Picture Exchange Communication System，PECS）可以帮助有听觉障碍和言语表达障碍的脑瘫儿童将听觉模态转换为视觉模态，语音生成设备（Speech Generating Device，SGD）则在信息输出中增加了语言符号。成立于1983 年的DynaVox 公司研发的EyeTyper 将使用者的视觉信息通过计算机语音“说出来”，最早使用于帮助患有脑瘫的年轻女性实现交流。AAC 可以帮助脑瘫儿童更频繁地发起对话，实现更为广泛的交际功能，在使用的过程中帮助其学习词汇，并提高叙事能力。

社交辅助机器人（Socially Assistive Robotics，SAR）旨在替代或补偿脑瘫儿童缺失的运动和感知技能，并通过语音、手势、游戏等帮助脑瘫儿童参与社会互动，由此丰富沟通环境中的多模态成分，尤其体现在视觉模态方面。研究表明，SAR 在改善脑瘫儿童的身体机能、提升其社会互动以及提高其社交动机等方面有显著效果［36］。

目前关于虚拟现实（Virtual Reality，VR）技术改善脑瘫儿童沟通障碍的研究非常有限，但已有关于VR 技术干预脑瘫人士运动功能、独立生活能力以及预防成人脑瘫恶化等方面的实证研究［37］［38］，并已有理论提出了VR 技术在改善沟通障碍人士社会交往能力方面的可能性［39］［40］。从多模态视角来看，VR 可为学习者创造场景体验、调整模态信息、赋予其沉浸体验者新的身份；在非语言信息的呈现与交互方面，VR 有助于重构学习的物理空间［41］。与此同时，VR 可以有效分析脑瘫儿童个体对于信息接收的最佳感官渠道，从而为脑瘫儿童沟通能力的多模态干预提供参照。

五、总结与启示

多模态话语分析不仅关注语言系统在意义交换中所发挥的作用，还强调图像、音乐、颜色等其他符号系统在其中产生的效果，能进一步探究人类综合使用多种模态达到社会交际的目的。多模态的社会互动在儿童发展中起着至关重要的作用，正确识别、解释和产生社会行为的能力是沟通的关键。脑瘫儿童的病理及功能障碍导致其言语表达困难、非言语表意失准、信息的获取与加工受限，不同程度地影响了其参与沟通互动活动。从多模态话语的视角分析，脑瘫儿童对沟通环境中的讯息接收与转换不全，对多模态信息的处理不充分，从而易产生沟通互动障碍。因此，干预人员可以通过在早期干预选用多模态形式、使用智能辅助技术（如AAC、机器人、VR 等）、开展感觉统合训练等方式从多模态干预的思路改善脑瘫儿童的沟通互动能力。

虽然当前多模态话语的理论和技术还处于研发的阶段，但已经对人类社会交际的方式和作用产生了影响，尤其是在特殊儿童发展方面。在脑瘫儿童的康复与教育领域，应从脑瘫儿童个体的感官特征出发，遵循“缺陷补偿”与“潜能开发”的原则，提供多种技术支持，完善沟通互动活动中的多模态成分，丰富沟通环境，同时提升个体感觉统合能力，促进脑瘫儿童对信息的获取与加工，帮助脑瘫儿童实现多模态沟通。此外，脑瘫儿童在沟通互动等日常社交中常会面对交往对象或其他人的排斥，造成较为沉重的心理负担，因此，应该加强脑瘫儿童的自我心理调适，家人、朋友和教师等交往伙伴需时常给予积极的鼓励，帮助营造良好的心理环境，提升其沟通与交往的意志。在研究领域，要加强多模态话语理论指导下的实证研究。多模态话语理论为解释和干预脑瘫儿童的沟通互动提供了新的研究视角，研究人员应结合脑瘫儿童个体的生理病理特征和沟通互动特点，开展有针对性的实证研究，进一步验证有效的多模态干预策略。

我想要拥抱星星王嘉辉（山东省淄博市博山区特殊教育中心学校）指导老师：宋宁宁