万 鹏,胡金生,李松泽,李 琪,于腾旭
辽宁师范大学心理学院(中国大连 116029)
京剧的抑扬顿挫、歌曲的婉转悠扬,生活中处处能够感受到口语的韵律美。韵律用于描述语音的超音段特征,可以表述为“旋律”或“节奏”,通过持续时间、振幅和频率等声学特征的变化起到传递交际功能的作用[1]。借助韵律信息感知口语内容是人类言语理解的重要方面。借助韵律信息中的音调、语调变化,人们可以有效理解口语的语义内容和说话者的情绪状态[2],这有助于把握交际意图并做出适当回应。
尽管很复杂,正常发展(typically developing, TD)儿童很早就能理解韵律信息,通过韵律线索判断对方的交际意图,进行正常的口语交流[3],但孤独症(autism)儿童却不能正确把握韵律信息的变化,存在提取语义和情感信息的困难,从而影响正常的口语交际[4-5]。因此,致力于理解孤独症儿童的言语加工机制一直被视为孤独症领域的核心议题。鉴于韵律信息的重要作用,本文对孤独症儿童韵律信息加工的发展性研究和影响因素进行分析。首先,回顾孤独症儿童韵律信息加工的发展性研究。随后,主要论述语法韵律、语用韵律、情感韵律、文化背景等因素对韵律信息加工的影响。最后,探讨孤独症儿童韵律信息加工的神经机制,并提出后续的研究方向,以期提供借鉴启发。
孤独症是一种影响社交和互动的终身发育障碍,特征包括社会交流障碍和限制性兴趣或重复行为,症状在早期发育史就有体现[6]。按照严重程度不同的谱系分级,范围从伴有学习困难的严重孤独症到非语言能力正常但有学龄前期语言延迟的高功能孤独症(high-functioning autism, HFA)。HFA儿童习惯于以自我为中心的对话方式且语用能力较差,通常他们的智力水平正常,没有语言障碍,但在语言使用方面有韵律异常的情况[7]。TD儿童韵律信息加工经验随着年龄增长逐步积累,韵律的敏感性不断提高。与之相对,孤独症儿童的韵律发展并没有遵循正常的轨迹。1岁的高危孤独症婴儿存在辨别视听刺激的加工延迟[8],2~3岁的孤独症幼儿表现出韵律信息加工的困难[9-10]。在5~10岁的发展趋势不能像TD儿童那样从依赖语义信息转向基于韵律信息的理解[11]。
对言语韵律的理解加工首先涉及对即时刺激的注意转移和视听信号的交互感知。对13名9~12岁孤独症儿童视听刺激的整合研究[12]发现,在纯视觉刺激,孤独症儿童表现与TD儿童相同;而视听整合条件下,其反应速度明显慢于TD儿童。反映出孤独症儿童在视听信息的注意转换以及同时将注意资源分配给听觉和视觉信息方面存在困难,这会影响对视觉刺激、语音信息的整合加工,干扰对即时口语信号的感知加工。
对平均年龄10.7岁的孤独症儿童韵律缺陷的评估[13]发现,他们对天然元音、合成元音和合成辅音的类别感知得分较低,语音分辨和识别之间的连贯性较弱,这可能会加重韵律和语言感知加工的异常模式。在以口语词汇为启动词探讨视觉与听觉通道对语言理解影响的研究中,研究者[14]在18名平均年龄11.1岁的孤独症儿童中没有发现语义启动效应。这种低下的词汇通达情况为跨模态的深质次加工不足提供了实验证据。因为现实的社交中往往需要根据视听刺激的即时变化对韵律线索进行迅速分析和整合,以尽快理解对方的话语意图。进一步,当视觉面部表情与听觉韵律信息一致时,TD儿童和22名8~12岁孤独症儿童都能准确识别出情绪;当面部表情与听觉韵律信息不一致时,TD儿童能够依赖变化的听觉韵律提示做出判断,而孤独症儿童更多地依赖面部表情[15]。这反映出孤独症儿童习惯优先加工视觉刺激而不是韵律信息,没有表现出韵律偏好。此外,对词汇、句子的韵律信息识别研究[11]发现,6~11岁的孤独症儿童容易从句子中识别韵律信息,能更精确地感知嵌入韵律线索的句子,这表明韵律线索为理解句子提供了更有用的基础;当语境与韵律不符时,平均年龄为13.4岁的孤独症儿童表现出语境偏见,即倾向于依靠语境来推断说话者的意图[16]。
综上所述,孤独症儿童表现出韵律信息的感知和加工缺陷,这种韵律信息加工缺陷不仅在简单的词汇、句子分析测试中得到证实,在包含视、听刺激的较复杂条件下也得到证实。视、听等多种感官线索对理解说话者的语义内容、判断情绪状态是至关重要的;孤独症儿童的韵律感知和加工缺陷会影响对这些视、听线索的准确理解,增加口语交流的障碍。
近年来,对孤独症儿童韵律信息的探索越来越多,研究方法也更为综合成熟,但韵律信息加工的研究中依然受到多种因素的制约,例如语法韵律(grammatical prosody)、语用韵律(pragmatic prosody)、情感韵律(affective prosody)、注意分配及动机等因素[17-19]。在此,重点对影响韵律信息加工的语法韵律、语用韵律、情感韵律及跨文化研究等进行总结。
语法韵律包含音高和语调、停顿位置、词汇重音等,是从深层语句结构转换而来、服务外在口语结构的超音段信息线索[20]。孤独症儿童语法韵律的理解异常主要表现在疑问句方面。Filipe等[21]发现,英语孤独症儿童的语调模式不符合正常的韵律规范。汉语孤独症儿童存有加工疑问句的困难,显示出语法韵律整合、转换能力的不足[22]。
Olejarczuk等[23]进行了一项评价孤独症儿童发音的韵律判断任务,结果发现,语调线索条件下受试者较难区分出发音样本的不同;而节奏线索条件、词汇信息条件下,受试者都能够有效区分孤独症儿童与正常儿童的发音差异,这表明节奏线索的声学属性缺陷对孤独症儿童韵律异常的影响。在语法韵律理解的Turn-end任务、情感、组块方面的测试发现,孤独症组在测试任务的每一个方面都显示出受损[24];对法语孤独症儿童“Wh-”疑问句理解的评估[25]发现,即使在简单的语法韵律上,孤独症儿童的得分也较低,体现出对基本语法线索的理解困难,存有理解语法韵律的能力不足,表明孤独症儿童的语法韵律发展落后于TD儿童。
语用韵律的主要作用是表明说话者的意图或陈述的信息层次,通过特定情境传递语言的使用功能[26]。在没有特别强调的情况下,一句话语的重点是“宽泛”的,如中性话语“我想要一些袜子”。当一个词汇或音节特别重要时,重音放在词/音节上,话语重点被描述为狭窄的焦点,指示会话中的语用信息,例如在“我要蓝色的袜子”中,“蓝”是一个重要的重音标识,突出其颜色属性[27]。
10岁孤独症儿童对语用韵律加工不敏感,对单一语义线索整合水平不足[28],当韵律线索不一致时,更不能有效应对韵律线索变化造成的干扰,具有较差的语用韵律线索分析能力。孤独症儿童存有语用韵律的理解缺陷,造成这种情况的原因是孤独症儿童有独立于韵律之外的语用功能损伤[29];也可能是孤独症儿童有较完整的韵律感知结构,只有韵律信息与另一个受损过程(如语用学)相互作用时,才会表现出缺陷。
情感韵律是指说话者以语音频率、停顿位置和音高的属性变化来表明情绪,并通过语音传递说话者的情感状态[30]。情感韵律的功能更具有整体性,在感情判断中起着重要的作用。TD儿童从小就可以自动掌握对情感韵律的识别和理解,3~4岁就能够推断出说话者的情绪状态[17]。孤独症儿童由于存在情感韵律的理解缺陷,不能对情感信号进行准确的解码加工,从而制约了他们的情感韵律理解[31]。
在情感韵律识别方面,孤独症儿童识别高兴、悲伤、愤怒、害怕4种基本情绪的速度较慢且不准确[19],很难区分惊讶和愤怒的面部表情[5,32],表现出情绪认知能力的不足。对5~9岁孤独症儿童声音、面部表情、身体表情的跨文化研究[33]发现,其对基本情绪、复杂情绪的识别缺陷表现出跨文化的一致性,表现出理解他人情绪能力的发展滞后。在情感韵律理解方面,Wang等[11]的研究结果显示,HFA儿童理解快乐韵律方面明显差于TD儿童,在理解悲伤和愤怒韵律方面没有差异。相关分析显示,快乐韵律识别和语用功能之间有积极的联系,为语句情感判断提供了更有用的基础。孤独症儿童识别基本情绪的速度慢,理解情绪、情感的能力比较弱,这无疑严重影响了同伴之间的交往,造成社会适应的困难。
在现实生活中,由于语言文字和文化环境的变化,相同的口语内容有许多不同的解释,韵律信息对即时意义的准确理解起到重要作用。在深层次韵律信息加工中,研究者对借助韵律线索理解隐喻、反讽语句有很大的研究兴趣。研究者[34]对15名7岁5个月的汉语HFA儿童借助韵律信息理解隐喻、转喻情况的观察发现,他们能够检索2个隐喻项之间的相似性但不如TD同伴,并且转喻理解能力比隐喻理解能力低。同样,13名8岁3个月~12岁9个月的粤语孤独症儿童没有依赖韵律信息和句末助词(sentence-final particle,SFP)的线索提示,不能通过正确推断说话者的意图完成对反讽的理解[35]。由于韵律线索(语调)的相对有限,粤语更多借助SFP词法音调边界作用来表达情绪和理解意图。而韵律线索特别是语调是在理解英语儿童的讽刺中起重要作用,18名平均年龄11.9岁的英语孤独症儿童不能利用现有语境的韵律线索(语调)完成反讽理解[36]。20名平均年龄9.9岁的孤独症儿童依托语音和情感不一致短语判断说话者意图的得分情况明显低于TD儿童[37]。当语境情绪和面部表情图片不匹配时,15名平均年龄9.6岁的韩语HFA儿童很难根据语境来解释句子和习语[38]。这可以解释为何当进行高水平语言加工时,HFA儿童不能通过深层次加工机制克服语境信息的不匹配,造成得分准确性降低和语用理解方面的困难。
综上,借助韵律信息理解说话者的口语内容及情感、意图是一个复杂的过程,需要适应不断变化的即时口语环境。对中英正常受试者情感韵律识别的研究也发现,情绪韵律的识别既有跨文化一致性,中国人和英国人的识别模式有相当大的相似性;也存在群内优势效应,当情感是由本文化群体的成员表达时,可以更准确地判断情感[39]。这些支持了“方言理论”假设,揭示了声音情绪识别的普遍原则和文化特有原则的证据[40]。对孤独症群体来说,其韵律信息加工存有跨文化一致性基础,也有各自语言背景的特点。在不同语言系统下,孤独症儿童都表现出韵律信息的语用加工缺陷,可能的原因是语用障碍和执行功能差是孤独症的共同特征,而语用能力与执行功能评分相关。孤独症儿童在整体执行功能方面表现出语用困难和缺陷,通过执行功能对语用情况有显著的间接影响,这表明执行功能缺陷会导致孤独症儿童语用能力的下降[41]。而各语言体系韵律形式、词汇体系的具体语用表达习惯和句法结构差异,使得各语言系统下孤独症儿童韵律加工缺陷的表现形式有所不同。
孤独症儿童韵律信息加工还受到刺激背景条件、异常注意力、动机状态等多因素的影响。le Sourn-Bissaoui等[42]发现,当情绪韵律是唯一线索而没有任何情境的情况下,孤独症儿童的表现易于控制。然而,当韵律被嵌入背景信息时,孤独症组识别情绪的得分低于TD组。Ploog等[43]考察了5岁孤独症儿童对不熟悉语言的韵律理解情况,发现虽然需要更多的学习和训练,但他们在理解韵律内容上并非真正缺陷,异常的是注意力分配方式。同样,其他研究[12]也证实了韵律理解中的异常注意,认为这是导致孤独症儿童不能对韵律进行有效加工的原因。内在动机也可以影响韵律信息加工情况,Kahana-Kalman等[44]发现,相对于匹配陌生声音,4岁孤独症儿童能更好地识别人脸和母亲声音。
事件相关电位(event-related potential, ERP)能够提供数十毫秒内的详细时间分辨率,从而在揭示韵律信息的视觉、听觉刺激时间进程加工方面具有优势[4],探索初级感知加工和高阶语言技能之间的联系。许多研究者采用该技术来研究孤独症儿童韵律信息加工的时间进程[45-47]。
孤独症儿童韵律信息感觉加工的早期存在加工的时间延迟。在70~90 ms的听觉P1成分中,孤独症儿童脑电波幅变化与TD儿童相似,只是潜伏期更长[4]。当听到单个音节后,84~196 ms的N1反应的幅度减小;对平均年龄为6.9岁的孤独症儿童辅音区分实验的结果也显示早期听觉N1成分幅度减小[48-49],大脑对语音刺激的感知速度慢。孤独症儿童也表现出对陌生声音刺激的韵律理解和编码加工的困难,Hudac等[46]发现,孤独症儿童对异常声调刺激表现出理解辨别偏差,ERP成分早期指标N1存在加工延迟情况,体现出对声调理解的偏差与神经反应的异常。听觉刺激输入和韵律信息加工的匹配会引发失匹配负波(mismatch negative, MMN),异常的MMN反映了听觉早期神经系统激活异常的加工结果。研究结果支持孤独症儿童听觉MMN潜伏期明显延长,表明他们对MMN反应的低敏感性,其MMN波幅异常主要发生于左前额叶皮质区域[47]。这种听觉信息自动加工方面存在缺陷,不仅制约对韵律信息的理解,对社会交往和语用发展也会有负面影响。
ERP的长潜伏期(内源性)反应更高级别的认知加工,孤独症儿童高级语义加工方面的缺陷更为突出。Riva等[8]发现,1岁的高危孤独症婴儿存在对听觉刺激350~620 ms的失匹配反应(mismatch response, MMR)潜伏期延迟,延迟MMR可能提示韵律理解所必需的听觉加工技能的神经功能障碍。使用图片-词汇匹配范式,研究者[4]发现,当视听刺激呈现时间在300~500 ms时,语音信息诱发了更小的正慢波(positive slow wave, PSW)成分,体现出孤独症儿童对复杂语音刺激的理解加工的异常。进一步对涉及注意力分配250~350 ms的P300成分分析发现,孤独症儿童对声音韵律P3a的加工延迟,P3b波幅幅度衰减[50]。延迟的P3a加工则表明自上而下注意力定向系统分配加工水平的低下[51]。
上述结果体现出自下而上(早期感官)加工异常制约着后续自上而下(注意力)加工情况,波幅减少的P300成分显示出即时编码信息能力不足和选择性注意力缺陷,不能对信息进行整合,导致加工时间进程的延迟,严重阻碍韵律理解的高级信息加工。进一步,研究者发现孤独症儿童没有显示出350~800 ms词汇-语义整合的N400效应[52]。他们不能对同时出现的韵律和图片信息进行语义整合,即只能完成简单的感知识别,而不能胜任复杂的信息整合。这反映出孤独症儿童习惯关注局部孤立信息的感知加工,而忽视了对整体信息的有效把握。
异常的脑区激活可能是孤独症儿童韵律信息加工损伤的神经基础。Samson等[53]发现,当涉及复杂韵律加工时,孤独症儿童表现出高级皮质活动减弱以及初级皮质激活的增加。这意味着他们更多地依赖于初级皮质活动,可能的原因是习惯于简单、低水平的语音信息加工。使用声音刺激材料的研究也发现了孤独症儿童P100成分的异常偏侧化[54]。研究者认为,这种异常的韵律理解加工体现出异常的脑区激活模式,即海马、额叶和顶叶、胼胝体等不同皮质区域的低连接性[48],双侧脑岛的高连接性[55]。
在涉及深层次反讽语境的理解时,孤独症儿童在右侧额下回(right inferior frontal gyrus, rIFG)、双侧颞区(temporal region)激活显著高于TD儿童。孤独症组的激活增加区域属于TD组所涉及的脑区网络,这可能反映了解释话语意图需要付出更多的加工[36,38]。这些结果证实了与社会相关的线索时,孤独症儿童很难理解他人的交流意图,他们的这些显著神经激活特征造成神经网络沟通联系的紊乱,增加了信息加工的神经激活成本,进而影响高级认知的效率。
此外,孤独症儿童还存在神经网络耦合功能低下的情况。Gebauer等[56]发现,基本与复杂情绪韵律加工网络包括了颞上沟(superior temporal sulcus, STS)和额下回(inferior frontal gyrus, IFG)、杏仁核的功能耦合,皮质区域之间的较高连通性可以促进听觉加工中的情绪检测,从而提高情感韵律理解的准确度。Rosenblau等[57]对孤独症个体的情感韵律加工的研究发现,STS、前扣带皮质(anterior cingulate cortex, ACC)和杏仁核之间的功能连接性降低,双侧颞部激活活动减少。这些区域已广泛涉及情感韵律的听觉加工,揭示了异常情感韵律和神经加工之间的关系;反映出孤独症儿童在进行基本和复杂情绪加工时激活更广泛的皮质加工网络,对于情感的明确评估以及相关语义信息加工的能力不足。Yau等[58]使用脑磁图检查孤独症儿童的语言加工情况,发现在200~400 ms“高阶”时间窗口与孤独症得分低相关的大脑反应的非典型性,这可能反映出一个不成熟的听觉加工系统,从而阻碍这类群体韵律理解和语义加工的深层次发展。
以上研究对孤独症儿童韵律信息加工进行了探索,分析总结了韵律理解的发展性研究和主要影响因素,揭示出深层次的神经激活模式缺陷,为更好地分析孤独症儿童加工韵律信息提供了借鉴。未来研究,有以下几个值得考虑的方向。
第一,更加关注孤独症儿童韵律信息加工与言语发展的相互关系。异常的韵律信息加工情况是孤独症谱系障碍的突出特征,往往造成言语发展延迟。对5~13岁的学龄前期和学龄期HFA儿童的发音测验发现,12%的HFA儿童存在延迟的语音模式[59]。造成这些韵律理解异常究竟是否能推测自己或他人不同的心理状况,抑或是异常的注意模式,这些仍然是悬而未决的问题,需要更准确的早期诊断指标加以解决。进一步的研究可以测试语音与非言语刺激,评估重音频率和类型、更高级别听觉信息的加工(韵律、语义),以及在复杂听觉环境中理解发音(背景噪音)和自上而下听觉加工的影响(注意能力)。
第二,要探索声调、非声调语言的韵律线索学习、加工的差异过程。当前对孤独症儿童韵律信息的研究多集中在非声调语言(英语、法语、德语等),来自声调语言孤独症韵律加工的研究比较少。声调语言中,上升或下降的声调改变对区分词义起到了独特的作用,因为它在音节水平就能够形成韵律差异。研究结果[60]显示,汉语HFA儿童对语调的识别和理解水平都很差,这表明语音经验可能无法补偿孤独症儿童语调感知的缺陷。对粤语受试者的研究结果[61]支持了孤独症个体异常语调的普遍性。孤独症韵律信息跨文化研究中的普遍性和差异性备受重视,而且会继续下去。进一步的研究可以确定这些不同的韵律线索是如何被学习的,根据这些共性和个性针对性制定培训和干预计划方案。
第三,关注不同类型的情绪韵律加工情况。由于语言交际的困难,孤独症儿童往往会面临更多的负性生活事件(如被欺负或指责),这会导致悲伤、愤怒等消极情绪韵律的产生。随着年龄的增长孤独症儿童会遇到更多视听刺激的组合。面对这些复杂的听觉和视觉信息,孤独症儿童的情绪韵律理解和言语发展会产生变化,可以综合使用面部表情和听觉加工,探讨孤独症儿童对视听信息整合条件的韵律理解的加工分析。