陈 默 中国人民大学国际文化交流学院/北京语言大学汉语国际教育研究院
张 凤 北京语言大学汉语国际教育研究院
陈 青 中国人民大学国际文化交流学院
提 要 韵律组块能力反映了言语编码和解码的能力。本文以英语和韩语母语者为被试,考察了三种韵律组块呈现方式(视觉单通道、视听双通道以及视听动三通道)对汉语歧义句加工的影响。结论如下:①韵律组块的呈现形式对汉语二语言语加工具有显著影响,视听动三通道更有助于低熟练度英语母语者的汉语歧义句加工,但会使韩语母语者花费更长的加工时间;②母语背景跟韵律组块的呈现方式具有交互作用,母语背景对韵律组块在双通道和单通道条件下的句子加工准确度具有一定影响,对双通道条件下的句子加工反应时影响最显著;③韵律组块的双通道及三通道呈现方式一定程度上均可提高低熟练度学习者汉语歧义句的加工效率。上述结论意味着,汉语二语课堂教学应该为学生提供有利于调动不同通道认知资源的韵律组块教学方式,从而达到言语加工效果的最优化。
二语学习者的口音跟韵律单元组织具有密切关系(陈默,2017;陈默、冯沫悦,2020)。说者在言语产出过程中对于韵律单元的组织就是“韵律组块”的过程。韵律组块研究对语言习得和教学研究具有非常重要的作用。说者在言语产出时要根据语义表达需要,将言语组织成恰当的节奏组块;听者在言语感知时,要根据话语组块形式进行意义理解。因此,韵律组块能力反映了言语编码和解码的能力。对于一语习得而言,儿童通过学习韵律组块与语言单位之间的对应关系,可以确定词语结合的紧密程度,从而正确理解语法或形式不完善的句子(Ito 、 Speer,2008)。对于二语学习而言,如学习者缺乏足够的二语解码技能(Schreiber,1991),就会产出与意义表达不符的韵律单元,从而导致交际障碍产生。然而,韵律组块在目前的二语教学中并未得到重视,教师关注的重点还是音段层面的教学(Lengeris,2012);关于汉语二语韵律组块的教学研究也非常少见。因此,本研究将探讨不同的韵律组块呈现方式对不同语言背景及不同熟练度学习者汉语二语句子加工的影响,从而为汉语韵律组块教学提供有益参考。
韵律组块是根据音节与音节间连接紧密程度的不同切分出的韵律结构,体现了句子词语的组合方法(Hirst,1993)。一个句子可被切分成一个或更多的韵律组块,韵律组块既表现为动态的加工过程,又表现为静态的加工结果(Jun,1993)。韵律组块与句法组块不完全同构,但会受句法结构的影响(Nespor 、Vogel,2007)。
汉语韵律组块层级分为韵律词、韵律短语和语调短语三级。汉语韵律组块边界处的声学特征主要有:无声段、边界前音节时长延长、边界前后音节音高重置(王蓓等,2004)。在韵律组块声学特征上,汉语与英语更为接近,而汉语与韩语则差距较大。就无声段来说,汉语和英语均随韵律边界等级的提高而增长(Wightman等,1992),而韩语只有语调短语后存在无声停顿(Jun,2005)。就边界前音节延长来说,汉语和英语随着韵律边界等级的提高,边界前音节延长逐渐增长(熊子瑜,2003;Kim等,2006),而韩语只在语调短语末尾存在显著的边界前延长(Jun,2005)。就音高重置来说,汉语由于声调语言的特殊性,音高与韵律层级之间的关系较为复杂;英语音高重置则随边界层级结构的提高而增大(Kim等,2006),韩语音高重置程度会受到前一个单元末尾边界调和后一个单元首音段性质的制约(Jun,2005)。
目前关于韵律组块教学的研究较少,这方面的研究基本上关注的是韵律组块教学是否可以帮助学习者提高阅读理解能力。Nishida(2017)将122名英语二语的日语母语者大学生分成三组,研究结果显示,根据切分好的短语进行朗读训练组的进步显著大于其他组别。基于韵律组块的教学方法,不仅可以帮助学习者提高书面文本阅读能力,而且还有助于学习者习得语法点。Nakamori(2009)以160名学习英语的日本中学生为研究对象,结果显示,组块形式训练组在句法理解方面的表现好于其他组。其他学者还对如何进行韵律组块教学提出了具体设想,例如Hirschfeld 和 Trouvain(2007)介绍了德语二语韵律组块的训练方法,如通过添加标点符号、多次听辨、与同伴比较和纠正以及大声朗读等方式。另外,也有学者研究重复阅读对组块能力的影响,如Herman(1985)和Miller 、Schwanenflugel(2008)发现,重复阅读是提高韵律和文本组块能力较为有效的方法。
本研究基于多媒体学习认知模型理论,考察视觉单通道、视觉听觉双通道和视觉听觉动觉三通道对言语加工的影响。Mayer、Moreno(1998)在Wittrock(1992)的生成理论和Paivio(1990)的双向编码理论基础上进行整合,提出了多媒体学习认知理论(cognitive theory of multimedia learning)。该理论主要包括三个假说:双通道假说、能力有限假说以及主动加工假说。同时Mayer还指出,有意义的学习主要经历三个过程:选择、组织和整合。双通道假说认为,人类信息加工系统由两个单独通道构成:一个是听觉/言语通道,进行听觉输入和言语信息加工;另一个是视觉/形象化通道,进行视觉输入和形象化信息的加工。能力有限假说认为,每一个通道的信息加工能力都是有限的。主动加工假说认为,有意义的学习要求学习者在利用视觉和听觉通道的同时,进行足够的认知加工。图1中,纵向来看,多媒体学习认知模型包括两层:上层代表听觉/言语加工通道;下层代表视觉/形象加工通道。横向来看,多媒体学习认知模型由四部分组成:多媒介呈现、感觉记忆、工作记忆、长时记忆。图1中箭头代表认知加工,如视觉加工、听觉加工和整合加工等。
图1 多媒体学习认知模型(转引自Mayer、Moreno,1998)
双向通道表征可激发视觉和听觉工作记忆,单一通道不具备此优势。Mousavi 等(1995)的研究结果显示,在包含声学通道的情况下,学习者的几何学能力得到了提升,但是视觉和听觉相结合的几何学混合训练方式效果最好。Mayer和Moreno(1998)发现,呈现“视觉+听觉”双通道的学习效果好于“视觉+视觉”单通道学习。Mayer 等(1999)探讨了空间邻近性和通道效应对多媒体学习的直接影响,学习者在文本和动画距离较近的时候表现出的学习效果更好。
本研究将设计视觉单通道、视觉听觉双通道和视觉听觉动觉三通道这三种韵律组块的呈现方式,来探讨多通道的韵律组块呈现方式是否可以提高汉语二语歧义句加工的准确度和速度。本研究认为,相较于单通道呈现方式,多通道的韵律组块呈现方式能够调动学习者的多项感官,提升言语加工能力。本研究考察的问题如下:①不同韵律组块通道呈现方式是否会对汉语二语歧义句加工产生影响?②在汉语二语歧义句加工过程中,韵律组块通道呈现方式是否会跟二语熟练度和母语背景产生交互作用?
本研究为“2×2×3”的三因素被试间实验设计,自变量为母语背景(韩语、英语)、熟练度(高、低)以及韵律组块呈现通道(视觉单通道、视听双通道和视听动三通道),因变量为正确率和反应时。
被试由74名汉语二语者组成。被试分为三组:①视觉组,27名被试(19女,8男),其中韩语母语者14名(高熟练度8名,低熟练度6名),英语母语者13名(高熟练度7名,低熟练度6名);②视听组,25名被试(16女,9男),其中韩语母语者13名(高熟练度8名,低熟练度5名),英语母语者12名(高熟练度7名,低熟练度5名);③视听动组,22名被试(12女,10男),其中韩语母语者12名(高熟练度7名,低熟练度5名),英语母语者10名(高熟练度5名,低熟练度5名)。英语母语者平均年龄22岁(M=22.00,SD=2.299),韩语母语者平均年龄24岁(M=24.00,SD=4.274)。所有被试均来自北京高校,受教育水平均在大学本科及以上,均为右利手,无听力和视力障碍。
关于高低熟练度的选择,HSK三级及以下为低熟练度,HSK五级及以上为高熟练度。同时,本研究进行了朗读韵律能力测评(自编)。主试要求被试以自然语速朗读两段朗读文本并使用Praat软件录音(16位单声道,44,100赫兹)。之后请三名受过汉语语音学训练的研究生对韵律边界进行标注,并对间断位置的恰当程度进行评分(Cronbach’s α= 0.907),评分采用六度量表(1=非常不恰当,6=非常恰当)。最后,将熟练度作为自变量,将间断的数量和恰当程度作为因变量进行方差分析。结果发现(见表1),高熟练度与低熟练度间存在较为显著的差异,高熟练度学习者的间断数量显著少于低熟练度学习者[F(1,73)=128.584,p< 0.001],其间断恰当程度显著高于低熟练度学习者[F(1,73)=399.957,p< 0.001]。
表1 学习者汉语韵律能力测评的描述性统计
韵律组块的通道呈现方式设计为:①视觉单通道,文本材料以斜线划分好的韵律组块形式呈现;②视觉听觉双通道,文本材料以斜线划分好的韵律组块形式呈现,同时播放相应的语音形式;③视觉听觉动觉三通道,在视觉听觉双通道基础上加入复述句子任务。
选取五类汉语结构类歧义句作为目标语料(每类10个句子,共50个):①“ N1和N2+的+O1+V+O2”类歧义句,如:“孙涛(//)和金香的同学(//)去商店”;②“adj.的+N1和N2+V+O”类歧义句,如“漂亮的老师(//)和阿姨(//)是姐妹”;③“ V+O1+的+是+O2”类歧义句,如“买(//)好房子的(//)是小乐”;④“N1+Pro+V+Mod(修饰语)”类歧义句,如“ 这个故事我(//)讲(//)不好”;⑤“ 量词+N1+的+N2+V”类歧义句,如“两个(//)饭馆的老板(//)去打球”。60个填充语料与目标句形式相同,但不存在歧义,每个句子只有一种韵律组块模式。
语料由一名经过指导且普通话水平为一级甲等的播音主持专业汉语母语者在安静教室内录制完成。朗读前,先给发音人两分钟时间熟悉文本,然后要求发音人以适中语速朗读语料。录音和语音合成均使用Praat软件。具体操作方法为:先标注目标语料和填充语料的间断时长,计算相同间断位置处的平均时长,然后将相应间断处的时长调整至平均时长。语料编辑完成后,请三名语言学专业研究生听辨并删除不自然的语料,再重新录制编辑语料。
本研究邀请20名汉语语言学专业汉语母语者参加句法难度评判(1=最难,6=最容易)。评估者间的Cronbach’s α= 0.987,内部一致性较好。之后,将句子类型作为自变量,将母语者评分作为因变量,进行单因素方差分析。结果显示(见表2)五种歧义句类型间的难度差异不显著,F(4,95)=0.856,p>0.05,这表明实验结果可规避语料难度等级的干扰。
表2 五组歧义句的难度等级评分的描述性统计
语料随机分配给被试,每位被试接触到的语料为110个(50个目标句和60个填充句)。被试需完成判断目标句与语境是否一致的语义判断任务。实验通过Eprime呈现,流程如下。①视觉组,练习阶段包括三组听辨理解任务。正式实验时,首先在屏幕中央呈现注视点“+”500ms,随后呈现指导语,被试理解后,自行按键,然后屏幕上呈现文字“现在开始实验”;200ms后,呈现文本形式,要求被试在熟悉并理解语境材料意义以后自行按键继续实验;500ms空屏后,呈现具有恰当韵律组块的文本形式;500ms空屏后,被试进行语义判断;500ms空屏后,呈现下一个实验刺激。②视听组,视听组在实验流程上跟视觉组唯一不同的是,在500ms空屏之后,呈现的是语料文本及语音形式。③视听动组,视听动组跟视觉组和视听组唯一不同的是,在500ms空屏后,向被试呈现实验材料的文本及语音形式,此时会出现一个滴声作为提示音,被试被要求用恰当语速和间断形式跟读。
本研究使用SPSS V21.0统计软件进行三因素被试间方差分析。
正确率的描述性统计如表3所示。
表3 正确率的描述性统计
三因素被试间方差分析结果显示(见图2),韵律组块的通道呈现方式主效应显著,F(2,61)=24.953,p<0.001,η2p=0.450;母语背景主效应显著,F(1,61)=8.405,p<0.01,η2p=0.121;熟练度主效应显著,F(1,61)=73.291,p<0 .001,η2p=0.546。母语背景与呈现通道之间的交互作用显 著,F(2,61)=5.257,p<0.01,η2p=0.147;熟练度与呈现通道之间的交互作用显著,F(2,61)=3.753,p< 0.05,η2p=0.110;母语背景与熟练度之间的交互作用不显著,F(1,61)=0.023,p>0.05。韵律组块呈现通道与母语背景、熟练度之间的三重交互作用显著,F(2,61)=3.377,p<0.05,η2p=0.100。
图2 韵律组块不同呈现方式对正确率的影响
关于韵律组块呈现方式的简单简单效应检验结果显示,①从英语母语者来看,通道呈现方式对低熟练度学习者影响显著,F(2,61)=10.538,p< 0.01,η2p=0.257,视听动组和视听组的正确率显著高于视觉组(p< 0.001),而视听动组和视听组间无显著差异;通道呈现方式对高熟练度学习者影响不显著。②从韩语母语者来看,通道呈现方式对高低熟练度学习者的正确率都具有显著影响,F(2,61)=7.841,p< 0.01,η2p=0.205;F(2,61)=19.261,p< 0.001,η2p=0.387。低熟练度学习者表现为视听动组正确率显著高于视觉组(p< 0.01),其他组间均无显著差异。高熟练度学习者表现为视听动组正确率显著高于视听组和视觉组(p< 0.01;p< 0.001),视听组正确率显著高于视觉组(p<0.05)。
关于母语背景的简单简单效应检验结果显示,①从低熟练度学习者来看,母语背景只对视听组影响显著,F(1,61)=10.139,p<0 .01,η2p=0.143,英语母语者的正确率显著高于韩语母语者;母语背景对其他两组的正确率影响均不显著。②从高熟练度学习者来看,母语背景只对视觉组影响显著,F(1,61)=14.434,p<0 .001,η2p=0.191,英语母语者的正确率显著高于韩语母语者;母语背景对其他两组的正确率影响均不显著。
关于熟练度的简单简单效应检验结果显示,①从英语母语者来看,熟练度只对视听组影响不显著,F(1,61)=0.520,p> 0.05。熟 练度 对视 觉组和视听动组的正确率均影响显著,F(1,61)=35.315,p< 0.001,η2p=0.367;F(1,61)=15.639,p< 0.001,η2p=0.204。高熟练度学习者的正确率显著高于低熟练度学习者。②从韩语母语者来看,熟练度对视觉组、视听组和视听动组的正确率均影响 显 著,F(1,61)=9.379,p< 0.01,η2p=0.133;F(1,61)=10.272,p<0 .01,η2p=0.144;F(1,61)=17.376,p<0 .001,η2p=0.222。高熟练度学习者的正确率显著高于低熟练度学习者。
反应时的描述性统计如表4所示。
表4 反应时的描述性统计
三因素被试间方差分析结果显示(见图3),韵律组块呈现方式的主效应显著,F(2,61)=6.370,p< 0.01,η2p=0.173;母语背景主效应显著,F(1,61)=8.353,p< 0.01,η2p=0.120;熟练度 主 效 应 显 著,F(1,61)= 64.330,p< 0.001,η2p=0.513。母语背景与呈现通道之间的交互作用显著,F(2,61)=7.989,p=0.001,η2p=0.208;熟练度与呈现通道之间的交互作用显著,F(2,61)=6.337,p< 0.01,η2p=0.172;母语背景与熟练度之间的交互作用不显著,F(1,61)=0.552,p >0.05,η2p=0.009。韵律组块呈现通道与母语背景、熟练度之间的三重交互作用显著,F(2,61)=4.701,p< 0.05,η2p=0.134。
图3 韵律组块不同呈现方式对反应时的影响
关于韵律组块呈现方式的简单简单效应检验结果显示,①从英语母语者来看,通道呈现方式对低熟练度学习者影响显著,F(2,61)=4.056,p<0.05,η2p=0.117,视听动组的反应时显著短于视觉组(p< 0.05),而其他组间无显著差异;通道呈现方式对高熟练度学习者影响不显著。②从韩语母语者来看,通道呈现方式对高低熟练度学习者的反应时都具有显著影响,F(2,61)=13.125,p< 0.001,η2p=0.301;F(2,61)=5.513,p< 0.01,η2p=0.153。低熟练度学习者表现为视觉组和视听动组反应时显著长于视听组(ps< 0.001),视觉组和视听动组的反应时无显著差异。高熟练度学习者表现为视听动组反应时显著长于视听组和视觉组(ps< 0.05),视觉组和视听组的反应时无显著差异。
对于母语背景的简单简单效应检验结果显示,①从低熟练度学习者来看,母语背景只对视觉组的反应时影响不显著,对视听组和视听动组的反应时影响显著,F(1,61)=18.780,p< 0.001,η2p=0.235;F(1,61)=4.257,p< 0.05,η2p=0.065。视听组中韩语母语者的反应时短于英语母语者,而视听动组中,英语母语者的反应时短于韩语母语者。②从高熟练度学习者来看,母语背景只对视听动组的反应时影响不显著,对视觉和视听组影响显著,F(1,61)=5.245,p< 0.05,η2p=0.079;F(1,61)=4.132,p< 0.05,η2p=0.063。英语母语者的反应时显著长于韩语母语者。
对于熟练度的简单简单效应检验结果显示,①从韩语母语者来看,熟练度只对视听组的反应时影响不显著,对视觉组和视听动组的反应时影响显著,F(1,61)=39.962,p< 0.001,η2p=0.396;F(1,61)=10.539,p< 0.01,η2p=0.147。高熟练度学习者的反应时短于低熟练度学习者。②从英语母语者来看,熟练度只对视听动组的反应时影响不显著,对视觉和视听组影响显著,F(1,61)=20.487,p< 0.001,η2p=0.251;F(1,61)=17.513,p< 0.001,η2p=0.223。高熟练度学习者的反应时短于低熟练度学习者。
韵律组块的通道呈现方式的确会影响汉语二语言语加工,视觉、听觉和动觉通道相结合更有助于歧义句理解。学习者在三通道条件下的汉语句子准确度显著高于视觉单通道条件的原因是,重复朗读是提高韵律和文本组块能力较为有效的方法,学习者的阅读速度、词语识别准确度和理解能力也会有所提高(陈默、周庆,2016;Herman,1985;Miller、Schwanenflugel,2008)。因此,在视听双通道基础上加入句子复述任务,能够调动多元工作记忆,有助于对汉语歧义句的准确理解。另外,由于视听结合学习方式比单一视觉信息呈现方式有利于二语记忆和学习(Dubois 、Vial,2000),因此低熟练度学习者在视听双通道条件下的汉语歧义句理解准确度跟视听动三通道无显著差异。值得注意的是,跟视听组相比较,视听动结合的优势在高熟练度韩语母语者的汉语歧义句加工上体现得更明显,而韵律组块通道呈现方式对高熟练度英语母语者汉语歧义句加工的影响不显著。这意味着学习者的母语跟汉语韵律的相似程度一定程度上影响着韵律组块呈现方式跟二语歧义句加工间的交互关系。相较于韩语而言,英语跟汉语韵律的相似度更高(王蓓等,2004;Jun,2005;Wightman等,1992),高熟练度英语母语者利用韵律组块信息加工汉语句子的能力也显著高于高熟练度韩语母语者。正是由于上述原因导致本研究的高熟练度英语母语者在三组呈现条件下的正确率都比较高。
有趣的是,韵律组块的通道呈现方式对英语和韩语母语者汉语歧义句加工速度的影响是不同的:低熟练度英语母语者视听动组的反应时显著短于视觉组,低熟练度韩语母语者视觉组和视听动组的反应时显著长于视听组,高熟练度韩语母语者视听动组反应时显著长于视听组和视觉组。上述结果表明,相较于单通道和双通道呈现方式而言,视听动结合三通道呈现方式虽更有助于加快低熟练度英语母语者加工汉语歧义句的速度,但韩语母语者为达到一定准确度,需更长时间加工三通道呈现方式下的汉语歧义句。这也许是因为,跟英语相比较,在物理声学特征上,韩语跟汉语差异更大。因此,韩语母语者在涉及有动觉参与的句子加工时,需要更长时间产出韵律组块形式恰当的句子。
母语背景跟韵律组块的通道呈现方式具有交互作用,这种交互作用对汉语歧义句加工准确度和反应时的影响是不同的。从准确度来看,视听动组汉语歧义句加工准确度无跨语言差异,但低熟练度视听组及高熟练度视觉组表现为英语母语者的正确率显著高于韩语母语者。这表明,视听动结合三通道呈现方式可以帮助韩语母语者抵消母语干扰,提高加工准确度,从而减少跨语言影响。视听双通道提供的韵律组块信息较多,有助于改善高熟练度学习者汉语歧义句加工的准确度,学习者会自动建立视觉形象信息与之前所学语言编码间的联系(Farias等,2011),使得跨语言影响不太显著。由于低熟练度学习者利用汉语韵律组块加工汉语歧义句的能力比较低,视觉组单通道提供的认知资源最少,因此导致所有学习者均产生句子理解困难,这也会使得跨语言影响不够显著。从反应时来看,视听组反应时的跨语言差异最显著,视觉组和视听动组反应时的跨语言差异较小。这可能是因为,视觉组提供的韵律组块信息太少,导致低熟练度学习者的反应时都较长;而视听动组提供的韵律组块信息比较丰富,高熟练度学习者句子加工反应时都比较短。令人困惑的是,一些现象跟研究预期不太相符。例如,视听组和高熟练度视觉组英语母语者要达到较高准确率,必须付出一定的时间成本,因此反应时显著长于韩语母语者;低熟练度视听动组英语母语者的反应时短于韩语母语者,但准确率无显著差异。这可能意味着母语背景跟韵律组块的通道呈现方式对汉语歧义句加工准确度和反应时的交互影响是复杂的,现有研究还不能给出合理解释,应通过更多实验来加以验证。
值得关注的是,视听双通道及视听动三通道均可改善低熟练度学习者的正确率和反应时,这证明相较于单通道呈现方式,多通道韵律组块呈现方式能够调动多项感官,提高某些低熟练度学习者的言语加工能力,甚至可使认知加工能力接近于高熟练度水平。上述结果跟Mayer 和 Moreno(1998)、Mayer等(1999)、Mousavi 等(1995)以及陈默和周庆(2016)的研究结果有相似之处,即视听相结合的混合训练也会产生较好的学习效果。
通过研究韵律组块呈现通道对英语和韩语母语者汉语歧义句加工的影响,研究得出如下结论:①韵律组块的通道呈现方式对汉语二语歧义句加工具有显著影响,视听动通道相结合更有助于句子的理解;②母语背景跟韵律组块通道呈现方式具有交互作用,母语背景对视听双通道和视觉单通道的汉语歧义句加工准确度有一定影响,母语背景对视听组反应时的影响最显著;③视听双通道以及视听动三通道均可改善低熟练度学习者的汉语二语歧义句加工的正确率和反应时。
本研究认为,学习者在进行二语歧义句加工时,主要通过听觉和视觉通道进行听觉输入和言语信息加工及视觉输入和形象化信息加工。然而,单个通道的信息加工能力是有限的,因此需要多通道整合来调配不同通道的认知资源。在教学中不仅要向学习者提供视觉和听觉信息,还必须让学习者调动动觉器官,从而降低言语加工认知负担。多感官刺激可以使学习者开启多元工作记忆,进行充分认知加工,从而对学习材料进行有效注意,构建良好的心理表征,与已有知识进行更好联结与整合。如果教师可以将句子韵律组块方式以物理表征形式呈现给学习者时,就形成了视觉和听觉的感知表征;当学习者在视听双通道基础上进行口头产出时,就会引发视觉、听觉和动觉的工作记忆表征,从而会更有效地关注文本材料,构建良好的深层记忆表征。对于汉语二语课堂教学而言,教师应重视韵律组块教学,在为学生提供恰当韵律组块文本形式的同时,注意视觉、听觉和动觉的结合,提供有利于调动不同加工通道的组块教学方式,从而达到言语加工效果的最优化。