声调在汉语音节感知中的作用*

赵 荣 王小娟 杨剑峰

(陕西师范大学心理学院, 西安 710062)

1 引言

口语词汇识别是认知科学, 尤其是心理语言学研究的重要问题。基于大量的实验证据, 研究者提出了不同的认知理论模型(Marslen-Wilson & Tyler,1980; McClelland & Elman, 1986)和神经生理模型(Hickok, Houde, & Rong, 2011; Hickok & Poeppel,2007)。这些模型大都基于英语等非声调语言的研究(Malins & Joanisse, 2012), 而口语词汇不仅包含元音、辅音等音段信息, 还包含重读、声调、语调等超音段信息, 合理的口语词汇识别模型需要考虑两种信息共同作用的机制(Schulze, Zysset, Mueller, Friederici,& Koelsch, 2011)。因此, 对声调等超音段信息加工机制的研究日益受到研究者的广泛关注(详见综述Gandour, 2006; Jongman, Wang, Moore, & Sereno,2006)。

音节感知是口语词汇识别的早期阶段, 是从连续语音的声学线索中检测和区分出音节及其成分单元的过程。汉语音节感知需要同时觉察出结合在一起的音段(声母、韵母)和超音段信息(声调), 揭示声调在音节感知中的作用能有效探讨音段与超音段信息的相互作用机制。

汉语音节由声母、韵母和声调三部分构成, 声母和韵母属于音段信息(即构成音节的元音、辅音等音位信息), 而声调属于超音段信息, 附着在音段信息之上。研究者对声调在心理词典中的表征机制(Malins & Joanisse, 2012; Zhou, Qu, Shu, Gareth,& Marslen-Wilson, 2004)、儿童声调知觉的发展(Liu,Chen, & Tsao, 2014; Meng et al., 2005)以及声调感知加工的大脑神经机制(Kung, Chwilla, & Schriefers,2014; Luo et al., 2006)等问题都进行了初步探讨。在汉语音节感知的研究中, 杨玉芳(1989)以及杨玉芳和金凌娟(1988)很早就探讨了汉语声调的知觉机制。但是, 大部分研究致力于探讨声调的范畴知觉及其影响因素(席洁, 姜薇, 张林军, 舒华, 2009;王韫佳, 李美京, 2010), 如郑秋晨(2014)的研究发现, 元音的内在音高会影响声调范畴感知(T1到T2)的边界位置。然而, 声调与音段信息在音节感知中的共同作用还没有得到深入地探讨, 在行为与认知神经层面都缺乏相应的实验证据。

汉语音节感知的研究发现, 声调加工具有不同于声母和韵母的认知机制。Meng等人(2005)对比了阅读障碍儿童与正常儿童在加工汉语声调、声母与韵母时的事件相关电位(Event Related Potential, ERP)。虽然他们的研究没有直接对比声调与声母、韵母的加工区别, 但从正常儿童的脑电数据可以看出, 与标准刺激相比, 声母和韵母偏差刺激都在250 ms之后诱发了较大的负波, 而声调偏差刺激并没有出现此现象, 说明声调感知可能具有与声母、韵母不同的机制。但是, Lee等人(2012)在探讨学前儿童(4～6岁)感知音段和超音段信息时发现, 声调和韵母偏差刺激都诱发了与成人相似的失匹配负波(Mismatch Negativity, MMN), 而声母偏差刺激诱发了失匹配的正向反应(Positive Mismatch Response, P-MMR)。Tong等人(2014)在对香港二年级小学生的研究中得到了相似的结果, 与标准刺激相比, 声调改变的偏差刺激诱发了MMN, 而声母变化的偏差刺激诱发了P-MMR。上述发现是基于不同年龄段的儿童知觉研究, 声调与音段信息感知能力的发展不均衡可能成为影响结果的因素。在对成人的语音感知研究中, Li等人(2010)扫描被试在检测声母、韵母和声调变化时的大脑活动, 让被试对3个音节构成的序列和随后出现的探测音节进行匹配, 结果发现, 与音段信息相比, 声调加工具有独特的大脑神经回路,更多的激活了右侧额下回和顶下回区域, 从而表明了声调与音段信息在汉语音节感知中的不同作用机制。

由于汉语声调具有区别于非声调语言的独特性, 口语词汇识别的研究者更多关注声调在词汇语义通达中的作用, 结果也发现声调与音段信息在词汇识别的作用不同。如Gandour等人(2003)要求被试判断连续呈现的第三个音节与第一个音节的声母、韵母和声调是否相同, 结果发现被试在判断两个音节的声调不同和韵母不同条件下的反应时间没有差异, 而判断声母不同的反应时最短。虽然基于单字词语音违反(Zhao, Guo, Zhou, & Shu, 2011)和句子尾音节违反的实验(Brown-Schmidt & Canseco-Gonzalez, 2004)发现, 声调、声母与韵母违反诱发的N400成分之间没有差异。但是, 声调在词汇语义通达中仍然可能具有与音段信息不同的作用机制。如有研究考察被试在听到成语的第四个音节时出现语音违反时的脑电活动, 结果发现韵母违反诱发了N400反应, 而声调违反诱发了晚期正成分, 表明声调能影响到更晚期的加工成分(Hu, Gao, Ma, & Yao,2012)。使用诗歌作为实验材料的研究得到了类似的结果, 并认为在汉语口语词汇加工中, 声调违反引起了对语义加工的再分析(Li, Wang, & Yang, 2014)。

声调与音段信息的不同作用还得到了汉语词汇产生研究证据的支持。有研究使用内隐启动的实验范式, 在一系列实验中发现音节(声调不同)对汉语双字词具有启动效应, 而单独的声调(音节不同)并没有内隐启动效应, 进而认为汉语音节是词汇产出的计划单元, 而声调更多是韵律结构的组成部分(Chen, Chen, & Dell, 2002)。研究发现在内隐图片命名和语义分类任务中, 行为数据和N200脑电成分都表明口语产生中声母信息的获得要早于韵母和声调, 进一步的溯源分析则发现声母、韵母和声调具有相对分离的脑区活动(Zhang & Damian, 2009;Zhang & Zhu, 2011)。来自脑损伤病人的研究(Liang& van Heuven, 2004)发现, 左半球损伤病人的元音产出几乎没有受影响, 而在声调产出任务上表现受损, 表明了声调与音段信息在口语产出中的不同作用来源于脑机制的差异。也就是说, 声调和音段信息在口语词汇产出中具有不同的作用, 而且这种不同可能源于声调独特的加工机制。

综上, 语音知觉、口语词汇识别和口语产生的研究都表明声调具有与声母、韵母不同的作用, 不仅反映了声调的独特加工机制, 而且为认知神经科学研究提供了神经生理方面的证据。有研究表明声调与音段信息是由不同大脑半球加工完成的, 如Luo等人(2006)的ERP实验发现, 语音知觉早期的音段信息(声母)加工主要在左半球进行, 而声调加工主要在右半球进行。来自词汇产生的脑成像研究(Liu et al., 2006)也发现, 与韵母产出相比, 声调产出的左侧化程度更低。而且, 就单独的声调加工来说, 声调变化需要通过音高的变化实现, 同时包含了声学线索和言语线索, 这两类线索在声调加工中也可能起着不同的作用(Yu, Wang, Li, & Li, 2014)。例如, 对声调分类知觉的ERP研究(Xi, Zhang, Shu,Zhang, & Li, 2010)发现, 相对于标准刺激, 声调范畴内与范畴间变化的偏差刺激都诱发了MMN反应,而且右侧电极比左侧电极的MMN更强; 与范畴内变化相比, 范畴间的声调变化诱发了左侧电极的MMN反应, 表明声调的声学特征与言语特征同时诱发了MMN, 但言语特征主要由左脑负责加工。

探讨大脑左右半球的信息整合机制是认知神经科学长期关注的问题, 从而探讨音段与超音段信息的相互作用就成为语音感知研究的焦点。汉语语音感知的研究已经表明音节感知需要结合声调与音段信息共同完成, 声调会与音段信息相互影响。如Lee和Nusbaum (1993)在快速知觉分类实验范式中发现, 语音知觉依赖于音段与超音段信息的交互作用。有研究同样采用快速语音分类范式, 探讨了声调、声母和韵母三者之间在语音知觉中的相互作用, 结果发现声母和韵母对声调的干扰效应要大于声调对音段信息的干扰(Tong, Francis, & Gandour,2008)。当声调与音段信息共同作用时, 已有研究发现检测整体音节的变化(声母、韵母和声调都不同)要比检测任一单独的语音成分更容易, 比如, Li等人(2003)发现被试检测整体音节要比检测单独的声调变化反应时间更短, 在Zhao等人(2011)的ERP研究中也发现整体音节违反比单独语音成分的违反要诱发更早的N400反应。然而, 整体音节的识别优势是否源于语音成分的简单相加？以及声调在信息组合中的相对重要性如何？这些问题还没有得到相关的研究证据, Tong等人(2008)的实验发现声调与韵母的整合要强于声调与声母的整合效应, 表明声调与不同音段信息的组合效应不同。因此, 声调在语音感知中究竟与音段信息如何共同作用还需要系统深入地研究。

综上所述, 汉语声调在音节感知中具有独特的作用机制, 同时又依附于音段信息, 但声调与音段信息的共同作用机制还缺乏系统地研究。现有的大量声调加工研究大都利用声调区别词汇语义的特性, 考察其在口语词汇语义通达中的作用。然而,音节感知是由声学信息通达词汇语音的过程, 是相对语义通达更为早期的加工阶段, 声调是否能与音段信息一起影响音节感知还不清楚。因此, 在排除语义加工影响的情况下, 考察声调与音段信息在音节感加中的作用机制成为本研究的出发点。本研究采用oddball实验范式, 通过两个行为实验, 分别操纵偏差刺激与标准刺激变化的语音单元, 考察汉语声调在音节感知中的作用。在oddball实验范式下, 采用无意义的汉语音节, 可以排除声调的语义作用, 单纯探讨声调在音节感知中的作用; 而且,该实验范式在语音感知的认知神经科学实验中被广泛采用, 能有效考察声母、韵母和声调在音节感知中的作用机制。实验1操纵偏差刺激与标准刺激的声母、韵母和声调变化, 考察被试在汉语音节感知加工中对3种变化信息的觉察, 以揭示声调和两种音段信息的相对作用; 实验2考察声调与声母、韵母共同变化时, 被试对偏差刺激的觉察, 以探讨3种信息对汉语音节感知的共同作用, 实验结果在行为层面揭示音段与超音段信息在音节感知加工中的共同作用机制。

2 实验1 声调在音节感知中的相对作用

2.1 方法

2.1.1 被试

在校大学生28名(4名男生, 24名女生), 平均年龄20岁(18～23)。被试的听力正常, 视力或矫正视力正常, 无其它身心疾病。每个被试都详细阅读了《被试知情同意书》, 并签字同意, 在实验后获得适量报酬。

2.1.2 设计和材料

采用经典的oddball实验范式, 要求被试在一连串的音节(标准刺激)中检测出与众不同的音节(偏差刺激)。实验材料由4个汉语音节组成, 1个作为标准刺激(da1), 另外3个作为偏差刺激。3个偏差刺激与标准刺激分别在声母(ga1)、韵母(du1)和声调(da4)上不同, 从而组成了3种实验条件, 用来检测被试对标准刺激的声母、韵母或声调发生改变时的觉察情况。4个音节的录音材料来自同一名女性录音人, 其普通话等级为一级乙等。录音参数为单声道,采样频率44.1 kHz, 音节时长在240～267 ms之间。后期对4个音节的声音强度进行了标准化处理(70 dB)。

2.1.3 实验程序

实验过程中, 每种条件的偏差刺激各呈现54次, 两个偏差刺激之间呈现随机数量的标准刺激(至少5个), 标准刺激与偏差刺激呈现的次数比例为8:1, 共呈现刺激材料486次。所有实验材料被分成3个环节(session)进行, 每个环节包含3个实验组块(block), 两个组块之间间隔15 s的静默。每个组块的前10次刺激固定为标准刺激, 共呈现144次标准刺激和18次偏差刺激, 3个条件的偏差刺激各呈现6次。每个组块开始时, 屏幕中央的“+”注视符号会闪烁3次, 提醒被试注意, 随后注视符号会一直呈现, 直到该组块结束。呈现刺激时播放一连串的音节, 每个音节播放完有650 ms的静音时间,被试的任务是从一串音节中检测出与标准刺激不同的音节, 并快速而准确地按空格键做出反应。每个环节的持续时间大约为8 min, 被试完成全部实验程序需要大约半小时。实验的刺激呈现和反应记录采用E-Prime程序实现。

2.2 结果与分析

28名被试都完成了实验任务, 其中一名被试的错误率高于20%, 在最终的数据分析中被剔除,参与数据分析的有效被试为27名。在反应时数据的整理时, 首先去掉小于150 ms, 大于1500 ms可能错误反应的数据, 再排除正负2.5个标准差之外的极端数据, 计算每个被试在3种实验条件的平均反应时间和正确率(结果见图1)。对反应时和正确率数据分别进行单因素重复测量的方差分析, 条件间的多重比较采用配对样本

t

检验进行两两比较,对检验的显著性水平进行Bonferroni校正。从被试的反应正确率来看, 实验任务比较简单,被试的平均反应正确率在90%以上。单因素重复测量的方差分析结果显示, 被试对3种变化音节的觉察正确率差异仅达到边缘显著(

F

(2, 52)=2.91,

MSE

=0.02,

p

=0.06, 偏η=0.10), 出现这种微弱的差异是因为对声母变化觉察的正确率(

M

=90.81%,

SD

=12.06%)比韵母变化的觉察正确率(

M

=95.47%,

SD

=3.79%)稍低,

t

(26)=1.84,

p

=0.08, Cohen

d

=0.53。觉察声调变化(

M

=94.92%,

SD

=3.47%)与觉察声母变化的差异不显著,

t

(26)=1.65,

p

=0.11, Cohen

d

=0.47。觉察声调变化与觉察韵母变化的差异也不显著,

t

(26)=0.63,

p

=0.54, Cohen

d

=0.17。对反应时的单因素重复测量方差分析发现, 被试检测声母、韵母和声调变化的反应时间存在显著差异,

F

(2,52)=19.41,

p

< 0.01,

MSE

=11445.01, 偏η=0.43。多重比较的结果发现, 觉察韵母变化的音节(

M

=453 ms,

SD

=59 ms)要显著快于觉察声母变化的音节(

M

=483 ms,

SD

=57 ms),

t

(26)=4.28,

p

< 0.01, Cohen

d

=0.53, 同时也显著快于对声调变化音节的觉察(

M

=492 ms,

SD

=59 ms),

t

(26)=7.13,

p

< 0.01, Cohen

d

=0.67。而在觉察声母变化和声调变化的音节时, 反应时间的差异不显著,

t

(26)=1.30,

p

=0.20, Cohen

d

=0.16。

2.3 讨论

实验1的结果表明, 在觉察声母、韵母和声调单独发生改变的音节时, 被试对韵母改变音节的觉察最敏感。实验结果与前人在口语词汇识别中的研究一致(Brown-Schmidt & Canseco-Gonzalez, 2004;Zhao et al., 2011), 韵母在汉语口语词汇识别中起到最重要的作用。实验1在反应时间上没有发现声调与声母的作用差异, 在正确率上, 声调与韵母的作用程度相同, 都比声母的作用更强。但是, 声调与声母的正确率差异并没有达到显著, 声调在汉语音节感知中的作用还需要进一步的探讨。

同时, 结果还发现被试对韵母的觉察要显著快于对声母的觉察, 这与Hu等(2012)和Li等人(2014)ERP研究的结果是一致的, 都发现韵母的作用更强。但是在Gandour等人(2003)的脑功能成像研究中, 行为数据的结果与本研究的结果相反, 被试在声母变化条件的反应时间要快于韵母变化条件。相反的结果可能来源于实验任务的差异, Gandour等人的研究要求被试检测连续呈现的第一个和第三个音节是否具有相同的声母、韵母和声调, 此时声母在音节的起始位置就起了重要作用。在本研究的语音oddball实验范式中, 音节的总体差异量可能具有更为重要的影响因素, 韵母在汉语音节的时长要显著长于声母, 所以对韵母的觉察要显著快于声母。

在自然语言处理研究中, 元音和辅音在听觉感知中的相对重要性受到了研究者长期的关注, 但仍然缺乏统一的结论(详见综述：颜永红, 李军锋, 应冬文, 2013)。在语音知觉研究领域, 对声母与韵母的相对重要性还需要更多的实验进行深入探讨。

在现实的语音感知加工中, 声母、韵母和声调往往是同时发生变化的, 而超音段信息是附着在音段信息之上。因此, 实验2将声母、韵母和声调信息同时发生变化的音节做为偏差刺激, 进一步考察声调信息在语音感知中的作用。另外, 实验1的被试大多是女性, 实验2将在平衡被试性别的情况下进行。

图1 觉察声母、韵母或声调变化的反应时间(A)和正确率(B)

3 实验2 声调与声母、韵母在音节感知中的共同作用

3.1 方法

3.1.1 被试

在校大学生31名(14名男生, 17名女生), 平均年龄20岁(18～27), 均未参与实验1。被试的听力正常, 视力或矫正视力正常, 无其它身心疾病。每个被试都详细阅读《被试知情同意书》, 并签字同意,实验后获得适量报酬。

3.1.2 设计和材料

采用与实验1相同的oddball范式, 标准刺激仍然为da1, 同时构建5种不同的偏差刺激, 依次由标准刺激改变韵母(du1)、声母+韵母(gu1)、声母+声调(ga4)、韵母+声调(du4)以及声韵调都改变(gu4)而来。之所以设计以上5种实验条件, 是因为实验1发现韵母改变条件的效应最强, 通过与韵母改变的对比, 可以考察声调与声母、韵母的同时变化是否会起到比单独的韵母更强的作用。如果发现声调与音段信息的结合比单独的韵母变化更容易被觉察, 一种可能是声调的附着作用, 另一种可能是两种信息比韵母一种信息的作用更强。因此, 增加声母+韵母的变化作为对比条件, 进而考察声调与音段信息结合效应的内在机制。另外, 增加声母+韵母+声调的变化条件来考察是否存在多种信息结合的累加作用。

实验材料的录音参数与实验1相同, 声音的强度标准化为70 dB, 持续时间在248～281 ms之间。

3.1.3 实验程序

刺激呈现和实验程序与实验1相同。5种实验条件的偏差刺激各呈现54次, 标准刺激与偏差刺激呈现的次数比例为8:1, 每种条件下共呈现刺激486次。所有实验刺激分3个环节(session)进行, 每个环节包含3个实验组块(block), 两个组块之间间隔15 s的静默时间。每个组块开始的前10个刺激固定为标准刺激, 共呈现240个标准刺激与30个偏差刺激, 5个条件的偏差刺激各呈现6次, 两次偏差刺激之间至少间隔5个标准刺激。每个环节的持续时间约为13 min, 被试完成全部实验程序需要大约40 min。

3.2 结果与分析

31名被试都完成了实验任务, 其中一名被试没有按任务要求按键反应, 另外有两名被试的错误率高于20%, 这3名被试的数据被剔除, 最终纳入数据分析的有效被试28名。在反应时数据的整理时, 首先去掉小于150 ms, 大于1500 ms可能错误反应的数据, 再排除正负2.5个标准差之外的极端数据, 计算每个被试在3种实验条件的平均反应时间和正确率(结果见图2)。对反应时和正确率数据分别进行单因素重复测量的方差分析, 条件间的多重比较采用配对样本

t

检验进行两两比较, 对检验的显著性水平进行Bonferroni校正。与实验1相同, 被试对5种条件下音节变化的觉察的正确率很高, 平均都在95%以上, 5种条件间的差异仅达到边缘显著,

F

(4,108)=2.05,

MSE

=0.001,

p

=0.09, 偏η=0.07。条件间两两配对样本的

t

检验结果(见表1)显示, 校正之后的

p

值在0.05水平都没有达到统计显著。反应时数据的重复测量方差分析结果发现, 被试对5种刺激变化的觉察反应时差异显著,

F

(4,108)=10.92,

MSE

=1951.35,

p

< 0.01, 偏η=0.29。多重比较的结果(见表1)表明, 觉察韵母变化的反应时间(

M

=444 ms,

SD

=64 ms)最长, 与其它4种条件相比, 只与声母+韵母变化(

M

=435 ms,

SD

=67 ms)的差异在校正之后差异不显著, 与其它3种具有声调改变的条件差异都显著。而声母+韵母的同时改变与声母+声调的改变(

M

=428 ms,

SD

=59 ms)之间的差异在校正之后不显著, 与另外两种具有声调改变的条件差异都显著。声母+声调、韵母+声调(

M

=424 ms,

SD

=65 ms)、声韵调都改变(

M

=424 ms,

SD

=67 ms)3种条件之间两两差异都不显著。

图2 觉察韵母变化以及组合变化的反应时间(A)和正确率(B)

表1 实验2的反应时和正确率条件间配对样本t检验结果

3.3 讨论

实验2主要考察了声调与音段信息结合的条件下, 被试对汉语音节的知觉加工。相对于单独的韵母变化和声母+韵母条件, 声调与其它音段信息的结合都促进了被试对音节变化的觉察。

在实验1中, 声母或声调单独的作用都比韵母变化要弱, 但在实验2中二者结合之后, 被试的觉察反应时间比单独的韵母变化条件更快。韵母+声调的结合比声母+韵母的结合的反应时间更快, 表明声调附着于音段信息时, 在汉语音节感知中的作用优于声母附着, 证明了实验1的正确率结果, 即声调的作用略优于声母, 但它是通过与音段信息的结合体现。当声调与音段信息同时改变时, 其共同作用不仅仅来源于两种信息的简单累加, 更多是因为声调的影响得到了加强。从数据可以看出, 声调+声母的结合比声母+韵母的结合反应时间有更快的趋势。表明声调在汉语音节感知中具有重要的作用,这种作用是通过声调与音段信息结合起来共同产生的。但是, 声调与音段信息结合的3种组合条件之间并没有发现差异。从反应时间来看, 可能是达到了天花板效应; 从技术手段上来看, 也可能是行为实验手段的局限所在, 敏感度不够高。同时也说明, 当多种信息同时起作用时, 其内部加工过程还需要采用多种实验手段进行更加深入的研究。

4 总讨论

本研究探讨了超音段信息(声调)在汉语音节识别中的作用及其与音段信息的共同作用。结果发现单独的声调变化对于汉语音节变化的感知作用有限, 不如韵母变化。当声调、声母、韵母信息相结合时, 声母与韵母的结合并不优于韵母的单独变化,而声调与声母、韵母的结合均要优于对韵母单独变化的觉察。实验结果不仅表明声调信息在汉语音节感知中起作用, 而且表明声调是通过与声母、韵母附着来共同影响音节感知。在认知行为层面提供了声调影响音节感知的直接证据, 弥补了对汉语音节感知中声调作用的认识不足, 同时为进一步探讨音段和超音段信息的交互作用机制提供了基础。

Oddball范式在语音分类知觉的ERP研究中被广泛采用, 本研究采用oddball范式在行为上得到了与前人ERP实验一致的结果。Hu等(2012)和Li等人(2014)都发现韵母违反诱发了N400, 而声调违反更多诱发了相对晚期的P600效应, 表明声调可能比韵母的作用时间要晚一些。本研究发现, 觉察声调变化的时间比觉察韵母变化的时间长, 声调在汉语音节感知中的作用不及韵母。但是, ERP研究中的行为数据无法与本研究进行直接对比。在ERP研究中, 为了保证数据的可靠性, 被试不能做即时的反应任务, 一般采用被动听的任务。虽然有研究探讨了儿童的声调、声母和韵母变化的脑电反应(Meng et al., 2005; Lee et al., 2012; Tong et al., 2014), 但没有提供有效的行为反应数据。在Gandour等人(2003)脑功能成像实验中, 行为数据的结果与本研究的结果不同。他们发现被试在汉语声母变化的条件下反应时间最快, 韵母和声调条件没有差异, 这可能与他们的实验任务相关, 因为被试要对声母、韵母和声调进行选择性注意并做出判断, 声母由于位于音节的前面, 所以更容易被觉察, 从而不能体现出它们在音位觉察中的相对作用。也就是说, 在认知行为层面, 本研究为声调在音节感知中的作用提供了直接的实验证据。

采用oddball实验范式的另一个目的是试图利用该范式的优势, 即前人发现MMN效应量可以反映出刺激偏差量的累积作用(Näätänen, Paavilainen,Rinne, & Alho, 2007)。实验2的反应时数据确实反映出了这种信息累积量的效应, 当声调与其它音段信息同时变化时, 反应时间都要比单独的韵母变化条件下的反应时更快。这与Li等人(2003)的研究结果是一致的, 被试对声调变化的音节检测时间, 要慢于声、韵和调同时变化的音节的反应时间。

然而, 当声调信息与音段信息分别结合时, 实验结果并没有发现组合条件之间的差异, 声调+声母, 声调+韵母以及声韵调三者结合的效应相等。条件间差异不显著并不能否定内部加工的差异, 从反应时间来看, 被试对这些条件的反应都相当快速,可能达到了天花板效应, 从而无法看到条件间更细微的差别。另外一个可能的解释是, 实验2构建了5种条件的偏差刺激, 可能导致被试对变化觉察的标准发生改变。在多个实验条件下, 被试以“足够好”的标准进行反应, 从而对各条件内部的细微差别不再敏感。采用ERP等更为精确的实验技术手段, 或许能揭示出行为实验无法体现的条件间的内部加工机制差别(Luck, 2014)。而且, 在oddball实验范式下, MMN不仅能反映出刺激材料在质上的不匹配,还能反映出偏差刺激的量上累积效应(Näätänen et al., 2007)。本实验的几种组合条件的累积效应可能会在MMN上得到体现。而且, 通过ERP实验技术,可以计算出两种信息单独诱发MMN的累加量, 考察计算出的累加结果与实际的两种信息同时变化条件MMN进行对比, 能有效揭示出两种信息的累加和整合机制。对这种整合机制的探讨通过行为实验很难实现。因此, 今后的研究可以考虑使用ERP技术深入探讨声调与音段信息共同作用的内部机制。

本研究一个有趣的发现是, 声调与音段信息的结合有效促进了对音节的识别加工。与前人在口语词汇的语义通达中的实验发现相一致, 声调参与并影响了口语词汇的加工(Zhou et al., 2004)。ERP的研究发现, 声调与音段信息的共同违反要比单独成分的违反要诱发更早的N400成分(Zhao et al., 2011;Brown-Schmidt & Canseco-Gonzalez, 2004), 表明声调信息可能依附于音段信息之上起作用。本研究发现声调和音段信息的结合在音节感知中的促进效应, 并在音段和超音段信息的结合作用中发现了声调的作用优于声母。声调之所以能与音段信息相结合起到更强的作用, 可能是声调与音段信息的神经回路不同, 两个回路信息的结合可能优于单独神经回路的作用, 这也能解释本研究发现的声母+韵母的结合作用弱于声调+音段信息这一结果。在汉语音节结构中, 韵母的持续时间明显要比声母的时间更长, 因而其作用会强于声母, 声调+韵母的变化就成为对汉语音节感知作用最强的组合。

本研究在行为层面观察到声调与音段信息的结合, 但对二者共同作用机制还不能给出更多的解释。今后的研究可以尝试使用更加敏感的实验范式,或者使用脑功能成像等认知神经科学手段对此进行深入地探讨。有研究发现超音段信息的加工是右脑优势, 而音段信息加工是左脑优势(Li et al., 2010;Luo et al., 2006), 这两种信息在大脑中是如何完成整合加工的呢？来自脑损伤患者的研究表明, 超音段信息在右脑加工后通过胼胝体的后1/3传递到左脑, 从而实现与音段信息的整合(Sammler, Kotz,Eckstein, Ott, & Friederici, 2010)。但是, 目前对超音段与音段信息的整合机制并没有得到统一的结论, 探讨二者的整合机制是当前研究的焦点(Schulze et al., 2011)。利用汉语的声调语言优势,探讨声调与超音段信息整合的大脑神经机制将成为今后研究的方向。

另外, 实验1的被试性别问题可能是另一个潜在的影响因素, 虽然没有研究报道对音段和超音段信息的感知存在性别差异, 但是, 音调变化是情绪表达的一个重要方式(Goydke, Altenmüller, Möller,& Münte, 2004), 女性对情绪韵律的觉察能力更强(Collignon et al., 2010), 是否同样对声调的觉察能力也更强, 还有待做出进一步的探讨。

5 结论

本研究考察了声调在汉语音节识别中的作用,结果发现声调的单独作用相对有限, 它在音节感知中的作用弱于韵母, 但它与音段信息(声母和韵母)的结合对汉语音节识别的影响更大。表明在汉语音节感知中超音段信息与音段信息共同起作用, 而采用认知神经科学的技术和手段, 更为深入地探讨两种信息的整合机制, 不仅能揭示出音段信息与超音段信息在音节感知中的共同作用机制, 还将完善和发展口语词汇识别的认知和神经生理模型。同时,本研究为语音感知的认知神经科学研究提供了新的研究方向。

Brown-Schmidt, S., & Canseco-Gonzalez, E. (2004). Who do you love, your mother or your horse? An event-related brain potential analysis of tone processing in Mandarin Chinese.

Journal of Psycholinguistic Research, 33

(2), 103–135.Chen, J.-Y., Chen, T.-M., & Dell, G. S. (2002). Word-form encoding in Mandarin Chinese as assessed by the implicit priming task.

Journal of Memory and Language, 46

(4),751–781.Collignon, O., Girard, S., Gosselin, F., Saint-Amour, D., Lepore,F., & Lassonde, M. (2010). Women process multisensory emotion expressions more efficiently than men.

Neuropsychologia,48

(1), 220–225.Gandour, J. T. (2006). Brain mapping of Chinese speech prosody. In P. Li, L. H. Tan, E. Bates, and O. J. L. Tzeng(Eds.),

Handbook of east asian psycholinguist

(Vol. 1, pp.308–319). Cambridge: Cambridge University Press.Gandour, J., Xu, Y. S., Wong, D., Dzemidzic, M., Lowe, M., Li,X. J., & Tong, Y. X. (2003). Neural correlates of segmental and tonal information in speech perception.

Human Brain Mapping, 20

(4), 185–200.Goydke, K. N., Altenmüller, E., Möller, J., & Münte, T. F.(2004). Changes in emotional tone and instrumental timbre are reflected by the mismatch negativity.

Cognitive Brain Research, 21

(3), 351–359.Hickok, G., Houde, J., & Rong, F. (2011). Sensorimotor integration in speech processing: Computational basis and neural organization.

Neuron, 69

(3), 407–422.Hickok, G., & Poeppel, D. (2007). The cortical organization of speech processing.

Nature Reviews Neuroscience, 8

(5),393–402.Hu, J. H., Gao, S., Ma, W. Y., & Yao, D. Z. (2012). Dissociation of tone and vowel processing in Mandarin idioms.

Psychophysiology, 49

(9), 1179–1190.Jongman, A., Wang, Y., Moore, C. B., & Sereno, J. A. (2006).Perception and production of Mandarin Chinese tones. In P.Li, L. H. Tan, E. Bates, & O. J. L. Tzeng (eds.),

Handbook of east asian psycholinguistics

(Vol. 1, pp. 209–217).Cambridge: Cambridge University Press.Kung, C., Chwilla, D. J., & Schriefers, H. (2014). The interaction of lexical tone, intonation and semantic context in on-line spoken word recognition: An ERP study on Cantonese Chinese.

Neuropsychologia, 53

, 293–309.Lee, C.-Y., Yen, H.-L., Yeh, P.-W., Lin, W.-H., Cheng, Y.-Y.,Tzeng, Y.-L., & Wu, H.-C. (2012). Mismatch responses to lexical tone, initial consonant, and vowel in Mandarinspeaking preschoolers.

Neuropsychologia, 50

(14), 3228–3239.Lee, L., & Nusbaum, H. C. (1993). Processing interactions between segmental and suprasegmental information in native speakers of English and Mandarin Chinese.

Perception& Psychophysics, 53

(2), 157–165.Li, W. J., Wang, L., & Yang, Y. F. (2014). Chinese tone and vowel processing exhibits distinctive temporal characteristics:An electrophysiological perspective from classical Chinese poem processing.

PLoS One, 9

(1), e85683.Li, X. J., Gandour, J., Talavage, T., Wong, D., Dzemidzic, M.,Lowe, M., & Tong, Y. X. (2003). Selective attention to lexical tones recruits left dorsal frontoparietal network.

Neuroreport, 14

(17), 2263–2266.Li, X. J., Gandour, J. T., Talavage, T., Wong, D., Hoffa, A.,Lowe, M., & Dzemidzic, M. (2010). Hemispheric asymmetries in phonological processing of tones versus segmental units.

Neuroreport, 21

(10), 690–694.Liang, J., & van Heuven, V. J. (2004). Evidence for separate tonal and segmental tiers in the lexical specification of words: A case study of a brain-damaged Chinese speaker.

Brain and Language, 91

(3), 282–293.Liu, H.-M., Chen, Y. C., & Tsao, F.-M. (2014). Developmental changes in mismatch responses to Mandarin consonants and lexical tones from early to middle childhood.

PLoS One, 9

(4), e95587.Liu, L., Peng, D. L., Ding, G. S., Jin, Z., Zhang, L., Li, K., &Chen, C. S. (2006). Dissociation in the neural basis underlying Chinese tone and vowel production.

Neuroimage, 29

(2),515–523.Luck, S. J. (Ed). (2014).

An introduction to the event-related potential technique

(2nd ed.). Cambridge: MIT Press.Luo, H., Ni, J.-T., Li, Z.-H., Li, X.-O., Zhang, D.-R., Zeng,F.-G., & Chen, L. (2006). Opposite patterns of hemisphere dominance for early auditory processing of lexical tones and consonants.

Proceedings of the National Academy of Sciences of the United States of America, 103

(51), 19558–19563.Malins, J. G., & Joanisse, M. F. (2012). Setting the tone: An ERP investigation of the influences of phonological similarity on spoken word recognition in Mandarin Chinese.

Neuropsychologia, 50

(8), 2032–2043.Marslen-Wilson, W., & Tyler, L. K. (1980). The temporal structure of spoken language understanding.

Cognition,8

(1), 1–71.McClelland, J. L., & Elman, J. L. (1986). The TRACE model of speech perception.

Cognitive Psychology, 18

(1), 1–86.Meng, X. Z., Sai, X. G., Wang, C. X., Wang, J., Sha, S. Y., &Zhou, X. L. (2005). Auditory and speech processing and reading development in Chinese school children: Behavioural and ERP evidence.

Dyslexia, 11

(4), 292–310.Näätänen, R., Paavilainen, P., Rinne, T., & Alho, K. (2007).The mismatch negativity (MMN) in basic research of central auditory processing: A review.

Clinical Neurophysiology,118

(12), 2544–2590.Sammler, D., Kotz, S. A., Eckstein, K., Ott, D. V. M., &Friederici, A. D. (2010). Prosody meets syntax: The role of the corpus callosum.

Brain, 133

(9), 2643–2655.Schulze, K., Zysset, S., Mueller, K., Friederici, A. D., &Koelsch, S. (2011). Neuroarchitecture of verbal and tonal working memory in nonmusicians and musicians.

Human Brain Mapping, 32

(5), 771–783.Tong, X. H., McBride, C., Lee, C. Y., Zhang, J., Shuai, L.,Maurer, U., & Chung, K. K. H. (2014). Segmental and suprasegmental features in speech perception in Cantonesespeaking second graders: An ERP study.

Psychophysiology,51

(11), 1158–1168.Tong, Y. X., Francis, A. L., & Gandour, J. T. (2008). Processing dependencies between segmental and suprasegmental features in Mandarin Chinese.

Language and Cognitive Processes,23

(5), 698–708.Wang, Y. J., & Li, M. J. (2010). The effects of tone pattern and register in perceptions of tone 2 and tone 3 in mandarin.

Acta Psychologica Sinica, 42

(9), 899–908.[王韫佳, 李美京. (2010). 调型和调阶对阳平和上声知觉的作用.

心理学报, 42

(9), 899–908.]Xi, J., Jiang, W., Zhang, L. J., & Shu, H. (2009). Categorical perception of VOT and lexical tones in Chinese and the developmental course.

Acta Psychologica Sinica, 41

(7),572–579.[席洁, 姜薇, 张林军, 舒华. (2009). 汉语语音范畴性知觉及其发展.

心理学报, 41

(7), 572–579.]Xi, J., Zhang, L., Shu, H., Zhang, Y., & Li, P. (2010).Categorical perception of lexical tones in Chinese revealed by mismatch negativity.

Neuroscience, 170

(1), 223–231.Yan, Y. H., Li, J. F., & Ying, D. W. (2013). Perception of vowels and consonants in speech.

Applied Acoustics, 32

(3),231–236.[颜永红, 李军锋, 应冬文. (2013). 语音中元音和辅音的听觉感知研究.

应用声学, 32

(3), 231–236.]Yang, Y. F. (1989). The vowels and the perception of Chinese tones.

Acta Psychologica Sinica, 21

(1), 31–36.[杨玉芳. (1989). 元音和声调知觉.

心理学报, 21

(1), 31–36.]Yang, Y. F., & Jin, L. J. (1988). Stop consonants and tone perception.

Acta Psychologica Sinica, 20

(3), 236–242.[杨玉芳, 金凌娟. (1988). 塞辅音和声调知觉问题.

心理学报, 20

(3), 236–242.]Yu, K. K., Wang, R. M., Li, L., & Li, P. (2014). Processing of acoustic and phonological information of lexical tones in Mandarin Chinese revealed by mismatch negativity.

Frontiers in Human Neuroscience, 8

, 729.Zhang, Q., & Damian, M. F. (2009). The time course of segment and tone encoding in Chinese spoken production:An event-related potential study.

Neuroscience, 163

(1), 252–265.Zhang, Q. F., & Zhu, X. B. (2011). The temporal and spatial features of segmental and suprasegmental encoding during implicit picture naming: An event-related potential study.

Neuropsychologia, 49

(14), 3813–3825.Zhao, J. J., Guo, J. J., Zhou, F. Y., & Shu, H. (2011). Time course of Chinese monosyllabic spoken word recognition:Evidence from ERP analyses.

Neuropsychologia, 49

(7),1761–1770.Zheng, Q. C. (2014). Effects of vowels on mandarin tone categorical perception.

Acta Psychologica Sinica, 46

(9),1223–1231.[郑秋晨. (2014). 汉语元音对声调感知边界的影响.

心理学报, 46

(9), 1223–1231.]Zhou, X. L., Qu, Y. X., Shu, H., Gareth, G., & Marslen-Wilson,W. (2004). Constraints of lexical tone on semantic activation in Chinese spoken word recognition.

Acta Psychologica Sinica, 36

(4), 379–392.