中国英语学习者语音在线加工中的音系映射效应

陈春华 马龙凯

(战略支援部队信息工程大学 洛阳校区， 河南 洛阳 471003)

0 引言

二语语音加工与句子加工、词汇加工同属语言加工的研究范畴是心理语言学研究领域的热点和核心话题，具有重要的研究价值。该过程是准确听音和发音的基础，直接影响实际会话中的语言交流与理解，是二语听力与语音教学的重要环节。语音意识和解码能力是语音加工的重要组成(Wagner et al., 1987：192-212)，体现在反应速度和语义理解正确率两个方面。

已有研究表明，二语语音知识的习得过程是不对称的：当二语某一音素单独映射到母语某一语音范畴时，称为“一对一音系映射”，其习得过程更加容易；当目标语两个以上音素共同映射到母语某一语音范畴时，称为“二(多)对一音系映射”，其习得过程相对困难(Flege, 1987; Bohn et al., 1992)，上述难易差异即为语音知识习得过程中的音系映射效应。

目前，在线加工实验路径已广泛应用于形态句法层面的加工研究，语音加工研究大多仍在采用离线实验路径。同时，二语语音加工研究主要关注印欧语系学习者，二语经验因素的作用尚有争议，现有心理模型未聚焦中国学习者的二语语音加工属性，忽略了语音和语义层的交互关系。

有鉴于此，本研究拟采用自定步速听力—图画验证的实验方法，着眼于语音意识和语音解码两方面，考察音系映射类型对其语音在线加工过程的影响，探明音系映射效应是否会受到二语经验的制约，为语音加工研究提供在线实验路径，弥补传统行为实验的不足，并验证现有的二语语音表征和加工理论，从而进一步提出基于心理语言学证据的中国学习者语音加工模式。

1 研究背景

1.1 二语语音知识习得中的音系映射效应

Flege(1995)的言语学习模型认为，当一个二语音素可以在一语语音范畴中寻找到相同音素时，二语学习者更容易完成相关语音知识的习得。Best(1995)的感知同化模型持有相似的观点：当两个二语音素分别映射到不同的一语语音范畴时，二语学习者可轻松感知并加以分辨。以上两种模型还进一步指出，当某个二语音素与一语音素相似时，学习者常常将其映射到已有的一语语音范畴，不会为其建立新的语音范畴，出现二对一音系映射，给语音加工带来一定难度。

为验证上述观点，Bohn 等(1992)运用了离线辨认任务的方法，探究了德国英语学习者对独立词汇中英语单元音/i, ɪ, ɛ, æ/的感知敏感度。其中，德语元音系统中存在元音/i, ɪ, ɛ/，但无元音/æ/。实验发现，德国学习者能准确分辨/i/和/ɪ/的发音，但易混淆/æ/和/ɛ/。上述音系映射效应在法国学习者中同样存在(Flege, 1987; Fowler et al. ,2008)。然而，以上研究的实验材料均以词汇为单位对目标元音进行敏感度测试，这种去语境化的离线加工环境未能考虑语言实际使用情况，不能真实反映学习者对隐性知识的在线使用。同时，相关模型的提出主要基于印欧语系学习者，理据不足。

1.2 汉英元音映射关系

虽然尚未有研究明确、系统地提出汉英元音的映射关系，但Kim et al.(in press)认为，元音映射关系的确定可以通过发音位置确定。美式英语有12个单元音(/i、 ɪ、 e、 ɛ、æ、ɑ、 ʌ、、、 o、ʊ、 u/)，汉语有六个(/ɑ、 o、 e、 i、 u、 ü/)。其中，英语元音/e/、/ɛ/、/æ/似乎与所有汉语单元音都无法建立映射关系。但由于汉语双元音存在某些特性，部分英语单元音能和汉语双元音发生映射。张金生(2002)认为，汉语双元音的两个音素之间响度区分并不明显，发音用力平均而短促，和单元音相似。因此，部分英语单元音可划入汉语双元音的语音范畴，比如英语/ɛ/、/æ/向汉语/ɑi/映射，英语//、/o/向汉语/ɑo/映射(图1)。

图1 英汉元音舌位对比图及映射关系

本研究主要基于张金生(2002)的英汉单元音舌位对比图，将原有两张汉英元音舌位图叠放在一起，引入了部分汉语双元音，并用圆圈表示汉英元音的映射关系(如图1所示)。由于汉语单元音数量少于英语，形成了“多对少”的映射关系，使得中国英语学习者难以准确地感知英语元音，甚至会造成理解错误。

1.3 二语经验影响因素

目前，学界对语音加工中二语经验的作用高度关注，该因素是否会制约一语和二语之间的音系映射效应仍存有争议。二语经验的概念相对宽泛，多数研究将二语学习的起始年龄、双语/三语、教学条件、目标语国家居住时间等因素纳入二语经验的范畴(林韶容，2011)，但Trofimovich 等(2006)认为，二语经验主要是指学习者在目标语国家的居住时间。

一方面，有研究发现，丰富的二语语言经验会帮助学习者克服母语影响，从而发音更加准确(Flege, et al.，1997; Ingram et al.,1997)。另一方面，亦有其他研究持反对观点(Munro, 1993; Cebrian, 2006)。比如，Munro(1993)和Flege et al.(1994)分别发现，二语经验对阿拉伯语学习者和西班牙学习者的英语元音敏感度无显著相关关系。

1.4 语音加工的在线实验路径

近年来，语音学与音系学进入了全面发展阶段， 各种音系学理论层出不穷， 涉及音系研究的方方面面，呈现出全面发展的繁荣局面(马秋武，2013)，但国内对语音加工研究未予以足够重视。Ferreira等(1996)认为自定步速听力实验是考察语音在线加工能力的重要路径，但该方法的运用仍不多见，鲜有研究借鉴Marshall等(2007)和Marinis(2008)的做法，将自定步速听力和图画验证任务相结合，同时考察语音意识和解码能力，因此多数研究忽略了语音加工和语义加工的交互关系。相关研究更多采用辨认任务、辨别任务、Oddball 范式、词汇任务等离线测试方法。

相比之下，许多学者采用其姊妹范式——自定步速阅读，开展形态句法加工研究，譬如时体一致、主谓一致、关系从句挂靠、歧义句消歧等加工过程(Jiang, 2004；Roberts et al., 2013；马龙凯 等, 2020)。从其姊妹范式的应用价值可以看出，自定步速听力实验方法理应具有广阔的应用前景，但仍有待推广。

综上所述，二语语音在线加工研究更多采用离线测试方法来考察显性知识的掌握情况，利用在线实验路径对隐性知识的考察不足，并忽略了对中国学习者及其特色学习环境的探究，二语语言经验是否会消弭母语影响的话题仍有争议，相关表征和加工理论需进一步验证。因此，本研究将主要利用自定步速听力实验，并结合图画验证实验加以辅助，通过观察反应时和图画验证正确率两项指标，考察语音加工过程中的语音意识和解码能力，旨在探究音系映射类型对中国学习者语音在线加工的影响以及二语经验在中间发挥的作用。具体研究问题如下：(1)中国学习者的语音在线加工过程是否存在音系映射效应，是否会受到二语经验的制约？(2)中国学习者的语音表征和在线加工机制应如何进一步解释？

2 实验

2.1受试

经过调查问卷筛选，受试选定为某两所高校40名英语专业的硕士研究生，第一语言为汉语，在留/访学前均无国外居住史。如表1所示，少经验组20人无出国经验；多经验组20人在英、美、澳等英语国家留/访学时间超过半年。两组受试在托福听力水平、英语学习时长工作记忆容量方面均无显著性差异。所有受试的听觉正常，实验结束后每人都得到一定报酬。

表1 受试基本情况(括号内为标准差)

2.2 实验材料

实验材料由103个句子组成，包括48个实验句、48个填充句，以及七个练习句，其中实验句主要参考Kim 等(in press)的研究。除练习句之外的96个句子伪随机分布于三个实验模块，每一模块包含16个填充句和16个实验句，将材料分三个模块打包是为了在模块间隙给受试提供休息的机会，确保实验效果。

2.2.1 实验句

实验句主要利用四个目标元音(/i/、/ɪ/、/ɛ/、/æ/)形成的六对元音组合进行考察，其中四对是一对一音系映射，分别简称为类型一和类型二，图2所示。

图2 汉英一对一音系映射(类型一)及二对一音系映射(类型二)

如表2所示，为排除句法结构无关变量的干扰，所有实验句限定为两种相似的句法结构，关键单词均在第三短语位置。48个实验句在四个目标元音中平均分布，其中类型一和类型二实验句各有24个，每种类型内各有12个实验句的语义和屏幕呈现的图画匹配(简称匹配句)，其余12个不匹配(简称不匹配句)。

表2 部分实验句示例

2.2.2 填充句

如表3所示，同实验句一样，填充句限定在两种相似的句法结构中，但为了避免受试意识到实验句关键单词的短语位置，根据反平衡法，填充句中的关键单词平均分布在其余三个短语位置。因此48个填充句中，12个是匹配句，36个是不匹配句，不匹配句的关键单词平均分布在第一、第二和第四短语位置。

表3 部分填充句示例

2.3实验设计和程序

本研究在PsychoPy 3.1软件支持下开展自定步速听力—图画验证实验，受试首先完成练习句以熟悉流程，而后开始正式实验。完成后，受试将对实验句中的关键单词进行熟悉度打分，分值为0-5，目的是确保受试熟悉目标单词，排除无关变量影响。测试结果显示，全体受试均熟悉关键单词的发音和语义，平均值为4.2和4.9。

正式实验中，电脑屏幕首先呈现出相关图画(图画内容与语音信息一致或不一致)，而后开始逐词听相关句子的音频，受试每敲击一次空格键，就播放下一词的语音。整个过程中，图画始终出现在电脑屏幕，当一个句子的语音信息播放完毕，受试需要判断语音信息和图画内容是否一致(是：按“Z”键；否：按“/”键)，完成后图画消失，呈现新的图画，开始下一句话的判断。

2.4 数据分析方法

实验需要统计自定步速听力反应时和图画验证正确率两项数据，前者反映加工的效率，即语音意识；后者反映加工的效果，即语音解码能力。图画验证正确率方面,判断正确计为1分,错误计为0分。反应时记录的是两次空格键的间隔时长,单位是毫秒(ms)。值得注意的是,只有图画判断正确,相关句子的反应时数据才有分析意义,否则不纳入统计。

图3 反应时统计区域划分(Kim et al. in press)

本研究利用R软件构建广义线性混合效应模型(GLME)和线性混合效应模型(LME)来分别分析图画验证正确率和反应时。在模型输出主效应和交互效应后,事后两两比较可对相关效应进行解释。图画验证正确率数据中的因变量为图画验证正确率，自变量为二语经验、语义—图画匹配性、音系映射类型，随机变量为实验材料、受试。反应时数据来自实验句中的四个区域，分别是关键单词及其前一单词、后两单词(见图3，R0、R1、R2、R3)。其中，因变量为反应时;自变量为区域、语义与图画的匹配性、音系映射类型；随机变量为实验材料、受试。

3 结果

3.1图画验证正确率——语音解码

两组受试的填充句正确率分别为：少经验组(M=96.28, SD=6.02)，多经验组(M=98.21, SD=6.67)。独立样本T检验显示，两组无显著性差异(p>0.05)，说明所有受试在实验中精力集中，关注了语义信息的传达并非纯语音形式，相关数据具有分析意义。

表4 图画验证正确率(括号内为标准差)

表4为二语经验不同的受试的图画验证正确率。在不同条件下，多经验组的图画验证正确率稳定在较高水平，少经验组则受不同条件影响。GLME模型的效应分析显示，图画验证正确率数据中无任何主效应发生，但发生了二语经验和语义—图画匹配性的二元交互效应(组二×不匹配：Estimate =-3.647, SE =0.498,z=-7.695,p<0.001)以及二语经验、语义-图画匹配性、元音映射类型的三元交互效应(组二×不匹配×类型二：Estimate =-2.859, SE = 0.862,z=-2.985,p<0.005)。如表5所示， 事后两两比较发

表5 图画验证正确率事后分析

现，多经验组不受任何条件影响；少经验组则受语义—图画匹配性和音系映射类型的影响。因此，语义—图画不匹配和二对一映射元音两种因素均会降低少经验组的正确率，音系映射类型通常依附于匹配性发生交互效应，但多经验组不受以上两种因素影响。

3.2 自定步速听力反应时——语音意识

图4为两组受试在四个区域的反应时数据，下面将分别在两组受试的组内构建LME模型，分析其中的主效应及交互效应，而后进行事后分析，解释相关效应。

图4 各区域的平均反应时

3.2.1 少经验组反应时数据

LME模型分析结果显示，少经验组的数据中出现了区域主效应(R2: Estimate =-0.297, SE = 0.035, t =-5.427,p<0.001; R3: Estimate =-0.021, SE = 0.037, t =-6.214,p<0.001)和语义—图画匹配性主效应(不匹配：Estimate = 0.368, SE = 0.029, t = 4.693,p<0.001)，但无音系映射类型主效应发生。在二元交互效应方面，数据中出现了区域和语义—图画匹配性的交互效应(R2×不匹配：Estimate =-0.198, SE = 0.042, t =-4.985,p<0.001)以及语义—图画匹配性和音系映射类型的交互效应(不匹配×类型二：Estimate =-0.269, SE = 0.090, t =-2.005, p<0.050)。表6中的事后两两比较结果表明，语义—

表6 少经验组反应时的事后分析

图画不匹配和二对一映射元音均会会带来加工难度。在一对一映射条件下， R1和R2区域的反应时会因语义—图画不匹配而延长。但是在二对一映射条件下，由于少经验组对该类型元音敏感度较低，反应时会普遍延长，语义—图画不匹配的影响则被掩盖。对于匹配句，音系映射类型的影响可以在R1、R2观察到(R1/R2×类型一×匹配vs. R1/R2×类型二×匹配)。

3.2.2 多经验组反应时数据

LME模型分析结果表明，多经验组的数据中出现了区域主效应(R2: Estimate =-0.122, SE = 0.081, t =-2.001,p<0.050; R3: Estimate =-0.096, SE = 0.081, t =-2.042,p<0.050)、语义—图画匹配性主效应(不匹配：Estimate = 0.366, SE = 0.034, t = 5.291,p<0.001)。二元交互效应方面，数据中出现了区域、语义—图画匹配性的二元交互效应(R2×不匹配：Estimate =-0.151, SE = 0.052, t =-4.078,p<0.001；R3×不匹配：Estimate =-0.213, SE = 0.052, t =-6.395,p<0.001)以及语义—图画匹配性和音系映射类型的交互效应(不匹配×类型二：Estimate =-0.139, SE = 0.082, t =-2.005,p<0.050)。表7的事后分析结果同样说明，语义—图画不匹配和二对一映射元音会带给该组来加工难度。该组在目标元音为一对一映射的条件下，匹配句和不匹配句的R1反应时有显著性差异(R1×类型二×匹配vs. R1×类型二×不匹配)。在匹配句的条件下，音系映射类型的影响只出现在R1(R1×类型一×匹配vs. R1×类型二×匹配)。

表7 多经验组反应时的事后分析

4 讨论

4.1不同二语经验水平中国学习者与本族语者的对比

Wagner等(1987：192-212)认为，语音意识和解码能力是语音加工能力的两个重要方面。语音意识是一组语言和元语言技能，包括对口语单词的声音结构的敏感性、在心理词典中的获取字母、数字和单词的语音表征的效率、言语工作记忆中的语音加工。语音解码能力则是理解语音信息的能力，即有效识别语音信息，根据语音信息形成的表象，使之与心理表征中的适当条目建立联系同时提取出语义信息。

首先，我们分析图画验证正确率，从而讨论中国学习者的语音解码能力。表7是中国学习者与本族语者在图画验证正确率中的效应对比，其中本族语者的数据来自Kim等人的研究。虽无音系映射类型的主效应发生，但在少经验组的数据中出现了语义—图画匹配性和音系映射类型的交互效应。这说明，当图画和实验句的语义不匹配时，学习者的判断正确率才会因二对一映射类型元音而降低；当图画和语义匹配时，存在语义启动效应，学习者的解码正确率始终保持较高水平。根据表8，二语经验丰富的学习者已经完全克服了音系映射类型的相关效应，达到本族语者水平。因此，二语经验可以明显消弭语音解码过程中的母语影响，制约音系映射效应，达到本族语者水平。

表8 图画验证正确率中的效应对比

其次，我们分析自定步速听力反应时，从而讨论中国学习者的语音意识。表9是中国学习者与本族语者在自定步速听力反应时中的效应对比，本族语者的数据同样来自Kim等人的研究。拥有不同二语经验的中国学习者数据中均出现了语义—图画匹配性和音系映射类型的交互效应，证明汉英音系映射类型会对语音意识产生影响。当图画和句子语义本身不匹配时，学习者的反应速度会因二对一音系映射类型元音而减缓，在线加工遇到困难。虽然两组中国受试的效应表现相同，均与本族语者存在差距(表9)。但对比两组受试反应时数据的事后分析结果可以发现，少经验组的语义—图画匹配性和音系映射类型的交互效应存在于R1和R2(表6)，但多经验组的此交互效应只存在于R1(表7)，无相关溢出效应。因此，无论中国学习者的二语经验丰富与否，音系映射效应均存在于其语音意识中，但二语经验还是在一定程度上消弭了母语的影响，制约了汉英音系映射类型的溢出效应，减少了其影响的区域。

表9 自定步速听力反应时中的效应对比

综上所述，中国学习者语音加工过程受音系映射类型的影响，体现在语音意识和语音解码两个方面。二语经验对上述两方面的音系映射效应均存在制约作用，但强度不同：一方面，可帮助中国学习者完全克服语音解码中汉英音系映射类型的影响，达到本族语者水平；另一方面，仅能制约语音意识中的溢出效应，削减部分影响。因此，语音解码过程对二语经验的因素更为敏感。

4.2 中国学习者的语音表征及加工机制

前人主要提出了四种二语语音加工模型：Flege(1995)的言语学习模型、Best(1995)的感知同化模型、Kuhl(1994)的母语磁块模型和Hancin-Bhatt(1994)的特征模型。本研究的实验结果表明，相比于语音意识，二语经验在语音解码过程中的作用更强，突出了语义加工的优先性，这似乎违背了语音到语义的加工程序，以上模型无法给予充分的解释。更值得注意的是，学习者的反应时和图画验证正确率数据中均出现了语义—图画匹配性主效应，即受试更倾向于做出图画和语音信息一致的判断，说明图画传递出的语义信号对语音表征存在启动作用，体现了语义加工和语音加工的交互作用。

近年来， 国内外学者开始着手从语音、词汇、句法、语用以及概念认知等多个层面探讨二语对母语的影响(潘雪瑶 等，2018)，但语音加工研究对象均为印欧语系学习者。印欧语言大多是表音(拼音)文字，而汉语是表意文字，因此中国学习者的母语语音加工机制本就不够活跃，而语义表征相对积极，因此语义表征在中国学习者语音加工过程中发挥更为重要的作用，语义和语音的交互作用显著。陈宝国、彭聃龄(2001)利用启动实验发现，英文表现为形—音—义的时程，而汉语表现为形—义—音的时程。

因此，本研究基于实验结果和汉语语音特点，融合了McClelland等(1986)的跟踪模型和董燕萍(1998)的共享分布式非对称模型的部分观点，并引入了二语经验因素，提出中国学习者的英语语音表征和加工机制(图5)。

图5 中国学习者的英语语音表征和加工机制

实验发现，二语经验虽未完全抑制语音意识中的音系映射效应，但已经克服相关溢出效应，说明学习者在二语经验的影响下已有生成二语语音范畴的倾向(虚线表示)，但未能完全克服母语影响，二语语音范畴与语音表征的联结强度仍低于一语语音范畴，同时考虑到两语音范畴存在相同或相似之处，共享一部分表征信息，因此一语和二语语音范畴呈现出共享分布式非对称关系(董燕萍，1998)。不同于印欧语系学习者，中国学习者受汉语表意文字特点及形—义—音加工时程影响，二语语音表征和语义表征间的交互作用更为明显，用双向实线箭头表示，母语语义加工的优先性使得二语经验对语音解码能力的作用更为明显，可帮助学习者具备本族语者的解码能力。因此，虽然二语经验对语音意识和语音解码均有影响，同时提高语义激活语音表征和语义提取的能力，但在后者中更为凸显，故用实线多箭头表示。二语经验对语音意识的影响用虚线箭头表示。

5 结语

本研究从语音意识和语音解码两方面入手，考察了拥有不同二语经验的中国学习者语音在线加工中的音系映射效应。研究发现：(1)语音意识方面，学习者对二对一映射类型元音的敏感度较低，虽然二语经验的增加无法帮助学习者达到本族语者的能力，但可克服相关溢出效应；(2)语音解码方面，二语经验较少的学习者在提取语义过程中受汉英音系映射类型的影响，但经验丰富者已达到本族语者水平，二语经验的作用显著；(3)中国学习者在以上两方面均出现语义—图画匹配性主效应，说明语义对语音加工存在启动效应。本研究认为，以上结果源于汉语语音的跨语言影响，汉字是表意文字，语义加工的活跃性高于语音加工，两者间的交互作用明显，正是由于母语语义加工的优先性，语音解码对二语经验的作用更为敏感。