中文阅读中无关言语效应的认知机制探究：眼动证据*

吴三美 田良苏 陈家侨 陈广耀 王敬欣

(1 天津师范大学心理学部/心理与行为研究院,天津 300387) (2 广东农工商职业技术学院教务处,广州 510507) (3 华南师范大学心理学院,广州 510631) (4 暨南大学新闻与传播学院/媒体国家级实验教学示范中心,广州 510632)

1 前言

阅读是人们获取知识的最重要的途径之一(白学军,闫国利,2017)。在阅读过程中,人们经常会不可避免地暴露在各种背景声音之下,这些背景音包括音乐、噪声、周围人聊天和打电话的声音等。深入探讨背景音如何影响阅读中的认知加工一直是研究者感兴趣的话题(Hyönä &Ekholm,2016;Martin et al.,1988;Meng et al.,2020;Oswald et al.,2000;Vasilev et al.,2018;Venetjoki et al.,2006;Vasilev,Liversedge,et al.,2019;Vasilev,Parmentier,et al.,2019;Yan et al.,2017),也具有重要的现实意义。已有研究发现,言语等背景声音会对正在进行的认知活动产生干扰,这种现象被称之为无关言语效应(Irrelevant Speech Effect) (Hyönä &Ekholm,2016;何立媛 等,2015;孟珠,闫国利,2018)。关于无关言语效应产生的机制,研究者从不同的角度提出了不同的理论,语音干扰假说和语义干扰假说是其中主要的两种观点。

语音干扰假说(Phonological-Interference Hypothesis) (Salamé &Baddeley,1982,1989)认为无关言语对阅读产生干扰是由于言语的语音属性。这一假说的提出基于Baddeley 和Hitch (1974,1994)的工作记忆模型,该模型中的语音回路是一个声学存储库,负责以声音为基础的信息加工和存储,它可分为发音复述装置和语音短时存储装置两部分。当不同的信息被加工时,视觉信息必须先经发音复述装置转换为语音编码之后才能进入语音存储装置,而言语信息可以自动进入语音存储装置,当视觉信息和听觉言语信息的语音编码在语音存储装置中发生混淆时,就会产生无关言语效应(Salamé &Baddeley,1982)。Salamé 和Baddeley (1982,1987,1989)的系列实验研究结果表明,对于视觉呈现的数字,具有声学特征的无关语音会损害被试对数字 的记忆,而噪音则不会。同时研究者还发现即使被试听到的是他们不能理解的语言,被试也会受到干扰(Salamé &Baddeley,1987),因而研究者认为这是由于语音会自动进入语音回路,从而干扰视觉呈现项目的编码和复述。尽管这个假设来自于记忆任务,Salamé 和Baddeley (1989)认为在更为复杂的认知任务中也可以发现类似的干扰,比如阅读。以往的研究常使用无意义的无关言语(如,听不懂的外语、顺序被打乱的母语)作为载体来探讨语音的作用(Hyönä &Ekholm,2016;Oswald et al.,2000),因为无意义的无关言语具有语音特征但不能进行语义通达,其对阅读所产生的影响,可以认为是语音属性产生的作用。

语义干扰假说(Semantic-Interference Hypothesis) (Martin et al.,1988)认为无关言语效应的产生不是因为语音属性,而是由于言语的语义属性。Martin等人(1988)在阅读理解任务中首次系统地检验了语音干扰假说,他们发现英文(对被试来说有意义)比俄语(对被试来说没有意义)有更大的干扰作用;同样,随机词汇的连续语音流比非词的连续语音流更容易干扰被试的阅读理解,这些结果无法用语音干扰假说进行解释,因而Martin 等人(1988)认为,阅读理解不同于系列回忆任务,它需要理解文本的含义,无关言语的语义属性能干扰正在阅读的文本语义表征的建立,因而造成无关言语效应的是言语的语义特征,而不是语音特征。与语义干扰假说类似的理论还有过程干扰假说(Interference by Process) (Marsh et al.,2008,2009),该假说认为背景音之所以产生干扰,是因为背景音的意义提取与正在进行的文本阅读有着相同的加工过程,当背景声音的加工过程与主要任务的加工过程发生冲突时,干扰作用就会产生。过程干扰假说所做的预测与Martin等人(1988)提出的语义干扰假说相同,两者的区别非常小,很难从经验上对二者进行区分(Marsh et al.,2008,2009),因而研究者认为可以将过程干扰假说纳入到语义干扰的理论体系中(Vasilev,Liversedge,et al.,2019)。探讨语义的作用常使用有意义的无关言语作为研究载体,大部分简单的行为实验得到有意义无关言语会干扰被试的阅读理解(Armstrong et al.,1991;Baker &Madell,1965;Martin et al.,1988;Venetjoki et al.,2006),而更为精细的眼动阅读实验也得到有意义的背景音可以影响读者的注视时间、注视比率等眼动指标(Cauchard et al.,2012;Hyönä &Ekholm,2016;Vasilev,Liversedge,et al.,2019;Yan et al.,2017)。这与被试的主观感受是一致的,背景音中存在的语义内容可能使有意义语音相比噪声而言更容易让人感到分心和讨厌(Haka et al.,2009;Haapakangas et al.,2011)。

值得注意的是,语音干扰假说最初是基于短时记忆任务而提出,虽然其理论假设具有一定的合理性,但是将该理论直接用于解释阅读中的无关言语效应是有待商榷的,因为无关言语的语音和语义成分对阅读所产生的影响可能不同于短时记忆任务,阅读理解相对短时记忆任务而言,更加侧重语义加工,言语的语义成分在认知过程中发挥着主导作用(Marsh et al.,2014)。而语义干扰假说虽然可以较好地解释有意义无关言语对阅读的影响,但是它的内容相对笼统,关于无关言语如何影响正在阅读的文本语义表征的建立,并未做具体的阐述。同时,语音干扰假说和语义干扰假说提出之初,进行的系列实验只提供了背景音影响阅读的最终结果(如,阅读时间和阅读理解正确率),没能充分反映出时程等阅读的具体加工过程,因而关于背景音对阅读产生的干扰,语音和语义干扰假说所做的预测本质上都是描述性的,不能揭示背景音如何影响读者的阅读加工过程。

眼动追踪技术能够实时记录被试的阅读过程,可以为深入分析阅读过程提供更为精确的技术和指标(Rayner,2009;闫国利 等,2013)。在无关言语效应研究中采用眼动追踪技术,有利于理解无关言语在时间进程上对阅读加工的影响,增进对无关言语效应的理论理解。在前人进行的相关研究中,有研究者得到无关言语会影响词汇加工的早期指标,如首次注视时间(Yan et al.,2017)、凝视时间(Cauchard et al.,2012),但也有研究者得到无关言语对早期加工的首次注视时间没有影响(Vasilev,Liversedge,et al.,2019),而对回视路径时间(何立媛 等,2015)、重读时间(Hyönä &Ekholm,2016)等句子加工晚期指标产生了影响。由此,无关言语影响阅读的哪一阶段,是早期阶段还是晚期阶段,研究结果还很不一致,这可能是由于不同研究的被试、任务、材料难度不同所导致,因而有必要在同一种任务背景、同一批被试和材料下,考察不同类型的无关言语在阅读进程中产生的影响。

更为重要的是,语音干扰假说和语义干扰假说的争议点在于产生无关言语效应的关键性因素是什么,是言语的语音属性还是语义属性？当前关于这一问题的研究主要集中于拼音文字,而此问题在中文阅读中也值得进一步深入探讨。汉字和拼音文字属于两种不同的书写系统,其结构单元和结构方式与拼音文字明显不同,拼音文字属于表音文字,存在形−音对应规则,语音在词汇通达中具有十分重要的作用,而汉语属于表意文字,字形的表意作用大于拼音文字,它没有明显的形−音对应规则,语音在汉字语义通达中的作用有限(彭聃龄,2004)。在拼音文字中探讨的无关言语效应在汉语阅读中是怎样的存在,中文阅读中的相关研究极少。虽然有研究者(何立媛 等,2015)采用眼动记录技术得到无关言语对中文篇章阅读会产生影响,但是他们并没有具体分析语义成分与语音成分在无关言语效应中所起的作用。本研究即以此问题为中心,探讨中文阅读中无关言语效应的认知加工机制。

此外,还有部分研究得到无关言语对阅读的影响并不显著,如Boyle 和Coltheart (1996)的实验研究得到背景音未对句子阅读的正确率和反应时产生影响,Hyönä 和Ekholm (2016)的实验1 也得到无关言语对句子阅读的眼动指标并未产生明显的干扰作用,目前的听觉干扰理论不能对此进行解释。在怎样的条件下无关言语才会对阅读产生影响？探讨这一问题也可以从另一角度反映出无关言语效应的认知机制。以往研究表明,阅读材料的难度可以对阅读产生一定的影响。Rayner 等人(2012)认为对于熟练阅读者而言,阅读中的许多过程几乎是自动化的,这些过程包括熟悉词汇的识别、新词的解码等,普通的句子阅读对于大学生而言可能是相对自动化、不费力的过程,然而,当文本难度大、阅读理解存在困难时,较高层级的加工(例如正确语法结构的建构、词汇语义联系的建立、文本与读者已有经验的融合等)通常会有障碍,这时的阅读速度就会大大降低。闫国利等人(2008)发现阅读材料的难度会影响阅读的知觉广度,阅读简单材料的知觉广度显著大于阅读困难材料,他们认为这是由于在难易材料中注意资源分配不同所致,相比容易材料而言,阅读难材料时注意资源需更多分配给注视词,较少分配给注视词边缘的词,因而导致读者的有效视觉范围缩小,知觉广度较小。另外,一项研究背景音乐对词汇记忆影响的结果显示,任务难度是影响记忆任务中无关言语效应的重要因素,任务难度的变化可以改变视听交互过程中听觉刺激对视觉刺激的影响(高淇,白学军,2018),是否在阅读任务中也存在同样的现象,目前还不得而知。因此,可以创设不同难度的阅读任务,探讨无关言语对阅读产生的影响。

基于以上分析,本研究采用系列眼动追踪实验探讨三个方面的问题：

一是通过比较不同类型的无关言语对句子和篇章阅读的影响,系统探讨无关言语中的语音属性和语义属性在中文阅读中产生的作用。具体研究假设如下：

如果语义属性和语音属性都不是无关言语效应产生的因素,则无意义语音条件的主要眼动指标与无声条件相比差异不显著,有意义语音条件与无声条件相比差异也不显著;如果只有语义属性是产生无关言语效应的因素,则无意义语音条件的主要眼动指标与无声条件相比差异不显著,有意义语音条件与无声条件相比差异显著,有意义语音条件与无意义语音条件相比差异也显著;如果只有语音属性是产生无关言语效应的因素,则无意义语音条件的主要眼动指标与无声条件相比差异显著,有意义语音条件与无声条件相比差异显著,而有意义语音条件与无意义语音条件相比差异不显著;如果语义属性和语音属性都是无关言语效应产生的因素,则无意义语音条件的主要眼动指标与无声条件相比差异显著,有意义语音条件与无声条件相比差异显著,有意义语音条件与无意义语音条件相比差异也显著。

二是探讨无关言语对阅读的不同加工阶段的影响。即通过记录阅读过程中的眼动情况,结合眼动指标,探讨无关言语对阅读的早期词汇加工和后期语义整合的影响。如果无关言语效应来自语音属性,由于语音识别尚处知觉加工的早期阶段,则干扰会体现在早期的词汇加工阶段;如果无关言语对阅读的影响来自语义属性,则会影响晚期的语义整合阶段。

三是考察无关言语对中文阅读产生干扰的相关条件。在实验中控制阅读材料的难度,考察被试在不同背景音下进行不同难度的句子阅读的情况。如果被试阅读简单句时,无关言语对阅读不产生干扰,那么被试在不同背景音条件下阅读的眼动指标将不会存在差异;如果在难度大的复杂句阅读中,无关言语产生了干扰,那么被试在不同背景音条件下的眼动指标将会存在差异。

2 实验1：不同背景音对简单句阅读的影响

2.1 研究目的

以简单易理解的中文句子为阅读材料,探讨有意义和无意义无关言语对句子阅读的影响。

2.2 方法

2.2.1 被试

华南师范大学学生51 人,年龄18～20 岁,自愿参加实验,其中女生32 名,男生19 名,被试视力或矫正视力正常,均为右利手,未学习过西班牙语,实验结束后可获得一定报酬。

2.2.2 实验设计

单因素3 水平(有意义语音/无意义语音/无背景语音)被试内设计。因变量既包括反映总的阅读速率和阅读特点的整体分析指标,也包括针对目标词的局部分析指标。

2.2.3 实验材料

阅读材料：从BCC 语料库、CCL 语料库等网站取材,自编实验句240 句,句子的平均长度为22个汉字(范围为17～27 个汉字),请华南师范大学20名学生(不参加正式实验)对句子的通顺性、熟悉性、难度进行评定。通顺性采用1～7 级评定(1 代表非常不通顺,7 代表非常通顺),熟悉性(1 代表非常熟悉,7 代表非常不熟悉),难度采用1～7 级评定(1 代表非常简单,7 代表非常难),选取通顺性评定得分大于5.51 (

M

=5.94,

SD

=0.95)、熟悉度大于4.55 (

M

=5.03,

SD

=0.96)、难度小于2.26 (

M

=1.75,

SD

=0.70)的简单句84 句,6 句为练习句,78 句为实验句。

背景音材料：实验采用了两种语音材料,一种用新闻联播作为有意义语音(Yan et al.2017),这种有意义语音既含有语义成分,又含有声学特征变化,分成28 段;一种用西班牙语作为无意义语音,这种语音含有声学特征变化,但不能进行语义通达,材料选自《苏菲的世界》,通过语音软件转为西班牙语,截成28 段,每段音频的时间为30 秒左右。实验所用的语音材料都为男性声音,内容上无重复,56 段语音材料中,52 段作为实验材料,4 段作为练习材料,用Cooledit 软件将背景音的音量大小调为一致,保持在60 分贝。

为了平衡背景音顺序,84 个句子分成3 种模块,每个模块有28 个句子(实验句26 句,练习句2 句),句子模块和3 种声音条件(有意义语音、无意义语音、无声)进行拉丁方平衡,使每种背景音在每组句子中都得到应用,每个被试随机接受其中一种刺激呈现顺序,每种声音条件下的实验句随机出现,声音的呈现顺序也完全随机。

2.2.4 实验仪器

实验采用Eyelink1000,采样频率为1000 Hz。刷新频率为85 Hz,分辨率为1024×768 像素,被试眼睛与屏幕之间的距离为76 cm,句子材料以黑色宋体字呈现在白色背景上,每个汉字在屏幕上的大小为31×31 像素,记录右眼的眼动轨迹。声音刺激通过降噪耳机以60 分贝左右呈现给被试(Vasilev,Liversedge,et al.,2019)。

2.2.5 实验程序

实验要求被试专注于他们正在阅读的内容,忽略他们可能听到的任何声音,被试在整个过程中都戴着耳机。实验开始时对眼动仪进行三点校准,平均误差小于0.3°,校准成功后,在屏幕左边会出现注视点“+”,要求被试盯住“+”触发句子阅读,进入练习句阅读(6 句,每种声音条件下有2 个句子),然后是实验句阅读。每三个句子间做一次三点校准,其他每个句子则做一点校准。整个实验过程要求被试认真阅读理解句子,按空格键可进入下一个句子的阅读。84 个句子中有28 个句子后带有问题,需要被试进行回答(回答“是”按“F”键、“否”按“J”键),以保证其认真进行阅读,实验大约持续30 分钟。为确保数据的有效性,在实验结束后,要求被试回答关于实验情况的几个问题,如“以前是否学习过西班牙语”“在实验过程中有听到几种声音条件”等,以排除被试能听懂西班牙语或实验过程中声音未出现等无关因素。

2.3 结果分析

(1)删除正确率低于70%的被试3 人,其他被试正确率都超过83.3%,表明被试对句子进行了认真阅读。(2)对缺失数据和注视时间小于80 ms 或大于1200 ms 的数据进行了删除(Yan et al.,2017),总共剔除的无效数据占总数据的5.68%。(3)删除3 个标准差以外的数据。

实验指标分析根据目标兴趣区的大小分为两类,一类是以句子或篇章为兴趣区的整体分析,一类是以字或词为兴趣区的局部分析。在实验1 中,整体分析以整个句子作为目标区,所分析指标包括总阅读时间(total reading time,指阅读者阅读文本的所有注视点的时间的总和)、平均注视时间(mean fixation duration,指所有注视点的持续时间的平均值)、注视次数(number of fixations,指文本被注视的总次数)和回视次数(regression count,从一个词语由右向左的眼跳次数),其中,总阅读时间、平均注视时间反映了句子阅读的整体加工,注视次数反映了阅读材料的认知加工负荷,回视次数反映了对句子意义进行整合的过程(闫国利 等,2013)。局部分析以句子中的双字词作为目标词进行分析(何立媛 等,2015),所分析指标包括首次注视时间(first fixation duration,指首次通过阅读中某兴趣区内的首个注视点的注视时间)、凝视时间(gaze duration,指从首次注视点开始到注视点首次离开当前兴趣区之间的持续时间)、总注视时间(total fixation duration,指兴趣区内所有注视点的时间的总和)和回视路径时间(regression path reading time,指从某个兴趣区的第一次注视开始,到注视点落到该兴趣区右侧的区域为止,在这之间的所有注视点持续时间的总和),其中,首次注视时间是反映词汇通达早期阶段特征的有效指标,对语音特性、词汇特征(词频、词长等)、正字法特征等反应敏感,凝视时间也是使用广泛的反映词汇通达早期阶段的指标,对前词汇特征、词汇特征都反应敏感,总注视时间是反映词汇总体加工的重要指标,而回视路径时间不仅可以反映词汇通达的加工过程,而且还能反映后期语义加工和句义整合的过程(闫国利 等,2013)。

实验使用R 统计软件(R Development Core Team,2016)和lme4 程序包(Bates et al.,2011),采用线性混合效应模型(linear mixed-effects models,LMMs;Baayen et al.,2008)对数据进行统计分析。相较于传统的方差分析(ANOVA),采用LMMs 分析眼动数据具有一定优势。因为在采用ANOVA 对眼动数据进行分析时,需要分别进行被试分析(F1 检验)和项目分析(F2 检验),在实际眼动数据分析过程中常存在F1 和F2 检验结果不一致的情况,这让研究者难以对实验结果进行合理的解释,而线性混合模型在计算过程中采用最大随机效应结构(maximal random effects structure),将被试和项目定义为交叉随机效应(crossed random effects)同时纳入模型进行计算,使结果更为稳定和统一,同时也避免了当只有F1或F2 检验显著时犯Ⅰ型错误的概率显著增加的问题(Baayen et al.,2008)。其次,线性混合效应模型能将所有的原始数据纳入到模型中进行统计,无需对数据进行平均后再作比较,其数据利用率更高。在本研究的模型中,声音为固定因素,同时考虑被试和项目两个随机因子,在每个随机因子上,既考虑了随机截距,又考虑了固定效应的随机斜率。

进行数据分析时,将无声条件作为基线条件,首先对无意义语音条件与无声条件、有意义语音条件与无声条件进行比较,假如无意义语音条件的眼动指标与无声条件相比差异不显著、有意义语音条件和无声条件之间差异也不显著,则说明语义属性和语音属性都不产生作用;假如无意义语音条件与无声条件相比差异不显著,而有意义语音条件和无声条件之间差异显著,则说明语音属性不产生作用、语义属性产生作用;假如无意义语音条件与无声条件相比差异显著、有意义语音条件和无声条件相比差异也显著,则需要进一步比较有意义语音条件和无意义语音条件,如果有意义语音条件与无意义语音条件相比差异不显著,则说明只有语音属性产生作用;如果有意义语音条件与无意义语音条件相比差异显著,则说明语音属性和语义属性都产生作用。

实验1 中有意义语音、无意义语音、无声条件下句子阅读的正确率分别为94%、95%和95%,无意义语音与无声条件、有意义语音与无声条件、有意义语音与无意义语音条件之间的正确率差异均不显著(

p

s ＞ 0.05)。

2.3.1 整体分析

句子阅读整体分析的描述性统计指标如表1 所示,线性混合模型分析结果如表2 所示。实验结果显示,无意义语音与无声条件下的平均注视时间(

t

=−0.17,

p

=0.87)、句子阅读时间(

t

=−1.24,

p

=0.22)、句子注视次数(

t

=−1.01,

p

=0.32)、回视次数(

t

=0.17,

p

=0.87)无显著差异。有意义语音与无声条件下的平均注视时间(

t

=0.23,

p

=0.82)、句子阅读时间(

t

=0.57,

p

=0.57)、句子注视次数(

t

=1.59,

p

=0.12)无显著差异,而在回视次数(

t

=3.12,

p

＜ 0.001)上存在显著差异,有意义语音条件下的回视次数大于无声条件。有意义语音与无意义语音的平均注视时间(

t

=0.29,

p

=0.77)、句子阅读时间(

t

=1.52,

p

=0.13)、句子注视次数(

t

=1.83,

p

=0.06)无显著差异,而在回视次数(

t

=2.08,

p

=0.04)上差异显著,有意义语音条件下的回视次数大于无意义语音条件。

表1 整体分析各眼动指标的均值与标准误

表2 实验1 句子指标上的线性混合模型分析结果

2.3.2 局部分析

句子阅读局部分析中各项指标的描述性统计结果如表3 所示,线性混合模型分析结果如表4 所示。实验结果显示,无意义语音与无声条件下的首次注视时间(

t

=−0.27,

p

=0.79)、凝视时间(

t

=−0.18,

p

=0.86)、回视路径时间(

t

=0.04,

p

=0.97)、总注视时间(

t

=−0.35,

p

=0.72)均差异不显著。有意义语音与无声条件下的首次注视时间(

t

=−0.97,

p

=0.34)、凝视时间(

t

=−0.25,

p

=0.80)、回视路径时间(

t

=0.13,

p

=0.90)、总注视时间(

t

=0.29,

p

=0.77)差异不显著。有意义语音与无意义语音条件下的首次注视时间(

t

=−0.82,

p

=0.42)、凝视时间(

t

=−0.66,

p

=0.51)、回视路径时间(

t

=0.13,

p

=0.91)、总注视时间(

t

=0.60,

p

=0.55)差异也不显著。

表3 局部分析各眼动指标的平均数与标准误

表4 实验1 目标词上的线性混合模型分析结果

2.4 讨论

实验1 探讨了不同类型的背景音对简单句阅读的影响。结果表明,无意义语音和有意义语音条件在整体分析中的总阅读时间、平均注视时间、注视次数与无声条件相比并无显著差异,在局部分析中的首次注视时间、凝视时间、回视路径时间和总注视时间上也无显著差异,这说明无意义语音对句子阅读并未起明显的干扰作用,而有意义语音对句子阅读所起的作用也十分有限,这与Boyle 和Coltheart (1996)的研究结果以及Hyönä 和Ekholm (2016)实验1 的结果一致,但与Yan 等人(2017)和Vasilev 等人(2019)的研究结果不太一致,Yan 等人(2017)和Vasilev 等人(2019)的研究结果发现虽然无意义语音对句子阅读没有显著影响,但是有意义语音对阅读却影响显著。

大多数的研究结果(Haka et al.,2009;Haapakangas et al.,2011;Yan et al.,2017;Vasilev,Liversedge,et al.,2019)得到了有意义语音对阅读等认知活动会产生干扰作用,而实验1 并未得到类似结果。究其原因,可能是由于本实验中的阅读材料是容易理解的句子,这对于大学生而言是一种相对简单的任务。因为文本阅读对于有十几年阅读经验的大学生而言,可以说是一种非常熟练的技能,对于容易词的词汇识别和语义通达,甚至可以达到一种自动化的程度(Rayner et al.,2012)。同时,依据有限认知资源理论,个体无论是注意资源还是工作记忆资源,都存在一定的容量,能够同时处理一定量的信息(Kahneman,1973;Wickens,2002)。由此,我们可以认为在实验1 的简单句阅读中,即使被试在阅读时能够注意到背景音,但只要其有足够认知资源应对任务的需要,那么在阅读效率上就不容易受背景音的影响。

一项研究背景音乐对词汇记忆的影响的结果也显示,任务难度是影响记忆任务中无关言语效应的重要因素,任务难度的变化可以改变视听交互过程中听觉刺激对视觉刺激的影响(高淇,白学军,2018),是否在阅读任务中也存在同样的现象,目前还不得而知。当阅读的难度加大、占用认知资源更多时,背景音是否对阅读会产生影响,这是一个让人感兴趣的问题,我们通过实验2 进行探讨。

3 实验2：不同背景音对复杂句阅读的影响

3.1 研究目的

在实验1 的基础上,探讨有意义和无意义无关言语对语义较难的复杂句阅读的影响。

3.2 方法

3.2.1 被试

华南师范大学学生51 人,年龄18～20 岁,自愿参加实验,其中女生30 名,男生21 名,被试的视力或矫正视力正常,均为右利手,未学习过西班牙语,未参加过实验1,实验结束后可获得一定报酬。实验2 与实验1 的被试来自相同的学校,两批被试的阅读时间、执行功能测验成绩(包括Stroop 任务、数字转换任务、色点刷新任务测验)的差异均不显著(

p

s ＞ 0.05)。

3.2.2 实验设计

同实验1。

3.2.3 实验材料

阅读材料：编写句子245 句,材料内容取自知网的科技性论文,进行适当改编,句子的长度为33个汉字(相比实验1,每个句子的平均长度多11 个字)。请华南师范大学25 名学生(不参加正式实验)对句子的通顺性、歧义性、难度进行评定。通顺性采用1～7 级评定(1 代表非常不通顺,7 代表非常通顺),熟悉性(1 代表非常熟悉,7 代表非常不熟悉),难度采用1～7 级评定(1 代表非常简单,7 代表非常难),选取通顺性评定得分大于5.12 (

M

=5.62,

SD

=0.99)、熟悉度大于4.60 (

M

=5.14,

SD

=1.01)、难度大于5 (

M

=5.46,

SD

=1.03)的句子81 句,72 句作为实验句,9 句作为练习句。

背景音材料：27 段中文语段(新闻联播)作为有意义语音材料,27 段西班牙语段作为无意义语音材料,每段音频的时间为1 分钟左右。54 段语音材料都为男性声音,内容上无重复,其中48 段作为实验材料,6 段作为练习材料。用Cooledit 软件将背景音的音量大小调为一致,保持在60 分贝。

为了平衡背景音顺序,81 个句子分成3 种模块,每个模块27 句(实验句24 句,练习句3 句),句子平衡方式同实验1。

3.2.4 实验仪器和实验程序

每个汉字在屏幕上的大小为27×27 像素,每4个句子做一次校准,其他为一点校准,平均每3 句中有一个句子后跟随一个需要回答的问题,以保证被试认真阅读句子,整个实验持续40 分钟左右。除此之外,实验仪器及其他实验程序同实验1 (与实验1 同一台仪器、同一实验室地点、实验的操作程序相同等)。

3.3 结果分析

(1)删除正确率低于70%的被试1 人,删除眨眼次数过多的被试2 人。(2)对缺失数据和注视时间小于80 ms 或大于1200 ms 的数据进行了删除(Yan et al.,2017),总共剔除的无效数据占总数据的5.48%。(3)删除3 个标准差以外的数据。(4)整体分析以整个句子为目标区、局部分析以句子中的双字词作为目标区进行分析(何立媛 等,2015),统计软件和实验指标的选取同实验1。

有意义语音、无意义语音、无声条件下句子阅读的正确率分别为86%、89%、88%,无意义语音与无声条件、有意义语音与无声条件、有意义语音与无意义语音条件之间的正确率差异均不显著(

p

s ＞ 0.05)。

3.3.1 整体分析

句子阅读整体分析中各项指标的描述性统计结果如表5 所示,线性混合模型分析结果如表6 所示。实验结果显示,无意义语音与无声条件下的平均注视时间(

t

=−1.66,

p

=0.10)、句子的阅读时间(

t

=−1.00,

p

=0.32)、句子注视次数(

t

=−1.02,

p

=0.31)和回视次数(

t

=−1.44,

p

=0.15)无显著差异。有意义语音与无声条件下的平均注视时间(

t

=1.96,

p

=0.05)、句子阅读时间(

t

=5.20,

p

＜ 0.001)、句子注视次数(

t

=5.20,

p

＜ 0.001)、回视次数(

t

=5.21,

p

＜ 0.001)上存在显著差异,有意义语音条件下的平均注视时间、句子阅读时间、句子注视次数和回视次数都大于无声条件。有意义语音与无意义语音的平均注视时间(

t

=3.06,

p

=0.003)、句子阅读时间(

t

=7.43,

p

＜ 0.001)、句子注视次数(

t

=7.38,

p

＜ 0.001)、回视次数(

t

=6.91,

p

＜ 0.001)上差异显著,有意义语音条件下的平均注视时间、句子阅读时间、句子注视次数和回视次数大于无意义语音条件。

表5 整体分析各眼动指标的平均数与标准误

表6 实验2 句子指标的线性混合模型分析结果

3.3.2 局部分析

句子阅读局部分析中各项指标的描述性统计结果如表7 所示,线性混合模型分析结果如表8 所示。实验结果显示,无意义语音与无声条件下的首次注视时间(

t

=−0.75,

p

=0.46)、凝视时间(

t

=−0.89,

p

=0.38)、回视路径时间(

t

=0.35,

p

=0.73)、总注视时间(

t

=−1.22,

p

=0.23)均差异不显著。有意义语音与无声条件下的首次注视时间(

t

=0.64,

p

=0.52)、凝视时间(

t

=1.10,

p

=0.28)差异不显著,在回视路径时间(

t

=6.55,

p

＜ 0.001)、总注视时间(

t

=5.09,

p

＜ 0.001)上差异显著,有意义语音条件下的回视路径时间和总注视时间明显大于无声条件。有意义语音与无意义语音条件下的首次注视时间(

t

=1.22,

p

=0.23)、凝视时间(

t

=1.60,

p

=0.12)差异不显著,在回视路径时间(

t

=5.79,

p

＜ 0.001)、总注视时间(

t

=6.99,

p

＜ 0.001)上差异显著,有意义语音条件下的回视路径时间和总注视时间明显大于无意义语音条件。

表7 局部分析各眼动指标的平均数与标准误

表8 实验2 目标词的线性混合模型分析结果

3.4 讨论

实验2 探讨了不同类型的背景音对复杂句阅读的影响。实验结果显示,在整体分析的总阅读时间、平均注视时间、注视次数和回视次数上,无意义语音条件与无声条件相比差异不显著,而有意义语音条件与无声条件相比则差异显著,有意义语音条件下的总阅读时间、平均注视时间明显更长,注视次数、回视次数更多,同时,有意义语音条件下的总阅读时间、平均注视时间显著长于无意义语音条件,注视次数和回视次数也更多,这与前人的研究结果较为一致(Yan et al.,2017;Vasilev,Liversedge,et al.,2019),说明语音属性未产生明显的作用,而只有语义属性产生了作用。

在整体分析的各项眼动指标中,总阅读时间、平均注视时间反映了句子阅读的整体加工(闫国利 等,2013),实验2 结果显示,有意义语音条件的总阅读时间和平均注视时间长于无声条件,也长于无意义语音条件,但无意义语音条件与无声条件差异不显著,说明语义属性干扰了句子阅读的整体加工,而语音属性未产生作用。此外,注视次数能有效反映阅读材料的认知加工负荷,回视次数可以反映对句子意义进行整合的过程(闫国利 等,2013),实验2 中有意义语音条件的注视次数和回视次数多于无声条件,有意义语音条件的回视次数也多于无意义语音条件,反映出无关言语的语义属性加重了被试的认知负荷,并对句子的意义整合过程产生了干扰。整体分析结果支持了语义干扰假说,未支持语音干扰假说。

而在局部分析的目标词上,无意义语音条件的首次注视时间、凝视时间、回视路径时间和总注视时间并未大于无声条件,这也进一步说明语音所起的作用并不明显,这与Yan 等人(2017)的研究结果是一致的。同时,有意义背景音与无声条件在局部分析指标上的首次注视时间、凝视时间上,两者并未有明显差异,而在总注视时间上有明显差异,这与Vasilev 等人(2019)和Yan 等人(2017)的研究结果一致。

在局部分析的各项指标中,首次注视时间和凝视时间是反映词汇通达早期阶段特征的有效指标,而总注视时间是反映词汇总体加工的重要指标(闫国利 等,2013),在本实验中,有意义背景音条件相比无声条件和无意义背景音条件,在首次注视时间和凝视时间的早期指标上差异并不显著,但在总注视时间上明显更长,由此可见,这种总体上的差异可能来自于词汇加工的晚期,这一结果说明无关言语的语义属性可能干扰了词汇加工的晚期阶段,对早期的词汇加工没有影响。另一方面,回视路径时间包含了与回视行为相关的阅读时间,它不仅可以反映词汇通达的加工过程,而且还能反映后期语义加工甚至句义整合的过程(闫国利 等,2013),在实验2 中,有意义背景音条件下的回视路径时间显著长于无意义背景音和无声条件,这一结果进一步反映了背景音的语义属性产生的干扰可能存在于词汇加工的晚期阶段和后期的语义整合阶段。因而可知,局部分析结果支持了语义干扰假说,而未支持语音干扰假说。

由实验1 与实验2 的结果可知,句子难度在一定程度上调节了背景音对阅读的影响,当阅读难度不大时,声音对阅读所产生的干扰作用并不明显,而当句子阅读难度加大(增加句子的长度及理解的复杂性),需要较多认知资源进行加工时,有意义语音对句子阅读则产生了消极的干扰作用。进一步而言,在个体实际生活的阅读过程中,句子的理解经常需要融入到篇章中去。篇章阅读是一种具有更大生态效度的阅读任务,它有着比句子更大的文本语境,当读者完成了句子的句法分析和解读时,篇章阅读的任务可能还没有完成,因为句子理解还必须组成语篇意义,而连贯的语篇意义远非每个句子意义的总和,读者必须将句子组织成片,这样才能够将其所包含的命题按照作者的意图组织起来(Rayner et al.,2012),从而建构文本的语篇模型(Gernsbacher &Foertsch,2000;O’Brien &Cook,2015)。同时,当文本语境增加时,读者需要动用更多的认知资源去持续性地维持对文本的注意,因而我们可以假设篇章阅读中的背景音可能更容易产生干扰作用。鉴于此,非常有必要进一步通过实验探讨背景音对篇章阅读的影响。

4 实验3：不同背景音对篇章阅读的影响

4.1 研究目的

以中文篇章为阅读内容,探讨有意义和无意义的无关言语对篇章阅读的影响。

4.2 方法

4.2.1 被试

华南师范大学学生42 人,年龄18～23 岁,自愿参加实验,其中女生25 名,男生17 名,被试的视力或矫正视力正常,均为右利手,未学习过西班牙语,实验结束后可获得一定报酬。

4.2.2 实验设计

单因素3 水平(有意义语音、无意义语音、无背景语音)被试内设计,因变量除了实验1 和实验2所取指标外,还选取了阅读速度这一指标(何立媛 等,2015)。

4.2.3 实验材料

阅读材料：从高考模拟题或真题中选择文章36篇,为了增加阅读材料的代表性,提高阅读的生动性和可读性,选取了记叙文和说明文两种文体各18 篇。进行适当改编,每篇文章的汉字平均为286字(范围为283～289 字),请华南师范大学22 名学生(不参加正式实验)对篇章的通顺性(1 代表非常不通顺,7 代表非常通顺)、熟悉性(1 代表非常熟悉,7 代表非常不熟悉)、难度(1 代表非常简单,7 代表非常难)进行7 点评定。选取通顺性评定得分大于5.86 (

M

=6.07,

SD

=0.85)、熟悉度大于4.18 (

M

=4.79,

SD

=1.19)、难度大于2.32 (

M

=3.02,

SD

=1.07)的篇章15 篇,练习材料3 篇(记叙文2 篇,说明文1篇),正式实验材料12 篇(记叙文6 篇,说明文6 篇)。

目标词：每篇文章(共11 行)中选取第2 行到第8 行中的双字词,去掉每行开头和结尾的2 个字,以及标点符号左右的词,共427 个双字词(何立媛 等,2015)。

背景音材料：5 段有意义语音材料(新闻联播)和5 段无意义语音材料(西班牙语),每段音频材料的时间约为5 分钟。10 段语音材料都为男性声音,内容上无重复,其中8 段作为实验材料,2 段作为练习材料。用Cooledit 软件将背景音的音量大小调为一致,保持在60 分贝。

为了平衡背景音顺序,15 篇文章分成3 种模块,每个模块有5 篇文章(其中1 篇作为练习材料,4 篇作为实验材料),篇章与声音的平衡方式同实验1。

4.2.4 实验仪器和实验程序

篇章的汉字在屏幕上的大小为30×30 像素,行间距为1.6 倍,实验开始时对眼动仪进行九点校准,平均误差小于0.5°,校准成功后,在屏幕左上角会出现一个“+”,要求被试盯住“+”触发篇章阅读,进入练习的篇章阅读(3 篇,每种声音条件下1 篇),随后是实验的篇章阅读。每三篇文章之间做一次九点校准,其他为一点校准,要求被试认真阅读文章,理解后按空格键回答问题,每篇文章后带有两个问题,被试需要根据文章内容进行是否判断,实验大约持续45 分钟,实验仪器及其他程序同实验1。

4.3 结果分析

(1)删除正确率低于70%的被试3 人。(2)删除缺失数据和注视时间小于80 ms 或大于1200 ms的数据(何立媛 等,2015),总共剔除的无效数据占总数据的5.39%。(3)删除3 个标准差以外的数据。(4)除新增了阅读速度这一指标外,其他实验指标的选取及统计方法同实验1。

有意义语音、无意义语音、无声条件下篇章阅读的正确率分别为87%、86%、87%,无意义语音与无声条件、有意义语音与无声条件、有意义语音与无意义语音条件之间的正确率差异均不显著(

p

s ＞ 0.05)。

4.3.1 整体分析

篇章阅读整体分析中各项指标的描述性统计结果如表9 所示,线性混合模型分析结果如表10所示。实验结果显示,无意义语音与无声条件之间的平均注视时间(

t

=0.28,

p

=0.79)、篇章阅读时间(

t

=1.29,

p

=0.22)、篇章注视次数(

t

=0.93,

p

=0.37)、回视次数(

t

=1.79,

p

=0.10)、阅读速度(

t

=−2.07,

p

=0.06)无显著差异。有意义语音与无意义语音条件之间的平均注视时间(

t

=0.79,

p

=0.44)、篇章阅读时间(t=0.81,

p

=0.43)、篇章注视次数(

t

=0.58,

p

=0.57)、回视次数(

t

=0.44,

p

=0.67)、阅读速度(

t

=−0.69,

p

=0.50)无显著差异。有意义语音与无声条件之间的篇章阅读时间(

t

=2.48,

p

=0.02)、回视次数(

t=

2.22,

p

=0.05)、阅读速度(

t

=−3.00,

p

=0.01)存在显著差异,有意义语音条件下的阅读时间和回视次数大于无声条件、阅读速度慢于无声条件,而两者在篇章注视次数(

t

=1.84,

p

=0.08)、平均注视时间(

t

=0.90,

p

=0.38)上差异不显著。

表9 整体分析各眼动指标的平均数与标准误

表10 实验3 篇章指标的线性混合模型分析结果

4.3.2 局部分析

篇章阅读局部分析中各项指标的描述性统计结果如表11 所示,线性混合模型分析结果如表12所示。实验结果显示,无意义语音与无声条件下的首次注视时间(

t

=−0.90,

p

=0.40)、凝视时间(

t

=−0.67,

p

=0.52)、回视路径时间(

t

=1.34,

p

=0.19)、总注视时间(

t

=0.89,

p

=0.38)差异均不显著。有意义语音与无意义语音条件下的首次注视时间(

t

=0.45,

p

=0.66)、凝视时间(

t

=0.45,

p

=0.66)、回视路径时间(

t

=1.36,

p

=0.18)、总注视时间(

t

=1.42,

p

=0.16)差异均不显著。有意义语音与无声条件下的首次注视时间(

t

=−0.55,

p

=0.59)、凝视时间(

t

=−0.36,

p

=0.73)差异也不显著,但回视路径时间(

t

=2.31,

p

=0.03)、总注视时间(

t

=2.38,

p

=0.02)上两者的差异显著,有意义语音条件下的回视路径时间和总注视时间显著大于无声条件。

表11 局部分析各眼动指标的平均数与标准误

表12 实验3 目标词的线性混合模型分析结果

4.4 讨论

实验3 探讨了不同类型的背景音对篇章阅读的影响。实验结果显示,整体分析中无意义语音条件的总阅读时间、平均注视时间、注视次数、回视次数并未明显大于无声条件,同样,目标词上无意义语音条件的首次注视时间、凝视时间、回视路径时间和总注视时间也未大于无声条件,这与实验1 和实验2 所得结果一致,无论是整体分析还是局部分析,无意义语音条件相比无声条件,其主要眼动指标的差异均不显著,由此可见,无关言语中的语音属性无论在句子阅读还是篇章阅读中,都没有起显著的干扰作用,未支持语音干扰假说。

整体分析中有意义语音条件与无声条件相比,在总阅读时间、回视次数、阅读速度上差异显著,这与实验2 及前人的研究(何立媛 等,2015;Vasilev,Liversedge,et al.,2019)结果一致,总阅读时间、阅读速度是反映篇章整体加工的指标,而回视次数可以反映对篇章意义进行整合的过程,有意义背景音条件下的整体阅读时间明显更长、阅读速度更慢、回视次数更多,说明有意义背景音干扰了篇章阅读的整体加工和意义整合,一定程度上支持了语义干扰假说。

在局部分析的首次注视时间、凝视时间上,有意义语音与无声条件相比并未有显著差异,而在回视路径时间和总注视时间上有显著差异,这与实验2的结果以及何立媛等人(2015)及Vasilev等人(2019)的研究结果相一致。实验结果显示,在反映词汇早期加工的指标(首次注视时间和凝视时间)上背景音的主效应并不显著,而在反映晚期加工的指标(回视路径时间)和总体加工的指标(总注视时间)上有显著的主效应,这一结果说明有意义背景音对词汇加工的早期阶段并未产生显著影响,而是干扰了词汇的晚期加工阶段。这也进一步说明对阅读过程产生影响的是无关言语的语义属性,这种影响主要体现在词汇加工晚期和语义整合阶段。

然而,在实验3 中,有意义语音条件的各项眼动指标与无意义语音条件相比并没有显著差异,这可能是由于实验3 采用了难度偏低的篇章阅读材料,无意义和有意义背景音之间的差异只在平均值上呈现了趋势,但未达到差异显著的程度,关于这一问题我们将在总讨论中进一步说明。

5 总讨论

本研究通过3 个眼动实验分别探讨了不同背景音对句子和篇章阅读的影响。结果发现：(1)当被试阅读简单句时,无论是有意义背景音还是无意义背景音条件,其与无声条件相比,在整体分析的主要眼动指标(总阅读时间、平均注视时间、注视次数)和局部分析的指标(首次注视时间、凝视时间、回视路径时间和总注视时间)上差异均不显著。(2)当被试阅读复杂句时,无意义背景音条件与无声条件相比在整体分析和局部分析的眼动指标上差异不显著;而有意义背景音条件在整体分析的总阅读时间、平均注视时间、注视次数、回视次数上与无声条件相比差异显著,在局部分析的总注视时间和回视路径时间上差异也显著。(3)在篇章阅读中,无意义背景音条件与无声条件相比在各项指标上差异不显著;而有意义背景音条件在整体分析的总阅读时间、回视次数、阅读速度上与无声条件相比差异显著,在局部分析的总注视时间和回视路径时间上差异也显著。针对以上实验结果,可以从以下几个方面进行讨论分析：

5.1 无关言语中的语音属性在中文阅读中的作用

对于无关言语效应产生的条件,有的研究者认为是语音属性发挥着重要的作用,因为语音会自动进入语音回路,从而干扰视觉呈现项目的编码和复述(Salamé &Baddeley,1987),相比语义成分,具备变化的声学特征是背景音产生干扰的更重要的条件(Jones et al.,1992),这是语音干扰假说的重要内容。然而,本研究结果并未支持语音干扰假说,因为依照此假说,无意义语音和有意义语音一样都能获得语音存储,都会起干扰作用,而本实验结果并未发现无意义语音有产生干扰作用,3 个实验的结果一致表明,无意义语音没有干扰到被试的阅读效率,无论在正确率还是眼动指标上无意义语音条件与无声条件相比都没有显著差异。这与许多前人研究的结果相一致(Jahncke et al.,2011;Vasilev,Liversedge,et al.,2019;Yan et al.,2017),在Hyönä和Ekholm (2016)系列研究的实验1 中,无意义语音(外语)没有干扰句子的阅读,Yan 等人(2017)通过眼动实验也得到无意义语音(发音顺序被打乱的新闻)条件和无声条件相比在句子层面上的眼动指标并无显著差异。由此可见,即使存在声学特征变化的语音,如果被试不能通达其意义,声学特征在中文阅读中所产生的影响则十分有限。在需要将有限的注意资源用于主要的阅读任务时,个体更容易抑制无意义语音对阅读产生的干扰。

5.2 无关言语中的语义属性在中文阅读中的作用

有意义背景音是可以进行语义理解的声音,依据语义干扰假说,由于阅读时需要理解文本的含义,无关言语的语义属性能干扰正在阅读的文本语义表征的建立,言语的可理解性使有意义的背景音更容易对读者产生影响,从而产生无关言语的干扰效应(Martin et.al.,1988)。本研究的实验2 和实验3支持了语义干扰假说,在句子阅读难度较大(实验2)和篇章阅读(实验3)等需要认知资源较多的条件下,有意义语音对阅读产生了显著的干扰作用,表现为阅读时间更长,回视次数更多。这与前人的实验研究结果相一致,许多实验得到了有意义背景音能够干扰被试的阅读理解(Armstrong et al.,1991;Cauchard et al.,2012;Hyönä &Ekholm,2016;Martin et al.,1988;Venetjoki et al.,2006;Vasilev,Liversedge,et al.,2019;Yan et al.,2017)。

关于有意义语音对句子阅读的影响,实验1 和实验2 所得结果不同。在实验1 中,除了回视次数外,在正确率和眼动指标上有意义语音对简单句阅读的影响并不显著,而在实验2 中有意义背景音对复杂句阅读产生了显著影响,由此可见,阅读材料的难度起着重要的作用。在实验1 中当阅读材料为较简单的句子时,无关言语效应并不明显,而在实验2 中当阅读材料较难、需要更多的认知资源时,背景音可能会与阅读竞争认知资源,从而对句子阅读加工产生消极的影响。实验3 中采用常见的记叙文和说明文材料,进一步探讨背景音对篇章阅读的影响,由于在篇章阅读中,不仅要理解句子的意思,还需要建构文本的语篇模型(Gernsbacher &Foertsch,2000;O’Brien &Cook,2015),因而也需要较多认知资源。实验3 的研究结果显示,在主要的眼动指标上有意义语音条件与无声条件相比差异显著,说明背景音的语义属性对篇章阅读产生了一定的消极影响。有意义背景音既可能干扰词汇加工和句义整合,也可能干扰读者构建连贯的段落论述(Kehler,2004;Wolf &Gibson,2005),破坏读者对阅读的持续性注意。

令人意外的是,在实验3 中,有意义背景音条件下的各项眼动指标与无意义背景音条件相比并没有存在显著差异。究其原因,可能是由于实验3采用了难度偏低的篇章阅读材料,使无意义和有意义背景音之间的差异只在平均值上呈现了趋势,但未达到差异显著的程度。通过对3 个实验材料难度评定得分的统计分析可知,实验3 的材料难度评定得分显著小于实验2 (

p

＜ 0.001),显著大于实验1 (

p

＜ 0.001),篇章材料的难度小于复杂句,可能导致实验3 中有意义背景音与无意义背景音条件下的眼动数据模式与实验2 不同。同时,依据阅读加工中的词频效应,高频词的加工难度低于低频词(李馨 等,2011),通过对目标词的词频进行统计分析发现,实验3 目标词的词频显著高于实验2 (

p

＜ 0.001),和实验1 相比则差异不显著(

p

=0.31),这在一定程度上也可以反映出篇章材料的加工难度可能小于实验2 的复杂句。篇章阅读材料难度偏低可能导致了实验3 中有意义背景音条件与无意义背景音条件相比,各项眼动指标差异不显著。

5.3 无关言语对阅读加工过程的影响

在眼动实验数据分析中,一般可以分为整体分析和局部分析,其中整体分析是针对整个句子或篇章进行的分析。总阅读时间、平均注视时间是反映句子或篇章阅读整体加工的指标,总阅读时间越长,说明整体认知加工的负荷越大,而回视次数可以反映对句子意义进行整合的过程,回视次数越多,说明意义越难以整合。在本研究的复杂句阅读和篇章阅读中,有意义背景音条件下的整体阅读时间明显更长,回视次数更多,说明有意义的背景音干扰了阅读的整体加工和意义整合。

局部分析针对的是兴趣区的目标词分析,属于词汇层面的分析。阅读中的词汇加工可包括早期和晚期词汇加工阶段。早期阶段的加工主要集中于词频、词长等词汇特征方面,首次注视时间和凝视时间可以反映此阶段的加工情况(何立媛 等,2015)。在本研究的3 个实验中,背景音在注视时间和凝视时间上都没有产生显著的影响,说明背景音未影响词汇加工的早期阶段,这可能是由于词汇特征(词频、词长、熟悉度等)的加工往往是自动化的,所需认知资源较少,同时背景音的语音属性产生的作用不明显。总注视时间反映的是词汇加工的总体特征,晚期加工指标回视路径时间反映的是词汇通达和语义整合过程(何立媛 等,2015),在本研究中,由于有意义背景音条件在首次注视时间和凝视时间上与无声条件相比不存在显著差异,而总注视时间显著长于无声条件,由此可以推测其干扰作用可能发生于词汇加工的晚期阶段,而且回视路径时间也显著长于无声条件,可见有意义背景音的语义属性可能干扰了晚期的词汇通达和语义整合。何立媛等(2015)也得到无关言语对篇章阅读中目标词的首次注视时间和凝视时间无显著影响,但对总注视时间和回视路径时间影响显著,这与本研究结果相一致,但在他们的研究中未设置无意义无关言语条件,不能排除语音属性的作用,无法将语音属性和语义属性的作用分离开来。本研究在局部分析中所得的结果,有效地说明了语音属性产生的影响不明显,而语义属性在词汇加工的晚期阶段和语义整合阶段产生了显著的干扰作用。

5.4 基于有限认知资源理论的解释

从认知心理学的角度来看,阅读理解是复杂的认知活动,涉及到文字字形辨认、语音提取和语义通达等步骤(马谐 等,2015),它是一个提取和建构意义同时发生的过程,在阅读过程中需要人们存储最新的文本信息,运用复杂的意义建构加工以形成一个完整的表征,在这个过程中需要个体的认知控制来集中和转换注意、激活和更新表征、抑制自动激活以及丢弃无关信息等(Baddeley,2007;Garcia-Madruga,et al.,2013)。而在有背景音的阅读中,个体需要消耗更多的认知资源,因为被试除了要集中注意进行阅读理解加工外,还需要抑制声音对阅读的影响。

认知资源可能是调节无关言语效应的一个重要因素。校对阅读的相关实验结果表明,通过增加任务难度进而增加被试的认知投入程度,可以减少有意义的背景音对校对阅读的消极影响(Halin,2016;Halin,Marsh,Haga,et al.,2014;Halin,Marsh,Hellman,et al.,2014)。Ünal 等人(2012)的研究结果也得到,在单调的认知任务中,背景音乐会使个体增加心理努力,间接有效地防止注意资源流失,对任务效率的保持起积极作用。值得注意的是,这些研究都限于比较简单的任务,当认知资源可以满足当前任务的需要时,增加认知任务的难度或者有适当的背景音可能会让被试采用增加心理努力的补偿策略,从而提高阅读的效率(Robert &Hockey,1997)。但如果认知资源的需要超过了中枢执行系统的资源限制时,则可能会呈现出不同的结果。

依据有限认知资源理论,个体的认知资源存在一定容量,但这种容量是有限的(Kahneman,1973;Wickens,2002),认知资源容量的有限性将直接决定个体可以处理信息的数量和复杂性(Franconeri et al.,2013),当信息超载时,信息持续不断的出现将竞争有限的认知资源。双重任务能否顺利进行,取决于认知资源的需求是否超过中枢执行系统的资源限制,如果认知资源不够,任务之间则会不可避免地相互干扰,引发分心(Kahneman,1973)。本研究中的阅读伴随有声音,这是一种典型的双重任务,所得的3 个实验结果体现了个体认知加工资源有限的这一特性。在实验1 中当句子难度不大时,即使存在声音干扰,由于被试可能存在足够的认知资源进行阅读加工,因而背景音条件(有意义背景音、无意义背景音条件)和无声条件下被试的阅读正确率和主要眼动指标没有显著差异。而在实验2 中当阅读材料变难时,被试既需要进行复杂句的语义加工,又需要抑制有意义背景音对阅读的影响,在这种任务条件下,被试的认知资源可能不足以应对双重任务的需要,声音对阅读的干扰作用就显现了出来。实验3 通过篇章阅读进一步验证了实验2 的结果,在认知资源需求较高的有意义背景音条件下,声音对篇章阅读产生了干扰作用,降低了阅读效率。总的来说,本研究结果可以通过有限认知资源理论进行解释,即在听觉和视觉共用认知资源的任务中,如果认知任务的加工负荷未超过认知资源限制,可能不会产生无关言语效应,而当认知负荷超过认知资源限制时,则可能会产生这一效应。

6 结论

在本实验条件下,得出如下结论：

(1)背景音的语音属性对中文句子和篇章阅读的影响不显著,未支持语音干扰假说。

(2)背景音的语义属性在复杂句和篇章阅读中起到了干扰作用,一定程度上支持了语义干扰假说。

(3)无关言语对阅读过程的影响体现在晚期的词汇加工和语义整合阶段。

(4)无关言语效应受到阅读任务难度的调节,当任务较难、需要更多认知资源时,背景音才会干扰阅读。