不相关言语对视觉觉察的影响*

2016-01-10 00:47刘思耘贾会宾赵庆柏

心理学报 2016年7期

刘思耘周倩贾会宾赵庆柏

(青少年网络心理与行为教育部重点实验室,华中师范大学心理学院,武汉 430079)

1 前言

在现实生活中,人类在加工某种信息时,不可避免地会受到其它无关信息的干扰,如无关声音对视觉信息加工的跨感觉通道的干扰。视听交互的认知加工机制一直是认知科学领域探讨的热门话题之一,不相关言语效应(the Irrelevant Speech Effect,ISE,又称the Unattended Speech Effect)即为其中现象之一,指无关的言语声音对个体当下的视觉序列回忆成绩产生不可抗拒的干扰,即使事先告知被试不要留意该声音刺激(Baddeley &Salamé,1986;Colle &Welsh,1976;Jones,Macken,&Murray,1993;Neath,2000)。

前人针对这一现象提出了诸多理论模型,但这些模型之间并未达成一致观点,且自身也并不能完满解释所有与不相关言语效应有关的现象,其中争议较大的是关于这一过程中的认知干扰机制本质及是否有注意机制参与。

1.1 不相关言语对视觉信息加工产生干扰的机制

在关于不相关言语干扰机制的争论中,争论的焦点主要集中在以下两点：(1)不相关言语效应产生的原因到底是由于听觉刺激和视觉刺激的内容产生冲突造成的还是两个通道输入的刺激形成的序列不一致从而是在序列上产生冲突造成的？(2)不相关言语效应产生过程中是否涉及注意的机制。

由于前人多采用让被试对视觉刺激进行序列回忆的方式来探讨不相关言语对视觉信息加工的影响,因此所提出的理论模型的内容也与视觉序列回忆这种实验范式有关,如视觉刺激总是呈一定序列、视觉刺激不止一个、视觉刺激多为数字/字母/单词之类的抽象符号等等。可以说,前人所提出的多个不相关言语效应模型具有相当浓厚的范式色彩。如语音存储假说(the Phonological Store Hypothesis)(Salamé &Baddeley,1986)认为,不相关言语效应产生的机制是听觉信息对视觉信息的语音存储产生干扰,与个体的注意机制无关;而改变状态假说(the Changing State Hypothesis)则认为,不相关言语效应产生的关键是由于前后变化的不相关听觉刺激(如音位或音调上的变化)也构成了一个序列,而这个序列干扰了以相同方式形成的视觉信息序列表征,从而降低了视觉信息的回忆成绩(Jones &Macken,1993;Jones et al.,1993;张乐,梁宁建,2007)。改变状态假说认为不相关言语的干扰与刺激的内容无关,是对视觉刺激加工过程的干扰(Jones&Tremblay,2000)。这种严重依赖于特别实验范式产生的理论模型内容无疑限制了我们从根本上去了解此类视听交互加工的本质,因此有必要突破特定实验范式的限制,建构基于干扰本质的模型。

有的研究者提出不相关言语不仅仅在记忆层面干扰视觉加工,还通过对注意机制的调节来产生影响,如建立在记忆和注意框架内的具身加工模型(Embedded-Processes Model) (Cowan,1995,1999)认为,不相关言语对视觉信息系列回忆的干扰是通过注意的偏离导致的,视觉呈现的记忆项目在有限资源的注意焦点内得以复述和保留,而新异的或与任务无关的变化刺激则引起一种朝向反应(orienting response),该反应分散了复述加工过程中的注意力,从而减少了目标表征的激活及成功复述的概率。多个其它研究支持了这个解释(Bell,Dentale,Buchner,&Mayr,2010;Buchner,Bell,Rothermund,&Wentura,2008;Chein &Fiez,2010)。也有研究者运用时间独特性假说(the Temporal Distinctiveness Theory),从注意资源分配的角度提出了注意机制对这一过程的参与(LeCompte,1996)。由此看来,前人已经察觉到不相关言语对视觉刺激加工的干扰不仅仅停留在单个的认知加工层面(如记忆),既使他们是在某个特定的认知层面采用相对固定的实验范式去观察的(如视觉记忆任务)。

1.2 与不相关言语有关的ERP研究

近些年研究者采用事件相关电位(ERP)和脑成像(如fMRI)等神经机制探究方法,探讨与不相关言语效应有关的脑机制。其中有关 ERP脑电的研究分为两类,一类关注无关言语刺激所诱发的 ERP成分,另一类关注当前任务中视觉刺激所诱发的ERP成分。

研究者提出无关听觉刺激能够诱发 N1、P3a和重新定向负波(reorienting negativity,RON)等多个 ERP成分,且这些成分可能反映了注意转换的不同阶段(Bell et al.,2010;Bendixen,Roeber,&Schröger,2007;Escera &Corral,2007;Campbell,Winkler,&Kujala,2007;Campbell,Winkler,Kujala,&Näätänen,2003),暗示着不相关言语刺激很有可能影响了注意的认知加工。具体来说,N1是听觉ERP成分中最具代表性或通道特异性的早期成分,是刺激开始后100 ms左右记录到的一个负成分(赵仑,2010)。从功能上来说,听觉刺激的早期 N1成分具有注意效应。不相关言语效应的研究发现,尽管要求被试忽略听觉通道而集中注意视觉刺激,忽略的听觉通道刺激还是诱发了 N1,且主要分布在头皮的额中央区,波幅由刺激的物理性质改变的多少决定(Bell et al.,2010)。当控制状态改变的数量时,不同类型的听觉刺激(如音调、言语、环境声音等)产生非常相似的N1反应(Näätänen &Picton,1987)。P3家族包括很多成分,而与不相关言语效应有关的P3a (Novelty P3)是由频次较少的、与任务不相关的刺激(新异刺激)在 300 ms左右诱发出的一个正成分,潜伏期较短,比反映了靶刺激注意加工过程的P3b靠前(如250～300 ms),头皮分布也较为广泛,最大波幅位于额叶后部,也较 P3b明显靠前(赵仑,2010)。从功能上来说,P3a反映了刺激驱动的自下而上的前脑区注意加工机制(Polich,2007),且 P3a是现已公认的朝向反应的主要标志。在不相关言语效应产生过程中,尽管要求被试忽略听觉通道出现的刺激,但其固有的新异性仍有可能引起被试的朝向反应。因此,P3a的出现很有可能是由于被试的注意资源被分散,导致他们在主任务中表现出更高的错误率和更长的反应时(Escera,Alho,Winkler,&Näätänen,1998;Escera,Yago,&Alho,2001)。另外,P3a成分之后会出现一个后期负成分,且在额区达到最大(Escera et al.,2001)。鉴于这种负偏离可能至少部分反映了注意重新定向到主要任务上的假设,因此该成分被称为重新定向负波(RON) (Berti,2008;Escera et al.,2001)。

前人针对视觉呈现的记忆项目的加工是否受不相关言语的影响也进行了多个 ERP的研究。他们认为如果不相关言语吸引了当前视觉任务的注意力,那么视觉活动相关的神经活动会被减弱。而视觉 ERP早期成分通常包括 C1、颞枕区的 P1和N1/N170、额中央区的N1和P2(赵仑,2010),这些ERP成分应该或多或少有不同程度的反映。这里我们主要分析并总结前人找到的与视觉注意有关的P1/N1成分。P1一般开始于刺激呈现后的60～90 ms,幅度通常在偏侧枕区(如O1、O2)达到最大,峰值潜伏期在100～130 ms之间,且受刺激对比度、空间注意指向以及被试的唤醒状态等因素的影响,但与其它自上而下的变量无关(Hillyard &Anllo-Vento,1998;Hillyard,Vogel,&Luck,1998)。N1出现在P1之后,常出现在顶枕外侧纹状区,与刺激特征的加工过程有关(Hillyard &Anllo-Vento,1998;Hillyard et al.,1998)。它包括几种视觉N1子成分,某些子成分反映了某种辨别过程(赵仑,2010)。研究发现,头皮后部的P1、N1以及额区的N1均受到注意的显著影响,表现为幅值的增强(Hillyard &Anllo-Vento,1998;Hillyard et al.,1998)。由于不相关言语可能会自动获取注意资源,损害被试对视觉表征项目的认知加工,因此很有可能会导致与视觉记忆项目加工相应的 ERP成份波幅减弱,有研究通过采集EEG数据支持了这一假设,发现了N1波幅的减弱(Weisz &Schlittmeier,2005)。

由以上诸多 ERP研究可以看出,关于不相关言语效应的脑电研究结果在某种程度上均支持了注意在这种跨通道信息加工过程中的参与作用,为不相关言语效应与注意机制的关联提供了脑神经机制的依据。同时也表明,虽然前人是在记忆层面观察到的不相关言语效应,但并不表明不相关言语只在记忆层面对认知功能造成损害,不排除更早阶段的认知加工也会受到影响。

1.3 视觉意识觉察研究

从前人提出的多种理论以及相关的 ERP研究来看,在记忆层面完全揭示不相关言语干扰的机制以及探讨注意在其中的作用似乎没有那么容易。尽管视觉信息的记忆成绩受损是迄今为止发现的最明显的不相关言语造成的影响,但这并不能说明更早阶段的视觉信息加工过程没有受到干扰。本研究将不从传统的记忆层面探讨该问题,而是从知觉层面去探讨跨感觉通道信息加工间的干扰本质,试图从不同的角度获取解决相关理论争论的关键信息。

尽管知觉过程发生在个体对外界信息加工的早期阶段,远早于记忆阶段,但知觉过程仍是一个复杂的过程,包含了多个步骤(Eysenck &Keane,2000)。因此,为了更有效地探测不相关言语效应的机制,我们将探测窗口移至视知觉加工的早期阶段,即视觉意识或觉察阶段。视觉意识或觉察(visual consciousness or awareness)指的是被试根据自身的主观体验确实感知到某个刺激的存在,而不是随机猜测或根据无意识视觉体验,或后续对体验到的内容进行再加工来判断刺激是否呈现。该过程与无意识视觉加工或后期意识加工过程有所不同(Block,2001)。在本研究中,我们交替使用视觉意识(visual consciousness)和视觉觉察(visual awareness)两个概念,使用前者时偏向从静态的角度强调意识概念本身,使用后者时偏向从动态的角度强调个体产生视觉意识的过程。值得注意的是,视觉意识并不完全等同于视觉阈限。虽然前者始于阈限,但其可靠的觉察阶段应该出现在阈限之上的短暂时间内。因此,我们在本研究中将不会采用观察视觉刺激阈限的方式来探讨视觉觉察过程,而是采用一种能够产生足够视知觉但仅仅停留在觉察阶段的刺激呈现方式。

目前,大量研究表明与视觉意识相关的 ERP成分可能有以下3种(Koivisto &Revonsuo,2010)：(1) P1,大约在刺激出现后100 ms;(2)早期后部负波VAN (visual awareness negativity),大约在刺激出现后200 ms,也称为视觉觉察负波;(3)后期正波LP(late positivity),位于 P3时间窗口内,大约是刺激出现后400 ms。P1成分是刺激呈现后100 ms的正成分,反映的是个体对刺激的感觉反应,且与空间注意有关(Luck &Ford,1998)。然而,根据视觉意识的不同操作范式,只有部分研究发现视觉意识中P1成分得到增强(Koivisto &Revonsuo,2010),表明P1还不是视觉意识的稳定脑电成分表征。相比于未进入视觉意识的刺激,VAN是进入意识的视觉刺激在200 ms左右引发的早期负波的增强,主要分布于颞叶后部和顶枕叶,且对视觉意识具有跨任务范式的稳定性。VAN之后常常跟随一个晚期正向差异成分(LP),通常在P3时间窗口,尤其是顶叶和中央记录位置。多个研究表明,VAN被认为是上述3种成分中代表视觉意识产生的最早最可靠的相关成分(Koivisto &Revonsuo,2010;Koivisto et al.,2008)。

本研究共设计了3个实验,均采用视觉掩蔽范式和听觉刺激输入的视听交互范式,采用信号检测论技术和ERP技术探讨不相关言语对视觉觉察过程的影响。在选取视觉加工材料时,我们选取了兼具视觉普遍性和重要性的灰色实心圆、卡通圆形时钟和卡通面孔作为简单图片材料,真实的客体(房子和面孔)作为复杂图片材料。实验 1的假设是：不相关言语对简单客体(灰色实心圆、卡通时钟、卡通面孔)的视觉意识会产生显著干扰,而不相关纯音并不会产生明显的干扰,且这种不相关言语效应对不同物体视知觉觉察的影响并无差异。实验2的假设是：不相关言语对复杂物体的视觉意识也会产生显著干扰,且由于面孔加工所具有的某种可能的特殊性,不同复杂程度物体受到的干扰会有所不同。实验3在前两个行为实验的基础上,采用ERP技术进一步探讨不相关言语效应发生的神经机制。该实验的假设为：行为学结果与实验1和实验2假设基本保持一致,即不相关言语会对视觉意识产生干扰。脑电结果预期为,在不相关言语条件下,被试后部脑区诱发的 VAN成分显著削弱,进一步支持不相关言语会对视觉觉察过程造成干扰。

2 实验1 不相关言语对简单图片视觉觉察的影响

2.1 实验目的

采用视觉掩蔽范式和信号检测论技术,比较 3种不同声音背景条件下被试对不同简单图片进行视觉觉察的行为表现,探讨视觉觉察过程是否存在不相关言语的干扰,以及这种效应在不同物体觉察中是否存在差异。

2.2 研究方法

本实验的视觉刺激呈现方式参考了Koivisto等人(2008)在探测视觉意识最早ERP成分的研究中实验1所使用的实验范式。

2.2.1 被试

华中师范大学在校大学生70名(男生18名,女生52名),年龄范围在19 ～26岁之间(

=23.13,

=2.14),均自愿参加实验。所有被试的听力、视力或矫正视力正常。每位被试完成实验后均获得精美礼品一份。

2.2.2 实验材料

不相关声音材料分为两类：单字(bei4)和纯音(嘟)。其中单字由一位普通话标准的女生在语音室录制,然后通过Goldwave Digital Audio Editor编辑软件对单字及纯音声音材料进行处理,并单独保存形成时长均为0.025 s的两个声音文件。实验过程中该声音文件会通过程序被连续调用呈现。声音大小的范围是70～80 dB。

用于视觉意识的图片材料分为三类：灰色实心圆,卡通面孔,卡通时钟,其视角均为 3.27°×3.27°,所有图片(RGB分别是 235、235、235)的大小为113.1 kb,分辨率为72像素/英寸。程序中前后掩蔽刺激为黑白模式的方块,其视角也为3.27°×3.27°。

2.2.3 实验设计

采用 3(不相关声音类型：单字 vs.纯音 vs.安静 )×3(视觉觉察图片类型：灰色实心圆 vs.卡通面孔 vs.卡通时钟)两因素混合设计。其中,不相关声音类型为被试内变量,视觉觉察图片类型为被试间变量。要求被试完成视觉觉察任务,即判断是否觉察到靶刺激图片。本实验采用信号检测论技术,靶刺激图片为信号,空白图片为噪音,记录被试的击中、漏报、虚报、正确拒斥的反应,因变量为被试的辨别力(

)和反应倾向(

)。

2.2.4 实验程序

采用E-Prime 1.1进行编程。整个实验在显示分辨率为 1440×900的台式 Lenovo计算机上完成,屏幕刷新率为 60 Hz。被试进入隔音实验室后,被随机划分到不同的实验条件组,然后保持舒适坐姿坐在计算机屏幕前,眼睛与显示器平直,视距约为60cm (50～70cm)。在每个实验条件下每个被试要完成3种不相关声音条件下的视觉觉察任务。每一种实验条件包括160个试次,其中80次靶刺激呈现,80次靶刺激缺失,所有试次随机呈现,共 160×3(单字、纯音和安静条件)=480个试次。

显示器背景为白色,显示器亮度、对比度和色彩均为统一设置。首先,给被试呈现指导语,待被试完全正确理解实验过程和任务内容后开始实验。每个试次的具体流程如下：首先计算机屏幕中央呈现1200 ms的黑白模式前掩蔽刺激,作为警示被试集中注意的注视点。随后在前掩蔽刺激出现的位置呈现靶刺激或者空屏,呈现时间为 83 ms,两种情况出现的概率均为 50%。然后在同一位置再呈现83 ms的空屏,直到黑白模式的后掩蔽刺激出现并持续1200 ms。试次间隔ISI为1600 ms。被试在整个实验过程中佩戴耳机,不相关声音(单字和纯音)在整个实验中一直呈现。实验要求被试集中注意屏幕中央,并避免在试次进行中眨眼和转动眼睛。如果被试有意识地察觉到靶刺激就按“是”键,如果没有察觉到就按“否”键。不鼓励他们猜测,而是根据自己的意识知觉来做出反应。

实验依据背景声音的3个水平分为3个实验单元,呈现顺序在被试间做了平衡。每个正式实验开始之前都有一个演示和练习阶段,练习阶段中刺激和后掩蔽间隔逐渐缩短至正式实验的水平,且在练习阶段给被试提供反馈,确保被试正确理解实验指导语。每个实验单元结束后被试有短暂的休息时间。

2.3 实验结果

对3组被试的辨别力和反应倾向分别进行计算和分析。辨别力指标(

)即被试对刺激的感受性。当

＞0时,表明被试对信号是敏感的,信号是足够强的;

值越大表示被试对刺激的敏感性越高;而当

＜0时,表明被试对信号不敏感,被试是随机做出的反应。反应倾向(

)是被试在判断过程中所持的决策标准,可用于推断被试的反应是基于真实的视觉觉察还是掺杂了猜测的成分在里面。当

＞1时,表明被试在对信号不够敏感的情况下倾向于做出“否”的反应,是一种较为保守的、严格的策略和标准;而当

＜1时,表明被试在对信号不够敏感的情况下倾向于做出“是”的反应,是一种较为冒险激进或宽松的策略和标准;当

值接近或等于1时,表明被试在对信号敏感性不强的情况下采取了不松也不严的标准。辨别力和反应倾向的计算方法为：1)计算被试的击中率、漏报率、虚报率、正确拒斥率;2)根据PZO转化表,将击中率和虚报率转化为相应的

值和

值;3)根据公式

d’

=Z−Z

,计算相应的

d’

和

。根据信号检测论的数据分析方法,排除辨别力指标不合格(

≤0)的被试10名,共采集60名有效被试数据。其中灰色实心圆条件下有效被试17名,卡通面孔条件下有效被试 19名,卡通时钟条件下有效被试24名。实验1被试的击中率和虚报率数据见表1。

表1 实验 1中被试对不同视觉刺激觉察的击中率和虚报率

2.3.1 辨别力指标

首先,对被试的辨别力指标进行单样本

检验。结果发现,当觉察到灰色实心圆时,被试在 3种不同听觉条件下的辨别力指标均显著大于 0 (

(16)=7.99,

＜0.001;

(16)=6.75,

＜0.001;

(16)=7.82,

＜0.001);当觉察到卡通面孔时,被试在3种不同听觉条件下的辨别力指标也均显著大于 0 (

(18)=10.50,

＜0.001;

(18)=12.31,

＜0.001;

(18)=12.52,

＜0.001);当觉察到卡通时钟图片时,被试在3种不同听觉条件下的辨别力指标也均显著大于0 (

(23)=8.54,

＜0.001;

(23)=16.09,

＜0.001;

(23)=21.01,

＜0.001)。这些结果表明所有被试对于刺激的敏感度都足够强,都是基于个人真实观察而不是随机猜测做出的反应。

图1 不同声音背景条件下被试对不同图片觉察反应的辨别力

2.3.2 反应倾向指标

首先,对被试的反应倾向指标进行单样本

检验。结果显示,当觉察到灰色实心圆时,被试在 3种声音背景条件下的反应倾向指标均显著大于 1(

(16)=2.81,

=0.013;

(16)=2.81,

=0.013;

(16)=2.12,

=0.050);当觉察到是卡通面孔时,被试在单字背景条件下的反应倾向显著大于1 (

(18)=2.31,

=0.033),而在纯音条件和安静条件下的反应倾向与1差异不显著(

(18)=1.95,

=0.066;

(18)=1.17,

=0.258);当觉察到是卡通时钟时,被试在3种背景下的反应倾向指标也均显著大于 1 (

(23)=2.77,

=0.011;

(23)=2.76,

=0.011;

(23)=2.51,

=0.020)。这些结果表明被试在大多数声音背景条件下,对视觉觉察过程采取的是较严的保守策略。

2.4 讨论

以上结果表明被试在视觉觉察加工过程中受到了不相关言语的干扰,但由于不相关声音类型和图片类型之间无交互作用,表明不相关言语在视觉觉察阶段产生的干扰与觉察内容无关。这一结果从不同的层面和角度支持了前人提出的改变状态假说,即认为不相关言语是对视觉刺激加工过程的一种干扰(Jones &Tremblay,2000),而不是如语音存储假说(Salamé &Baddeley,1986)所认为的对视觉信息内容产生的干扰。但是,由于实验1中的视觉刺激是单个的静止的图片,并不涉及任何序列问题,因此我们推断至少在这个阶段产生的视听交互冲突并不是来自于序列,而是刺激内容本身。另外,被试对卡通面孔和卡通时钟的辨别力显著高于对灰色实心圆的辨别力,而对卡通面孔和卡通时钟的辨别力则无显著差异。这个结果似乎并不支持面孔加工特异的观点。对于人类来说,面孔是一种内容非常丰富、意义不同寻常的视觉刺激,有研究者认为面孔识别有别于其它类型的物体识别(如 Farah,Klein,&Levinson,1995),大脑有专门的区域(颞叶区)负责加工人类面孔(Desimone,1991);但也有研究者认为面孔识别只是物体识别的特殊形式,本质上与物体识别没有差异。如研究发现面孔知觉的整体加工优势和梭状回面孔识别区都是后天习得性增强或募集的结果,表明面孔识别能力只是后天经验积累的结果,即面孔知觉的专家理论(赵仑,2010)。卡通面孔和卡通时钟由于具有某些共同的特征,如圆的外形、且内部都有一些明显的特点,被试完全可以采取相同的策略来识别这两个不同的客体。但由于实验1中的材料是卡通性质的,与真实面孔的复杂性相比过于简单,因此还不能完全推断出人们对真实面孔加工的情况。同时,该结果表明随着图形复杂程度的增加,被试的辨别力也会有所增强。

进一步分析这几个图形的区别,发现相对于灰色实心圆而言,卡通面孔和卡通时钟多了一些客体特有的属性,如眼睛、嘴巴、时针和分针等。虽然这3种图片的灰度保持一致,但卡通面孔和卡通时钟确实比灰色实心圆多了很多空白,在快速呈现的条件下,由于亮度的不同形成明显的轮廓。因此,被试在觉察卡通面孔和卡通时钟过程中可能仅仅依赖是否察觉到了轮廓,而非真正觉察到面孔和时钟。这从被试对卡通面孔和卡通时钟辨别力并无差异也可获得一定程度的支持。因此,灰色圆和卡通面孔/卡通时钟之间的觉察差异有可能是由于被试采取了不同的策略导致的。

3 实验2 不相关言语对复杂图片视觉觉察的影响

3.1 实验目的

由于卡通面孔、卡通时钟与真实面孔、真实时钟仍有许多不同,因此实验2采用客体的真实图片,即真人面孔和真实房子,作为实验材料并分别作为彼此的信号和噪音,以探讨不相关言语对复杂图片的视觉觉察是否造成干扰,以及这种干扰与实验 1中产生的干扰效应是否有所不同。

3.2 研究方法

3.2.1 被试

华中师范大学在校大学生24名(男生6名,女生18名),年龄范围在22～26岁之间(

=24.25,

=0.99),均自愿参加实验。所有被试的听力、视力或矫治视力正常。每位被试完成实验后均获得精美礼品一份。

3.2.2 实验材料

不相关言语声音材料：同实验1。

视觉觉察图片材料为真人面孔图片和真实房子图片。同时,为确保被试在安静条件下对不同图片具有相同的辨别力,我们将真实房子图片和真人面孔图片进行不同灰度水平的处理,以确保两种图片在判断难度上无差异。实验材料筛选过程的具体操作方法如下：

首先,通过Adobe Photoshop CS 5软件处理真实房子和真人面孔的原始图片,使其大小为 113.1 kb,分辨率为 72像素/英寸,设置图层不同的不透明度。根据不透明度这一指标,从中选取不透明度分别为 77%和82%的房子图片及不透明度分别为77%和80%的面孔图片作为预实验的刺激材料。将这4类图片分为两组：A.77%房子图片和80%面孔图片;B.82%房子图片和77%面孔图片。在每组条件下房子和面孔图片互为信号和噪音,分别计算各自的击中率、漏报率、虚报率和正确拒斥率。

随机选取华中师范大学在校 15名学生进行预实验,每名被试参与两种条件(A和B)下的实验。根据实验1排除被试的标准,采集到14名被试的有效数据。所有被试的视力或矫治视力正常。同实验1的数据处理过程,首先对辨别力和反应倾向指标进行单样本t检验,该14名被试的数据均符合要求,即均基于个人观察作出的反应,且采用的判断标准适中。然后,分别对两组条件下被试对房子和面孔的辨别力和反应倾向指标进行配对t检验。结果发现,被试对不透明度分别为77%的房子和80%的面孔的辨别力和反应倾向及对不透明度分别为 82%的房子和77%的面孔的辨别力和反应倾向之间差异都不显著(

(13)=−2.00,

=0.067;

(13)=1.06,

=0.307;

(12)=1.45,

=0.174;

(13)=−1.52,

=0.151;

(13)=0.87,

=0.401;

(13)=0.82,

=0.428)。由于我们采用的是被试内设计,故可以将4种图片类型的辨别力和反应倾向指标进行单因素方差分析,具体结果分别如下：在辨别力这一指标上,4种图片类型的主效应也不显著,

(3,39)=0.17,

MSE

=1.30,

=0.918。两两比较发现结果同击中率,四者彼此之间差异不显著(

＞0.05)。在反应倾向这一指标上,4种图片类型主效应也不显著,

(3,39)=1.14,

MSE

=0.51,

=0.346。两两比较发现结果同击中率和辨别力指标,四者彼此之间差异不显著(

＞0.05)。结合击中率、辨别力和反应倾向3个指标,本实验采取不透明度 82%的房子和77%的面孔作为正式实验的刺激材料。

3.2.3 实验设计

采用 3(不相关声音类型：单字 vs.纯音 vs.安静 )×2(视觉觉察图片类型：真实房子图片 vs.真人面孔图片)两因素被试内设计。其它同实验1。

3.2.4 实验程序

同实验1。不同之处在于实验1中靶刺激要么出现要么不出现,噪音为空屏。而实验2中真实房子图片和真实面孔图片,彼此作为信号和噪音随机呈现,且无空屏呈现。

3.3 实验结果

对被试的辨别力和反应倾向分别进行计算和分析,计算和分析方法同实验 1。首先根据信号检测论的辨别力指标(

)排除不符合要求的 4名被试数据,故有效被试为20名(男生5名,女生15名)。有效被试年龄范围是 22～26岁(

=24.20,

=1.01),采用同实验 1相同的方式对数据进行处理,不同之处在于真实房子图片和真人面孔图片分别作为彼此的信号和噪音。被试的击中率和虚报率数据见表2。

表2 实验 2中被试对不同视觉刺激觉察的击中率和虚报率

3.3.1 辨别力指标

同实验 1,首先对被试的辨别力指标进行单样本

检验。结果表明,当真实房子图片作为信号、真人面孔图片作为噪音时,被试对房子图片的辨别力在 3种背景下均显著大于 0 (

(19)=6.63,

＜0.001;

(19)=10.63,

＜0.001;

(19)=13.37,

＜0.001);当真人面孔图片作为信号、真实房子图片作为噪音时,被试对面孔的辨别力在3种背景下也均显著大于0 (

(19)=6.65,

＜0.001;

(19)=10.65,

＜0.001;

(19)=13.39,

＜0.001)。这些结果表明所有被试对上述材料是基于个人观察做出的反应而不是凭随机猜测做出的反应。采用两因素重复测量的方差分析(MANOVA)对被试在3种不同背景声音条件下的辨别力进行分析,发现只有不相关声音类型主效应显著,

(2,38)=13.78,

MSE

=1.31,

＜0.001,

=0.42。对不相关声音类型两两比较发现,单字背景条件下的辨别力与纯音背景和安静条件下的辨别力差异显著(单字vs.纯音：

=0.003;单字 vs.安静：

＜0.001),而纯音背景条件和安静条件下的辨别力差异不显著(

=0.230)。见图2。

图2 不同声音背景条件下被试对复杂图片觉察反应的辨别力

3.3.2 反应倾向指标

同实验 1,首先对被试的反应倾向指标进行单样本

检验。结果显示,当真实房子图片作为信号、真人面孔图片作为噪音时,被试对房子图片的反应倾向指标在纯音和安静背景下均显著大于1 (

(19)=2.21,

=0.040;

(19)=2.41,

=0.026),而在单字声音背景下与1无显著差异(

(19)=1.38,

=0.184);当真人面孔图片作为信号、真实房子图片作为噪音时,被试对面孔的反应倾向指标在3种背景下与1并无明显差异(

(19)=1.25,

=0.227;

(19)=0.49,

=0.627;

(19)=−0.74,

=0.470)。该结果表明被试在大多数情况下对真实面孔或物体采取的标准不严也不松。

3.4 讨论

以上分析表明,被试对真实复杂图片的视觉觉察过程亦受到不相关言语声音的干扰,即被试在单字条件下的辨别力比在纯音和安静条件下的辨别力差,且干扰效应与觉察的内容无关。实验2虽然采用了更为复杂的视觉刺激图片,但其结果仍与实验1的结果保持了一致,表明视觉刺激内容复杂性的增加并不会改变视听交互过程中听觉刺激对视觉刺激影响的模式,即听觉刺激是对视觉刺激加工过程而不是内容的干扰,且这个过程至少在视觉意识阶段不涉及与序列有关的信息。同样的,实验 2的结果在一定程度上驳斥了前人提出的语音存储假说(Salamé &Baddeley,1986),支持了与改变状态假说类似的观点(Jones &Macken,1993;Jones et al.,1993)。另外,实验2并未发现被试对真实面孔和真实房子图片的觉察过程有任何不同,该结果似乎表明面孔觉察过程与其它类别的客体识别没有本质的差异。但尽管如此,我们仍不能由此来否定面孔知觉(face perception)的特殊性,这是因为当前专门的面孔知觉的研究更多是从社会层面去考虑的,涉及到面孔识别的社会功能,即更复杂的面孔情绪的加工和判断(Bruce &Young,1986;McArthur &Baron,1983),因此所采用的视觉刺激材料在情绪特征和种族特征上更丰富、更具社会信息功能(Tottenham et al.,2009),这就有可能和本实验中单纯判断是否为面孔有所不同。因此,本实验 2的结果仅在意识觉察阶段揭示了面孔加工与其它客体加工相似的本质。

为了从脑机制层面进一步揭示视觉觉察过程受不相关言语声音影响的本质,在实验 3中,我们将采用ERP脑电技术对该过程做更细致的观察。

4 实验3 不相关言语对简单图形视觉觉察影响的神经机制

4.1 实验目的

由于在实验1和实验2中观察到了不相关言语的干扰作用,因此推测在神经活动层面,不相关言语会影响到顶枕区的 VAN成分,即与纯音和安静条件相比,不相关言语条件下被试顶枕区的 VAN波幅显著降低。

4.2 研究方法

4.2.1 被试

在校大学生28名(男生9名,女生19名),年龄范围在18～25岁之间(

=21.61,

=1.62),均自愿参加实验。所有被试的听力、视力或矫正视力正常,无精神疾病和神经障碍病史。所有被试之前均未参加过本研究的实验1和实验2。实验结束后被试获得若干报酬。

4.2.2 实验材料

由于本实验的主要目的是观察在不相关言语声音干扰的过程中,视觉觉察负波 VAN是否会受到影响,从而验证实验 1和实验 2的行为学结果,因此本实验将采用与实验1相同的不相关声音材料,而视觉觉察图片材料同实验1中的灰色实心圆图片。

4.2.3 实验设计

采用单因素3水平(不相关声音类型：单字vs.纯音vs.安静 )设计。其它同实验1。

4.2.4 实验程序

同实验1。

4.2.5 ERP数据记录与分析

使用德国Brian Products公司的脑电事件相关电位记录分析系统,按照国际10-20系统扩展的64导电极帽记录EEG。参考电极设定在FCz。同时在右眼外侧记录水平眼电(HEOG)和左眼眶上侧记录垂直眼电(VEOG)。保证电极与头皮接触处平均电阻小于 5kΩ。滤波带宽为 0.05～100 Hz,采样率为250 Hz/导。脑电采集的同时记录被试的行为数据。

离线分析中,将参考电极转换为双侧乳突平均。带通滤波0.05～45 Hz以去除高频噪音,并利用独立成分分析校正眼电等伪迹。分别对击中和漏报条件下的 ERP进行叠加平均,事件分析的时间窗锁定在目标刺激呈现后的0～1000 ms,以刺激前的200 ms作为基线。

4.3 研究结果

首先整理所有被试的数据,剔除无效数据。剔除的标准有两个,一个是行为数据中辨别力和反应倾向的标准,另一个是脑电数据分析的标准。对被试的辨别力和反应倾向分别进行计算和分析,计算和分析方法同实验1。根据信号检测论的辨别力指标(

＜0)排除不合格数据的被试6名,另根据ERP数据要求(叠加次数不少于30次)排除另外6名被试,故最终有效被试为16名(男生5名,女生11名)。有效被试年龄范围是20～25岁(

=21.88,

=1.71)。

4.3.1 行为结果

被试的击中率和虚报率数据见表3。

表3 实验 3中被试(N=16)觉察灰色实心圆时的击中率和虚报率

(1)辨别力指标

同实验 1和实验 2,首先对被试的辨别力指标进行单样本

检验。结果表明,当觉察到灰色实心圆时,被试在3种声音背景下的辨别力指标均显著大于 0 (

(15)=3.79,

=0.002;

(15)=5.66,

＜0.001;

(15)=5.22,

＜0.001)。这些结果表明所有被试都是基于个人真实观察所做出的反应而不是随机的反应,且被试在该脑电实验中的辨别力与前人用脑电探测视觉意识时所探测到的图形辨别力较为一致(参见Koivisto et al.,2008).单因素重复测量的方差分析发现,不相关声音类型主效应显著,

(2,30)=6.17,

MSE

=1.28,

=0.006,

=0.29。对不相关声音类型两两比较发现,被试在单字背景条件下的辨别力与纯音和安静背景下的辨别力存在显著差异(单字 vs.纯音：

=0.004;单字vs.安静：

=0.011),而纯音和安静背景下的辨别力差异则不显著(

=0.593)。见图3。

图3 不同声音背景条件下被试对灰色实心圆觉察反应的辨别力指标

(2)反应倾向指标

同实验 1和实验 2,首先对被试的反应倾向指标进行单样本

检验。结果显示,当被试觉察到灰色实心圆时,被试在3种背景下的反应倾向指标与1并无显著差异(

(15)=1.65,

=0.121;

(15)=1.65,

=0.121;

(15)=1.91,

=0.076)。这些结果表明被试采取的标准适中,不松也不严。单因素重复测量的方差分析发现,不相关声音类型主效应不显著(

(2,30)=0.30,

MSE

=2.03,

=0.746)。

4.3.2 脑电数据结果

4.4 讨论

实验3结果发现在3种声音背景条件下,击中比漏报在200 ms左右的后部皮层上诱发了一个更负成分,研究认为该成分是VAN,反映的是视觉意识(Koivisto &Revonsuo,2010;Koivisto et al.,2008)。与VAN在产生时间、极性和皮层位置上均比较相似的成分有N2pc (N2-posterior-contralateral)和选择负波(Selection Negtivity,SN),这二个成分均与选择注意有关(Luck &Ford,1998)。本研究中,被试只是对是否觉察到靶刺激进行判断,而不是对靶刺激进行视觉搜索,因此发现的负成分应该不是N2pc。而SN成分反映的是相对于非目标刺激或属性,被试对目标刺激或属性的注意力(Hillyard &Anllo-Vento,1998)。如果认为实验3中击中减去漏报的负差异波是 SN,反映的是被试在目标视觉刺激和背景听觉刺激间的选择性注意,那么在安静条件下,由于听觉刺激不存在,该差异波也应该不存在。但结果并非如此,说明该差异波并非SN。此外,在对注意和意识的关系探讨研究中,有研究者(Koivisto,Revonsuo,&Salminen,2005)通过操控对视觉刺激的意识(有意识和无意识)和注意(目标与非目标)发现,对于注意和非注意刺激,VAN的早期部分是相似的,且早于任何与选择性注意相关的电生理效应。由此,研究者认为视觉意识和选择性注意在最初是彼此独立的。基于上述讨论和实验3所采用的实验范式,可以确认实验3中发现的击中与漏报在 200ms以后后部皮层的负向差异波就是VAN。在实验3中,ERP结果与行为辨别力结果一致,VAN波幅也表现出从安静到纯音到单字的逐渐降低的趋势,且单字条件和安静条件相比存在显著差异,表明单字条件下被试的视觉觉察过程在行为学层面和脑神经机制层面均受到了干扰。

对于注意是否在不相关言语对视觉觉察过程中发挥作用的问题,由于视觉意识和注意是彼此独立的,因此不能直接确定注意在其中发挥了作用。如果说不相关言语是通过注意机制来影响视觉觉察的,那么与注意相关的 ERP成分应该早于 VAN出现。在视觉意识相关研究中,与注意相关的早期ERP成分是P1,反映了个体对刺激的感觉反应(Luck&Ford,1998)。但实验3与很多其它同类的研究一样,未发现与视觉觉察相关的 P1成分(Koivisto &Revonsuo,2010),也就无从比较3种声音背景下的视觉加工差异。由此可以推断,虽然无法否认不相关言语对注意机制产生了干扰,但可以确认对注意的干扰不会发生在视觉觉察之前。也就是说,在视觉信息加工的初期是意识觉察过程本身而非注意机制受到了不相关言语的干扰。

图4 三种声音背景条件下VAN波形和地形图

5 综合讨论

前人在定义不相关言语效应时大多指无关言语显著损害同时进行的记忆任务成绩的一种现象(Baddeley &Salamé,1986;Colle &Welsh,1976;Jones et al.,1993;Neath,2000),所采用的实验范式基本上围绕回忆任务展开(如Farley,Neath,Allbritton,&Surprenant,2007),如短时序列回忆或自由回忆。但在此类研究的基础之上所提出的多个理论模型仍不能圆满地解释不相关言语的干扰本质。本研究将观察的窗口设定在知觉的早期阶段,即视觉意识阶段,探讨当视觉呈现不同复杂程度的客体让被试进行视觉觉察判断时,不相关言语是否会干扰被试的视觉信息加工。

实验1首先观察不相关言语对灰色实心圆、卡通面孔和卡通时钟等简单视觉刺激觉察过程的影响,结果发现不相关言语对视觉觉察产生了影响,且对不同内容图片的影响是一样的,表明不相关言语的干扰与视觉觉察内容无关。实验2在保证各图片知觉难度无差异的条件下探讨不相关言语对更为复杂的真人面孔和真实房子图片觉察过程的影响,结果与实验1结果一致。实验3利用事件相关电位高时间分辨率的优点,观察视觉觉察过程中不相关言语影响的脑电活动,结果验证了实验1和实验2所发现的不相关言语效应的行为学研究结果。

5.1 不相关言语效应

本研究中的 3个实验,不论是行为数据还是ERPs数据,都表明在视觉觉察这一短暂的视知觉初期不相关言语也产生了干扰,且这个层面的视听交互间的干扰不受视觉意识内容的影响。如果不相关言语在视觉觉察层面干扰的不是视觉内容的加工,那干扰的是什么呢？

在不相关言语效应的相关理论中,语音存储假说(Salamé &Baddeley,1986)认为不相关言语干扰了内容的加工过程,即是听觉言语刺激与视觉刺激在内容上的类别相似性导致了两者加工的冲突;而改变状态假说(Jones &Macken,1993;Jones et al.,1993)则从序列加工干扰的角度探讨不相关言语效应的本质,即认为是听觉言语刺激组成的序列和视觉刺激组成的序列相互间产生了干扰。从本研究的行为学实验结果来看,不相关言语对不同内容的信息加工并不存在不同的干扰,视觉刺激的复杂程度的改变以及不同类型的视觉刺激均不会改变听觉刺激的干扰模式。这个结果可能由两种原因导致：一)不同内容的视觉信息加工在意识觉察阶段并无本质不同;二)不相关言语对视觉意识的内容确实不造成干扰,而是对意识觉察的过程造成干扰。本研究实验1发现,被试对灰色实心圆和卡通图片的辨别力确实有所不同,表明被试对不同内容视觉刺激的视觉觉察能力是不同的,即不同内容的视觉信息在视觉觉察阶段是有区别的。如果是这样的话,那么不相关言语产生的干扰很有可能与视觉意识内容无关,而与视觉觉察的过程有关。接下来我们从意识和注意的关系进一步讨论在意识觉察过程中所涉及到的认知加工成分。

5.2 注意机制与不相关言语效应关系

在探讨不相关言语效应的过程中,研究者们还一直关注注意的机制在其中是否起到作用,即该效应的产生是否是由于听觉刺激干扰了个体对视觉刺激的注意分配所导致的(LeCompte,1996),很多ERP研究为注意机制的参与也提供了支持性证据(Bell et al.,2010;Buchner et al.,2008;Chein &Fiez,2010;Escera et al.,1998,2001),但上述研究中提到的注意机制的参与均发生在记忆阶段,而本研究则从视觉觉察阶段为注意机制是否参与其中提供了证据。

意识和注意这两个认知机制在功能上的一个共性是都能帮助人类从海量信息中选取部分信息进行进一步加工(Lamme,2003),但两者无论在机制还是功能上又有很大的不同,研究者们一直在探讨这两者的关系是相互独立的还是相互依存的。典型的注意变化盲(change blindness)和无意视盲(inattentional blindness)现象使得有些学者提出没有注意就没有视觉意识,个体当前所意识到的就是他们当前注意到的东西,两者在本质上是一样的(O’Regan &Noë,2001;Posner,1994)。但也有学者认为两者不仅在功能上是可分离的,且发生在两个不同的阶段(如Koch &Tsuchiya,2007;Lamme,2003;Eimer &Grubert,2015),如有些选择性注意并不一定能导致意识(He,Cavanagh,&Intriligator,1996),而有些研究发现注意的参与不仅在行为水平上可以促进个体对客体的意识,还可在脑电水平上使之与未注意到的客体意识产生差异(Wyart &Tallon-Baudry,2008)。

鉴于意识和注意两者关系的紧密性及可分离性,结合本研究的目的和实验过程,我们来分析一下在本研究的3个实验中注意是否参与到其中,且是否是由于注意机制受到影响导致意识觉察行为受到影响？本研究的3个实验均是在实验室的电脑上进行的,且由于视觉刺激在屏幕上呈现的时间有限,因此每个刺激出现之前,被试均被要求集中注意力对屏幕上的刺激进行又快又准确的意识觉察反应。也就是说在所有实验中,在视觉刺激呈现之前,被试的注意机制已经得以调用和运转,实验中所有的意识觉察判断都是与注意相结合情况下的行为。那么在这个过程中,是注意的机制受到了干扰还是意识觉察过程本身受到干扰呢？在实验3的ERP研究中,3种不相关声音条件下均未发现明显的表征注意的 P1成分,但却发现了表征视觉觉察的VAN成分的显著差异。由此可以推断,在视觉信息加工的初期是意识觉察过程本身而非注意机制受到了不相关言语的干扰。

6 结论

本研究要求被试分别在安静、纯音及不相关言语三种听觉条件下判断是否察觉到靶刺激图片,探讨了听觉信息输入对视觉刺激觉察过程的影响。结果表明：(1)视知觉觉察过程中存在不相关言语的干扰;(2)不相关言语对视觉觉察的干扰与视觉刺激内容无关,是对觉察过程的干扰;(3)不相干言语在视觉意识觉察阶段不对注意产生影响,干扰的是纯粹的意识觉察过程。

Baddeley,A.,&Salamé,P.(1986).The unattended speech effect:Perception or memory?

Journal of Experimental Psychology:Learning,Memory,and Cognition,12

(4),525−529.Bell,R.,Dentale,S.,Buchner,A.,&Mayr,S.(2010).ERP correlates of the irrelevant sound effect.

Psychophysiology,47

(6),1182−1191.Bendixen,A.,Roeber,U.,&Schröger,E.(2007).Regularity extraction and application in dynamic auditory stimulus sequences.

Journal of Cognitive Neuroscience,19

(10),1664−1677.Berti,S.(2008).Cognitive control after distraction:Eventrelated brain potentials (ERPs) dissociate between different processes of attentional allocation.

Psychophysiology,45

(4),608−620.Block,N.(2001).Paradox and cross purposes in recent work on consciousness.

Cognition,79

(1-2),197−219.Bruce,V.,&Young,A.(1986).Understanding face recognition.

British Journal of Psychology,77

(3),305−327.Buchner,A.,Bell,R.,Rothermund,K.,&Wentura,D.(2008).Sound source location modulates the irrelevant-sound effect.

Memory &Cognition,36

(3),617−628.Campbell,T.,Winkler,I.,&Kujala,T.(2007).N1 and the mismatch negativity are spatiotemporally distinct ERP components:Disruption of immediate memory by auditory distraction can be related to N1.

Psychophysiology,44

(4),530−540.Campbell,T.,Winkler,I.,Kujala,T.,&Näätänen,R.(2003).The N1 hypothesis and irrelevant sound:Evidence from token set size effects.

Cognitive Brain Research,18

(1),39−47.Chein,J.M.,&Fiez,J.A.(2010).Evaluating models of working memory through the effects of concurrent irrelevant information.

Journal of Experimental Psychology:General,139

(1),117−137.Colle,H.A.,&Welsh,A.(1976).Acoustic masking in primary memory.

Journal of Verbal Learning and Verbal Behavior,15

(1),17−31.Cowan,N.(1995).

Attention and memory:An integrated framework

.New York:Oxford University Press.Cowan,N.(1999).An embedded-processes model of working memory.In A.Miyake &P.Shah (Eds.),

Models of working memory:Mechanisms of active maintenance and executive control

(pp.62−101).Cambridge:Cambridge University Press.Desimone,R.(1991).Face-selective cells in the temporal cortex of monkeys.

Journal of Cognitive Neuroscience,3

,1−8.Eimer,M.,&Grubert,A.(2015).A dissociation between selective attention and conscious awareness in the representation of temporal order information.

Consciousness and Cognition,35

,274−281.Escera,C.,Alho,K.,Winkler,I.,&Näätänen,R.(1998).Neural mechanisms of involuntary attention to acoustic novelty and change.

Journal of Cognitive Neuroscience,10

(5),590−604.Escera,C.,&Corral,M.(2007).Role of mismatch negativity and novelty-P3 in involuntary auditory attention.

Journal of Psychophysiology,21

(3-4),251−264.Escera,C.,Yago,E.,&Alho,K.(2001).Electrical responses reveal the temporal dynamics of brain events during involuntary attention switching.

European Journal of Neuroscience,14

(5),877−883.Eysenck,M.,&Keane,M.T.(2000).

Cognitive psychology:A student's handbook

(4th ed.)

Philadelphia:Psychology Press.Farah,M.J.,Klein,K.L.,&Levinson,K.L.(1995).Face perception and within-category discrimination in prosopagnosia.

Neuropsychologia,33

,661–674.Farley,L.A.,Neath,I.,Allbritton,D.W.,&Surprenant,A.M.(2007).Irrelevant speech effects and sequence learning.

Memory &Cognition,35

(1),156−165.He,S.,Cavanagh,P.,&Intriligator,J.(1996).Attentional resolution and the locus of visual awareness.

Nature,383

,334−337.Hillyard,S.A.,&Anllo-Vento,L.(1998).Event-related brain potentials in the study of visual selective attention.

Proceedings of the National Academy of Sciences of the United States of America,95

(3),781−787.Hillyard,S.A.,Vogel,E.K.,&Luck,S.J.(1998).Sensory gain control (amplification) as a mechanism of selective attention:Electrophysiological and neuroimaging evidence.

Philosophical Transactions of the Royal Society B:Biological Sciences,353

(1373),1257−1270.Jones,D.M.,&Macken,W.J.(1993).Irrelevant tones produce an irrelevant speech effect:Implications for phonological coding in working memory.

Journal of Experimental Psychology:Learning,Memory,and Cognition,19

(2),369−381.Jones,D.M.,Macken,W.J.,&Murray,A.C.(1993).Disruption of visual short-term memory by changing-state auditory stimuli:The role of segmentation.

Memory &Cognition,21

(3),318−328.Jones,D.M.,&Tremblay,S.(2000).Interference in memory by process or content? A reply to Neath (2000).

Psychonomic Bulletin &Review,7

(3),550−558.Koch,C.,&Tsuchiya,N.(2007).Attention and consciousness:Two distinct brain processes.

Trends in Cognitive Sciences,11

,16−22.Koivisto,M.,Lähteenmäki,M.,Sørensen,T.A.,Vangkilde,S.,Overgaard,M.,&Revonsuo,A.(2008).The earliest electrophysiological correlate of visual awareness?

Brain and Cognition,66

(1),91−103.Koivisto,M.,&Revonsuo,A.(2010).Event-related brain potential correlates of visual awareness.

Neuroscience &Biobehavioral Reviews,34

(6),922−934.Koivisto,M.,Revonsuo,A.,&Salminen,N.(2005).Independence of visual awareness from attention at early processing stages.

Neuroreport,16

,817−821.Lamme,V.A.F.(2003).Why visual attention and awareness are different.

Trends in Cognitive Sciences,7

,12−18.LeCompte,D.C.(1996).Irrelevant speech,serial rehearsal,and temporal distinctiveness:A new approach to the irrelevant speech effect.

Journal of Experimental Psychology:Learning,Memory,and Cognition,22(5)

,1154−1165.Luck,S.J.,&Ford,M.A.(1998).On the role of selective attention in visual perception.

Proceedings of the National

Academy of Sciences of the United States of America,95

(3),825−830.McArthur,L.,&Baron,R.(1983).Toward an ecological theory of social perception.

Psychological Review,90

,215−238.Näätänen,R.,&Picton,T.(1987).The N1 wave of the human electric and magnetic response to sound:A review and an analysis of the component structure.

Psychophysiology,24

(4),375−425.Neath,I.(2000).Modeling the effects of irrelevant speech on memory.

Psychonomic Bulletin &Review,7

(3),403−423.O’Regan,J.K.,&Noë,A.(2001).A sensorimotor account of vision and visual consciousness.

Behavioral and Brain Sciences,24

,939−973.Polich,J.(2007).Updating P300:An integrative theory of P3a and P3b.

Clinical Neurophysiology,118

(10),2128−2148.Posner,M.I.(1994).Attention:The mechanisms of consciousness.

Proceedings of the National Academy of Sciences of the United States of America,91

,7398−7403.Salamé,P.,&Baddeley,A.D.(1986).Phonological factors in STM:Similarity and the unattended speech effect.

Bulletin of the Psychonomic Society,24

,263−265.Tottenham,N.;Tanaka,J.W.;Leon,A.C.;McCarry,T.;Nurse,M.,Hare,T.A.,… Nelson,C.(2009).The NimStim set of facial expressions:Judgments from untrained research participants.

Psychiatry Research,168

,242−249.Weisz,N.,&Schlittmeier,S.J.(2005).Detrimental effects of irrelevant speech on serial recall of visual items are reflected in reduced visual N1 and reduced theta activity.

Cerebral Cortex,16

(8),1097−1105.Wyart,V.,&Tallon-Baudry,C.(2008).Neural dissociation between visual awareness and spatial attention.

Journal of Neuroscience,28

,2667−2679.Zhang,L.,&Liang,N.-J.(2007).A review of the irrelevant sound effect.

Psychological Science,30

(5),1139−1142.[张乐,梁宁建.(2007).无关声音效应研究述评.

心理科学,30

(5),1139−1142.]Zhao,L.(2010).

ERPs experimental tutorial.

Nanjing,China:Dongnan University Publisher.[赵仑.(2010).

ERPs实验教程

.南京:东南大学出版社.]