不同感觉通道的节奏感知及其交互作用

(浙江大学心理与行为科学系,杭州 310028)

1 引言

节奏(rhythm)的概念首先来自于音乐,它指的是乐句中强拍与弱拍的循环重复的组合,对音乐节奏的感知意味着在体验上将音符分组放进有结构的模式中(Cooper&Meyer,1960)。广义来看节奏是事件在时间上的组织方式,砰砰的心跳,悦耳的鸟鸣,清晨的闹钟,都具有周期性的节奏特征,平时说话时发音的长短,诗词的韵律等等也包含了节奏信息(欧阳玥,戴志强,2010)。广义的节奏感知指的是人从外界刺激的时间组织中提取出节奏特征的过程,根据Patel在2006年的讨论,节奏感知在认知成分上可分为两大方面：一是对有规律的组织方式即分组(grouping)的感知,例如音乐中的节拍(如4/4拍,以4拍为一个循环的组,其中第一拍是重音),语言中断句、长短、轻重带来的分组;二是对等时性脉冲(isochronous pulse)的感知,如音乐中的固定速度(tempo),跳舞或做体操的规律性动作。节奏感知使得人类的自身行动可以与外界节奏信息产生同步,这对于预测运动物体轨迹、语言理解和音乐表演等许多人类行为都有重要作用(Bengtsson et al.,2009)。2006年Mauro提出“有节奏的大脑”(the rhythmic brain)的模型,论证了大脑神经语言的时间特性和音乐中的节奏特性相仿,频率、同步性和时间模式三类时间相关的大脑神经现象对应了速度、节拍和节奏型这三种音乐节奏的基本元素,节奏是大脑神经活动的本质属性之一。

节奏领域的大多数研究都以声音刺激为研究对象。对声音的节奏感知非常普遍,人们可以快速识别出一个听觉刺激序列中的节奏并做出不同时间分辨率下的同步动作(Drake,Penel,&Bigand,2000)。但节奏感知并不局限在听觉通道,视觉和触动觉刺激也能够传递节奏信息。触觉与节奏的关系紧密,它的感受机制与听觉类似,内耳的基底膜和皮肤感受器在对类似的物理能量做出反应,机械压力和声波振动一样都有特定的振动频率(Occelli,Spence,&Zampini,2011)。相比之下,视觉一般被认为对运动和空间信息的加工能力较强而对时间的分辨率较差(Wada,Kitagawa&Noguchi,2003)。早在 1969年 Handel和 Buffardi比较了个体在听觉、触觉、视觉三种通道上对相同节奏序列识别快慢的差异。持续呈现由两种元素(左或右)组成的固定序列的节奏刺激,要求被试正确识别出重复的序列模式,结果表明被试对听觉序列识别最快,触觉次之,视觉最慢。一些后续研究得到了类似的结果(Glenberg,Mann,Altman,Forman,&Procise,1989;Glenberg&Jona,1991;Repp&Penel,2002)。但近些年触觉和视觉领域的研究有了多方面的拓展,例如加入运动属性的视觉刺激可以更好地引发同步运动(Schmidt,Richardson,Arsenault,&Galantucci,2007;Hove,Spivey,&Krumhansl,2010),触觉节奏可以得到和音乐节奏类似的高级表征(Brochard,Touzalin,Després,&Dufour,2008)。多个通道之间还存在交互作用,视觉和听觉节奏同时呈现时对视觉节奏的感知会向听觉节奏发生偏移(Welch,DuttonHurt,&Warren,1986;Welch,1999),视觉可以与其他通道发生节奏的跨通道融合(Kuling,Kohlrausch,&Juola,2013),听觉与触觉信息可以产生跨通道的组合引发对不同类型节拍的感知(Huang,Gamble,Samlertsophon,Wang,&Hsiao,2012)。听觉通道的节奏研究由来已久,但触动觉、视觉及跨通道的节奏研究尚没有得到广泛了解,本文主要对这些领域的研究进行了总结和展望。

2 不同通道的节奏线索引发的同步运动

音乐的律动性会令人想要随之运动,这是节奏感知最常见的行为表现。大多数人类从童年时期就表现出自发地随音乐踩脚或移动身体的现象(Trehub&Hannon,2006)。节奏与运动系统的紧密联系在神经研究领域也已得到证实,聆听高律动性的声音刺激时运动皮层的皮质脊髓束在节拍点上有明显激活,听低律动声音和噪声时则没有(Stupacher,Hove,Novembre,Schütz-Bosbach,&Keller,2013)。不仅接受刺激时对节奏的加工需要运动皮层的参与,对节拍进行主动认知加工的过程同样激活了运动区。当外部节奏线索较弱,需要被试通过想象主动为外部节奏加上重音时,音乐家的壳核与前运动皮层之间的联系比非音乐家更紧密,由壳核、辅助运动区和前运动皮层组成的神经网络参与了时间序列组织和节奏预期的工作,对内部节奏的产生起到了重要作用(Grahn&Rowe,2009)。

同步运动体现了节奏加工的本质：掌握事件在时间上的分布规律并以此指导行为。因此诸多研究以手指打拍子(finger-tapping)任务作为研究范式,探讨比较听觉、视觉、触觉通道的节奏引发的同步运动表现和影响因素。

2.1 视觉线索引发的同步运动

早期的视觉通道的研究通过与听觉通道的同步效果相对比,得出了视觉通道节奏感知较差,同步打拍子较不稳定的整体结论。Glenberg等人1989年的研究发现被试对听觉节奏的打拍子再现比视觉更加准确,1991年的后续研究又引入了两种节奏序列,恒定组序列具有等时性特征,变化组序列不具有等时性特征,分离组序列一开始是等时性的后来与变化组相同,结果表明两种感觉通道与三种序列类型有交互作用,恒定组条件下听觉相比视觉的优势性最大,这说明听觉通道相比视觉通道的优势并不只是单纯的时间定位更准确,而是能够更好地分析提取节奏信息(Glenberg et al.,1989;Glenberg&Jona,1991)。2002 年的一项研究采取同步打拍子范式,序列的节奏不稳定,会引起被试打拍子过程中自发的相位修正反应(phase correction response,PCR)。实验结果显示同听觉刺激相比跟随视觉刺激打拍子更加不稳定,对刺激呈现偏移的探测更差,修正反应更小(Repp&Penel,2002)。

后来的研究者提出每种感觉通道都有它独有的加工优势,视觉通道长于加工运动和空间信息,但较早的研究中使用的视觉刺激都是位置、大小不变的闪光,这样的刺激没能发挥视觉通道的加工优势(Grahn,2012)。真实世界中视觉的节律信息常常是通过运动来传达的,例如左右摇摆的节拍器、鸟儿上下拍动的翅膀、拍动篮球的动作,因此使用带有运动属性的视觉刺激来表征节奏是更加合理的选择。诸多研究表明加入运动属性后跟随视觉线索进行同步运动的绩效得到了提升。Hove等人2010年的研究中引入了多种其他类型的视觉刺激作为节奏线索考察是否会带来打拍子同步性的提升,采用的刺激包括了上下运动或旋转运动的横条,实际拍摄的手指运动,密度渐变的雪花以及闪光和声音。结果表明声音刺激作为线索时同步绩效最好,其次是和手指运动方向一致的视觉刺激,闪光和渐变的雪花效果最差。随后的一项研究还说明有运动属性的视觉线索的振幅增大时,同步任务手指打拍子的振幅也会随之增大,进一步表明视觉运动信息可以加强视觉节奏与肢体运动的同步性(Hove&Keller,2010)。

加入运动属性后视觉通道的节奏感知得到了提升,但绩效仍旧低于听觉通道(Hove et al.,2010),因此仍无法否定听觉通道在节奏加工中具有特殊地位的通道特异性假设(Recanzone,2003)。Hove等人2013年的研究同时考虑了刺激的连续离散属性与感觉通道类型两个维度,发现听觉通道引发的同步并不总是优于视觉通道。研究者推断听觉通道擅长加工离散性刺激而视觉通道更擅长加工连续性刺激,以往研究将蜂鸣声(beep)类比为闪光(flash)进行节奏唤起的比较是不对等的,因此该研究在视觉听觉、连续离散两个维度上采用了四种同步线索进行动作同步任务,见图1。行为结果表明连续运动属性增强了视觉同步绩效,频率连续变化属性削弱了听觉同步绩效,四种同步线索中蜂鸣优于闪光但汽笛比移动的横条要差。脑成像结果发现蜂鸣声导致的壳核激活最高,闪光导致的激活最低,另外两种刺激没有显著差异,基底神经节的激活没有表现出通道特异性。这些结果表明影响节奏同步稳定性的关键因素是感觉通道与外界刺激的交互作用,分离的听觉刺激和运动的视觉刺激更适应各自通道先天的信息加工特性,可以和自身运动系统进行更好的整合。

图1 两个维度上的4种刺激材料

2.2 触动觉线索引发的同步运动及交互作用

前一部分提到的同步任务中,节奏线索都是均匀的等时性刺激,属于最简单的节奏类型,不具有周期性的分组特征。对于听觉刺激,设置周期性的重音使其具有分组的节拍属性可以增强人们对它的节奏感知,更好地完成打拍子任务(Keller&Repp,2005)。将节奏线索变成非均匀的强节拍感(strongly metric)序列同样可以增强听觉线索的运动同步,但人们无法有效提取视觉节律性刺激中的周期性结构,因此研究者提出对高级分组特征的感知可能是听觉通道特有的(Patel,Iversen,Chen,&Repp,2005)。但触觉通道上类似的发现否定了这一观点,Brochard等人2008年的研究对左手指尖进行刺激,来呈现和Patel采用的节奏结构相同的触觉刺激序列,发现同等时性序列相比当触觉刺激具有强节拍感时打拍子更加稳定和准确,说明人们可以对纯触觉刺激的高级节拍特性做出和音乐节奏类似的节奏感知。节拍特性可以在听觉之外的通道上得到感知并不意外,神经方面的研究发现对时间周期性进行表征的大脑区域是与感觉通道无关的。触觉和听觉的节奏都激活了外侧和内侧前运动区,这是涉及刺激预测的脑区;前额叶,颞叶,枕叶和小脑等负责时间结构分析的区域同样在两种通道条件下都得到了激活(Bengtsson et al.,2009)。

由于触觉和听觉关系紧密,感受机制类似,单通道呈现触觉通道的相关研究较少,与二者有关的研究多采取了多通道整合(multisensory integration)的角度。听觉与触觉的整合现象非常广泛而细微,几乎每一次触觉活动,如抓取物体,敲打键盘都会伴随细小的听觉信息,同样如电话作响等声音的发出也伴随着振动(Occelli et al.,2011)。多通道整合带来的背景与信号间的干扰效果在节奏计数任务中得到了验证,Bresciani等人2008年的研究中同时呈现闪光、指尖刺激和声音中的两种或三种,其中一种作为信号,要求被试对其出现次数进行计数,其余两种为背景干扰,信号和干扰是两个相位错开周期一样的节奏序列。结果表明视觉作为信号最易受干扰,作为背景干扰效应最弱;听觉最不易受干扰、作为背景干扰效应最强。当背景有两个通道同时呈现时干扰作用大于任一个单通道,这说明背景的节奏刺激发生了整合。类似的整合效应在同步任务中更加直接地反映在绩效上,Elliott,Win和Welchman(2010)的研究评估了跟随多通道线索进行同步打拍子的表现。被试随着视觉、触觉、听觉中的一种或两种线索打拍子,发现当线索呈现时间相近时,大脑依据通道在时间加工上的可靠性赋予线索不同的权重以完成最佳的多通道整合,与Bresciani,Dammeier和Ernst(2008)的结果类似,双通道整合引发的同步打拍子表现总是优于任一个单通道。上述结果都说明视听触三通道的节奏线索在时间相近的条件下会发生自动整合,整合后对节奏表征的贡献量受到通道可靠性的影响,总体而言听觉、触觉、视觉的可靠性依次降低。

除了来自指尖的被动触觉输入,还有研究发现眼动追踪可以帮助提升肢体运动与视觉节律的同步性(Schmidt et al.,2007)。在内隐的节奏启动实验中,被试自由地摆动单摆,同时目视前方口头报告方框中呈现的字母。作为一种节奏的暗示,方框可能是静止在屏幕中间的或者是左右移动的,研究发现当方框左右移动时被试手中单摆的摆动频率会无意识地与之同步化;第二部分实验则外显地要求被试让单摆与运动的方框同步,并设置眼动追踪及不追踪两种条件,结果表明有眼动追踪的情况下同步性更高。一个可能的解释是肢体与外界刺激的同步化取决于人接收到的外界刺激的信息的丰富程度,眼动追踪帮助丰富了视野捕获到的节奏信息从而增强了同步化。

2.3 同步运动的社会互动意义

令自身肢体运动与外界节奏信号同步的能力是人类独有的,尚未有其他物种表现出类似的能力(Patel,2006),这可能与人类高度社会化的特性有关。“社会脑假说”(social brain hypothesis)认为灵长类在共同生活的过程中,需要与种群内的其他个体建立长期的社会联系,大脑这一过程中进化出更强的心理归因、意图判断等社会认知能力,从而增强与他人的沟通合作(Dunbar,1998)。节奏感知的能力使得人类可以完成跳舞、唱歌、演奏等群体同步活动,这样的活动可以培养成员间的良好关系,增强团体凝聚力和社会连结。研究发现这种基于共同节奏感知的人际互动在14个月的婴儿身上就有体现。主试在有背景音乐的情况下抱着婴儿摇晃,摇晃可能符合音乐节奏可能不符合。随后的情景中主试向婴儿求助,要求帮忙捡起掉落的东西,婴儿对进行了同步摇晃的主试做出帮助行为的概率有61%,而对没有同步摇晃的主试只有25%(Cirelli,Einarson,&Trainor,2012)。同步摇晃无论是相位一致还是相位相反都有同等效应(Cirelli,Einarson,&Trainor,2014),后续研究更证明这种助人性的增加只针对先前有过共同节奏活动的特定主试,是一种有指向性的社会行为而不是心境提升等导致的泛化效应(Cirelli,Wan,&Trainor,2014)。12个月的婴儿身上同样出现了类似的效应,但9个月的婴儿则没有发现,说明婴儿的节奏同步能力可能在1岁末的阶段开始表现出来(Tunçgenç,Cohe,&Fawcett,2015)。除了增强社会连结,节奏同步能力还能增强群体在合作任务中的能力。同步运动增加了团体成员对自身和他人行动的知觉敏感性,在共同行动任务中对他人的行为作出更快的反应(Valdesolo,Ouyang,&DeSteno,2010)。

3 跨通道的时间定位影响——时间腹语效应

节奏感知要引发同步运动,其认知基础是对外在刺激的时间定位能力,研究发现多通道的刺激同时呈现时不同通道的刺激会相互作用,影响主观时间定位。当声音和视觉刺激在呈现时刻上邻近时,知觉到的视觉刺激会向着声音刺激出现的时刻发生偏移,仿佛声音沿着时间维度拉着视觉刺激,这就是时间腹语效应(temporal ventriloquism),也被称为听觉驱动(auditory driving)或听觉捕捉(auditory capture)效应。使用时间顺序判断任务测量被试分辨两个视觉刺激时间间隔的最小可觉差,在视觉刺激呈现的时刻附近会播放无关声音刺激。结果发现当呈现顺序为听觉?视觉?视觉?听觉时最小可觉差会缩小,视觉?听觉?听觉?视觉时,最小可觉差增大,说明对视觉刺激的时间感知会偏向听觉刺激(Morein-Zamir,Soto-Faraco,&Kingstone,2003)。Burr等人在采用中间平分法测量两个刺激中间的主观时间平分点时同样发现了这一效应(Burr,Banks,&Morrone,2009)。

当两个通道的刺激都具有节奏特性并同时呈现时,时间腹语效应得到了广泛的验证和探讨。早期研究发现当速率不同的重复声音序列和闪光序列同时呈现时,被试感知到的闪光的速率会向声音的速率发生偏移(Welch et al.,1986),听觉序列的速率加快时,虽然视觉节律的速率维持不变,被试也会报告视觉节律在加快(Welch,1999)。进一步地,有研究者比较了视觉节奏的辨别受到同通道或者跨通道节奏序列干扰的情况,发现听觉对视觉的干扰大于视觉对视觉的干扰(Guttman,Gilroy,&Blake,2005)。时间腹语效应不仅仅体现在速度和节奏辨认任务上,Repp和Penel(2004)的研究表明节奏与肢体同步的任务中同样存在时间腹语效应。时间腹语效应被认为支持了节奏的听觉编码假设,即使节奏信息由视觉通道呈现,仍然会自动化地登记并记忆为听觉编码。

但如前文所述,节奏?肢体同步领域的研究发现运动属性可以增加视觉通道的节奏感知。有实验发现如果对视觉信息进行修饰,视觉节奏也能对听觉节奏产生一定程度的捕捉效应。令被试观看钟表,钟表的转动同时包括了视觉和听觉节奏,被试要按键指示视觉信号或听觉信号出现的时间,发现频率为10Hz的声音序列能够影响7Hz到22Hz的视觉序列;闪烁向声音的偏移缩小了52%的节奏不一致,而声音向闪烁的偏移缩小了13%的不一致(Fendrich&Corballis,2001)。Su和Jonikaitis(2011)的研究中要求被试判断两段听觉节奏的快慢,第二段节奏播放前观看从屏幕中间向屏幕边缘扩大运动的视觉刺激,造成一种物体在靠近被试的深度感觉,结果发现当点以加速度运动时,被试倾向于将第一段节律判断得比实际更快,点减速运动时,被试倾向于将节律判断得慢。尽管该研究中两类刺激并非同步呈现,但也从侧面说明了运动的视觉刺激可以影响对听觉节奏的感知。

4 后天经验对视觉节奏感知的强化

同步运动和时间腹语效应领域的多数研究都表明视觉通道在节奏加工中处于劣势,但一些研究者从发展的角度入手,试图鉴别通道差异是先天还是后天的,研究结果表明更多的后天经验可以增强视觉通道的节奏感知能力。早先研究发现听觉与视觉的节奏序列同时呈现时,视觉总是更容易受到听觉的干扰,视觉则无法干扰听觉(Welch et al.,1986;Repp&Penel 2004;Guttman et al.,2005),但在运动属性和视觉专家两方面因素的作用下Hove等人发现视觉节奏的干扰作用可以和听觉一样有效。该研究在目标?干扰子范式中采用上下运动的弹球(bouncing ball)作为视觉刺激,与声音刺激进行动作同步任务的干扰效应的对比,被试包括了听觉专家(音乐人)和视觉专家(电子游戏玩家和球类运动员)两类。结果表明,对听觉专家而言听觉通道的干扰效果强于视觉,视觉专家则相反,将被试因素平衡以后干扰子在视听通道上没有主效应(Hove,Iversen,Zhang,&Repp,2013b)。不同职业可以导致通道熟悉性的差异,听觉缺陷则带来了更大的后天经验差异。Iversen等人2015年的研究采用了闪光、上下运动的弹球、音调三种节奏刺激和听力正常、听力丧失两类被试。实验结果首先表明正常人在弹球和音调两种条件下同步稳定性没有差异,印证了加入运动属性对视觉节奏感知的提升作用。采用闪光刺激时聋人打拍子的稳定性好于正常被试;采用弹球作为刺激时,两类被试的打拍子稳定性没有差异,进一步分析拍子间时距(inter-tap-interval,ITI)的自相关发现听力丧失被试对运动的视觉刺激产生了同正常人对听觉刺激类似的高级节奏加工。可见丰富的后天经验可以对视觉节奏感知产生很大的强化作用。

5 节奏对注意的同步调节作用

5.1 脑波同步效应

节奏不仅引发人们外在的行为同步化,脑波研究还表明听觉的节奏刺激对脑波具有同步调节效应,会使α波与ß波的活动与外在节奏一致化(Snyde&Large,2005;Fujioka,Trainor,Large,&Ross,2009),当听觉刺激停止后,根据后续的脑电记录仍可以以一定的准确率辨别出先前节奏的模式(Stober,Cameron,&Grahn,2014)。同其他领域视觉的劣势表现不同,视觉的节奏刺激同样对脑波表现出同步调节作用(Rohenkoh&Nobre,2011;Mathewson et al.,2012)。研究表明α波的相位可以预测随后的视觉探测水平和视觉刺激引起的激活的等级,当视觉刺激呈现在P1和P2波由于相位震荡导致活动较弱的阶段时,皮质激活在刺激呈现后被抑制,环境刺激达到意识探测水平的概率降低,观察者更不容易侦查到目标(Mathewson,Gratton,Fabiani,Beck,&Ro,2009)。在这一研究的基础上,Rohenkohl和Nobre2011年的研究引入了外界的视觉节奏刺激,发现它可以调节α波的活动使之同步,进而调节不同时间点上的视觉探测任务的绩效。和无节奏条件相减后有节奏条件下的结果表明α波的活动水平在目标刺激即将出现前达到最大,这说明被试已经产生了内在节律,对刺激的下一次出现有期待性注意。行为数据也表明短间隔条件下有节奏组的探测绩效高于另外两组。Mathewson等在2012年采用固定间隔呈现的环状视觉刺激作为线索,在oddball任务中同样发现了节奏条件下α波的同步化和行为反应的易化。Lakatos等(2012)采用视觉听觉交替的线索,发现初级视觉皮层的δ波同样反映了注意与节奏的同步化,并通过任务绩效体现出来。

主动的触觉同步运动则可以加强声音节奏引发的节奏预期。播放声音节奏的同时要求被试加上主动的同步踏脚或用手按压握力计运动后,节奏感知带来的时间预测效应被加强,同没有加入主动运动的情况相比P300波的振幅更大,且被试的同步运动稳定性和P300波的潜伏期、反应时都有正相关(Schmidt-Kassow,Heinemann,Abel,&Kaiser,2013)。

5.2 节奏对注意的多通道调节

节奏感知的进化意义之一在于产生期待性注意,使个体对外界事件在时间上的发生产生预期,帮助完成相关活动。注意作为一种资源有限提供的认知活动,其活动强度并不能维持在恒定的高水平,而是处于振荡的状态。节律理论(Rhythmic Theory)认为内部感知的节律会和外部世界的时间结构同步化(Jones,1976),当外部事件处于动态变化时,要达到同步化的注意就需要保证注意在刺激发生时间前集中并指向对象,Jones等人将这样的注意调节称作期待性注意。节律性的外部刺激可引起期待性注意,表现为刺激出现在节律点时对其加工的易化,或精确度提高,这一模型称为同步模型(Jones,Moynihan,MacKenzie,&Puente,2002)。脑波同步效应为同步模型提供了神经证据上的支持;在行为实验中,同步模型更是在听觉、视觉通道以及线索任务通道不一致的情况下都得到了验证。

研究表明节奏对注意在时间上的调节可以发生在不同通道并有正确率、眼动潜伏期等多种表现。Jones等人(2002)的研究中首先向被试呈现一个标准音调,然后内插8个频率各异的等时音调,最后呈现一个比较音调,被试的任务是判断比较音调是否比标准音调高。实验结果表明,当比较音调出现在节拍点上时被试的判读正确率最高,呈现时间与节拍点相隔越长,被试正确率越低。Miller,Carlson和McAuley(2013)采用眼动追踪目标位置的任务,同时播放听觉节奏信号,目标位置变动的时刻可能和节奏符合或不符合,结果表明位置变动时刻和节奏一致时眼动的潜伏期更短;将任务换成对视觉目标的形状变化进行反应的按键任务后得到了类似的结果,变化时刻和节奏一致时反应正确率最高(Miller et al.,2013)。在视觉通道,4.1部分所述的研究均发现了行为绩效上视觉节奏对节拍点上探测任务的易化作用(Rohenkoh&Nobre,2011;Mathewson et al.,2012)。

节奏对注意的调节也可以跨通道发生。Escoffier,Sheng和Schirmer(2010)研究了听觉节奏对视觉任务的跨通道影响。研究中被试的任务是判断屏幕上呈现的物体图片是正立还是倒立的,图片呈现前播放具有节拍属性的非均匀听觉刺激,图片呈现的时间点可能在节拍点上也可能不在。结果发现当图片在节拍点上呈现时反应时最短,而空白组反应时最长。注意对人类认知加工有着泛化的影响,根据同步模型可以推断,无论哪个通道的节奏引发了注意在时间上的同步分配,其他通道的认知任务都可能受到影响。Escoffier等人(2010)的研究证实了听觉节奏对视觉任务的影响,但目前还没有研究证实视觉节律刺激是否能影响听觉任务。

6 触觉与听觉对节拍类型的整合表征

音乐当中的节奏不仅具有等时性还具有分组特性,分组的不同构成了不同的节拍类型。对节拍类型的判断除了加工等时性,还要对节奏的周期性模式产生加工,是更高级的节奏感知。研究发现节拍类型可以通过视觉触觉的整合表征得到更强感知,整合失败时则会有较大干扰作用。Huang等人(2012)采用节拍辨别任务(判断是两拍子还是三拍子)发现触觉通道和听觉通道的单通道绩效相当(70%～85%),双通道同时呈现相同序列时正确率达到90%。当节拍重音都放在一个通道而另一个通道只呈现等时性刺激时正确率仍然较高(70%～90%),重音平均分配在两个通道时正确率下降到60%,这是由于对两个通道的重音信息的加工需要通道间的注意转换。研究者还探讨了两通道节拍不同时的干扰作用,触觉通道作为干扰子时正确率尚可(60%),听觉通道作为干扰子时正确率很低(10%)。

原本不具有周期性节拍属性的等时性声音刺激可以被不同的触觉刺激赋予不同的节拍,Phillips-Silver和Trainor的一系列研究对此作出了有力说明。对7个月的婴儿播放没有重音的等时性声音刺激,同时主试在二拍子或三拍子的重音节拍点上摇晃婴儿,婴儿习惯化后播放有重音的听觉节奏测量婴儿偏好,发现当播放的节奏类型与之前双通道组合表征的类型一致时注意时间更长(Phillips-Silver&Trainor,2005),将对婴儿的摇晃改为被试主动发出的弯曲膝盖的动作后,该系列研究在成年人身上也得到了相同的结果(Phillips-Silver&Trainor,2007)。当婴儿和成年人无自身运动,只是被动观看运动信息的情况下不会发生视觉与听觉的组合表征,这说明尽管视觉和听觉信息的整合可以加强同步运动(Bresciani et al.,2008),但可能无法整合产生节拍表征。婴儿在产前就开始通过本体感觉和听觉感受节奏信息,研究发现妊娠的第12周起婴儿的活动就开始和母亲的心跳出现同步(DiPietro et al.,2006),2～3个月的婴儿能察觉听觉节律的刺激呈现间隔的改变以及间隔不变的情况下刺激顺序的改变(Demany,McKenzie,&Vurpillot,1977),视觉能力的发展则更晚,这可能决定了触觉和听觉在节奏感知上联系更加紧密。身体不同部位的运动产生的触动觉输入在节奏感知中有不同的重要性,Phillips-Silver和Trainor(2007)的后续实验发现,前庭觉输入是触动觉中产生节奏编码的主导输入,实验中被试主动弯曲膝盖带动了全身的晃动。Phillips-Silver和Trainor 2008年的实验则通过让被试靠在可以晃动的床上,制造了被动全身运动、主动的腿部弯曲(上半身不动)、主动的头部运动(颈部以下不动)三种条件,结果发现为了和声音节奏整合产生节拍,头部运动是必须的,只进行腿部弯曲运动的被试无法将声音测试阶段的节奏类型和双通道阶段的类型相匹配(Phillips-Silver&Trainor,2008)。前庭觉是内耳维持躯体平衡的感觉,可见产生节拍加工需要使大脑感知到躯体的平衡、位置信息的变化,而不仅仅是肌肉运动。

7 总结与展望

节奏感知作为一种人类独有的认知现象,可以在不同通道上发生。本文归纳了近年来与视觉、触动觉以及多通道交互有关的节奏感知研究,取得的进展可以总结为以下几大方面：(1)总体而言听觉是节奏加工中最具优势的通道,触动觉其次,视觉最弱;(2)视觉节奏受到听觉节奏在时间定位上的捕捉;(3)通过将运动信息加入视觉节奏以及增强后天经验,视觉节奏感知可以得到较大程度的强化;(4)节奏刺激对脑波具有同步调节效应,进而调节注意并增强节拍点上的任务绩效,这种易化作用可以在视觉、听觉单通道上或者跨通道地出现;(5)触动觉与听觉在节奏感知中联系紧密,作为节奏线索时二者有着良好的多通道整合,同步肢体运动则是节奏感知重要的行为表现,并可以作为一种社会互动增强人际连结。

今后多通道节奏感知领域的研究有以下几个方面值得关注：(1)其他类型运动信息对视觉节奏感知的促进作用：现实中的运动信息多种多样,目前研究加入的多是二维方向上来回运动或连续运动的属性以增强节奏感知,但大多数视听对比研究中视觉通道的绩效仍处于劣势,只有少数研究中二者可以达到相同绩效(Hove,Fairhurst,Kotz,& Keller,2013;Iversen,Patel,Nicodemus,&Emmorey,2015),何种运动信息可以带来最稳定的节奏感知提升仍有待探讨。诸如往复摆动、刺激大小的变化、形状的变化、立体空间的运动都值得尝试;(2)同音乐节奏类似的更多高级节奏加工能否在多通道整合的情况下得到感知：目前研究已经发现触觉和听觉的整合可以带来节拍感知,但当前研究的任务只是对节拍类型作出判断,而音乐可以采用多种节奏型来传达丰富的律动,更加复杂的节奏能否通过多通道整合产生表征,并在同步运动等行为上得到表现值得探索;(3)节奏对注意的跨通道调节作用的研究刚刚开始,目前仅发现听觉节奏对视觉任务可以产生跨通道调节,视觉对听觉以及触觉的加入有待探讨;该领域研究同样涉及了前面提到的高级节奏加工问题,更复杂的节奏能否引起注意的同步化值得探讨。

欧阳玥,戴志强.(2010).音乐节拍认知的研究评述.心理科学进展,18(11),1692–1699.

Bengtsson,S.L.,Ullén,F.,Ehrsson,H.H.,Hashimoto,T.,Kito,T.,Naito,E.,…Sadato,N.(2009).Listening to rhythms activates motor and premotor cortices.Cortex,45(1),62–71.

Bresciani,J.P.,Dammeier,F.,&Ernst,M.O.(2008).Tri-modalintegration ofvisual,tactile and auditory signals for the perception of sequences of events.Brain Research Bulletin,75(6),753–760.

Brochard,R.,Touzalin,P.,Després,O.,&Dufour,A.(2008).Evidence of beat perception via purely tactile stimulation.Brain Research,1223,59–64.

Burr,D.,Banks,M.S.,&Morrone,M.C.(2009).Auditory dominance overvision in the perception ofinterval duration.Experimental Brain Research,198(1),49–57.

Cirelli,L.K.,Einarson,K.M.,&Trainor,L.J.(2012).Bouncing babies to the beat:Music and helping behaviour in infancy.InProceedings of the12th International Conference on Music Perception and Cognition and the 8th Triennial Conference of the European Society for the Cognitive Sciences of Music.Thessaloniki,Greece.

Cirelli,L.K.,Einarson,K.M.,&Trainor,L.J.(2014).Interpersonal synchrony increases prosocial behavior in infants.Developmental Science,17(6),1003–1011.

Cirelli,L.K.,Wan,S.J.,& Trainor,L.J.(2014).Fourteen-month-old infants use interpersonal synchrony as a cue to direct helpfulness.Philosophical Transactions of the Royal Society of London B:Biological Sciences,369(1658),20130400.

Cooper,G.,&Meyer,L.B.(1960).The rhythmic structure of music.Chicago:The University of Chicago.

Demany,L.,McKenzie,B.,&Vurpillot,E.(1977).Rhythm perception in early infancy.Nature,266(5604),718–719.

DiPietro,J.A.,Caulfield,L.E.,Irizarry,R.A.,Chen,P.,Merialdi,M.,&Zavaleta,N.(2006).Prenatal development of intrafetal and maternal-fetal synchrony.Behavioral Neuroscience,120(3),687–701.

Drake,C.,Penel,A.,&Bigand,E.(2000).Tapping in time with mechanically and expressively performed music.Music Perception:An Interdisciplinary Journal,18,1–23.

Dunbar,R.I.M.(1998).The social brain hypothesis.Evolutionary Anthropology:Issues,News,and Reviews,6(5),178–190.

Elliott,M.T.,Wing,A.M.,&Welchman,A.E.(2010).Multisensory cues improve sensorimotor synchronisation.European Journal of Neuroscience,31(10),1828–1835.

Escoffier,N.,Sheng,D.Y.J.,& Schirmer,A.(2010).Unattended musical beats enhance visual processing.Acta Psychologica,135(1),12–16.

Fendrich,R.,&Corballis,P.M.(2001).The temporal crosscapture of audition and vision.Perception&Psychophysics,63(4),719–725.

Fujioka,T.,Trainor,L.J.,Large,E.W.,&Ross,B.(2009).Beta and gamma rhythms in human auditory cortex during musical beat processing.Annals of the New York Academy of Sciences,1169(1),89–92.

Glenberg,A.M.,Mann,S.,Altman,L.,Forman,T.,&Procise,S.(1989).Modality effects in the coding reproduction of rhythms.Memory&Cognition,17(4),373–383.

Glenberg,A.M.,&Jona,M.(1991).Temporal coding in rhythm tasks revealed by modality effects.Memory&Cognition,19(5),514–522.

Grahn,J.A.,& Rowe,J.B.(2009).Feeling the beat:Premotor and striatalinteractions in musicians and nonmusicians during beat perception.The Journal of Neuroscience,29(23),7540–7548.

Grahn,J.A.(2012).See what I hear?Beat perception in auditory and visual rhythms.Experimental Brain Research,220(1),51–61.

Guttman,S.E.,Gilroy,L.A.,&Blake,R.(2005).Hearing what the eyes see:Auditory encoding of visual temporal sequences.Psychological Science,16(3),228–235.

Handel,S.,&Buffardi,L.(1969).Using several modalities to perceive one temporal pattern.Quarterly Journal of Experimental Psychology,21(3),256–266.

Hove,M.J.,Spivey,M.J.,&Krumhansl,C.L.(2010).Compatibility of motion facilitates visuomotor synchronization.Journal of Experimental Psychology:Human Perception and Performance,36(6),1525–1534.

Hove,M.J.,&Keller,P.E.(2010).Spatiotemporal relations and movement trajectories in visuomotor synchronization.Music Perception:An Interdisciplinary Journal,28(1),15–26.

Hove,M.J.,Fairhurst,M.T.,Kotz,S.A.,&Keller,P.E.(2013).Synchronizing with auditory and visual rhythms:An fMRI assessment of modality differences and modality appropriateness.NeuroImage,67,313–321.

Hove,M.J.,Iversen,J.R.,Zhang,A.,&Repp,B.H.(2013).Synchronization with competing visualand auditory rhythms:Bouncing ball meets metronome.Psychological Research,77(4),388–398.

Huang,J.,Gamble,D.,Sarnlertsophon,K.,Wang,X.Q.,&Hsiao,S.(2012).Integration of auditory and tactile inputs in musical meter perception.InAdvances in experimental medicine and biology(vol.787,pp.453–461).New York:Springer.

Iversen,J.R.,Patel,A.D.,Nicodemus,B.,&Emmorey,K.(2015).Synchronization to auditory and visual rhythms in hearing and deaf individuals.Cognition,134,232–244.

Jones,M.R.(1976).Time,our lost dimension:Toward a new theory of perception,attention,and memory.Psychological Review,83(5),323–355.

Jones,M.R.,Moynihan,H.,MacKenzie,N.,&Puente,J.(2002).Temporal aspects of stimulus-driven attending in dynamic arrays.Psychological Science,13(4),313–319.

Keller,P.E.,& Repp,B.H.(2005).Staying offbeat:Sensorimotor syncopation with structured and unstructured auditory sequences.Psychological Research,69(4),292–309.

Kuling,I.A.,Kohlrausch,A.,& Juola,J.F.(2013).Quantifying temporal ventriloquism in audiovisual synchrony perception.Attention,Perception,&Psychophysics,75(7),1583–1599.

Lakatos,P.,Karmos,G.,Mehta,A.D.,Ulbert,I.,&Schroeder,C.E.(2008).Entrainment of neuronal oscillations as a mechanism of attentional selection.Science,320(5872),110–113.

Mathewson,K.E.,Gratton,G.,Fabiani,M.,Beck,D.M.,&Ro,T.(2009).To see or not to see:Prestimulus α phase predicts visual awareness.The Journal of Neuroscience,29(9),2725–2732.

Mathewson,K.E.,Prudhomme,C.,Fabiani,M.,Beck,D.M.,Lleras,A.,&Gratton,G.(2012).Making waves in the stream of consciousness:Entraining oscillations in EEG alpha and fluctuations in visual awareness with rhythmic visual stimulation.Journal of Cognitive Neuroscience,24(12),2321–2333.

Mauro,D.G.(2006).The rhythmic brain.InICCS.5th International Conference of the Cognitive Science(pp.163–164).

Miller,J.E.,Carlson,L.A.,&McAuley,J.D.(2013).When what you hear influences when you see:Listening to an auditory rhythm influences the temporal allocation of visual attention.Psychological Science,24(1),11–18.

Morein-Zamir,S.,Soto-Faraco,S.,&Kingstone,A.(2003).Auditory capture of vision: Examining temporal ventriloquism.Cognitive Brain Research,17(1),154–163.

Occelli,V.,Spence,C.,&Zampini,M.(2011).Audiotactile interactions in temporal perception.Psychonomic Bulletin&Review,18(3),429–454.

Patel,A.D.,Iversen,J.R.,Chen,Y.Q.,&Repp,B.H.(2005).The influence of metricality and modality on synchronization with a beat.Experimental Brain Research,163(2),226–238.

Patel,A.D.(2006).Musical rhythm,linguistic rhythm,and human evolution.Music Perception:An Interdisciplinary Journal,24,99–104.

Phillips-Silver,J.,&Trainor,L.J.(2005).Feeling the beat:Movement influences infant rhythm perception.Science,308(5727),1430–1430.

Phillips-Silver,J.,&Trainor,L.J.(2007).Hearing what the body feels:Auditory encoding of rhythmic movement.Cognition,105(3),533–546.

Phillips-Silver,J.,& Trainor,L.J.(2008).Vestibular influence on auditory metrical interpretation.Brain and Cognition,67(1),94–102.

Recanzone,G.H.(2003).Auditory influences on visual temporal rate perception.Journal of Neurophysiology,89(2),1078–1093.

Repp,B.H.,&Penel,A.(2002).Auditory dominance in temporal processing:New evidence from synchronization with simultaneous visual and auditory sequences.Journal ofExperimentalPsychology:Human Perception and Performance,28(5),1085–1099.

Repp,B.H.,&Penel,A.(2004).Rhythmic movement is attracted more strongly to auditory than to visual rhythms.Psychological Research,68(4),252–270.

Rohenkohl,G.,&Nobre,A.C.(2011).Alpha oscillations related to anticipatory attention follow temporal expectations.The Journal of Neuroscience,31(40),14076–14084.

Schmidt,R.C.,Richardson,M.J.,Arsenault,C.,&Galantucci,B.(2007).Visual tracking and entrainment to an environmental rhythm.Journal of Experimental Psychology:Human Perception and Performance,33(4),860–870.

Schmidt-Kassow,M.,Heinemann,L.V.,Abel,C.,&Kaiser,J.(2013).Auditory–motor synchronization facilitates attention allocation.NeuroImage,82,101–106.

Snyder,J.S.,&Large,E.W.(2005).Gamma-band activity reflects the metric structure of rhythmic tone sequences.Cognitive Brain Research,24(1),117–126.

Stober,S.,Cameron,D.J.,&Grahn,J.A.(2014,October).Does the beat go on?:Identifying rhythms from brain waves recorded after theirauditory presentation.InProceedings of the 9th Audio Mostly:A Conference on Interaction with Sound.New York:ACM.

Stupacher,J.,Hove,M.J.,Novembre,G.,Schütz-Bosbach,S.,&Keller,P.E.(2013).Musical groove modulates motor cortex excitability:A TMS investigation.Brain and Cognition,82(2),127–136.

Su,Y.H.,&Jonikaitis,D.(2011).Hearing the speed:Visual motion biases the perception of auditory tempo.Experimental Brain Research,214(3),357–371.

Trehub,S.E.,& Hannon,E.E.(2006).Infant music perception:Domain-general or domain-specific mechanisms?Cognition,100(1),73–99.

Tunçgenç,B.,Cohen,E.,&Fawcett,C.(2015).Rock with me:The role of movement synchrony in infants'social and nonsocial choices.Child Development,86(3),976–984.

Valdesolo,P.,Ouyang,J.,&DeSteno,D.(2010).The rhythm of joint action:Synchrony promotes cooperative ability.Journal of Experimental Social Psychology,46(4),693–695.

Wada,Y.,Kitagawa,N.,&Noguchi,K.(2003).Audio-visual integration in temporal perception.International Journal of Psychophysiology,50(1),117–124.

Welch,R.B.,DutionHurt,L.D.,&Warren,D.H.(1986).Contributions of audition and vision to temporal rate perception.Perception&Psychophysics,39(4),294–300.

Welch,R.B.(1999).Meaning,attention,and the“unity assumption”in the intersensory bias ofspatialand temporalperceptions.Advances in Psychology,129,371–387.