选择性注意对行人觉察有声信号灯的影响*

彭 姓，唐晓雨，蒋 浩，石 荣，常若松

(1.中国民用航空飞行学院飞行技术学院，航空人因与认知神经科学研究所，广汉 618307；2.辽宁师范大学心理学院，大连 116029)

1 引言

行人过街面临着巨大的道路交通安全性问题。统计显示，每年全球有数百万的行人因道路交通事故致死或致残(WHO，2018)。提升道路交通安全性，一方面可以通过训练驾驶员有效地知觉行人危险(马锦飞，常若松，孙龙，2015；孙龙，常若松，2014)，另一方面可以通过改善道路交通设施，后者也是研究所关注的焦点。研究显示，交通设施设备添置和改良后，能够提升行人过街的安全性(Uttley & Fotios，2017)。因此，道路交通管理者在道路口设置人行横道信号灯，为行人提供过街或等待的信号，保障行人过街安全。目前，我国大多数城市的交通信号灯，主要通过视觉信号呈现。然而，单一视觉信号灯存在以下问题：行人视觉注意资源有限，极易发生注意分散，从而导致交通事故的发生(Jiang et al.，2018)。例如，行人在过街过程中进行次要视觉任务(如使用便携式电子设备)，可能导致视觉交通信号灯注意失败，或者未能感知到危险而引发事故。从获取信息的通道来看，除视觉外，听觉也是行人获取交通状况信息的重要通道(Zhang & Lee，2020)。听觉信号是视觉通道的有效补充，能够提供关于时间和空间等不同维度的信息，从而有效吸引行人的注意(Barton，Lew，Kovesdi，Cottrell，& Ulrich，2013)。因此，道路交通管理者开始利用听觉信号的优势，在传统视觉交通信号灯上安装声响装置系统，普及有声信号灯。有声信号灯既能提供视觉信号，又能提供听觉信号，向行人发出过街或等待的信号。

行人在知觉有声信号灯的过程中，能够自动将来自于视觉、听觉等多个感觉通道的信号整合为统一、有意义的客体，产生多感觉整合(multisensory integration)(Tang，Wu，& Shen，2016)，其行为学结果表现为被试对多感觉通道刺激(视听觉目标)的反应相较于单通道刺激(视觉或听觉目标)更快速且更准确(Tang et al.，2019)。因此，在交通路口设置有声信号灯，能够促进行人更快更准地定位与识别交通信号，提升道路交通安全。此外，选择性注意在行人觉察交通环境时也起到重要作用。个体对外界信息的选择性注意包括自下而上和自上向下两个过程，前者往往是刺激驱动的自动化加工，而后者是个体有意图的主动加工。研究发现，与多感觉通道刺激产生的作用类似，选择性注意也能够促进个体对目标的检测、识别及定位(Spence，2010)。

鉴于多感觉加工优势与选择性注意都能够加强对特定目标物的检测和识别，研究者们开始考察两者之间的关系。在基础认知实验中，通常采用线索—靶子(cue-target)范式，线索与目标刺激相继出现。线索的形式包括外周空间线索和中央箭头指示性线索，分别能够引起受测者的自下而上选择性注意和自上而下选择性注意。该范式中设置了两种条件，线索化(cued)条件为目标出现位置与箭头线索指示方向或外周化线索呈现位置一致，而非线索(uncued)条件为方向不一致情况。以往研究发现，通过中央箭头指示性线索操控被试自上而下选择性注意时，能够促进多感觉加工优势效应，表现为线索化位置上有更大的多感觉加工优势(Talsma & Woldorff，2005)。通过外周空间线索诱发被试自下而上选择性注意时，会减弱多感觉加工优势效应，表现为非线索化位置上的多感觉加工优势更大(Van der Stoep，Van der Stigchel，& Nijboer，2015；Van der Stoep，Van der Stigchel，Nijboer，& Spence，2016)。而行人在觉察交通信号的过程中会不可避免地受到自下而上驱动的选择性注意的影响，例如，车辆的喇叭声或附近高层建筑安装的滚动LED字幕会不自觉吸引行人的注意。

综上所述，在过街场景中，行人不仅会接收有声信号灯的视觉和听觉信号输入并对其进行整合，还会不可避免地在此过程中受到自下而上选择性注意的影响。那么选择性注意会如何影响行人整合有声信号灯的多感觉加工优势？基于此，本文将考察选择性注意对行人觉察有声信号灯的影响。研究使用线索—靶子范式，采用交通信号灯图片及声音刺激作为实验材料，通过设置外周化线索，操控交通信号类型(视觉/传统视觉信号灯、听觉、视听觉/有声信号灯)和信号呈现位置(线索化位置、非线索化位置)两个因素，以期探明有声信号灯是否存在多感觉加工优势，以及选择性注意对其的影响。基于以往研究结果，提出以下假设：(1)有声信号灯能够发生多感觉整合，存在多感觉加工优势效应；(2)选择性注意会减弱行人觉察有声信号灯的加工优势。研究结果不仅能够揭示在多感觉整合过程中选择性注意的作用，还能够为更科学、合理地设置人行横道信号灯提供理论依据。从而提高行人整合交通信号的有效性，最大化地发挥有声信号灯的多感觉加工优势，提高行人过街的通行效率。

2 方法

2.1 被试

实验有偿招募某高校被试共27名，其中男性6名，女性21名，被试的年龄跨度为19～27岁，M=23.29岁，SD=2.66岁。所有被试的视力以及听力均正常，无精神病史以及脑损伤史。

2.2 实验设计

实验采用3(目标刺激类型：视觉/传统视觉信号灯、听觉、视听觉/有声信号灯)×2(线索位置：线索化位置、非线索化位置)的两因素被试内设计，共有6种实验条件。

2.3 实验仪器和材料

实验材料的呈现、被试反应的记录由E-prime 2软件控制。实验所用显示器为27英寸，分辨率为1024×768像素，刷新频率为100Hz。所有实验材料均呈现在黑色背景上(背景亮度为0.4cd/m2)。另有两台音箱放置于显示器后方的左右两侧，用于播放声音信号。每名被试单独在暗室中参加实验，用下颌架进行固定被试头部，视距为60cm。

如图1左所示，实验材料包括以下几类：(1)中央注视点为符号“+”，呈现在屏幕中心，其颜色为白色(RGB：255，255，255；亮度为155.2cd/m2)，视角大小为0.05°×0.05°。(2)外周化线索为白色正方形，其视角大小为1°×1°，实验过程中随机出现在屏幕的左/右两侧。(3)视觉目标刺激为人行横道信号灯图片，其视角大小为1°×1°，距离中央注视点4.5°，同样随机出现在屏幕的左/右两侧。(4)听觉目标刺激为1000Hz的纯音，声音强度为65dB，随机由屏幕后左/右两侧音箱播放。(5)视听觉目标是将上述视觉和听觉刺激结合在一起同时出现，需要注意的是，视觉与听觉目标刺激总是同时呈现在同一侧位置。

图1 实验示意图注：图左为各类刺激呈现的相对位置示意图，图右为每个试次(trial)的流程。ITI的含义为试次间隔时间(inter-trial interval)。

2.4 实验程序

为了控制无关变量，研究在实验室环境内进行。实验包括练习实验和正式实验两部分。首先进行练习实验，共28个试次，练习结束后，屏幕上会显示出被试反应的正确率，若被试实验结果达到正确率95%以上且报告自己已经理解实验任务，则按“B”键开始进行正式实验。若实验结果未达到95%的正确率或被试提出还需要继续练习，则按“P”键再次进行练习，直到被试能够开始正式实验为止。

正式实验共包含420个试次。其中，有6/7的试次包含某类目标刺激(视觉、听觉或视听觉目标刺激)，对这类试次，要求被试既快又准地按下键盘上的“B”键对其做出检测反应。剩余1/7试次不会出现任何目标刺激，以避免被试做出预期反应，这些试次被称为捕获刺激，对这类试次，被试无需按键反应，因此不对这类试次做统计分析。前已述及，本实验设置了6种实验条件(捕获刺激除外)，则每种实验条件下包含60个试次，这些试次出现的顺序是完全随机的。整个实验大约持续30分钟。为缓解被试疲劳，将420个试次平分为两部分，做完第一部分后，要求被试闭眼静坐休息1～2min左右再进行下组实验，也可根据被试主观感受适当延长休息时间。

正式实验的每个试次的流程如图1右所示：首先，显示器中心呈现中央注视点，呈现的时长为随机800～1000ms。接下来，显示器的左侧或右侧会随机出现外周化线索，持续50ms，以引起被试的选择性注意。经过350～550ms的随机时间间隔后，显示器左侧或右侧出现目标(视觉、听觉或视听觉刺激，持续100ms，被试需要对其进行按键反应)，或者不出现任何刺激(捕获刺激，被试无需按键反应)。最后，呈现1000ms的中央注视点，被试可在此期间进行按键反应。由于外周化线索与目标刺激呈现的位置均为随机，因此外周化线索的有效性为50%。

2.5 数据统计与分析方法

首先，统计每名被试按键反应的正确率和反应时，并进行3(目标刺激类型：视觉/传统视觉信号灯、听觉、视听觉/有声信号灯)×2(线索位置：线索化位置、非线索化位置)的两因素重复测量方差分析。

第二，计算相对多感觉反应增强值(relative amount of multisensory response enhancement，rMRE)(唐晓雨，孙佳影，彭姓，2020)，并在不同条件之间对rMRE值进行对比。rMRE的计算原理如下：令X为被试对视听觉刺激的反应时，Y为被试对视觉或听觉刺激的最快反应时，则rMRE为X相比于Y缩短的百分比例，具体的计算方法如公式(1)所示。式中，median代表中位数。

rMRE=

(1)

若计算所得的rMRE大于0，则说明可能发生了多感觉加工优势。然而，竞争模型(race model)指出，上述rMRE结果也可能由统计促进来解释。具体而言，一旦多感觉刺激中的某个通道信息被加工完成，就能诱发相应的行为反应，这就是竞争模型中的统计促进(statistical facilitation)效应(Miller，2016；Raab，1962)。然而，当视觉和听觉刺激整合为统一连贯的知觉信息，共同诱发行为反应，这种情况代表违反竞争模型假设，产生多感觉加工优势。为了区分上述两种情况，采用公式(2)竞争模型不等式(race model inequality)(Hans，Hermann，& Adele，2017；Ulrich，Miller，& Schröter，2007)来分析。为此，首先在0～1000ms范围内以10ms为一个区间，统计听觉、视觉和视听觉刺激在给定时间t内的反应概率值，分别以P(RTA

P(RTRaceModel

(2)

3 结果与分析

首先进行被试数据剔除，剔除标准如下：被试的平均反应时以及正确率在所有被试总平均反应时和正确率的正负3个标准差(正态分布包含全部个体的99.7%)之外。最终剔除3名被试，剩余有效被试24名进行数据分析。

3.1 正确率

不同条件下的正确率如表1所示，方差分析表明，目标刺激类型主效应显著，F(2，46)=35.74，p<0.001，ηp2=0.6，有声信号灯的正确率(0.995)显著高于听觉刺激(0.981，p<0.001)，传统视觉信号灯的正确率(0.992)显著高于听觉刺激(0.981，p<0.001)。线索位置主效应不显著，F(1，23)<0.001，p=1。两因素交互作用不显著，F(2，46)=0.41，p=0.67。可见，对于正常过街行人，虽然视觉信号相比听觉信号的贡献更大，但当有声信号灯的视觉与听觉信号同时呈现时，会发生多感觉整合，准确率最高。

表1 不同条件下的平均正确率(M±SD)

3.2 反应时

不同条件下的反应时结果如图2所示，方差分析表明，目标刺激类型主效应显著，F(2，46)=47.56，p<0.001，ηp2=0.67，视听觉刺激的反应时(296ms)显著短于听觉刺激(329ms，p<0.001)与视觉刺激(344ms，p<0.001)。线索位置主效应显著，F(1，23)=83.17，p<0.001，ηp2=0.78，非线索化位置上的反应时(315ms)显著短于线索化位置(331ms)。两因素交互作用显著，F(2，46)=16.01，p<0.001，ηp2=0.41。进一步分析显示：对于单通道听觉目标，非线索化位置(327ms)与线索化位置(332ms)上的反应时无显著差异；对于视听觉目标，非线索化位置上的反应时(288ms)显著短于线索化位置(303ms，t(23)=6.28，p<0.001，d=0.23)；对于单通道视觉目标，非线索化位置上的反应时(330ms)显著短于线索化位置(357ms，t(23)=8.86，p<0.001，d=0.37)。可见，当线索与目标刺激间隔时间大于300ms时，线索化位置上目标的反应时显著慢于非线索化位置，产生返回抑制效应(Posner & Cohen，1984)。返回抑制作为选择性注意的一种重要机制，能够促进个体视觉搜索效率，具有生态适应意义。此外，相比单独的视觉/传统视觉信号灯和听觉目标，行人对视听觉/有声信号灯的反应更快。

图2 不同条件下的平均反应时注：***p<0.001。

3.3 相对多感觉反应增强值(rMRE)

首先进行单样本t检验，验证不同线索位置上的rMRE是否显著大于0。结果显示，不同线索位置上的rMRE均显著大于0，ts(23)>6.36，ps<0.001。这说明，与视觉刺激和听觉刺激中最快的反应时相比，个体对视听觉刺激的反应更快，产生了多感觉加工优势。然后，为了比较外周化线索对rMRE的影响，即线索化与非线索化位置上的rMRE是否有所差异，对两位置上的rMRE进行配对t检验。结果显示：非线索化位置上的rMRE(9.5%)显著大于线索化位置(7.94%，t(23)=2.16，p=0.04，d=0.28)。可见，选择性注意减弱了线索化位置上的多感觉加工优势效应。

3.4 竞争模型(race model)分析

如图3(a，b)所示，分别计算出不同线索位置上视觉累积分布概率(CDFV)，听觉累积分布概率(CDFA)，视听觉累积分布概率(CDFAV)与竞争模型预测累积概率(CDFRace model)在反应时0～1000ms时间区间对相应目标的反应概率值。

接下来，将不同线索位置上视听条件下的CDF与竞争模型CDF之差在每10ms上进行单样本t检验(与0进行比较)，考察显著违反竞争模型的时间窗口和峰值。结果如图3(c，d)所示：在线索化位置上，反应时270～350ms的时间窗口内CDF与竞争模型CDF之差显著大于0，ts(23)>2.4，ps<0.025。其中，峰值为9.26%，发生在290ms。在非线索化位置上，反应时240～310ms的时间窗口内两者之差显著大于0，ts(23)>2.28，ps<0.037。其中，峰值为10.02%，发生在280ms。可见，非线索化位置上违反竞争模型的时间更早，且峰值更大。因此，相比线索化位置，非线索化位置上的多感觉加工优势效应更大。

图3 不同线索位置上的反应时累计概率注：图(d)中灰色区域表示显著违反竞争模型的时间窗口。白色*位置为最大概率值出现的时间，即多感觉加工优势的峰值。

4 讨论

4.1 有声信号灯产生多感觉加工优势

正确率与反应时结果显示：相比传统视觉信号灯，行人对有声信号灯的反应更快且更准确。同时，相对多感觉反应增强(rMRE)与竞争模型(race model)计算结果显示：有声信号灯的多感觉加工优势来自于视觉与听觉刺激的整合，有声信号灯能够有效地吸引行人的注意。这与以往研究结果相似，同步呈现的听觉信号能够促进视觉目标的识别。相比单独呈现的视觉目标，附加听觉信号的视觉目标更容易被识别(Chamberland，Hodgetts，Vallières，Vachon，& Tremblay，2016)。研究者认为，这种由同时呈现的声音信号引发的视觉促进效应是由于同时呈现的听觉信号与视觉目标发生了多感觉整合(Van der Burg，Talsma，Olivers，Hickey，& Theeuwes，2011)，从而捕获个体选择性注意，提高视觉搜索效率。在神经机制层面，多感觉加工优势表现为多感觉神经元在被多个感觉通道信号刺激时，能够发生比单一信号更大的激活(Stein & Stanford，2008)。神经放电的增加导致检测多感觉通道信号比单感觉通道信号更快，这表明神经处理也更快(Rowland，Quessy，Stanford，& Stein，2007)。

4.2 选择性注意对有声信号灯多感觉加工的影响

研究通过引入选择性注意变量以考察其对有声信号灯多感觉加工优势的影响。研究结果显示，相比非线索化位置，线索化位置上的多感觉加工优势效应降低。可见，基于交通信号灯实验材料，选择性注意会影响多感觉整合的有效性，降低多感觉加工优势效应。

那么，选择性注意影响多感觉加工优势的机制是什么？研究者对此提出了以下不同解释。多感觉整合中的反比效应原则(the principle of inverse effectiveness)指出，多感觉加工优势效应的大小与刺激的感知强度成反比，且在神经生理学研究中发现，多感觉神经元的反应随着刺激强度降低而相对增强(Senkowski，Saint-Amour，Höfle，& Foxe，2011)。由此推测，外周化空间线索能够增强线索化位置上的感知觉敏感度。如果在该位置上随即出现目标，则会提高受测者对此目标的感知强度(Carrasco，2011)，从而导致多感觉加工优势有所减小(Van der Stoep et al.，2015)。此外，由于研究中的外周化线索预测性为50%，即，线索不能准确预测目标的呈现位置，因此受测者会加强对线索诱发的空间定向。需要注意的是，由于视听觉目标本身和线索都能够产生空间定向，因此这种冗余信息降低了线索化位置上空间定向的作用，最终减弱该位置上的多感觉加工优势。然而，现有研究结果是基于行为学研究，其神经机制还需进一步探讨。

4.3 研究的应用价值及局限性

基于研究结果，对交通信号的应用提出以下建议：在各道路口广泛运行有声信号灯，利用视觉和听觉两种不同感觉通道的信号组合成多通道信号设备(有声信号灯)，以发挥其多感觉加工优势，促进行人更有效地觉察交通信号，安全快速地过街。此外，在交通信号灯附近，应当避免设置容易引起行人选择性注意的设施，例如附近高层建筑安装的滚动LED字幕。需要注意的是，有声信号灯可能会产生城市噪声污染。为此，可以采取以下几种解决措施：安装能够根据背景噪音自动调节声音强度的交通信号灯，其信号音量由音量控制电路(volume control circuit，VCC)自动调节，在安静的环境下会调节到极低水平，从而最大限度地减少对居民的干扰；对有声信号灯的音量及其声音类型进行调研评估。以上措施能在一定程度上避免城市噪音污染，提升有声信号灯的推广性。

此外，研究也存在一些局限性。为更好地控制无关变量，实验场景设置在实验室中，研究的生态效度较低。有研究者提出，基础实验室中对多感觉整合的考察结果在现实环境下的推广性有待商榷(Bailey，Mullaney，Gibney，& Kwakye，2018)。同时，实验中采用静态图片作为实验材料，难以体现交通信号变化的动态特征。因此，未来研究可以考虑基于虚拟现实(Virtual Reality，VR)技术，考察行人过街环境下多感觉整合与选择性注意的交互关系。目前，VR技术不仅能够在具有一定真实感的环境中研究感知现象，还能够控制实验精确度，达到实验测试水平。将多感觉整合相关研究与应用技术相结合，有助于提高研究结果的可推广性。

5 结论

研究探索了有声信号灯对交通安全的积极作用。实验采用线索—靶子范式，对比传统视觉信号灯和有声信号灯产生的行为绩效差异，同时引入外周化线索，考察选择性注意对行人觉察有声信号灯多感觉加工优势的影响。得出如下结论：(1)相比传统视觉信号灯，有声信号灯中的附加声音信号能够促进视听觉整合，从而提升行人对交通信号灯的觉察，促使行人对交通信号的反应，有利于道路交通安全；(2)选择性注意会减弱行人觉察有声信号灯的多感觉加工优势。研究结果表明，运行有声信号灯能够降低行人由于视觉注意超负荷而引发的安全问题，同时应当避免在环境中设置容易引起行人选择性注意的设施。