多身份追踪中基于表情特征的分组效应*

雷寰宇 魏柳青 吕 创 张学民,2,3 闫晓倩,4

(1北京师范大学心理学院, 应用实验心理北京市重点实验室, 北京 100875)

(2北京师范大学认知神经科学与学习国家重点实验室, IDG/McGovern脑科学研究所, 北京 100875)

(3脑与学习协同创新中心, 北京 100875) (4约克大学心理学院, 约克 YO10 5DD)

1 前言

1.1 多身份追踪中的分组表征

Pylyshyn和Storm (1988)最早提出了多目标追踪, 并发现观察者能够追踪的目标个数为 4～5个,正确率可以达到85%～95% (Pylyshyn, 2004, 2006;Yantis, 1992)。而日常生活中的物体都有其独特的身份特征, 为了更接近真实场景中的视觉追踪任务,Oksama和 Hyönä (2004, 2008)提出了多身份追踪(Multiple Identity Tracking, 简称MIT)范式。在MIT任务中, 主要考察多身份追踪中目标方位与身份识别的认知机制。以往研究关注多目标追踪中身份识别的容量、效率以及影响因素等, 研究者提出了一系列理论假设和解释。Yantis (1992)采用7个实验验证了多目标追踪中存在虚拟多边形的知觉分组现象, 观察者会对对象的身份特征进行自动化分组加工。研究者采用眼动技术发现, 观察者更多地注视由目标组成的虚拟多边形的中心, 而较少注视单个目标, 即采用了质心加工模式(Centroid strategy or Center looking strategy, Fehd & Seiffert, 2008;Zelinsky & Neider, 2008)的策略。眼动的相关研究支持了Yantis的分组假设, 证明知觉分组是多目标追踪中保证追踪效率的主要策略之一。

在多目标追踪任务中, 尽管对象的表面特征完全一样, 但观察者仍可以通过目标的运动方位表征提高追踪成绩, 即存在基于空间的分组表征(Location-based Grouping; Yantis, 1992)。在多身份追踪任务中, 视觉对象是带有身份信息的, 在知觉上也可能会形成一种整体性, 进而有可能进行基于客体的分组表征(Object-based Grouping)。在Yantis知觉分组假设基础上, 研究者关注不同因素对于知觉分组的影响。研究发现, 相同的运动轨迹可能成为目标和非目标分组的线索(Suganuma & Yokosawa,2006)。Makovski和Jiang (2009)发现观察者在多身份追踪中可以利用追踪对象的颜色身份信息分组来提高追踪成绩。Howe和Holcombe (2012)采用复合特征的对象, 非目标只具备目标的部分特征, 研究发现观察者对于目标的追踪成绩显著提高。Feria(2012)的实验发现目标与非目标特征相同时追踪成绩低于目标与非目标完全不同的条件, 观察者在追踪中可以根据特定的身份信息将非目标与目标分离, 并表现出目标分组效应。Erlikhman, Keane,Mettler, Horowitz和 Kellman (2013)通过一系列实验研究, 对刺激物的 8个简单特征(颜色、黑白极性、朝向、大小、形状、立体深度、插补虚拟轮廓、组合特征(形状、颜色与大小的组合))进行了分析。研究发现除了朝向和轮廓外, 其余特征均表现出目标分组的促进作用; 而在颜色、大小、形状、及其组合、轮廓特征下, 表现出了目标非目标配对的干扰作用(追踪正确率下降15%及以上)。上述系列研究证据支持了多目标追踪和多身份追踪中的知觉分组效应。

综合以上研究, 多身份追踪中目标与非目标知觉特征(颜色、大小、形状、组合等)的分组效应是确实存在的, 并且这种知觉分组效应在某种程度上是自动化的。上述系列研究中的多身份追踪中目标的知觉分组效应也证明了知觉分组假设的合理性,Yantis (1992)的知觉分组假设认为, 在知觉特征上相同的目标更容易在追踪过程中被知觉为一个整体, 从而提高多身份追踪的效率。除上述目标的知觉特征, 人们在现实生活中需要处理大量的生态化视觉信息, 如交通工具、各类生活用品、家用电器、建筑物、各种标志、各类动物和植物、面孔和表情等有生命和无生命的客观对象等, 这些对象不仅仅是具有基本的物理特征或表面知觉属性, 有些对象具有一定的生物属性和社会属性, 同时具有语义和概念层面的意义, 并构成人们知识和经验的重要组成部分。关于多身份追踪的范畴性分组效应得到了研究的证实, 如白田、吕创、魏柳青、周义斌和张学民(2015)以数字和字母为多身份追踪范畴性材料,通过操纵目标与非目标身份的范畴一致性和差异性探讨多身份追踪的范畴分组效应, 研究表明：目标与非目标身份特征的范畴内和范畴间差异都显著促进了追踪表现。这说明目标身份一致性及其与非目标的差异有助于被试采用多身份追踪的分组策略。

本研究拟采用人们生活中常见的面孔表情信息作为生态化的实验材料, 考查面孔表情加工的分组效应。Ren, Chen, Liu和Fu (2009)关注多身份追踪中面孔信息的加工, 研究者认为多面孔追踪的研究对于理解和分析社会交互很有必要, 而这种加工不同于多目标追踪机制。Oksama和 Hyönä (2008)比较了熟悉和合成的面孔对于追踪表现的影响, 发现熟悉的面孔更加容易追踪。表面物理特征可以分组的依据是对象知觉特征的归类, 而范畴性分组是基于概念范畴的语义层面的归类, 是更为高级的概念层面的认知加工问题。具有相同或相近的语义信息的对象可能会归为一类, 这是基于概念范畴的分组假设(魏柳青, 张学民, 2014)。面孔和表情是具有生物性和社会属性的生态化视觉信息, 其代表的含义不仅仅是知觉层面的, 同时还表达了人们的生物性信息和社会性的情感信息。不同面孔表情(如积极、中性、消极等)表达不同的社会性信息, 对人们的认知判断会产生一定的影响。人们在现实生活中也经常面对各类复杂情境的不同性质的面孔表情特征, 真实情境中面孔表情的表达会直接影响观察者的情绪情感以及判断和决策。那么人们面对不同面孔表情信息时会如何对表情信息进行加工和分类, 并做出基本的判断呢？本研究拟采用多身份追踪范式, 面孔表情作为实验材料, 考察面孔中表情因素在多身份追踪中是否存在分类加工和分组效应, 如果存在分组效应, 那么分组效应表现出哪些规律与特点？由于面孔表情具有的生物性和社会性的特点, 因此, 本研究采用多身份追踪任务的同时, 需要考虑到面孔本身加工过程中的一些基本的规律、特点及其影响因素。关于面孔表情加工的研究主要包括面孔的构成及其对表情加工的影响, 已有相关研究总结如下：

1.2 面孔加工的特点及其不对称性的相关研究

以往面孔表情的基础研究发现, 面孔表达情绪信息的重要部位是眉毛、眼睛和嘴巴。Fox, Lester,Russo, Bowles, Pichler和Dutton (2000)的研究中采用具有眉毛、眼睛、鼻子和嘴巴的简图面孔发现在搜索时存在不对称性。研究发现, 只采用嘴巴为刺激时没有产生面孔搜索不对称性, 表明面孔整体表情的重要性。Weymar, Löw, Öhman 和 Hamm (2011)分析了当面孔轮廓中只有眉毛和眼睛时, 负性面孔刺激的搜索快于正性刺激; 轮廓中只有眉毛特征为刺激的任务不存在搜索差异。该研究结果表明负性情绪(threat)可能是通过眼睛区域而不是眉毛表达的。而Larson, Aronoff和Stearns (2007)研究发现眉毛区域(V型)可以传达一种威胁性信息, 这种符号在视觉搜索时也会表现出优势效应。研究者发现搜索优势只存在于完整的面孔加工中(Baron-Cohen,Wheelwright, & Jolliff, 1997; Weymar et al., 2011)。Baron-Cohen等人(1997)的研究显示, 在对基本情绪的识别中面孔整体的重要性显著高于嘴部和眼部, 因而整个面部为表情的识别提供更多更全的信息。面孔表情要素研究为本研究采用的简笔表情要素提供了依据。表情性质的研究也证明了不同表情认知表现的差异, 以及负性表情的优势效应。不同面部表情传达给个体不同的信号和意义, 产生不同的认知和行为反应, 因此对表情的感知会对认知活动产生一定的影响(Levenson, 1994; Mikulincer &Sheffi, 2000)。

研究者在表情搜索任务中发现了搜索不对称性(Hansen & Hansen, 1988; Fox et al., 2000), 这种现象早期从情绪角度出发, 被解释为负性情绪的搜索优势。进化论认为威胁性、负性刺激会引起外源性注意和无意识的注意捕获(Eastwood, Smilek, &Merikle, 2003)。也有理论认为负性刺激能够使注意固着, 不利于转移注意到其他的刺激上。近年来研究者提出了新的假设, 即知觉结构假设, 该假设认为负性面孔的优势是由于面孔简图的结构特征导致的。负性面孔有较多的直线刺激, 而正性面孔则曲线刺激较多(Aronoff, 2006)。部分研究者认为负性面孔的搜索优势来自于对正性干扰物的忽视(Lavie, Ro, & Russell, 2003), 由于正性面孔嘴部和下巴轮廓类似平行, 因而知觉组织分组更容易, 简化了负性面孔的搜索(Horstmann, Becker, Bergmann,& Burghaus, 2010)。有研究者认为, 负性面孔向下的嘴部和下巴轮廓构成了一种闭合的结构, 这种闭合促进了负性面孔的知觉加工(Mak-Fan, Thompson,& Green, 2011)。也有研究认为, 情绪因素和知觉结构因素是相互作用的, 两者共同解释负性表情的搜索优势(徐展, 李灿举, 2014)。

本研究拟探讨面孔表情分组效应, 需要对目标表情与非目标表情性质的一致性进行各种水平的处理和区分。基于搜索不对称的相关情绪研究, 面孔表情加工过程中个体的注意资源可能更多被负性表情吸引或固着, 从而可能产生负性表情的分组效应; 从知觉结构的角度, 面孔简图中知觉的组织分组和闭合结构使负性表情的分组优势更明显。因此, 本研究认为若表情分组效应存在, 面孔加工的情绪偏向的观点和知觉结构观点是共同起作用的。事实上, 个体在感知表情图片时, 不仅能感知到其表达的情绪, 同时也能对表情的结构特征进行加工,这两个因素应当是同时作用于表情加工过程。

1.3 本研究的理论假设

本研究关注面孔表情在多身份追踪中的加工规律是否与简单客观对象(如物理符号和几何图形等)的加工规律具有一致性, 以及面孔表情的加工是否具有独特的规律？被试如何根据面孔表情表达的情绪属性或表情特征进行分组加工？简单符号或几何图形等客观对象可以根据物理特征进行分组表征(Yantis, 1992), 研究者也对于日常生活中常见物体的加工提出了范畴分组的假说, 即基于日常生活常见客观对象语义范畴的分组表征的研究(Caramazza, 1998), 鉴于上述的文献综述和基于静态与多身份追踪任务中面孔表情加工规律的分析,研究者认为面孔表情作为日常生活中普遍接触和加工的具有社会性和生物性的生态化视觉刺激信息, 可能具有与物理符号一致的分组加工规律和独特的分组加工规律。鉴于以往的简单物理属性的对象和日常生活中客体的分组表征和语义范畴表征的研究, 本研究提出了多身份追踪中的面孔分组加工假设, 并对面孔表情是否能进行分组加工进行讨论和验证。如果存在面孔表情分组效应, 具体在不同面孔表情分组情况的表现是否存在差异？该研究将有助于我们从视觉信息组织加工的角度深入认识面孔表情的组织与加工的机制, 这也是本研究拟探讨的主要问题。具体研究问题和预期的假设如下：

本研究采用多身份追踪范式, 主要关注将面孔简图作为刺激物呈现目标分组和目标、非目标配对的情况时与基线组相比是否有差异。目标分组(Targets Grouping, TG) 分为4个水平, 分别是：目标正性表情非目标负性表情, 以下简称正–负; 目标正性表情非目标中性表情, 以下简称正–中; 目标负性非目标正性, 以下简称负–正; 目标负性非目标中性, 以下简称负–中。目标、非目标配对(Targets-Distractors Grouping, TDG)有3个水平：目标正性中性非目标正性中性, 以下简称正中–正中;目标正性负性非目标正性负性, 以下简称正负–正负; 目标负性中性非目标负性中性, 以下简称负中–负中。基线条件(Homogeneous)包含3种情况：目标和非目标都为正性, 以下简称正–正; 目标和非目标都为负性, 以下简称负–负; 目标和非目标都为中性, 以下简称中–中。实验探讨的问题是表情特征能否作为分组的一种依据, 在结果部分将分组和配对情况的条件都与基线进行对比。本研究假设：多身份追踪中存在表情的分组效应：当目标分组时追踪正确率显著高于基线情况, 目标非目标配对时追踪正确率显著下降。此外, 基于面孔搜索的不对称性的理论观点, 预期当目标为负性表情时搜索正确率高于正性目标表情, 表现出负性情绪优势的分组效应。本研究将分别进行面孔刺激中有无眉毛部位的分组效应探讨, 考察眉毛部位的信息是否影响分组效应。

2 实验1 多身份追踪中的表情分组效应(有眉毛线索)

2.1 被试

被试为北京地区在校大学生29名, 其中4名被试因追踪正确率低于50%被删除, 有效被试25名,其中男生11名, 女生14名, 年龄范围20～26岁(平均年龄22.52 ± 1.81岁), 所有被试视力或矫正视力正常, 听力正常。

2.2 实验设计

在实验开始前, 让受试者先填写自评抑郁量表(SDS)和状态-特质焦虑问卷(State-Trait Anxiety Inventory)。

SDS为自评量表, 用于衡量抑郁状态的轻重程度及其在治疗中的变化。量表由 20个陈述句和相应问题条目组成。每一条目相当于一个有关症状,按1～4级评分。评定的抑郁严重度指数按下列公式计算：抑郁严重度指数 = 各条目累计分／80 (最高总分)。相应的指数范围为 0.25～1.0, 指数越高, 抑郁程度越重。SDS的评分不受年龄、性别、经济状况等因素影响。指数在 0.5以下者为无抑郁;0.50～0.59为轻微至轻度抑郁; 0.60～0.69为中至重度抑郁; 0.70以上为重度抑郁。本研究中受试者的SDS得分为0.29～0.50, 无抑郁表现。

STAI能够区别评定短暂的焦虑情绪状态和人格特质性焦虑倾向, 由指导语和两个分量表一共40项描述题组成, 为1～4级评分方式。第1～20项为状态焦虑量表(STAI, Form Y～I, 以下简称S～AD),其中半数为描述负性情绪的条目, 半数为正性情绪条目。第21～40题为特质焦虑量表(STAI, Form Y～I,简称 T～AI), 用于评定人们经常的情绪体验。其中有 11项为描述负性情绪条目, 9项为正性情绪条目。分别计算S～AD和T～AI量表的累加分, 最小值20, 最大值为80, 反映状态或特质焦虑的程度。正常人群总样本S～AD评分为39.71 ± 8.89 (男, 375例), 38.97 ± 8.45 (女, 443 例); T～AI评分为 41.11 ±7.74 (男), 41.31 ± 7.54 (女)。抑郁症组(50 例)：S～AD为 57.22 ± 10.48, T～AI为 46.22 ± 26.22, 明显高于正常人群。本例中, S～AD的得分范围是25～45分,男性评分为 32.27 ± 3.77, 女性为 35.50 ± 5.14;T～AI的得分范围是30～66分, 其中男性36.82 ± 7.19,女性41.00 ± 10.35。与常模比较发现, 本例中的受试者均没有表现出焦虑症状。

研究采用的刺激物是面孔表情简图, 共呈现 3种表情, 分别为正性、负性和中性, 如图 1所示。实验条件为单因素被试内设计, 考察分组与否对于追踪表现的影响。分组指的是不同实验处理水平以及上述水平的具体划分情况。分组条件有5个水平,分别为分组 1 (正–负)、分组 2 (正–中)、分组 3 (负–正)、分组4 (负–中)和不分组(基线); 配对条件有4个水平, 分别为配对1 (正中–正中)、配对2 (正负–正负)、配对 3 (负中–负中)和不分组(基线); 其中,基线条件是作为单因素研究变量的一个对照水平。因变量为追踪正确率和表情回忆正确率, 其中追踪正确率是主要考察指标, 而表情回忆正确率是控制指标, 主要是为了保证被试在实验过程中有效注意到实验刺激, 并在所有条件下都对表情类型进行了辨别加工。实验主要考察表情的各个分组水平和基线组追踪正确率的差异。

图1 实验1表情材料样例

2.3 实验仪器与材料

实验仪器为 PIV 2.8台式计算机, 显示设备为17英寸纯平 CRT监视器。屏幕分辨率设定为1024×768 pixel (每 pixel约为 0.032 cm), 垂直刷新频率为85Hz。被试双眼距离屏幕约50 cm, 刺激呈现区域为全屏幕1024×768 pixel (水平视角108.8°,垂直视角81.6°), 背景为白色。运动对象为直径60 pixel (约 5.62°)的表情简笔画。实验中共有 8个客体, 其中4个为目标, 4个为非目标。

研究采用VB编程。所有对象在追踪区域内的初始位置随机分布, 各个对象间的距离大于面孔圆环直径, 刺激物的初始位置距离追踪区域边框不小于两倍直径。客体运动速度为1.25°/s, 运动过程采用碰撞算法, 当两个图片中心间距离等于 40 pixel时, 两幅图片均改变运动方向至相反方向, 也即相互弹开。

2.4 实验过程

实验正式开始前有练习, 被试在主试的观察下对每个条件都进行一次练习, 确保清楚实验内容。正式实验中分组和配对条件每个水平各有 20个试次, 基线3种情况各有20个试次, 一共200个正式试次。实验采取区组设计进行被试内平衡。被试在完成4个或者3个区组会有一次1 min的休息, 再完成3个或4个区组会有第二次休息机会, 直至完成所有实验。每个试次需要11 s, 实验1共需要45分钟左右。

图2 实验流程图示例

被试按空格键开始实验, 8个静止的黑色圆环呈现在白色屏幕上, 其中4个以红色方框标记为目标, 持续1.5 s后方框消失。随后, 8个黑色圆环变为表情图片并开始随机运动, 要求被试追踪线索阶段标记出来的目标表情图片, 运动在5 s到6 s间随机停止。运动停止后, 表情图片消失并同时变为黑色圆环, 要求被试用鼠标指出哪些圆环是目标。被试选择完后进入下一屏, 屏幕中央显示问题“目标的表情图片是(有可能不止一个)：1笑脸, 2愤怒, 3平静”。被试做完选择后按空格进入下一次追踪。数据分析采用SPSS 19.0版软件进行分析。

实验流程图如图2所示。

2.5 实验结果

2.5.1 基线分析

对基线包含的3种情况进行单因素重复测量的方差分析如表 1所示, 发现方差齐性, 追踪正确率差异显著,F(2, 48) = 3.75,p< 0.05, η2= 0.14。

表1 基线不同情况下的追踪和表情回忆正确率(%) (M±SD)

本研究基线条件考虑到其应当包含其他条件中的目标表情, 因此基线包含了3种情况。基于不同表情对个体的意义不同, 其识别本身可能就存在差异, 因此单一表情并不能够代表基线或对照水平,可能需要根据研究任务来进行合理的设计。研究忽略这种差异将3种情况合为一个整体进行分析, 这样更客观地反映自变量因素的影响。在与目标分组条件相比时, 目标表情中没有中性表情, 中–中条件也可作为基线。在目标非目标配对时, 目标中出现中性表情, 因此基线为3种表情的综合基线。表情回忆正确率只作为控制指标, 不进行分析。表情回忆正确率(大于 76%), 表明观察者对于所有的目标表情进行了有效的加工。下面跟据追踪正确率对表情追踪效应进行分析。

2.5.2 目标分组与基线条件的差异

分组条件与基线条件的差异如表2所示。

对追踪正确率进行单因素 5水平(正–负, 正–中, 负–正, 负–中, 基线)重复测量的方差分析发现符合方差齐性假设, 表情图片分组主效应显著,F(4,96) = 4.17,p< 0.01, η2= 0.15。采用LSD的事后检验方法进一步比较各个分组与基线组的差异发现,正–负组与基线无显著差异(MD= 0.01,p> 0.05); 正–中组与基线无显著差异(MD= 0.01,p> 0.05)。负–正组的追踪正确率显著高于基线水平(MD= 0.04,p<0.01); 负–中组的正确率显著高于基线水平(MD=0.05,p< 0.01)。

表2 不同分组处理水平下的追踪和表情回忆正确率(%) (M±SD)

表3 不同分组处理水平下的追踪和表情回忆正确率(%) (M ± SD)

从上述分组情况与基线水平追踪正确率的差异发现, 当目标表情为正性时, 追踪正确率与基线没有差异, 不存在分组效应。当目标表情为负性时,追踪正确率显著高于基线组, 分组效应明显, 说明当目标为负性表情时可能出现表情分组效应。

分析各个实验处理水平与中性基线的差异, 如表3所示。

对分组各个条件与中性基线条件进行分析符合方差齐性假设, 表情图片分组的主效应显著,F(4,96) = 5.10,p< 0.01, η2= 0.18。LSD 的事后检验发现, 正–负组与基线无显著差异(MD= 0.02,p>0.05); 正–中组与基线无显著差异(MD= 0.02,p>0.05)。负–正组的追踪正确率显著高于基线水平(MD= 0.05,p< 0.01); 负–中组的正确率显著高于基线水平(MD= 0.06,p< 0.01)。这个分析与将3种情况合并作为基线是一致的, 说明中–中可以作为分组条件的基线平衡正、负表情的偏向性。

比较正–负组与负–正组的追踪正确率, 发现负–正组的追踪正确率显著高于正–负组(MD= 0.03,p<0.05)。进而比较正–中组与负–中组的追踪正确率,也发现负–中组的追踪正确率显著高于正–中组(MD= 0.04,p< 0.05)。该结果与以往研究表情识别的实验是一致的, 说明了搜索的不对称性在动态场景中的适用性。

2.5.3 目标非目标配对与基线条件的差异

配对条件与基线条件的差异如表4所示。

对追踪正确率进行单因素 4水平(正中–正中,正负–正负, 负中–负中, 基线)重复测量方差分析发现符合方差齐性假设, 表情分组的差异效应显著,F(3,72) = 3.11,p< 0.05, η2= 0.12。LSD 的事后检验表明, 3种水平的正确率都显著低于基线(正中–正中MD= –0.03,p< 0.05; 正负–正负MD= –0.03,p< 0.05; 负中–负中MD= –0.03,p< 0.05)。

由上表可知, 表情分组的主效应是显著的, 目标非目标配对时追踪正确率显著低于基线水平, 说明配对干扰了追踪表现。另外, 表情的识别、再认与追踪所需要的注意机制可能是不同的, 因而不能用相同的理论解释两个指标的差异。配对条件下,不能与中–中情况做比较, 考虑在配对中有中性表情作为目标, 单一的中–中情况并不是客观的基线,因此未做单独比较。

表 4 不同分组处理水平下的追踪和表情回忆正确率(%)(M ± SD)

3 实验2 多身份追踪中的表情分组效应(无眉毛线索)

研究发现眉毛形状(V型)能够提供更多的负性信息(Larson et al., 2007), 为了考察实验1中负性表情分组下追踪正确率显著高于基线的结果是否是由于眉毛信息产生的, 补充设计了实验2。在实验2中去除了面孔简图中的眉毛线索, 考察无眉毛信息时是否有负性表情的分组效应。实验2基本假设：如果负性表情分组效应与实验 1的结果一致, 说明本研究中发现的表情分组效应不是由于眉毛提供的更多负性线索导致的; 如果不一致, 则说明眉毛可能提供的线索对负性表情分组效应有一定的影响。

实验1中被试并无抑郁、焦虑的差异, 在实验2中不考察被试的情绪状态。同实验1, 实验2部分对表情回忆正确率不做分析, 只作为控制指标。

3.1 被试

被试为北京地区在校大学生16名, 其中男生7名, 女生9名, 年龄范围21～26岁(平均年龄23.38 ±1.59岁), 所有被试视力或矫正视力正常, 听力正常。

3.2 实验设计

实验设计与实验1相同, 面孔材料为去掉眉毛的面孔表情图, 如图3所示。

图3 实验2表情材料样例

3.3 实验仪器与材料、实验过程

实验仪器、材料(除去掉眉毛线索)、过程与实验1相同。

3.4 实验结果

3.4.1 目标分组与基线条件的差异

分组条件与基线条件的差异如表5所示。

对追踪正确率进行单因素 5水平(正–负, 正–中, 负–正, 负–中, 基线)重复测量的方差分析发现符合方差齐性假设, 表情图片分组主效应显著,F(4,60) = 8.51,p< 0.001, η2= 0.36。采用 LSD 的事后检验方法进一步比较各个分组与基线组的差异发现,正–负组与基线无显著差异(MD= 0.01,p> 0.05);正–中组与基线无显著差异(MD< 0.01,p> 0.05)。负–正组的追踪正确率显著高于基线水平(MD=0.06,p< 0.01); 负–中组的正确率显著高于基线水平(MD= 0.05,p< 0.01)。从上述分组条件与基线水平追踪正确率的差异发现, 当目标表情为正性时,追踪正确率与基线没有差异, 不存在分组效应。当目标表情为负性时, 追踪正确率显著高于基线组,分组效应明显, 说明当目标为负性表情表现出了表情分组效应。

分析分组各个实验处理水平与中性基线的差异, 如下表6所示。

对分组各个条件与中性基线条件进行分析不符合方差齐性假设, 表情图片分组主效应显著,F(4,12) = 7.83,p< 0.01, η2= 0.72。两两比较发现, 正–负组与基线无显著差异(MD= 0.01,p> 0.05); 正–中组与基线无显著差异(MD< 0.01,p> 0.05)。负–正组的追踪正确率显著高于基线水平(MD= 0.05,p<0.05); 负–中组的正确率显著高于基线水平(MD=0.05,p< 0.01)。

比较正–负组与负–正组的追踪正确率, 发现负–正组的追踪正确率显著高于正–负组(MD= 0.06,p<0.001)。进而比较正–中组与负–中组的追踪正确率,也发现负–中组的追踪正确率显著高于正–中组(MD= 0.05,p< 0.01).

3.4.2 目标非目标配对与基线条件的差异

目标非目标配对条件与基线条件的差异如表7所示。

对追踪正确率进行单因素 4水平(正中–正中,正负–正负, 负中–负中, 基线)重复测量方差分析发现符合方差齐性假设, 表情分组的主效应显著,F(3,45) = 4.56,p< 0.01, η2= 0.23。采用 LSD 事后检验发现, 3种水平的正确率都显著低于基线(正中–正中MD= –0.05,p< 0.01; 正负–正负MD= –0.05,p< 0.01; 负中–负中MD= –0.05,p< 0.01)。

表5 不同分组处理水平下的追踪和表情回忆正确率(%) (M ± SD)

表6 不同分组处理水平下的追踪和表情回忆正确率(%) (M ± SD)

实验2去除负性表情眉毛信息后追踪正确率下降, 但趋势与实验1一致, 说明实验1中的负性表情分组效应不是由于眉毛提供的线索信息引起的,有无眉毛的负性表情都可以引起显著的负性表情分组效应。去除眉毛的面孔与其他表情的面孔在线索信息和物理特征上基本相似性较高、差异更为细微, 增加了对追踪任务的识别难度, 因此表现出了总体正确率略有下降的趋势。实验2中表情回忆正确率除基线对照组外也表现一定的下降。基线组的表情回忆正确率保持不变是由于整个试次中只有一种表情属性, 较易辨别和识记; 其余条件下目标均有两种表情属性, 在去除眉毛后不同表情在结构上相似较高, 因此表情回忆正确率均有所下降。

鉴于上述实验1和实验2的结果, 基于表情搜索不对称性对分组效应的影响做讨论。

表7 不同分组处理下的追踪和表情回忆正确率(%) (M±SD)

4 综合讨论

4.1 多身份表情追踪的分组效应

以往研究发现, 观察者在追踪过程中可以利用客体的表面特征或身份信息进行分组加工, 从而提高追踪表现(Makovski & Jiang, 2009; Howe &Holcombe, 2012; Erlikhman et al., 2013)。多身份追踪中的分组策略具体表现为：被试在注意、知觉或记忆加工过程中根据目标的特征属性对目标进行分组(grouping)或分类(category), 并将更多的认知资源分配到目标上, 从而提高追踪任务的效率。从研究结果发现表情的分组效应是显著的：当目标归为一组非目标归为另一组(TG)时, 观察者的追踪成绩更好; 而目标和非目标配对时(TDG)的追踪成绩较差, 目标和非目标完全相同时(Homogeneous)的追踪成绩介于两者之间。负性表情单独作为目标时,追踪正确率高于正性目标表情。Yantis (1992)虚拟多边形的知觉表征是知觉加工层面的, 而在更高层面的加工过程(如概念属性、语义范畴类材料)也会表现出分类的效应, 如Caramazz (1998)提出, 客体的概念加工是基于语义范畴进行分类的。以往的研究较少涉及生物性和社会属性的客观对象, 而实际生活中人们对这些具有实际的、不同生物与社会性意义的客体进行加工时, 与基本物理刺激相比较为复杂。而且对生活中对象加工时, 通常会将它们进行分类, 如有生命与无生命范畴、植物和动物范畴等, 完成追踪任务时可能以分组形式进行(魏柳青,张学民, 2014)。面孔作为现实生活中每天都面对的视觉刺激, 同样是一种具有生物和社会属性的视觉对象, 而且面孔表情的表现是多样化和具有不同的生物与社会性意义的, 面孔表情加工的分组效应是本研究分析和讨论的主要问题之一。

本研究考察多身份追踪中基于表情面孔的分组效应, 得到了和物理性表面特征(颜色、大小、形状)一样的结论, 表情作为具有生物属性和社会属性的生态化刺激同样可以作为分组的依据, 表情分组的效应是显著的。这说明当不同的表情作为客体的身份特征时, 观察者在追踪过程中利用目标与非目标的表情差异形成分组表征。其次, 负性偏向不仅适用于静态范式, 动态范式也同样适用, 造成这种现象的原因是负性表情的搜索优势。基于表情的分组表征的形成和保持之所以能够促进追踪表现的原因可能有两个：其一是目标表情分组表征的形成可以使观察者把 4个目标作为一个整体来追踪,降低了追踪的注意负荷。其二是目标表情的分组表征有注意指向作用, 观察者可以将注意资源更多地指向和分配到目标上, 减少非目标对追踪的干扰和目标与非目标之间的混淆, 从而促进追踪表现(Howe & Holcombe, 2012)。但具体是哪一种机制起了作用或两种机制均有参与还需要进一步的实验研究证明。实验2中各个条件下的追踪正确率低于实验 1, 主要原因是去除眉毛的面孔与其他表情的面孔在线索信息和物理特征上基本相似性较高、差异更为细微, 所以增加了对追踪任务的识别难度,因此表现出了总体正确率略有下降的趋势。虽然正确率出现了下降, 两个实验结果的趋势是一致的,即分组情况下的正确率显著高于基线, 而配对情况显著低于基线, 证明了表情的分组效应。

实验结果发现负性表情单独作为目标时有负性优势, 当负性与其他表情混合作为目标时, 追踪表现受到了干扰。前人对负性偏向的研究来自静态范式, 并且只有单纯搜索一个目标的任务; 在表情分组范式下, 负性表情在目标和非目标里匹配, 负性的搜索优势与多目标追踪任务相矛盾。当正性和负性表情在目标和非目标中都存在时, 被试很容易混淆目标和非目标中的正性和负性情绪面孔, 并产生干扰效应, 这种干扰效应不仅在本实验中存在,在之前的相关知觉层面的物理属性分组效应的研究中也已经得到证实(Makovski & Jiang, 2009)。研究者对基本物理特征的研究发现了分组效应, 由于物理特征并无自身的优势, 因而并没有发现在目标分组中的对应优势。而表情分组效应中存在负性优势, 因此分组情况下结合负性优势会发现负性的追踪表现较好。而配对情况下这种优势被分组效应所干扰, 因此追踪正确率下降。

研究发现了负性偏向的分组效应, 即目标表情为负性非目标表情为正性或中性时分组效应显著,这可能是由于负性情绪的加工优势所致。结果与物理符号刺激不一致, 可能是由于面孔表情的生物性和社会性信息的影响, 表情搜索的不对称性可能起到一定作用。当目标和非目标都由两种相同数量的表情组成时分组效应显著, 这和简单的物理特征是一致的。关于生物属性优势的问题, 研究者讨论语义范畴加工时发现我们在幼儿早期就能够对生物——非生物的范畴进行区分, 这种区分可能存在于初始的概念范畴系统中(Mandler, 2003)。此外, 具有生物属性的客体能提供给我们丰富的社会信息(如身份、性别、情绪等), 可以有效地处理复杂的生活情境, 有助于对社会的适应。基于上述相关研究与本研究结果, 由于刺激是面孔表情, 不仅有表情的分组表征, 同时也表现出了负性表情的加工优势。同时, 表情搜索的不对称性也起了一定的作用。

4.2 表情搜索不对称性对分组效应的影响

以往研究表情搜索多是在静态情境下进行, 实验只是让被试在一系列静态呈现的多个表情面孔中搜索一个特定的面孔, 研究发现了表情搜索的不对称性。Ren等人(2009)首次将面孔设置在一个动态的实验范式(MOT)中, 该实验采用面孔作为刺激物, 研究多面孔追踪的特点和规律。研究发现被试在动态场景下能够对面孔信息进行加工, 并且, 对于真实的具体面孔的加工容量是2张面孔。Palermo和Rhodes (2007)研究证明注意加工在探测面孔、识别面孔身份、登记和区别面孔表情时起着重要的作用。也有研究发现, 对于面孔感知的过程是自动化、快速、无意识、强制的和无容量限制的。目前也有研究发现在形成基本的社会印象时, 快速而准确地对表情进行分类起着重要的作用(Carr, Korb,Niedenthal, & Winkielman, 2014)。

本研究的结果表明, 观察者可以加工多身份追踪任务中的表情信息, 从追踪正确率的结果上可以看出, 在追踪容量上和以往的多目标追踪容量是一致的(Pylyshyn, 2004, 2006)。Ren 等人(2009)的结论发现个体多面孔追踪的容量限于2张面孔, 是由于研究者使用了真实面孔; 本研究发现追踪容量不一致, 是由于本研究采用的是面孔简图, 复杂性较低,因而对于追踪表现和容量具有一定的促进效应。前人在使用面孔简图作为刺激物时, 为了探讨究竟是哪个部位或者是否是整体面孔的作用, 只采用单独的一个差异特征(嘴部或眉毛)或者采用眉毛和眼睛作为刺激物(Fox et al., 2000; Weymar et al., 2011)。研究发现在面孔刺激中只呈现嘴部区域的差异就可以产生搜索的不对称性(Horstmann & Bauland,2006)。Weymar等人(2011)的研究发现, 这些刺激必须呈现在一个与面孔相关的轮廓里才有不对称性。因此研究指出能够表达情绪的不是面孔某个部分, 而是面孔结构作为一个整体的作用, Ren等人也认为面部特征是一种整体性加工。本研究通过两个实验, 发现有无眉毛的表情面孔均表现出表情的分组效应, 并表现出负性表情的分组优势效应, 在某种程度上支持了表情整体加工的观点。

表情分组效应受到了静态范式下负性搜索优势的影响, 表情搜索的不对称性对分组效应的影响主要体现在识别阶段的优势, 在识别阶段表情搜索的不对称性能够强化观察者对负性表情的注意, 从而提高对负性情绪的追踪效率。同时在完成任务时需要被试指认目标表情的属性, 因此这种优势可能会与任务一致或者矛盾。当负性表情作为目标时,与负性优势是一致的, 因此追踪表现优于基线任务;当负性表情作为非目标时, 尽管存在表情的分组效应能够促进追踪表现, 由于非目标的负性优势使得这种干扰和促进相互抵消, 因此正性表情为目标时追踪表现并无提高。本实验的结果在一定程度上也说明了负性偏向表征的分组效应, 同时也发现在多身份追踪任务中负性表情引发分组偏向, 这种分组偏向可能是人们关注威胁性刺激和生物进化的生理心理防御的结果(Hansen & Hansen, 1988; 葛吉艳,郭德俊, 王峥, 2005)。从生物进化论的角度, 负性信息的威胁性层面与人类生存紧密相连, 因此人们对负性刺激更加关注, 以达到防御的目的。关于情绪和知觉因素分别对多目标追踪任务中的表情分组效应的作用, 还有待于在后续的研究中进一步探讨。

4.3 本研究理论意义

本研究通过两个实验发现面孔表情的多身份追踪任务中, 被试能够根据面孔表情属性特征对面孔表情进行分组加工, 而依据不同面孔表情在目标与非目标中的分配情况, 影响追踪表现。这种分组效应与简单物理符号刺激的多身份加工的结论是一致的(Makovski & Jiang, 2009; Howe & Holcombe,2012; Erlikhman et al., 2013), 这表明面孔表情作为具有生物属性和社会属性的生态化视觉刺激, 在多身份的视觉加工中具有典型的分组效应。此外, 研究还发现当负性表情作为目标时追踪正确率高于正性表情, 表现出典型的分组效应优势, 该发现补充了前人在静态范式下发现的情绪面孔搜索不对称性的相关研究结论, 在动态多身份追踪范式下也同样存在情绪面孔搜索的不对称性。面孔表情与物理特征的分组效应存在差异, 这表现在由于某种面孔表情本身具有一定的识别优势, 这种优势在目标非目标配对的情况下表现更为明显。而物理符号刺激的特征(如颜色、大小和形状等)并不存在这种优势, 这可能是面孔表情作为具有生物性和社会性属性的生态化视觉刺激信息在多身份追踪任务中的独特性表现。生态化视觉刺激信息的独特性给人们提供了更为丰富的和日常生活密切相关的视觉提示线索信息。本研究负性面孔表情的分组效应与视觉面孔信息加工的不对称性对分组效应的影响, 有助于认知和理解同时呈现多个动态的面孔表情信息加工的规律和分组效应促进与干扰的加工机制,也表明负性面孔表情的加工优势对人们生理心理防御和适应环境有重要的意义。

5 结论和展望

实验证实了多身份追踪中可能存在的分组机制的假设, 即注意可以基于目标的属性分为几个类别, 而不是简单的多边形更新。面孔表情这种生态化刺激可以作为分组的依据, 个体在动态场景下也表现出情绪面孔搜索的不对称性。研究结果可以得出如下结论：

(1)多身份追踪中, 当目标与非目标表情属性不同时, 能够促进追踪, 表现出了显著的表情分组的效应; 当目标与非目标表情配对时, 表现出对追踪的干扰效应;

(2)在表情分组条件下, 目标为负性时追踪正确率显著高于目标为正性, 说明表情分组效应中存在负性偏向。结合表情分组效应, 可以得出负性偏向表征的分组效应;

(3)通过有无眉毛的表情追踪任务发现, 眉毛部位对于表情分组效应无显著影响, 说明面部整体对表情的分组产生影响;

(4)表情搜索不对称性对分组效应有一定的影响。具体表现为, 在分组条件下, 目标负性非目标正性、中性时追踪正确率显著高于基线对照组; 目标正性非目标负性、中性时与基线对照组无显著差异。

本研究采用多身份追踪范式探讨面孔表情加工的分组效应, 具有一定的创新性、理论和实践意义。面部表情分组效应的研究扩展了多身份追踪研究中, 具有社会属性和生物属性的客观对象的加工特点和规律。在现实生活中, 对具有生态化视觉信息的加工更为重要。本研究通过面孔表情的分组效应研究, 对动态场景下、具有生态化属性的视觉对象加工的分组效应及其规律进行探索, 对认识和了解现实生活中基于生物性和社会性属性的视觉信息的分类规律具有一定的理论和现实意义。

在未来的研究中, 可以采用不同种族和性别的真人表情面孔深入探讨面孔表情的追踪分组效应、表情偏向性的分组优势、偏向与分组效应的关系, 以及表情面孔信息分类加工跨文化差异、不同异常情绪水平(如抑郁和焦虑水平)对表情分类加工的影响, 采用多身份追踪范式深入探索情绪与认知的分类加工规律及其认知机制。此外, 在研究方法方面, 可以采用ERP和fMRI等技术, 探讨多身份追踪中表情身份信息加工及其范畴分组效应的认知神经机制。

Aronoff, J. (2006). How we recognize angry and happy emotion in people, places, and things.Cross-cultural Research, 40(1),83–105.

Bai, T., Lyu, C., Wei, L. Q., Zhou, Y. B., & Zhang, X. M.(2015). The facilitating effect of target-nontarget categorical difference in identity on multiple identity tracking.Acta Psychologica Sinica, 47(2), 203–211.

[白田, 吕创, 魏柳青, 周义斌, 张学民. (2015). 目标与非目标身份特征的范畴间差异对多身份追踪的促进作用.心理学报, 47(2), 203–211.]

Baron-Cohen, S., Wheelwright, S., & Jolliffe, A. T. (1997). Is there a "language of the eyes"? Evidence from normal adults, and adults with autism or Asperger syndrome.Visual Cognition, 4(3), 311–331.

Caramazza, A. (1998). The interpretation of semantic categoryspecific deficits: What do they reveal about the organization of conceptual knowledge in the brain?.Neurocase, 4(4-5),265–272.

Carr, E. W., Korb, S., Niedenthal, P. M., & Winkielman, P.(2014). The two sides of spontaneity: Movement onset asymmetries in facial expressions influence social judgments.Journal of Experimental Social Psychology, 55, 31–36.

Eastwood, J. D., Smilek, D., & Merikle, P. M. (2003).Negative facial expression captures attention and disrupts performance.Perception & Psychophysics, 65(3), 352–358.

Erlikhman, G., Keane, B. P., Mettler, E., Horowitz, T. S., &Kellman, P. J. (2013). Automatic feature-based grouping during multiple object tracking.Journal of Experimental Psychology: Human Perception and Performance, 39,1625–1637.

Fehd, H. M., & Seiffert, A. E. (2008). Eye movements during multiple object tracking: Where do participants look?.Cognition, 108(1), 201–209.

Feria, C. S. (2012). The effects of distractors in multiple object tracking are modulated by the similarity of distractor and target features.Perception, 41, 287–304.

Fox, E., Lester, V., Russo, R., Bowles, R. J., Pichler, A., &Dutton, K. (2000). Facial expressions of emotion: Are angry faces detected more efficiently?.Cognition & Emotion,14(1), 61–92.

Ge, J. Y., Guo, D. J., & Wang, Z. (2005). The detection of angry expression in children aged 13 to 15 years.PsychologicalDevelopment and Education, 21(4), 34–39.

[葛吉艳, 郭德俊, 王峥. (2005). 13～15岁儿童对愤怒表情觉察的特点.心理发展与教育, 21(4), 34–39.]

Hansen, C. H., & Hansen, R. D. (1988). Finding the face in the crowd: An anger superiority effect.Journal of Personality and Social Psychology, 54, 917–924.

Horstmann, G., & Bauland, A. (2006). Search asymmetries with real faces: Testing the anger-superiority effect.Emotion,6(2), 193–207.

Horstmann, G., Becker, S. I., Bergmann, S., & Burghaus, L.(2010). A reversal of the search asymmetry favouring negative schematic faces.Visual Cognition, 18(7), 981–1016.

Howe, P. D. L., & Holcombe, A. O. (2012). The effect of visual distinctiveness on multiple object tracking performance.Frontiers in Psychology, 3, 307.

Larson, C. L., Aronoff, J., & Stearns, J. J. (2007). The shape of threat: Simple geometric forms evoke rapid and sustained capture of attention.Emotion, 7(3), 526–534.

Lavie, N., Ro, T., & Russell, C. (2003). The role of perceptual load in processing distractor faces.Psychological Science,14(5), 510–515.

Levenson, R. W. (1994). Human emotion: A functional view.In P. P Ekman & R. J. Davidson (Eds.),The nature of emotion: fundamental questions(pp. 123–126). New York:Oxford University Press.

Mak-Fan, K. M., Thompson, W. F., & Green, R. E. A. (2011).Visual search for schematic emotional faces risks perceptual confound.Cognition and Emotion, 25(4), 573–584.

Makovski, T., & Jiang, Y. V. (2009). The role of visual working memory in attentive tracking of unique objects.Journal of Experimental Psychology: Human Perception &Performance, 35, 1687–1697.

Mandler, J. M. (2003). On the foundations of the semantic system. In: E. Forde & G. Humphreys (Eds.),Category specificity in brain and mind(pp. 315–340). Hove, East Sussex, England: Psychology Press.

Mikulincer, M., & Sheffi, E. (2000). Adult attachment style and cognitive reactions to positive affect: A test of mental categorization and creative problem solving.Motivation and Emotion, 24, 149－174.

Oksama, L., & Hyönä, J. (2004). Is multiple object tracking carried out automatically by an early vision mechanism independent of higher-order cognition? An individual difference approach.Visual Cognition, 11, 631–671.

Oksama, L., & Hyönä, J. (2008). Dynamic binding of identity and location information: A serial model of multiple-identity tracking.Cognitive Psychology, 56, 237–283.

Palermo, R., & Rhodes, G. (2007). Are you always on my mind? A review of how face perception and attention interact.Neuropsychologia, 45(1), 75–92.

Pylyshyn, Z. W. (2004). Some puzzling findings in multiple object tracking: I. Tracking without keeping track of object identities.Visual Cognition, 11, 801–822.

Pylyshyn, Z. W. (2006). Some puzzling findings in multiple object tracking (MOT): II. Inhibition of moving nontargets.Visual Cognition, 14, 175–198.

Pylyshyn, Z. W., & Storm, R. W. (1988). Tracking multiple independent targets: Evidence for a parallel tracking mechanism.Spatial Vision, 3, 179–197.

Ren, D. N., Chen, W. F., Liu, C. H., & Fu, X. L. (2009).Identity processing in multiple-face tracking.Journal of Vision, 9, 1–15.

Suganuma, M., & Yokosawa, K. (2006). Grouping and trajectory storage in multiple object tracking: Impairments due to common item motions.Perception, 35, 483–495.

Wei, L. Q., & Zhang, X. M. (2014). The category-based grouping effect in multiple identity tracking.Advances in Psychological Science, 22(9), 1383–1392.

[魏柳青, 张学民. (2014). 多身份追踪中基于范畴的分组效应.心理科学进展, 22(9), 1383–1392.]

Weymar, M., Löw, A., Öhman, A., & Hamm, A. O. (2011). The face is more than its parts—Brain dynamics of enhanced spatial attention to schematic threat.NeuroImage, 58(3),946–954.

Xu, Z., & Li, C. J. (2014). Emotional and perceptual explanations for search asymmetries of emotional faces.Advances in Psychological Science, 22(2), 259–268.

[徐展, 李灿举. (2014). 情绪面孔搜索不对称性: 情绪观与知觉观的争议.心理科学进展, 22(2), 259–268.]

Yantis, S. (1992). Multielement visual tracking: Attention and perceptual organization.Cognitive Psychology, 24, 295–340.

Zelinsky, G. J., & Neider, M. B. (2008). An eye movement analysis of multiple object tracking in a realistic environment.Visual Cognition, 16(5), 553–566.