林国耀,庄 伟
(1.闽南师范大学教育科学学院,福建 漳州 363000;2.华南师范大学心理学院,广东 广州 510631)
面孔是人类生活中最重要的社会信息,因此面孔加工研究一直受到心理学家的关注。面孔倒置效应 (face inversion effect)是心理学家研究面孔加工的重要窗口。所谓面孔倒置效应,是指人们对倒置面孔的识别比对正立面孔的识别要来得困难,因此识别正确率更低、识别反应时更长。除了正确率和反应时这些行为指标外,随着认知神经科学的发展,研究者进一步用各种脑活动指标来标示面孔倒置效应,比如脑电活动中的N170成分。研究者一般认为倒置面孔引发的N170成分的波幅较大、潜伏期较长,这说明人们要花费更多的心理资源来识别倒置面孔[1,2]。
面孔倒置效应的产生机制是当前研究者关注的焦点,而在这个问题上整体加工理论受到的关注最多[1,3]。整体加工理论认为人们一般对正立面孔进行整体构形加工 (holistic-configural processing),但对倒置面孔则主要进行局部特征加工 (localfeature-based processing)[4,5]。该理论获得了很多实验证据的支持。比如,脑电研究发现,在正立面孔加工中,对眼睛的加工受到抑制,而在倒置面孔加工中,对眼睛特异的神经元则可能得到了激活[6-9]。又如,脑成像研究表明,倒置面孔加工激活了对物体加工特异的腹外侧纹状体,这意味着倒置面孔可能被知觉为物体进行加工,而物体加工被认为是基于特征加工的[10]。此外,面孔加工中的撒切尔效应 (Thatcher effect)、合成面孔效应(composite face effect)、局部-整体效应 (partwhole effect)也都支持整体加工理论。撒切尔效应是指在倒置面孔中将眼和嘴这两个构件又分别倒置时,人们不容易发现有什么异常,但是如果正立面孔作了这样的处理,人们则会很容易发现异常之处,这说明倒置面孔的加工利用了特征信息但却对构型信息不敏感[11,12]。合成面孔效应是指人们对两张合成面孔 (上半部分和下半部分属于不同的真实面孔)的上半部分进行辨别时会自动化地受到下半部分的干扰,但是如果将这两张合成面孔的上下两部分错开或者将这两张合成面孔倒置时,则这种干扰就明显减弱,这就很有力地说明面孔正立时局部特征信息加工受到了整体构形加工的抑制,而面孔倒置时则不存在这种抑制[13,14]。局部整体效应是指面孔局部特征在整体面孔情境中的识别好于单独呈现下的识别,这说明正立面孔加工中整体构形加工是占优势的[15-17]。
虽然整体加工理论能够较好地解释面孔倒置效应的产生机制,但是仍然还有很多问题值得探讨。首先,研究者主要是以眼睛特征为例来讨论倒置面孔的局部特征加工,但嘴部特征受到的关注非常少。其次,研究者一般以中性面孔为例来讨论面孔倒置效应,尚未系统地考察过情绪面孔的倒置效应。再次,注意对面孔倒置效应的影响也没有受到研究者足够的重视。这三个问题的解决是密切关联的,对情绪面孔倒置效应的考察自然会涉及到面孔嘴部特征的作用 (因为嘴部特征是区分不同情绪面孔的重要因素),另外注意由于与情绪密切相关也将变成一个无法绕过的问题。因此,本研究拟采用以嘴部特征来区分不同情绪效价的卡通情绪面孔为研究材料,通过一个脑电实验来考察情绪效价对面孔倒置效应的影响,并考察是否可以用整体加工理论来解释这种影响。基于N170是面孔倒置效应的常用脑电成分指标,因此本实验将主要以N170为指标考察情绪效价和注意水平对面孔倒置效应的影响。另外,由于脑电成分中的P3a、P3b分别被认为是无意注意和有意注意的脑电指标[18],因此本实验还将以P3a、P3b为指标来考察不同注意水平与面孔倒置效应的关系。
闽南师范大学本科生及研究生共15人,男性7名,女性8名,年龄20-24岁,右利手,无神经系统或精神疾病史,裸视或矫正视力正常。
采用卡通情绪面孔图片作为刺激材料,尺寸均为180×180像素 (屏幕分辨率1280×1024像素)。表情为中性、愉快、悲伤三种,每种表情面孔又有正立和倒置两种状态。愉快和悲伤面孔的轮廓又分为红色和绿色两种颜色,但中性面孔的轮廓都是红色。因此,总共有10种面孔:绿色正立愉快面孔,绿色正立悲伤面孔,绿色倒置愉快面孔,绿色倒置悲伤面孔,红色正立中性面孔,红色正立愉快面孔,红色正立悲伤面孔,红色倒置中性面孔,红色倒置愉快面孔,红色倒置悲伤面孔 (见图1)
图1 不同情绪的正倒置面孔示意图
采用E-prime软件在微机上呈现实验材料(水平视角0.13°,垂直视角0.11°)。实验包括4个block,每个block只呈现一种方向 (正立或倒置)的情绪面孔,不同block的顺序进行了被试间平衡,每个block之间有休息,用来消除疲劳效应。每个block均包含473个trail,在每个trail中,首先呈现150ms情绪面孔图片,之后呈现850ms空屏。每个trail呈现的可能是红色轮廓的面孔,也可能是绿色轮廓的面孔,被试被要求忽略红色轮廓的面孔,但要尽快地对绿色轮廓的面孔做出情绪判断,喜悦的按“2” (或“3”)键,悲伤的按“3” (或“2”)键,按键方式在被试之间平衡。各种trial呈现顺序按照oddball范式的要求来安排(如图2所示):先呈现3至5个含有红色中性面孔的trail(不同个数的顺序进行拉丁方平衡),再呈现一个含有红色愉快或红色悲伤面孔的trail(不同表情的顺序进行拉丁方平衡),然后呈现或不呈现含有红色中性面孔的trail(呈现与否的顺序进行拉丁方平衡),用来避免非靶偏差刺激可能诱发的信号效应,最后呈现含有绿色愉快或绿色悲伤面孔的trail作为靶偏差刺激 (不同表情的顺序进行拉丁方平衡)。也就是说,红色中性面孔是标准刺激 (比例为70%),红色表情面孔是非靶偏差刺激 (比例为15%,用来引发无意注意水平的加工),绿色表情面孔是偏差靶刺激 (比例为15%,用来引发有意注意水平的加工)。总体来说,实验是一个2 (面孔方向:正立/倒置)×2(情绪效价:愉快/悲伤)×2(注意水平:无意注意/有意注意)的三因素被试内设计(见图2)
图2 刺激呈现顺序示例 (以正立条件为例)
采用Brain Products-64导联脑电采集系统以及按国际10~20系统扩展的64导Ag/AgCl电极帽,对实验中被试的脑电进行连续记录。脑电记录时,以前额中点为参考电极,以Fpz和Fz连线的中点为接地点,以位于左眼上下的电极记录垂直眼电,以位于两眼外侧1.5 cm处的左右电极记录水平眼电,滤波带通为0.05~70Hz,采样频率为1000Hz。脑电记录过程中所有电极与头皮接触电阻均小于5KΩ。
实验结束后对所采集的脑电数据通过BrainVision Analyzer2.0进行离线处理。经过转换参考电极(转换为双侧乳突作参考)、去眼电(ICA法)、去伪迹(标准为±75μV)、数字滤波(35Hz低通)后,进行分段 (刺激出现前100ms为基线,刺激出现后保留600ms)、基线较正、叠加平均等处理。将所关注的三个脑电成分N170、P3a、P3b的时间窗分别定为 150-200ms、200-300ms、300-400ms。对各个时间窗的ERP波型进行峰值检测,将各个峰值及其潜伏期导出到SPSS17.0软件中进行统计分析。4名被试的脑电数据由于在有些条件上的有效叠加次数过少 (少于40次)而被剔除,因此只分析11名有效被试 (男性5名,女性6名)的脑电数据。
不同注意条件下愉快和悲伤面孔在正立和倒置时的N170总平均波形(见图3)
图3 不同注意条件下愉快和悲伤面孔在正立和倒置时的N170总平均波形 (以P8为例)
首先对N170的潜伏期进行2(脑区:左半球/右半球)×2(记录点:P7或P8/PO7或PO8)× 2(注意水平:无意注意/有意注意)×2(方向:正立/倒置)×2(情绪:愉快/悲伤)的五因素重复测量方差分析。结果表明:(1)方向的主效应显著,F(1,10)=8.18,P=0.017,倒置面孔诱发的N170潜伏期 (166.05±14.90μv)显著大于正立面孔诱发的 N170潜伏期 (160.47± 16.36μv); (2)记录点的主效应显著,F(1,10)=7.86,P=0.019,记录点P7/8诱发的潜伏期 (165.06±11.70ms)显著大于记录点PO7/8诱发的潜伏期 (161.45±12.96ms);(3)其他因素的主效应均不显著,所有因素的交互作用均不显著。
对N170的波幅进行同样的分析,结果表明: (1)注意水平的主效应显著,F(1,10)=25.771,P=0.000<0.05,有意注意条件下诱发的波幅 (-17.50±6.52μv)显著大于无意注意条件下诱发的波幅 (-14.11±7.13μv;两者的比较是基于绝对值来进行,下同);(2)记录点的主效应显著,F(1,10)=10.676,P=0.008<0.05,记录点PO7/8上诱发的波幅 (-16.61±7.19μv)显著大于记录点P7/8上诱发的波幅 (-15.01± 6.36μv);(3)其他因素的主效应均不显著,所有因素的交互作用均不显著。
以上结果显示倒置面孔N170的潜伏期延长,且这种变化不受注意水平和情绪效价的影响;但在N170的波幅上,没有发现面孔倒置效应 (虽然倒置面孔的波幅普遍大于正立面孔,但差异不显著),但是却发现了注意的调节作用,即注意提高了N170的波幅。
愉快和悲伤的红色面孔在实验中属于非靶偏差刺激,会诱发被试的无意注意,其脑电指标是P3a。本实验中,这两种情绪的P3a总平均波形如图4所示(以Pz为例)。
首先对P3a的潜伏期进行3(电极:P3/P4/PZ)×2(方向:正立/倒置)×2(情绪:愉快/悲伤)的三因素重复测量方差分析。结果表明,所有因素的主效应均不显著;所有因素的交互作用均不显著。
对P3a的波幅进行同样的方差分析,结果表明:(1)方向的主效应显著,F(1,10)=9.25,P=0.012,倒置面孔诱发的 P3a波幅 (7.77± 3.67μv)显著大于正立面孔诱发的 P3a波幅(6.68±3.29μv); (2)情绪的主效应显著,F (1,10)=6.41,P=0.03,悲伤面孔诱发的P3a波幅 (7.57±3.56μv)显著大于愉快面孔诱发的P3a波幅 (6.88±3.37μv);(3)方向与情绪的交互效应显著,F(1,10)=6.08,P=0.033;进一步的简单效应分析表明,正立悲伤面孔的平均波幅 (7.42±3.50μv)显著大于正立愉快面孔的平均波幅 (5.95±3.20μv),t(10)=3.704,P=0.004;倒置悲伤面孔的平均波幅与倒置愉快面孔的平均波幅无显著差异,t(10)=-0.23,P=0.825;(4)其他因素的主效应均不显著,所有因素的交互作用均不显著。
以上结果表明,倒置面孔诱发的P3a波幅显著大于正立面孔诱发的P3a波幅,这说明作为非靶偏差刺激时,倒置面孔比正立面孔引发了更强的无意注意;另外,正立悲伤面孔的P3a波幅大于正立愉快面孔的P3a波幅,这说明正立悲伤面孔能够引发更强的无意注意。
愉快和悲伤的绿色面孔在实验中属于靶偏差刺激,会诱发被试的有意注意,其脑电指标是P3b。本实验中,这两种情绪的P3b总平均波形如图5所示(以Pz为例)。
图5 愉快和悲伤表情面孔在正立和倒置时的P3b
首先对P3b的潜伏期进行3(电极:P3/P4/Pz)×2(方向:正立/倒置)×2(情绪:愉快/悲伤)的三因素重复测量方差分析。结果表明,所有因素的主效应均不显著;所有因素的交互作用均不显著。
对P3b的波幅进行同样的分析,结果表明: (1)情绪的主效应显著,F(1,10)=5.83,P=0.036,愉快面孔诱发的 P3b波幅 (14.45± 4.00μv)显著大于悲伤面孔诱发的 P3b波幅(13.58±4.13μv);(2)电极的主效应显著,F (2,20)=9.481,P=0.002<0.05;进一步的简单效应分析表明,Pz的波幅 (16.45±4.78μv)显著大于P3的波幅 (12.69±4.67μv),t(10)=4.92,P=0.001;P3的波幅显著大于P4的波幅(12.91±3.75μv),t(10)=3.34,P=0.007,P4的波幅与P3的波幅没有显著差异,t(10)=0.21,P=0.835;(3)其他因素的主效应均不显著,所有因素的交互作用均不显著。
结合图5和方差分析的结果可以看出,作为偏差靶刺激时,正立愉快面孔比正立悲伤面孔引发了更大的P3b波幅,这说明被试在实验中对正立愉快面孔产生了更强的有意注意。
本研究的关注点是情绪效价和注意对面孔倒置效应的影响。为探讨这个问题,研究中采用卡通情绪面孔为材料,通过脑电指标来反应面孔倒置效应,并考察该效应是否受情绪效价和注意的影响。
首先,虽然本研究仅以卡通情绪面孔为实验材料并且只以嘴部的形状来区分不同的情绪效价,但却能够在实验中得出以脑电为指标的面孔倒置效应。倒置面孔的N170潜伏期显著大于正立面孔(倒置面孔的N170波幅也有大于正立面孔的倾向),并且这种倒置效应不受注意水平的影响;倒置面孔引发的P3a波幅也显著大于正立面孔。上述这些结果意味着倒置面孔的识别难度较大,被试需要花费更多的时间和注意资源以尽量将其识别,因此本研究所用卡通情绪面孔可以适用于探讨面孔倒置效应。另外,这些结果还进一步说明嘴部特征也可以是面孔加工特别是情绪面孔加工中的一个重要线索,这个线索在正立面孔中可能被用于整体构形加工,而在倒置面孔中可能被作为局部特征进行加工。虽然以往的研究比较关注眼睛线索在倒置效应中扮演的作用,甚至提出了眼睛特异性假说来解释面孔倒置效应的产生机制[7],认为眼睛在正立面孔中被用于整体构形加工、在倒置面孔中被作为局部特征进行加工,但本研究的结果似乎提示这种加工机制同样适用于嘴部特征。也就是说,整体加工理论不仅适用于解释眼睛加工,也适用于解释嘴部特征加工。
其次,研究结果还发现情绪效价会影响面孔倒置效应。倒置悲伤面孔与正立悲伤面孔引发的P3a波幅没有显著差异,但是倒置愉快面孔引发的P3a波幅却显著大于正立愉快面孔。情绪效价之所以会产生这种影响,很可能是倒置愉快面孔与倒置悲伤面孔不同的嘴部特征引起的。倒置愉快面孔的嘴部特征与正立悲伤面孔的嘴部特征一样,会引起负性偏向;倒置悲伤面孔的嘴部特征与正立愉快面孔的嘴部特征一样,不会引起负性偏向。因此,正立悲伤面孔由于负性偏向引发了较大的P3a,从而减弱了与倒置悲伤面孔之间的差异程度;而倒置愉快面孔由于负性偏向引发了较大的P3a,从而加大了与倒置悲伤面孔之间的差异程度。由于P3a是无意注意的指标[18],因此上述的负性偏向反应的是无意注意水平的负性偏向,这种负性偏向已经获得了较多研究证据的支持[19]。概而言之,上述的分析说明,对倒置面孔的局部特征加工可能更容易受到无意注意水平负性偏向的影响。
最后,研究结果发现愉快面孔的P3b显著大于悲伤面孔,尤其是在面孔正立时。由于P3b是有意注意水平的脑电指标,因此这说明愉快面孔获得了更强的有意注意,即有意注意水平面孔加工存在正性偏向。前人的研究虽然较少直接论及这种正性偏向,但是也有一些间接的证据支持这种正性偏向的存在。比如有研究发现人们随着年龄的增长和有意注意能力的逐渐的提高,变得更加喜欢愉快面孔。由于面孔的整体构形加工往往需要有意注意的参与[20],因此可以推测这种有意注意水平的正性偏向与面孔的整体构型加工是密切相关的。也就是说,与面孔局部特征加工更容易受到无意注意水平负性偏向的影响相反,面孔整体构形加工可能更倾向于与有意注意水平加工的正性偏向相联系。
综上所述,可以将本研究的结论归纳如下:情绪效价会影响面孔倒置效应,这种影响可能与注意偏向机制有关,其中面孔局部特征加工可能更容易受到无意注意水平负性偏向的影响,而面孔整体构形加工可能更容易受有意注意水平正性偏向的影响。
[1]汪海玲,傅世敏.面孔倒置效应的研究与理论述评[J].心理科学进展,2011,19(11):1588-1594.
[2]李明芳,张烨,张庆林.面孔识别中脑电成分N170的研究概述[J].心理科学进展,2010(12):1942-1948.
[3]汪亚珉,黄雅梅.面孔识别中的构形加工与特征加工[J].心理科学进展,2011,19(8):1126-1137.
[4]FARAH M J,TANAKA J W,DRAIN H M.What causes the face inversion effect?[J].Journal of Experimental Psychology:Human perception and performance,1995,21 (3):628.
[5]MAURER D,GRAND R L,MONDLOCH C J.The many faces of configural processing[J].Trends in cognitive sciences,2002,6(6):255-260.
[6]EIMER M,KISS M,NICHOLAS S.Response profile of the face-sensitive N170 component:a rapid adaptation study[J].Cerebral Cortex,2010,20(10):2442-2452.
[7]ITIER R J,ALAIN C,SEDORE K,et al.Early face pro-cessing specificity:It's in the eyes![J].Journal of Cognitive Neuroscience,2007,19(11):1815-1826.
[8]ITIER R J,LATINUS M,TAYLOR M J.Face,eye and object early processing:what is the face specificity?[J].NeuroImage,2006,29(2):667-676.
[9]SADEH B,YOVEL G.Why is the N170 enhanced for inverted faces?An ERP competition experiment[J].Neuro-Image,2010,53(2):782-789.
[10]EPSTEIN R A,HIGGINS J S,PARKER W,et al.Cortical correlates of face and scene inversion:a comparison[J].Neuropsychologia,2006,44(7):1145-1158.
[11]BARTLETT J C,SEARCY J.Inversion and configuration of faces[J].Cognitive psychology,1993,25(3):281-316.
[12]THOMPSON P.Margaret Thatcher:a new illusion[J].Perception,1980:173.
[13]JACQUES C,ROSSION B.Misaligning face halves increases and delays the N170 specifically for upright faces: Implications for the nature of early face representations[J].Brain Research,2010,1318:96-109.
[14]YOUNG A W,HELLAWELL D,HAY D C.Configurational information in face perception[J].Perception, 1987,16(6):747-759.
[15]TANAKA J W,FARAH M J.Parts and wholes in face recognition[J].The Quarterly Journal of Experimental Psychology,1993,46(2):225-245.
[16]TANAKA J W,KAY J B,GRINNELL E,et al.Face recognition in young children:When the whole is greater than the sum of its parts[J].Visual Cognition,1998,5 (4):479-496.
[17]TANAKA J W,SENGCO J A.Features and their configuration in face recognition[J].Memory&Cognition,1997,25(5):583-592.
[18]POLICH J.Updating P300:an integrative theory of P3a and P3b[J].Clinical neurophysiology,2007,118 (10):2128-2148.
[19]徐茜,蒋毅.无意识的情绪面孔加工及其潜在神经机制[J].科学通报(中文版),2012,57(35):3358-3366.
[20]AXELROD V,REES G.Conscious awareness is required for holistic face processing[J].Consciousness and cognition,2014,27:233-245.