面孔表情加工的结构编码和特征编码ERP特点研究

季淑梅 刘亚飞 苑冬梅

(燕山大学电气工程学院生物医学工程系，河北 秦皇岛 066004)

面孔表情加工的结构编码和特征编码ERP特点研究

季淑梅*刘亚飞 苑冬梅

(燕山大学电气工程学院生物医学工程系，河北 秦皇岛 066004)

利用事件相关电位 (ERP)技术，分析面孔表情的早期和晚期加工特点，探讨面孔表情的结构编码和特征编码机制。随机呈现3种卡通面孔表情图片(中性、愉快、愤怒)及3种非面孔图片，要求14名被试者执行面孔及表情识别任务。利用Neuroscan 64导电极帽记录脑电，对面孔和非面孔、不同面孔表情诱发的早期成分N170及晚期正成分(LPC)进行分析。结果显示：面孔与非面孔图片的N170存在明显差异，在P7电极处，面孔与非面孔诱发的N170幅值分别为(-9.15±1.47)μV和(-6.91±1.21)μV；而不同面孔表情的N170差异不明显，N170不受面孔表情内容的调制。不同面孔表情在刺激后350～550 ms诱发了明显的LPC，其幅值存在明显差异，呈现显著的表情效应，在CZ电极处，中性、愉快及愤怒面孔诱发的LPC幅值分别为(6.11±1.79)μV、(7.49±1.31)μV 和(9.89±1.77)μV)。以上结果表明，面孔识别的早期与晚期加工机制不同，早期成分N170反映了面孔结构编码的加工,即对整个面孔轮廓的表征；而面孔的情绪加工主要体现在晚期成分，LPC反映面孔的特征编码加工。

事件相关电位(ERP)；面孔识别；结构编码；特征编码

引言

事件相关电位 (event-related potential，ERP)是人体受到特定刺激或出现某种心理活动时大脑产生的电位，它具有很高的时间分辨率，可达到毫秒级，能够实时反映认知过程中脑神经元活动的变化，ERP技术是认知神经科学研究的重要手段。

面孔识别是人类进行日常交流的重要功能和过程,也是认知神经科学长期研究的一个重要课题。目前，面孔认知研究的热点之一是对面孔特征信息和结构信息的研究。Bruce等于1986 年提出了面孔信息加工模型[1]，他们将面孔加工分为先后两个阶段：面孔结构编码阶段(主要是对面孔的结构进行编码)，面孔特征编码与身份识别阶段(主要是对面孔的特征如表情分析等以及面孔所指示的身份信息进行处理和编码)。这一模型的提出引发了一系列后续研究,研究的焦点问题集中于：ERP的早期成分N170反映面孔结构编码还是面孔特征编码的讨论； N170反映面孔特异性信息加工还是一般性类别信息加工的讨论。

近年来的一系列相关研究结果显示[2-5]：N170 不受面部表情、种族、熟悉度、性别等特征的影响,与面孔特征的结构分析有关,代表面孔识别的特异性,反映了Bruce等所提出的面孔认知模型中的结构编码。王军利等最近的研究表明,人与动物面孔的N170波幅与潜伏期无显著差异,且不同的脸型(方形、三角形和圆形)N170波幅与潜伏期无显著差异,表明N170不反映面孔分类加工，即不反映特征编码[6]。尽管上述各项研究都支持N170面孔结构编码的观点，但也有一些证据支持N170反映面孔特征编码的观点。Batty等记录了26名被试对呈现的一系列陌生面孔所表现的6种基本表情(悲伤、恐惧、厌恶、愤怒、惊讶和愉快)以及中性面孔反应的ERP,结果显示不同情绪表情诱发的N170波幅和潜伏期差异显著[7]。 Blau[8]、Jiang[9]及Calvo[10]的研究也得到类似的结果。性别[11-12]和种族特征[13-14]也可导致N170的变化。

晚期正成分(late positive component，LPC)并不是一个单独的ERP成分，它是一系列成分的复合体，所以也称为晚期正向复合波(late positive complex)。LPC的持续时间相当广泛，从刺激起始后300 ms可持续到800 ms左右，LPC主要反映的是由大脑主动进行的认知活动，包括了工作记忆、性质判断等，属于内源性成分[10]。目前对面孔表情的ERP研究主要集中于N170,而对LPC的研究报道较少。至今，有关面孔表情的结构编码和特征编码神经机制及时间进程仍有争议。

本研究分析比较面孔和非面孔、不同面孔表情(中性、愉快、愤怒)诱发的ERP成分，探讨早期成分N170及LPC是否为面孔加工特异性成分、是否受面孔表情内容的调制，探讨面孔表情效应出现的时间进程，为揭示面孔表情的结构编码和特征编码神经机制提供新的证据。

1 方法与数据

1.1被试

被试14名(男性7名，女性7名)，为燕山大学在校健康硕士研究生，年龄23岁～29岁，均为右利手，视力或矫正视力正常，听力正常。被试均签署知情同意书。

1.2实验材料及实验程序

实验材料包括3种卡通面孔表情图片(愉快、愤怒和中性表情)及3种非面孔图片(方形、圆形和三角形)，均为白色线条黑色背景(如图1所示)。所有图片经Photoshop 7.0软件处理后,使得大小、明暗、对比度和空间频率等物理属性一致。

所有实验均在燕山大学生物医学工程系脑电实验室内进行。被试佩戴好64导电极帽，以舒适体位坐在离显示器约100 cm的位置，身体放松，尽量保持不动。显示器背景为黑色，在显示器中央呈现刺激图片，每种图片重复60次。刺激序列随机排列，等概率呈现。每张图片持续500 ms，刺激间隔在1 200～1 500 ms内随机选择。要求被试者分时进行两种作业任务:1)面孔识别任务:呈现3种卡通面孔表情图片及3种非面孔图片，对面孔和非面孔刺激按不同的键,而忽略面孔表情特征和非面孔几何形状;2)面孔表情分类任务:呈现3种卡通面孔表情图片，对面孔的表情特征进行分类判断,中性、愤怒、愉快面孔分别按不同的键。面孔识别任务完成后，休息15 min再进行面孔表情分类任务。

图1 卡通面孔表情图片(上行)及非面孔图片(下行)Fig.1 Facial expressions (the upper line) and non-facial cartoon (the bottom line)

1.3数据采集

使用美国Neuroscan 64导脑电记录与分析系统，按照国际10-20系统放置电极，并在两眼外侧记录水平眼电(horizontal electro-oculography,HEOG)和左眼上下记录垂直眼电(vertical electro-oculography,VEOG)，以鼻尖为参考，前额接地。脑电采样频率为1 000 Hz，滤波带通为0.05～100 Hz，头皮电阻均小于5 kΩ。

表1 面孔与非面孔图片及不同面孔表情图片诱发的N170波幅和潜伏期Tab.1 The amplitude and latency of N170 evoked by facial cartoons,non-facial cartoons and evoked by different emotional faces(±SD)(n=14)

注:aP<0.05,与非面孔相比
Note:aP<0.05,compared with the non-facial group

1.4数据分析

使用Scan 4.5软件对脑电数据进行离线分析。分段时程为刺激呈现的-200～1 000 ms，基线为刺激前200 ms，自动矫正眨眼、眼动、肌电等伪迹，波幅大于±90 μV者视为伪迹在叠加中被自动剔除。对图片刺激产生的脑电图(electroencephalography,EEG)分类叠加并进行30 Hz (24 dB/Oct)低通无相移数字滤波，得到面孔及非面孔刺激ERP、3种面孔表情(中性、愉快与愤怒表情)ERP。根据头皮分布和电极位置之间的关系，结合ERP总平均波形图及以往研究结果，N170成分分析选取P7、P8电极，时间测量窗口为120～170 ms；LPC成分比较选取FCZ、CZ电极，时间测量窗口选取350～550 ms。使用SPSS(Statistic Package for Social Science)19.0软件对其进行重复测量方差分析。脑电信号记录及数据分析如图2所示。Neuroscan脑电采集分析系统包括：STIM 2(刺激生成与呈现,行为数据采集)，64导Ag/AgCl电极帽，脑电数字放大器SynAmps 2，脑电采集及离线分析软件Scan 4.5(对融合了行为数据的脑电信号进行处理分析)。

图2 脑电信号记录及分析流程图Fig.2 Flowchart of EEG recording and analysis

2 结果

2.1N170成分

2.1.1面孔与非面孔N170成分比较

N170成分的波幅和潜伏期如表1所示，分别进行图片类型(面孔、非面孔)×电极位置(P7、P8)的重复测量方差分析。

分析结果显示：N170波幅存在显著的图片类型主效应，F(1，13)=7.417，P<0.05，表现为面孔图片诱发的N170波幅显著高于非面孔图片诱发的N170波幅；电极位置主效应不显著，F(1，13)=0.896，P>0.05；图片类型和电极位置交互作用不明显，F(1，13)=1.261，P>0.05。N170潜伏期的图片类型主效应显著，F(1，13)=5.872，P<0.05，表现为面孔图片诱发的N170晚于非面孔图片诱发的N170；电极位置主效应不显著，F(1，13)=1.763，P>0.05；图片类型和电极位置交互作用不明显，F(1，13)=1.697，P>0.05。图3所示为P7、P8电极处面孔与非面孔图片诱发的ERP总平均波形图。

图3 电极P7(上)和电极P8(下)处面孔图片和非面孔图片诱发的N170Fig.3 N170 elicited by facial cartoons and non-facial cartoons at P7 (the upper) and P8(the bottom)

2.1.2不同面孔表情图片N170成分比较

3种面孔表情图片在P7、P8电极诱发的N170成分的波幅和潜伏期，如表1所示，分别进行表情类型(愉快、愤怒、中性)×电极位置(P7、P8)的重复测量方差分析。

分析结果显示：N170波幅表情类型主效应不显著，F(2，26)=1.874，P>0.05，3种面孔表情的N170波幅无明显差异；电极位置主效应及与表情类型交互作用均不明显，F(1，13)=0.783，P>0.05；F(1，13)=1.931，P>0.05。N170潜伏期的表情类型主效应不显著，F(2，26)=2.101，P>0.05，3种面孔表情的N170潜伏期无明显差异；电极位置主效应不显著，F(1，13)=1.124,P>0.05；表情类型与电极位置交互作用不显著，F(1，13)=1.459,P>0.05；图4所示为P7、P8电极处不同面孔表情图片诱发的ERP总平均波形图。

图4 电极P7(上)和电极P8(下)处不同面孔表情图片诱发的N170Fig.4 N170 elicited by different emotional faces at P7 (the upper) and P8(the bottom)

2.2LPC成分比较

2.2.1面孔与非面孔图片的LPC成分比较

面孔图片和非面孔图片诱发的LPC平均波幅，如表2所示。分别进行图片类型(面孔、非面孔)×电极位置(FCZ、CZ)的重复测量方差分析。

表2 面孔与非面孔图片及不同面孔表情图片诱发的LPC波幅Tab.2 The amplitude of LPC evoked by facial cartoons,non-facial cartoons and evoked by different emotional faces(μV)(±SD)(n=14)

注:aP<0.05,与非面孔相比;bP<0.05,与FCZ相比;cP<0.05,与中性面孔相比
Note:aP<0.05,compared with the non-facial group;bP<0.05,compared with the electrode FCZ;cP<0.05,compared with the neutral facial group

分析结果显示：LPC波幅存在显著的图片类型主效应，F(1，13)=6.782，P<0.05，表现为面孔图片诱发的LPC波幅显著高于非面孔图片诱发的LPC波幅；电极位置主效应显著，F(1，13)=6.104，P<0.05，CZ电极处波幅高于FCZ电极处波幅；图片类型和电极位置交互作用不明显，F(1，13)=2.019，P>0.05。图5所示为FCZ、CZ电极处面孔与非面孔图片诱发的ERP总平均波形图。

图5 电极FCZ(上)和电极CZ(下)处面孔图片和非面孔图片诱发的LPCFig.5 LPC elicited by facial cartoons and non-facial cartoons at FCZ(the upper) and CZ(the bottom)

2.2.2不同面孔表情图片LPC比较

3种面孔表情图片在各个电极诱发的LPC的平均波幅，如表2所示。分别进行表情类型(愉快、愤怒、中性)×电极位置(FCZ、CZ)的重复测量方差分析。

分析结果显示:表情类型主效应显著，F(2，26)=5.218，P<0.05，3种面孔表情的LPC波幅有明显差异,表现为中性表情、愉快表情、愤怒表情诱发的LPC幅值依次增大；电极位置主效应显著，F(1，13)=5.771，P<0.05，CZ电极处波幅高于FCZ电极处波幅；表情类型与电极位置交互作用不明显F(1，13)=2.141，P>0.05。图6所示为不同面孔表情在FCZ、CZ诱发的ERP总平均波形图，从中可以看到不同表情的LPC有明显的差异。

图6 电极FCZ(上)和电极CZ(下)处不同面孔表情图片诱发的LPCFig.6 LPC elicited by different emotional faces at FCZ(the upper) and CZ(the bottom)

3 讨论

3.1N170与面孔加工的结构编码

N170 是在面孔和其他类别物体刺激呈现后的130～200 ms 记录到的一种脑电负成分,其主要分布于大脑颞枕区,通常在P8(T6) 或者PO8 或者O2等电极处的波幅最大。

本研究中，面孔图片和非面孔图片在颞枕区均诱发出明显的N170成分，面孔图片诱发的N170波幅高于非面孔图片诱发的N170波幅，面孔图片诱发的N170晚于非面孔图片诱发的N170。有学者认为，面孔识别较非面孔识别需要更多的注意资源，本研究支持这一观点。

本研究结果显示，N170峰值出现在145 ms左右，并且面孔和非面孔的N170波幅差异显著。说明在早期视觉加工中，就已经开始辨别面孔和非面孔，即Bruce-Young认知模型的结构编码阶段。对面孔失认症和物体失认症病人的研究表明，面孔识别和物体识别有不同的脑加工机制，物体识别主要激活左半球，面孔识别则激活两侧颞叶和枕叶。功能核磁共振(functional magnetic resonance imaging,fMRI)研究表明,颞枕区对物体识别和面孔识别都很敏感，面孔识别较物体识别还激活了右侧梭状回[15]。本研究中P7、P8电极诱发的N170的波幅和潜伏期均无差异,也表明面孔识别激活两侧半球,无半球优势。而最近的研究表明，右半球N170波幅大于左半球，面孔加工中存在右半球优势[6]。这可能与研究的实验范式、刺激材料、实验方法和实验条件的不同有关。

本研究中面孔和非面孔诱发的N170波幅和潜伏期上都存在差异，提示面孔识别和物体识别的分离，N170 反映了面孔结构编码的加工,在一定程度上反映面孔识别的特异性。而3种面孔表情诱发的N170波幅和潜伏期无明显差异，说明N170成分不受面孔表情内容的调制，N170成分不反映面孔分类加工(即面孔特征编码的加工),这说明面孔识别加工和表情加工是两条平行的加工通道，这在一定程度上符合Bruce-Young的面孔加工认知模型[1]。

3.2LPC与面孔表情加工的特征编码

LPC属于P3家族,主要反映与记忆及情绪加工等有关的高级认知功能,与刺激的唤醒度、注意及动机的参与有关,其波幅反映分类加工程度,对外显分类活动敏感[6]。

区分面孔与非面孔,只需要检测出面孔的基本结构,即整个面孔轮廓的表征,属于面孔结构编码; 而区分面孔表情需要对面孔部件的特征进行精细加工,主要与特征编码相关。本研究中，面孔图片诱发的LPC波幅显著高于非面孔图片诱发的LPC，并且不同面孔表情诱发的LPC差异显著，存在明显的表情效应。 提示LPC既与面孔的结构编码有关，也反映面孔表情特征编码。通常情况下，面孔结构编码优先于面孔特征编码,在结构编码之后才进行面孔特征的整合；卡通面孔加工中结构编码与特征编码可能部分并行。这与文献[6]的研究所得结论一致,为Bruce-Young模型的完善提供了证据。

本研究结果显示，愤怒表情诱发的LPC波幅高于愉快表情和中性表情诱发的该成分波幅，这与已有的研究结果类似[10,16]，说明人对负性刺激的加工更强，这在一定程度上支持“负性认知偏向理论”，即人对负性情绪信息具有较大的认知优势，这种认知优势对人的生存及对环境的适应有很大的意义。

蒋长好等研究发现，愉快、悲伤表情在200～600 ms出现明显表情效应，主要分布在额区及顶中央区[16]。本研究在刺激呈现后350～550 ms之间，愉快面孔、愤怒面孔和中性面孔在额区、中央区均诱发了明显的LPC，不同面孔表情诱发的LPC差异显著，中央区的CZ电极处LPC波幅高于额区的FCZ电极处,提示额区尤其是中央区是参与卡通面孔分类加工的主要脑区。

4 结论

本研究通过分析比较面孔和非面孔、不同面孔表情(中性、愉快、愤怒)诱发的ERP成分，探讨面孔表情的早期和晚期加工特点，对目前仍存在争议的一些问题进行探讨。结果表明：面孔识别的早期与晚期加工机制不同，在颞枕区诱发的早期成分N170反映了面孔结构编码的加工,即对整个面孔轮廓的表征；而面孔的情绪加工主要体现在晚期成分，在额区和中央区诱发的LPC反映面孔的特征编码加工。

本研究脑电采集以鼻尖为参考电极，而以往大多数研究以双侧乳突均值为参考电极,由于N170的发生源在靠近乳突的位置，以双侧乳突均值为参考电极可能会降低N170效应。本研究采用卡通面孔表情图片作为刺激材料，而以往大多数研究采用西方国际图片库系统中的真人面孔照片作为刺激材料，真人面孔属于复杂视觉刺激，容易产生性别、年龄、种族等效应。在面孔表情识别研究中存在的争议可能与研究的实验范式、刺激材料、受试人群和实验条件的不同有关。

[1] Bruce V,Young AW.Understanding face recognition [J].British of Journal Psychology,1986,77(3):305-327.

[2] Eimer M,Holmes A.An ERP study on the time course of emotional face processing [J].Neuroreport,2002,13(4):427-431.

[3] Tanaka JW,Pierce LJ.The neural plasticity of other-race face recognition [J].Cognitive Affective and Behavioural Neuroscience,2009,9(1):122-131.

[4] Mouchetant RY,Giard MH,Delpuech C,etal.Early signs of visual categorization for biological and non-biological stimuli in humans [J].Neuroreport,2000,11(11):2521-2525．

[5] Cauquil AS,Edmonds GE,Tayylor MJ.Is the face-sensitive N170 the only ERP not affected by selective attention？[J]Neuroreport,2000,11(10):2167-2171.

[6] 王军利,王静梅,任静婷,等.卡通面孔分类与知觉加工的ERP比较研究 [J].心理科学，2013,36(2):320-327.

[7] Batty M,Taylor MJ.Early processing of the six basic facial emotional expressions [J].Cognitive Affective and Behavioural Neuroscience,2003,17(3):613-620.

[8] Blau VC,Maurer U,Tottenham N,etal.The face-specific N170component is modulated by emotional facial Expression [J].Behavioral and Brain Functions,2007,3(7):1-13.

[9] Jiang Yi,Shannon RW,Vizueta N,etal.Dynamics of processing invisible faces in the brain:Automatic neural encoding of facial expression information [J].NeuroImage,2009,44(3):1171-1177.

[10] Calvo MG,Beltrán D.Recognition advantage of happy faces:tracing the neurocognitive processes [J].Neuropsychologia,2013，51(11):2051-2061.

[11] 袁加锦,汪宇,鞠恩霞,等.情绪加工的性别差异及神经机制 [J].心理科学进展,2010,18(12):1899-1908.

[12] 盖毅,李颖洁,朱贻盛,等.面孔认知中的性别差异 [J].生物医学工程学杂志,2009,26(1):47-49.

[13] Freeman JB,Ambady N,Holcomb PJ.The face-sensitive N170 encodes social categoryinformation [J].NeuroReport,2010,21(1):24-28.

[14] Yan Chen,Fada P,Huarong W,etal.Electrophysiological Correlates of Processing Own- and Other-Race Faces [J].Brain Topography，2013,26(4):606-615.

[15] Jehna M,Neuper C,Ischebeck A,etal.The functional correlates of face perception and ecognition of emotional facial expressions as evidenced by fMRI [J].Brain Res,2011,1393(6):73-83.

[16] 蒋长好，赵仑，郭德俊,等.面孔加工的情绪效应和效价效应 [J].中国临床心理学杂志，2008，16(3):237-239.

StudiesonCharacteristicsofERPUnderlyingStructureEncodingandFeatureEncodingofFacialExpressions

Ji Shumei*Liu Yafei Yuan Dongmei

(DepartmentofBiomedicalEngineeringinElectricalEngineeringCollege,YanshanUniversity,Qinhuangdao066004,Hebei,China)

The event-related potentials (ERP) technique was used to analyze the early and late characteristics of facial expressions processing,to investigate the mechanisms underlying structure encoding and feature encoding.Three kinds of cartoon facial expressions (neutral,happy,angry) and three kinds of non-facial cartoons were presented randomly,14 volunteers were instructed to implement face and facial expression recognition tasks.Electroencephalography (EEG) was record with Neuroscan-64 cap.We analyzed the early component N170 and the late positive component (LPC) evoked by faces,non-faces,and different emotional faces.Results indicated that there were significant differences between N170 evoked by facial cartoons and that evoked by non-facial cartoons.The amplitudes of N170 at P7 evoked by facial cartoons and non-facial cartoons were (-9.15±1.47) μV and (-6.91±1.21) μV.There were not significant differences among N170 evoked by different emotional faces,N170 was not regulated by facial emotion content.Expressional effects appeared at 350～550 ms after stimulus,there were significant differences among LPC evoked by different emotional faces.The amplitudes of LPC at CZ evoked by neutral,happy and angry facial expressions were (6.11±1.79)μV,(7.49±1.31) μV and (9.89±1.77)μV,respectively.These results suggest that early and late processing mechanisms of face recognition are different,the early component N170 reflects the processing of face structure encoding,so called the characterization of the whole face contour; while face emotional processing is mainly reflected in the late component,LPC reflects mechanism of face feature encoding.

event-related potential (ERP); face recognition; structure encoding; feature encoding

10.3969/j.issn.0258-8021.2015.02.002

2014-07-23，录用日期:2015-01-06

河北省科学技术研究与发展计划重点研究基础项目(12966120D)；秦皇岛市科学技术研究与发展计划项目 (201401A215)

R318.08

A

0258-8021(2015) 02-0136-07

*通信作者(Corresponding author)，E-mail:shumeiji110@126.com