阅读严肃文学小说对脸部情绪识别的影响——ERP证据

杨思琴,张骁晨,江铭虎

(1. 清华大学 人文学院 计算语言学实验室，北京 100084； 2. 上海交通大学 医学院 精神卫生中心，上海 200030)

0 引言

通过观察语言、表情和行为理解他人心理状态的能力在认知语言学和心理语言学领域被J. K. Flavell定义为心智解读(Theory of Mind, ToM)[1]，亦称心理理论，或心智理论。该理论包括情绪心理理论(affective ToM)和认知心理理论 (Cognitive ToM )。前者指觉察和理解他人情绪的能力，后者指推测和理解他人意图、信念的能力。de Waal和Frans B M的研究和崔刚的研究结果都表明，良好的共情能力能够让人们在一定程度上感知和预测他人的心理及情感状态，有助于开展与他人的合作，建立良好的人际交往[2-3]。但一些自闭症儿童、抑郁症患者和其他精神病患者则不然，他们难以通过语言、表情和行为体会到他人的心理状态。所以，该能力的培养，成为认知语言学和心理语言学中长期研究的重要课题。

早在1986年Bruner J就提到文学小说文本在心智方面的影响力。该类文本常常预设主体思想和多维视角，且非常注重细节和表现力，以达到一种清晰和逼真的效果，从而帮助读者获得身临其境的感受[4]。陈丽娟和徐晓东进一步解释了文学阅读影响读者心智解读的内容：文学阅读有别于单纯的休闲或娱乐活动，读者在欣赏文学作品时，需要付出一定的心力去揣摩故事人物言行中所透露出的情感、态度和意志等主观感受。这种阅读经历可能有助于培养读者感知他人心理状态的能力[5]，诸如此类的研究不在少数。例如，Johnson D R在实验中发现，更深入故事的参与者倾向于表现出更高的情感共情，更有可能从事集社会行为。并且，阅读诱发的情感共情更倾向于微妙的、恐惧的面部发情。无独有偶，Mar R A等人还将年龄、情商和语言经验作为控制变量，排除个体化差异的影响，测量了有丰富的文学小说文本阅读经验者和同样拥有丰富的阅读经验但不全是文学小说文本阅读者这两组各自的共情心理，结果发现前者得分更高。这似乎验证了小说阅读与共情心理的关系。其中，阅读文学小说文本的群体或许更容易获得社会和他人的认可[7]。Mar R A等[8]、Matthijs B P等[9]和Djikic M等[10]进一步推论出，阅读文学小说文本可能让读者与小说主人翁产生情感共鸣，从而增强读者的情绪感知能力。此外，还有不少认知科学研究者用元分析方法[11-12]发现，文学小说文本阅读与社会认知测试也许有更大的相关性。

以上研究表明，长期的阅读经验和特定的阅读文本类型似乎都对心智解读能力有影响，并且文学小说文本阅读经验可能更有助于培养智解读能力。然而，Kidd D C和Castano E采用眼睛读心测试(Reading the mind in the eye-test)和错误信念任务(false belief task)进一步探究了“短暂”的文学小说阅读经历与心智解读能力之间的关系，并推论出就算只有“短暂”的阅读经历，阅读文学小说文本也可能提高读者的情绪和认知ToM能力[13]。但至今为止，这一结果主要建立在间接的推论上，而数据结果也仅限于眼睛读心测试和错误信念任务的正确率。并且，这一研究结果自从发表在Science上便引起了广泛的质疑、争议[14]。Samur D等[15]和Panero M E等[16]还进行了重复实验。有幸的是，目前，在人脑等生理层面的研究尚且有与之相关的结果。Dehaene S等运用fMRI观测到阅读经历与脸部情绪识别在大脑中有一定的关联性，阅读经历可能会占用脑部识别脸部情绪的脑区[17]。而在之前研究心智解读的眼睛读心测试中，被试在识别脸部情绪的数据也是分析的重要参考因素。同时，刘宏艳和葛列众曾提及脸部表情识别是情绪智力的重要组成部分，与人的社会能力相关，是情绪体验能力的重要内容[18]。Petrides K V和Furnham A曾选取高、低特质情商的被试各10名，测试他们对脸部情绪表情(快乐、悲伤、恐惧、厌恶、生气或吃惊)的识别。实验中，被试被要求对表情做出判断。结果表明，高特质情商的个体对面部表情似乎更敏感，其面部表情的识别明显快于低特质情商的个体[19]。那么，短暂的文学小说文本阅读经历对大脑认知会产生何种影响，这种影响是否会直观地体现在大脑识别人脸情绪的过程中？本研究将通过事件相关电位技术(Event Related Potentials, ERPs)来探究该问题。

1 研究问题

事件相关电位在记录脑电波的时间分辨率时可以达到毫秒级，定位的脑区空间分辨率可以达到厘米级，曾被学者形象地称为“窥视”心理活动的窗口[3]。N170是在面孔和其他物体类别刺激呈现后的130～200ms记录到的，并在160～170ms时达到峰值的一种脑电负波成分。在以往关于脸部情绪识别的事件相关电位研究中，该效应被学者认为是反映面孔加工和情绪刺激自动加工的主要指标，主要分布于大脑颞枕区。N170受面部表情、种族、熟悉度、性别等特征的影响，反映了面孔识别的特异性[20]。特别是体现脸部情绪的表情，如Eimer M和Holmes A让被试观看中性和恐惧表情的面孔图片(正立和倒立呈现)。结果发现,面部表情的情绪和面孔的结构在大脑中的加工是并行的[21]。Batty M和Taylor M J在记录26名被试在面对一系列陌生面孔所表现的六种情绪表情(悲伤、恐惧、厌恶、愤怒、惊讶和愉快)以及中性面孔的ERPs结果时,发现了这些不同情绪面孔表情的差异也主要体现在140ms (N170效应)的波幅和潜伏期的差异上[22]。与此同时,Blau V C等[23]和Jiang Y等[24]的研究也有较为类似的结果。这些研究表明，N170效应或许作为大脑反映脸部情绪识别的重要参考指标。Ratner K G和Amodio D M的研究还表明，N170效应可以解释不同社会群体间面孔信息加工时的动机偏好[25]。并且，Calvo M G和Beltrán D的研究发现，与中性面孔刺激相比，情绪性面孔刺激(恐惧、快乐等)能引发更强的N170效应[26]。总而言之，这些研究结果均表明，N170效应不仅与面部表情的情绪效应相关，而且可能还与被试处理面部表情的心理因素相关。据此，本文采用N170作为分析文学小说文本阅读经验对脸部情绪识别的影响的主要脑电参考成分。

本研究运用事件相关电位技术，以颞枕部的N170为主要观测对象，探索阅读严肃文学小说是否会对大脑颞枕部表征脸部情绪识别的N170产生影响，以及其影响的程度是否会在积极、中性和消极的不同脸部情绪上有显著差异。

2 实验部分

2.1 实验设计

本实验采用事件相关电位方法，两次记录被试在观察并判断陌生人脸部情绪时的脑电成分和分布情况。人脸表情分为三种状态，分别是积极、中性和消极的表情，积极表情包括开心、激动的状态，中性的表情是脸部非常平静的状态，消极的表情包括悲伤、愤怒、轻蔑的状态。被试只需要判断脸部图片是否带有情绪，积极和消极情绪的面孔属于带有情绪的面孔，中性情绪的面孔属于没有情绪的面孔。

实验分为阅读组和对照组，每组有24名被试。其中阅读组的被试在两次观察人脸情绪图片之间，阅读一份总字数为17 329的严肃文学小说。阅读时间控制在20～22分钟之间。另一组被试则没有阅读任何作品。

2.2 被试

本实验采用有偿招募方式选择被试，把汉语为母语者作为实验对象。被试的裸视或矫正视力(佩戴眼镜后)正常，共计48名有效被试，男女性别比例为1∶1。所有被试均是清华大学的在校学生，年龄在19～26岁之间。没有被试报告有任何神经或精神性疾病，整个实验过程完全符合赫尔辛基宣言，所有被试在实验前均签署了知情同意书，且均通过爱丁堡利手测试为右利手。被试随机分为两组，每组24人，一组参加阅读组实验，另一组参加对照组实验。

2.3 实验材料

本实验的刺激材料分为人脸表情材料和文本阅读材料。

花青素纯化物0.024 mg对ABTS+·的清除率为13.8%，对DPPH的清除率为44.3%，而0.024 mg维生素C对ABTS+·的清除率为66.1%，对DPPH的清除率为56.9%。说明，此纯化产物对2种自由基均具有清除作用，但其对ABTS+·和DPPH自由基的清除能力均低于维生素C的清除能力。

人脸表情材料全都选材于中国科学院心理健康重点实验室编制的一套标准化的情绪刺激图片系统，即CAPS (Chinese Affective Picture System)[27]。该系统按照情绪类型分为负性面孔、中性面孔和正性面孔。本实验随机选取了积极、中性和消极的面孔作为实验材料。另外，选取莫言的严肃文学小说代表作《弃婴》作为阅读材料[28]，其总字数为17 329，阅读时间控制在20～22分钟之间。莫言既是诺贝尔文学奖获得者，也是著名的严肃文学代表作家。该部作品具有严肃文学的特点。为了确保每位被试认真地阅读完小说，在实验结束后，要求被试回答有关小说中人物、情节和环境的问题，所有有效的被试都准确地答出。

2.4 实验任务

被试报名后被提醒在实验前停止服用咖啡因等带有中枢神经兴奋剂以及巴比妥之类的药物。被试来到实验室，被告知实验流程和实验过程中应注意的相关事项。被试被安排在一间隔音的、远离人群、车辆、电动设备以及高频辐射源的实验室里，以降低外界信号对脑电信号和被试心理的影响。实验室由隔音板分隔为被试间和主试间。被试间光线较为暗淡，使被试身心放松，同时降低光电信号对脑电的干扰。被试坐在舒服的靠背椅上，与前方的电脑屏幕之间保持着80 cm左右的距离。整个实验过程，实验室保持安静状态。实验流程采用E-prime系统方法制作[29]。

被试在做好前期的实验准备后，进入实验环节。实验任务是观看显示屏上呈现的面孔，并判断该面孔是否有情绪。图片大小为260×300像素，屏幕背景为灰色，该色差可以降低电脑强光给被试带来的视觉疲惫。

实验分为四部分，第一部分是练习环节，练习环节的行为数据和脑电数据均不做记录。第二部分，被试判断图片上的面孔是否有情绪。第三部分，被试阅读组阅读文本材料，对照组不阅读，该环节不记录脑电信号。第四部分，被试继续判断图片上的面孔是否有情绪(实验材料与第二部分不同)。每个环节的实验流程如图1所示，首先，屏幕中间呈现符号 “+”并停顿200 ms，以集中被试的注意力。接着出现200 ms的空屏。然后，屏幕中心出现一张面孔图片，等待被试按键判断该面孔是否有情绪。被试按键判断结束后，屏幕再一次出现间隔空屏500 ms，以供被试眨眼休息。

图1 实验流程图

数据采集采用64导银/氯化银电极帽，如图2所示。根据国际10-20系统标准连接在BP(Brain Product GmbH，Munich，Germany)脑电信号放大器上用于记录EEG实验数据(采样率500 Hz，带通滤波1～100 Hz)。两个散电极分别置于左眼下侧和右眼外侧，用于测量垂直眼电(VEOG)和水平眼电 (HEOG)。脑电信号采集时，以FCz电极作为参考电极，AFz电极用于接地电极。所有电极的电阻均被调至20 KΩ以下。EEG数据由运行于Windows XP平台上的Brain Vision Recorder(Brain Products,Munich,Germany)软件进行记录。

图2 64导电极分布示意图

所有的脑电数据均经过离线分析处理，步骤如下:(1)30 Hz低通滤波，仅保留反应大脑皮层活动的慢波;(2)使用先进的伪迹空间重建校正(Artifact Subspace Reconstruction, ASR)[21]去除数据中的眼动干扰、肌肉活动干扰、电磁干扰等伪迹；(3)将连续数据分割为-200～800 ms的数据片段(0时刻为刺激呈现时刻)，使用传统的幅度阈值剔除方法(阈值设置为80μV)剔除可能包含剩余伪迹的数据片段；(4)将不含伪迹的“干净”片段叠加平均，得到最终的ERP波形，可观察到明显的N170，如图3所示。

图3 阅读组和对照组在大脑左右颞枕部PO7+PO8+P7+P8的平均波形图

2.5 实验假设

以往有关面孔情绪判断的脑电实验结果表明，颞枕部(occipital-temporal regions)的一个潜伏期为170 ms左右的负波(N170)与面孔特征有关。Kidd D C和Castano E[13]通过设计相关的心理实验发现阅读严肃文学作品可能比阅读其他类型的文本更容易提高心智解读水平。阅读体验能够让人有更多机会设身处地体验他人的情绪和处境，帮助人们能更好地理解别人的情绪。当这种能力得到良好且有效地训练时，人们能够更理性地接收外部情绪冲击。由此推测，在阅读他人情绪时，外部的视觉冲击也许会减弱，从而可能使得被试的大脑中所产生的面孔情绪效应减弱，即阅读组第二次观测脸部情绪图片时产生的N170相比对照组大概率会受到抑制。

2.6 分析方法

本研究采用SPSS统计分析软件中的重复测量方差分析方法，分别对行为实验数据结果和脑电实验数据结果进行分析。

在行为实验中，分别观测阅读组和对照组在第一次观测脸部情绪图片和第二次观测脸部情绪图片时的反应时间和正确率是否有显著性差异，反应时间和正确率在积极、中性和消极情绪图片之间是否存在差异。

在脑电实验中，采用48个被试的ERP脑电数据，选取大脑左右颞枕部的4个电极点PO7、PO8、P7、P8作为主要分析对象，将这四个电极的脑电信号叠加后进行后续分析。使用Brain Version Analyzer 2.0软件提取了N170的峰值幅度，N170的识别规则为：刺激出现后的160～220 ms时段内的局部极小值。图3是PO7，PO8，P7，P8四个电极点叠加之后的总平均波形图。为了探索阅读严肃文学小说是否会影响大脑在识别他人脸部情绪时的活动，对两组被试的第二次测试和第一次测试之间的N170幅度之差进行分析。

3 实验结果

3.1 行为实验结果

实验结束后，运用E-Merge软件将48名被试的行为实验结果进行合并，并运用E-DataAid软件将行为实验数据中的反应时间、反应结果导出，分别计算出每个被试在观察积极、中性和消极面孔时的反应时间的中位数和对应的正确率。所有被试在每种条件下反应时间的中位数的中位数、正确率的中位数如表1所示。

超过一半的被试在每个条件下的正确率均大于80%，说明每位同学在实验过程中都专注地完成了任务。阅读组和对照组之间两次测试反应时间的差值没有显著差异(F1,46=1.078,p=0.305,η2=0.023)。两次识别积极、中性和消极三种脸部情绪图的反应时间之差只有略微差异(F2,92=5.454,p=0.06,η2=0.106)。事后比较显示，积极差值大于中性差值(p=0.003)，也大于消极差值(p=0.026)。

3.2 脑电实验结果

由积极、中性和消极三种脸部情绪图片引发的脑电信号如图3所示，第二次的N170比第一次的N170的峰值更负。在阅读组中，由积极、中性和消极三种脸部情绪图片引发的N170的幅度变化并不存在明显的差异，而在对照组中，由积极、中性和消极三种脸部情绪图片引发的N170的幅度变化有明显差异，消极脸部情绪引发的N170的幅度变化小于积极脸部情绪。

为了进一步验证平均波形图的结果，研究运用重复测量方差分析方法，分别对脑电实验数据结果进行分析。对于阅读组，两次测试之间N170的幅度变化不随刺激图片的情绪而改变(F2,46=1.105,p=0.340,η2=0.046)；但对于对照组，两次测试之间N170的幅度变化受刺激图片的情绪影响(F2,46=4.212,p=0.021,η2=0.155)，事后成对比较揭示，积极情绪图片引起的N170幅度变化显著大于消极情绪图片(p= 0.041)。类似地，若将两次测试之间N170的幅度变化与情绪的积极程度(消极=-1，中性=0，积极=1)作相关性分析计算(图4)，阅读组没有显著的相关性(Spearman’sρ=-0.124,p=0.298)，而对照组有显著的相关性(Spearman’sρ=-0.249,p=0.035)。

图4 两次测试之间N170的幅度变化与情绪的积极程度图

4 讨论

本研究通过观测阅读严肃文学小说是否影响与脸部表情识别相关的脑电成分，来探索阅读严肃文学小说是否能够改变读者的情绪识别能力。超过一半的被试在每个条件下的正确率均大于80%，每一位被试都比较认真地参与了实验。

脑电实验数据结果显示，阅读组中第二次测试脸部情绪产生的N170明显比第一次产生的N170更负(即幅度更大)，这从一定程度上也印证了Dehaene S等人的研究结果[17]——面部识别和阅读经历有一定的关联性。SDehaene S等人通过fMRI直接观测到阅读经历可能会占用脑部识别面部的左梭状回区域。这种发生在大脑中的“拆迁”和“重建”，是面部识别能力减弱的重要原因之一。两次测试之间的N170的幅度变化在积极、中性和消极脸部情绪三种条件下没有显著区别。这种差异是否由阅读严肃文学小说导致，仅通过分析阅读组的数据尚且无法确定。

为此，我们在实验中引入了对照组。在对照组中，与阅读组的结果类似，对照组中第二次测试脸部情绪产生的N170明显比第一次产生的N170更负。但是，两次测试之间的N170的幅度变化在积极、中性和消极脸部情绪三种条件下有明显的区别：积极脸部情绪引发的N170的幅度变化最大，其次是中性脸部情绪引发的N170的幅度变化，消极脸部情绪引发的N170的幅度变化最小。对比阅读组和对照组可见，第二次测试引发的N170相对于第一次测试更负这一现象，可能源自第二次测试与第一次测试之间的不同。这或许反应了被试在脸部情绪识别任务上的一种学习效应，并非阅读严肃文学小说引起的效应。然而，两次测试之间N170的幅度变化在不同脸部情绪下的差异却很有可能是阅读严肃文学小说引发的，即阅读严肃文学小说可能消除了在对照组中存在的不同情绪对N170幅度变化的影响。

以前，Kidd D C和Castano E比较了短暂阅读被试的眼睛读心测试和错误信念任务的行为结果，发现文学小说文本阅读组的准确明显高于对照组[11]，并由此推测出短暂地阅读文学小说文本也可能增强心智解读能力。类似地，在本研究中，短暂地阅读文学小说文本也对脸部情绪识别产生了显著的影响。以上两个研究，类似的实验设计，不同的技术手段，但都发现了短暂的文学小说文本阅读经历对心智解读能力中最为重要的情绪识别产生影响。并且，本研究为该论断提供了可供参考的电生理学证据。

已有众多研究成果表明，阅读体验能够让人变得更加理性，帮助人们设身处地地体验他人的情绪和处境，并让人们更能好地理解别人的情绪。当这种能力得到训练时，人们能够较为理性且平静地接收外部情绪的信息。鉴于阅读经历可能使人更加理智和冷静，本研究推测，在需要判断他人脸部情绪的时候，阅读经历可能有助于使大脑对不同情绪的反应趋同，从而抑制了情绪特异性，便于被试做出更理性的判断。我们也发现，阅读严肃文学作品主要抑制的可能是积极和中性脸部情绪引发的N170，这种情绪特异性值得进一步探索。

人的阅读活动与大脑中的模拟系统有着紧密的联系。Speer N等人曾经采用脑成像技术探测故事阅读过程中大脑信号的变化。其结果发现，大脑对虚构动作和虚构场景的处理方式与对现实中亲自接触的方式极为相似[30]。“故事描述人用手拉灭电灯的场景，读者大脑中负责抓握的脑区会被激活。而当故事描述主人公走进房间的场景时，大脑中负责处理场景信息的脑区也会出现激活。”在此基础上进一步发现，阅读文学小说所激活的脑区和经典的心理理论任务所激活的脑区存在较大重叠[31]。而对于文学小说文本阅读对心智解读的影响，Koopman E M也曾做出了类似的阐释：在文学阅读中，读者会尝试建立一个有关故事人物和虚构世界的心理模型。在这个过程中，他们需要变换视角，揣测故事人物之间的关系以及故事情节的发展，并由此引起相应的情感反应[32]。如果人们真的可以在阅读文学小说文本的过程中通过虚拟世界的反复“训练”和“模拟”变得更揣摩他人的心理状态，表现出更高的心智解读能力。那么，提高人工智能的机器人心智解读能力，是否也可以通过输入和加工文学小说文本的方式来实现呢?本研究为提高机器人“情商”的研究问题提供了可能性的理论启发。