动态高兴表情评价中的表征动量效应和参照依赖效应

田杨阳 李 东 闫向博 李 曌 崔 倩 蒋重清

(辽宁师范大学心理学院, 大连 116029)

1 引言

在人际交往过程中, 当一个人没有明确地说出其真实的观点和意图时, 面孔表情是少数能让人洞察其内心世界的线索之一(Ekman et al., 1980)。迄今,有关表情的研究大部分使用静态表情面孔图片。然而, 现实生活中所见到的个体面部表情通常是动态的。不同的表情通过不同的面部动作单元(FAUs)组合来表达、产生高度特定的面部肌肉运动。除了它们的空间关系外, 这些面部动作单元还具有精确的时间组织(Fiorentini & Viviani, 2011; 张琪 等,2015)。有关动态表情的认知加工, 还存在较多争议和未解之谜。

目前, 已有研究分别提出了两种自下而上知觉加工动态表情的机制：平均效应和近因效应。平均效应是指知觉者会在短时间内对动态表情所包含的系列表情面孔进行“平均”而形成总体平均表征(the average summary representation), 并基于此形成对目标表情面孔的评价(Slepian & Carr, 2019)。近因效应是指人们对动态表情序列的知觉更容易受到其最后一帧(种)表情的影响(Fang et al., 2018;Hareli et al., 2016)。理论上来说, 这两种机制是可以共存的。例如, 当动态表情的总体平均表征相同时, 其对比结果可能由最后一帧表情所带来的近因效应差异决定。而当动态表情的最后一帧表情相同时, 其对比结果则可能由总体平均表征的差异来决定。然而, 目前还尚未见到有研究对上述两种机制的关系进行探讨。

除自下而上的信息加工外, 人们还会通过自上而下的方式感知动态表情信息。相对于静态表情,动态表情所特有的时间属性决定了知觉者的先前感知经验会参与动态表情的加工过程。根据来源的不同, 先前感知经验对动态表情情绪评价的影响可能表现为：表征动量效应(Palumbo & Jellema, 2013;Yoshikawa & Sato, 2008)、序列依赖效应(柳王娟 等,2022)和参照依赖效应(李海军 等, 2013)。

表征动量(representational momentum, RM)是指观察者感知到的运动物体的最终位置会沿着物体运动的方向发生偏移(董蕊, 2015; Freyd, 1987)。Yoshikawa 和Sato (2008)发现人们在评价动态表情的情绪强度时会出现表征动量效应。他们要求被试观看由中性到6 种基本情绪(愤怒、厌恶、恐惧、快乐、悲伤和惊讶)之一的动态表情, 然后让被试选择一张与动态表情序列中最后一帧的表情强度相同的静态面孔, 结果发现被试所选择的静态表情面孔, 比动态表情最后一帧表情面孔的实际情绪强度更高(Yoshikawa & Sato, 2008)。Palumbo 和Jellema(2013)认为人们在观看规律性动态变化的表情面孔后, 会不自觉地预测目标个体随后的情绪状态, 该“预测”会对当下表情面孔的情绪评估产生与“预测”一致的偏向性影响, 从而表现为表征动量效应, 即“情绪预期”这一自上而下的加工过程参与了人们对动态表情面孔的情绪评估。前人通过比较同一变化方向(如中性表情逐渐变为不同强度的痛苦表情)的不同动态表情, 发现影响表征动量偏移程度的因素有变化速度(Yoshikawa & Sato, 2008)、变化强度(Dozolme et al., 2018; Prigent et al., 2018)等。但上述研究未对动态表情的总体平均表征这一变量进行操纵比较, 也未探讨动态表情变化方向这一因素是否会调节表征动量偏移的程度。

序列依赖(serial dependence)效应是指人们对目标面孔进行判断评估时, 评价结果会因先前出现的知觉事件而产生偏差, 表现为对当前刺激(N)的评价结果会偏向先前刺激(N-1), 出现同化效应(柳王娟 等, 2022)。已有研究证明了人们在评价表情面孔的情绪强度时会出现序列依赖效应(Mei et al., 2019)。

参照依赖(reference dependence)效应是指人们在决策时往往隐含着一定的参考标准(Kahneman &Tversky, 1979; 李海军 等, 2013)。根据来源的不同,参照标准又可分为外部参照(锚定效应)和内部参照。其中, 内部参照是指知觉者在决策时会综合短期内已感知到的刺激而形成一个参考值, 并以心理表征的方式储存在记忆中, 然后他们在对当前目标刺激进行感知评估时会不断地与其进行比较, 从而得到一个相对评价(Dyjas et al., 2012)。具体表现为目标刺激在正偏态分布(评分较低的实验刺激更多)的实验设计中得到的评分比在负偏态分布(评分较高的实验刺激更多)中得到的评分会更高(Parducci& Wedell, 1986)。例如Wedell 等人(1987)通过让被试依次评价单个面孔照片的吸引力, 发现当目标面孔照片处于低吸引力面孔的刺激材料组中时, 比该面孔处在高吸引力组得到的吸引力评分会更高。这说明被试会基于所评价的系列刺激材料形成一个内部参照标准, 然后基于此标准对当前刺激做出相对地评价, 即形成参照依赖效应。由于面孔吸引力和情绪的评价存在相关性(刘俊材 等, 2021), 因此我们假设, 人们在评价表情面孔的情绪时也可能会出现参照依赖效应。

综上所述, 动态表情知觉加工可能会涉及多种机制, 而有关这些机制的效应各执一词。如平均效应认为人们对动态表情的感知结果取决于该动态表情中系列表情的总体平均表征(Slepian & Carr,2019); 近因效应的观点则支持人们对动态表情面孔的评价更容易受到其最后一帧(种)表情的影响(Hareli et al., 2016); 表征动量效应却强调感知结果会受到动态表情变化方向和最后一帧表情强度的交互影响(Yoshikawa & Sato, 2008)。简而言之, 当综合考虑动态表情的总体平均表征、变化方向和最后一帧表情的特点这三个因素时, 动态表情感知评价过程中多重机制之间的关系尚未厘清。另外, 人们在对目标面孔进行知觉判断时都是在特定的环境中进行的, 并受到环境的影响。比如, 对当前刺激的评价会受到先前呈现的刺激材料的影响, 主要表现为序列依赖效应(Mei et al., 2019)和参照依赖效应(Dyjas et al., 2012)。已有研究发现人们在评价目标面孔的情绪强度时会出现序列依赖效应(Mei et al., 2019), 但是否会出现参照依赖效应还未见报告。

此外, 前人研究多在西方文化背景下关注负性情绪的动态表情(Fang et al., 2018; Hareli et al.,2016), 且评价指标多选用较为单一的情绪强度(intensity) (Dozolme et al., 2018; Prigent et al., 2018;Yoshikawa & Sato, 2008)。然而中国作为礼仪之邦,人们的情绪表达一般比较含蓄内敛, 微笑表情最为常见, 突然翻脸的情况(比如不同表情类型切换)非常鲜见。在生活中, 当我们看到一张绽开中的笑脸与一张收敛中的笑脸时, 感受到的差异又是明显的。因此, 本研究拟采用动态高兴表情作为实验材料。关于动态表情的评价指标, 我们选用了比较全面的效价、唤醒度和优势度三维度(Mehrabian &Russell, 1974), 通过3 个实验, 以期更系统地揭示人们对动态高兴表情的情绪感知特点。

实验1 通过操纵动态表情的强度变化方向和总体平均表征, 探讨二者对动态表情面孔情绪三维度评价的影响, 旨在厘清平均效应和近因效应之间的关系。实验2 在实验1 的基础上, 将总体平均表征因素的两个水平(75%高兴、25%高兴)分别设置在实验2a 和2b 中, 并增设了相应的静态表情图片条件作为基线比较, 以重点观察动态表情评价的表征动量效应。然后通过综合分析实验2a 和2b 中动态表情的知觉结果, 旨在探明强度变化方向和总体平均表征对表征动量效应的影响。最后本研究还会对实验中重复出现的图片条件所得评价结果进行比较, 以观察表情情绪评价中的参照依赖效应。

2 实验1：动态高兴表情的总体平均表征和强度变化方向对情绪维度评价的影响

本实验旨在探讨动态高兴表情情绪评价中平均效应和近因效应之间的关系。为了使变化量更易于理解, 所有动态表情的变化强度被量化为50%,即从中性到微笑(50%高兴), 以及从微笑(50%高兴)到大笑(100%高兴)。综合考虑生态效度和实验设计后, 动态高兴表情的总体平均表征为 75%高兴和25%高兴。

2.1 方法

2.1.1 被试

一方面, 基于以往关于动态表情面孔情绪评价研究中的样本量(16～33 人) (Palumbo & Jellema,2013; Yoshikawa & Sato, 2008), 另一方面, 采用方便取样法, 招募某大学的6 名学生(女生5 人), 平均年龄为23.67 岁(SD= 1.25 岁)进行预实验, 使用Gpower_3.1.9 软件对预实验的6 名被试的数据进行分析, 通过有统计意义的变量中最小的η2p= 0.635计算得出的效应量大于0.4, 本研究采用中等效应量effect sizef= 0.25、α = 0.05、1 - β = 0.80 (温芳芳 等, 2022), 计算得出需要样本量24 人, 考虑到可能有一些需要剔除的数据后, 最终计划样本量为32 人。在正式实验阶段通过广告招募26 人, 结合预实验的6 人, 被试量共计32 人(女生18 人), 平均年龄22.3 岁(SD= 2.47 岁), 无色盲或面孔失认症,视力或矫正视力正常, 均为右利手。

2.1.2 设计与材料

实验1 采用2 (强度变化方向：从弱到强、从强到弱) × 2 (总体平均表征：75%高兴、25%高兴)的被试内实验设计, 由此所得各实验处理示意见表1。因变量为情绪效价、唤醒度和优势度评分值, 评价采用7 点评分。

表1 实验1 各实验处理示意

实验材料从中国情绪图片库(龚栩 等, 2011)中挑选132 张中性面孔(66 男、66 女)和132 张高兴面孔(66 男、66 女), 中性和高兴面孔来自于同一身份。随后在某高校通过广告招募37 人(女生22 人), 平均年龄为23.22 岁(SD= 2.63 岁), 他们需要完成身份识别任务, 即对同一身份下的两张面孔(中性和高兴)进行是否确为同一身份的验证。被试在参加该实验后均不能参加后续正式实验。虽然有研究指出在动态表情变化的过程中, 不同身份(性别相同)的平滑过渡并不会影响人们对最终面孔情绪的评价(Palumbo & Jellema, 2013; Ying & Xu, 2017)。但为了使实验结果的效度更高, 本研究挑选了在身份验证实验中, 身份认同度高于80%的120 对(60 男、60 女)面孔作为正式阶段的材料和3 对面孔(2 女、1男)作为练习阶段的材料。

选用FantMorph5 软件(http://www.fantamorph.com/index.html)进行动态表情序列的材料制作。将同一身份下的面孔图片, 以5%的高兴表情强度为增量,从中性(高兴表情强度为0)向高兴(最高高兴表情强度为100%)进行变形。这样一个身份会输出21 张静态的表情面孔, 123 个身份总共生成了2583 张面孔照片。

在实验中, 所有动态高兴表情变化的程度(范围)均为50% (如中性-50%高兴)。因此, 每个身份下的动态表情序列制作需要11 张面孔。参照前人研究(Ambadar et al., 2005; Fang et al., 2018;Hoffmann et al., 2010; Palumbo & Jellema, 2013;Sato & Yoshikawa, 2004), 图片序列的第一张和最后一张呈现时间为300 ms, 在剩余的9 张面孔中,每张面孔呈现33 ms (30 帧/秒), 总时长为897 ms(300 × 2 + 33 × 9 = 897)。每个身份能制作4 个动态表情序列(见图1)。

图1 表情动态变化过程示意图

2.1.3 实验程序

实验在安静舒适、隔音效果良好的实验室中进行, 采用E-prime 2.0 编程和呈现刺激图片。实验分为练习阶段和正式阶段, 两者实验流程一致。首先呈现指导语, 对需要评价的效价、唤醒度、优势度进行解释说明, 被试完全理解指导语后可进入练习阶段。练习共有12 个试次, 主试确认被试已完全理解实验流程后, 开始进入正式实验。

在实验中, 每个试次的流程如下：首先在屏幕中央呈现500 ms 的注视点“+”, 其次呈现一个持续897 ms 的动态表情序列, 最后随机呈现一个情绪维度和7 点评分量表, 被试需针对情绪维度描述词来评价动态表情面孔最后一帧表情的情绪, 评价时没有时间限制。被试完成评价后, 进入下一试次(流程图见图2)。一个试次仅需要评价一次情绪。对情绪三个维度的解释主要参照了Liu 等人(2021)在实验中所做的解释, 但是与Liu 等人(2021)要求被试直接评价对情绪刺激的感受不同, 为了帮助被试做出相对更客观的评价, 我们指导被试以观察者身份去评价刺激图片所表现出来的情绪特性。因此在屏幕上呈现：“你觉得他/她的情绪效价如何？”, 1 代表“非常不愉快”, 7 代表“非常愉快”; “你觉得他/她的情绪唤醒度如何？”, 1 代表“非常平静”, 7 代表“非常激动”; “你觉得他/她的情绪优势度如何？”, 1代表“支配感非常低”, 7 代表“支配感非常高”。此外,为了帮助参与者更好地了解各个情绪维度所代表的含义, 本研究还使用了Bradley 和Lang (1994)绘制的小人图, 并从中选择了代表情绪维度评分最低、中间和最高的小人。这些小人分别对应量表中的1 分、4 分和7 分(见图3)。

图2 实验流程图

在实验过程中, 三个情绪维度为三个区组, 且出现的顺序随机, 每个区组有120 个试次, 分别代表120 个身份(即每个区组身份不重复), 每个身份的动态表情序列随机呈现, 总共360 个试次。被试每完成一个区组后休息一分钟。

2.2 数据分析与结果

实验结果采用SPSS 22.0 进行2 (强度变化方向：从弱到强 、从强到弱) × 2 (总体平均表征：75%高兴、25%高兴)两因素重复测量方差分析, 具体分析结果如下。

2.2.1 情绪效价

总体平均表征主效应显著,F(1, 31) = 184.90,p＜ 0.001, η2p= 0.86; 强度变化方向和总体平均表征的交互作用显著,F(1, 31) = 7.99,p= 0.008, η2p=0.21。对二者进行简单效应分析结果见图4, 其中p值经过Bonferroni 多重比较检验方法进行校正。

图4 总体平均表征与强度变化方向对表情情绪维度评价的影响

总体平均表征都为 75%高兴时, 100%高兴-50%高兴的效价评分(M= 3.84,SD= 0.75)显著低于50%高兴-100%高兴的评分(M= 5.40,SD= 0.55),F(1, 31) = 154.50,p＜ 0.001, η2p= 0.83, 95% CI =[-1.82, -1.30]。

总体平均表征都为25%高兴时, 50%高兴-中性的效价评分(M= 3.08,SD= 0.73)显著低于中性-50%高兴的评分(M= 4.87,SD= 0.61),F(1, 31) =180.14,p＜ 0.001, η2p= 0.85, 95% CI = [-2.07,-1.52]。

此外, 对最后一帧表情相同的100%高兴-50%高兴和中性-50%高兴两个实验条件的效价评分进行配对样本t检验后发现：前者显著低于后者,t(31) = -9.15,p＜ 0.001, Cohen'sd= 1.62, 95% CI =[-1.27, -0.81]。然后将4 个实验条件的效价评分与“4” (7 点评分里的中点, 理论上的中性值)做单样本t检验发现100%高兴-50%高兴的效价评分与“4”差异不显著, 即被知觉为中性效价。其他条件均与“4”差异显著, 具体见表2。

表2 实验1 各组表情图片情绪三维度评分的单样本t 检验(检验值为4)

2.2.2 唤醒度

总体平均表征主效应显著,F(1, 31) = 9.95,p=0.004, η2p= 0.24, 95% CI = [0.12, 0.58], 75%高兴的唤醒度评分(M= 4.13,SD= 0.91)显著高于25%高兴(M= 3.78,SD= 1.00)的评分。将4 个实验条件的唤醒度评分与“4”做单样本t检验发现结果均不显著, 具体见表2。

2.2.3 优势度

总体平均表征主效应显著,F(1, 31) = 31.36,p＜ 0.001, η2p= 0.50; 强度变化方向和总体平均表征的交互作用显著,F(1, 31) = 7.32,p= 0.011, η2p=0.19, 对二者进行简单效应分析结果见图4, 其中p值经过Bonferroni 多重比较检验方法进行校正。

总体平均表征为75%高兴时, 100%高兴-50%高兴的优势度评分(M= 4.23,SD= 0.59)显著高于50%高兴-100%高兴的评分(M= 3.22,SD= 0.83),F(1, 31) = 27.29,p＜ 0.001, η2p= 0.47, 95% CI =[0.62, 1.42]。

总体平均表征为25%高兴时, 50%高兴-中性的优势度评分(M= 4.76,SD= 0.71)显著高于中性-50%高兴的评分(M= 3.49,SD= 0.56),F(1, 31) =44.01,p＜ 0.001, η2p= 0.59, 95% CI = [0.88, 1.66]。

此外, 单独对 100%高兴-50%高兴和中性-50%高兴两个实验条件的优势度评分进行配对样本t检验后发现：前者显著高于后者,t(31) = 5.07,p＜ 0.001, Cohen'sd= 0.90, 95% CI = [0.45, 1.05]。将4 个实验条件的优势度评分与“4”做单样本t检验发现结果均与“4”差异显著, 具体见表2。

2.3 讨论

实验1 发现人们在评价动态高兴表情序列中最后一帧表情的情绪效价、唤醒度和优势度时, 动态表情面孔的总体平均表征主效应显著, 这一实验结果支持了平均效应(Slepian & Carr, 2019)。当两组动态表情总体平均表征相同时, 表情由弱到强变化的面孔比由强到弱变化的面孔效价评分更高, 优势度评分更低。如果两组动态表情的总体平均表征相同且变化的程度(范围)都被量化为50%, 那么由弱到强变化的动态表情序列(如50%高兴-100%高兴)中最后一帧表情强度要高于由强到弱的动态表情(如100%高兴-50%高兴)。因此这一结果也说明了动态表情总体平均表征相同时, 最后一帧表情强度越高的面孔会得到更高的效价评分和更低的优势度评分, 出现近因效应(Fang et al., 2018; Hareli et al.,2016)。

此外, 本研究还发现效价评分越高的表情面孔所表现出的支配感或控制感越低, 而优势度(dominance)具有相对性的特点, 他人面孔支配感评估越高, 自我评估越低(Ueda et al., 2017), 即被试在看到正性表情面孔后, 认为自己的支配地位更高, 控制感更高。这一结果支持了前人研究(刘俊材等, 2021; Liu et al., 2021; 刘涛生 等, 2006; Warriner et al., 2013)。

据本研究发现, 人们在评价表情面孔的唤醒度时并未出现近因效应。这可能是因为唤醒度主要指人们看到目标面孔时所产生的兴奋程度(刘俊材等, 2021; Mehrabian & Russell, 1974)。虽然动态表情的变化方向(最后一帧表情)不同, 但他们的变化范围都是50%强度。相同变化范围的动态高兴表情可能引起相同兴奋程度的反应。单样本t检验的实验结果也发现4 个动态高兴表情均被评价为中等强度的唤醒度。因此, 未来的研究可通过操纵动态表情变化范围(程度), 进一步探讨动态表情唤醒度的感知特点。

本实验还比较了最后一帧表情相同的动态表情序列, 发现当动态表情的最后一帧表情相同时,表情由弱到强变化的面孔(中性-50%高兴)比由强到弱的面孔(100%高兴-50%高兴)效价评分更高,优势度评分更低。这意味着总体平均表征更高的动态高兴表情所得到的效价评分并不总是更高(即不符合平均效应)。而且, 在将实验1 中每个动态表情类型的效价评分与“4 (中性效价)”做单样本t检验后还发现100%高兴-50%高兴的面孔被评价为中性效价; 50%高兴-中性被评为负性效价。这些现象可能表现出了动态表情情绪评价的表征动量效应,即情绪感知结果会向表情变化的方向做进一步延伸(Yoshikawa & Sato, 2008)。

3 实验2a: 表情强度在50%和100%之间变化和不变化的高兴表情情绪三维度评价

实验1 发现人们在评价动态高兴表情的效价和优势度时, 可能会出现表征动量效应。但这主要是通过将两类动态变化表情(100%高兴-50%高兴表情, 以及50%高兴-中性表情)的评价值分别与理论中性值(7 点评分的中点4)比较而得出的。为了进一步探索验证该现象, 我们设计了实验2a 和2b, 针对以上两类动态变化表情, 并分别引入了与其中某动态表情系列最后一帧表情强度相同的静态表情面孔图片条件, 以便更直接地探究表征动量效应。

3.1 方法

3.1.1 被试

使用Gpower_3.1.9 软件计算得出需要样本量24 人, 通过广告招募被试32 人, 其中1 名被试未按照指导语进行评价, 被视为无效数据, 因此实际回收有效数据31 份(女生18 人), 平均年龄22.13 岁(SD= 2.95 岁), 无色盲或面孔失认症, 视力或矫正视力正常, 均为右利手。

3.1.2 设计与材料

采用2 (最后一帧表情强度：50%高兴、100%高兴) × 2 (表情状态：动态、静态)的被试内实验设计, 由此所得各实验处理示意见表 3。因变量为情绪效价、唤醒度和优势度评分值, 评价采用 7点评分。

表3 实验2a 各实验处理示意

材料的选取和制作同实验1。其中, 动态表情序列呈现时间依旧为897 ms, 静态表情面孔同样呈现897 ms。

3.1.3 实验程序

同实验1

3.2 数据分析与结果

实验结果采用SPSS 22.0 进行2 (最后一帧表情强度：50%高兴、100%高兴) × 2 (表情状态：动态、静态)两因素重复测量方差分析, 具体分析结果如下。

3.2.1 情绪效价

动态高兴表情的最后一帧表情强度和表情状态的交互作用显著,F(1, 30) = 68.30,p＜ 0.001, η2p=0.70。对二者进行简单效应分析结果见图5, 其中p值经过Bonferroni 多重比较检验方法进行校正：

图5 最后一帧表情强度和表情状态对表情情绪维度评价的影响

最后一帧表情强度为50%高兴时, 100%高兴-50%高兴的效价评分(M= 3.28,SD= 0.71)显著低于静态50%高兴表情的评分(M= 4.05,SD= 0.53),F(1, 30) = 38.98,p＜ 0.001, η2p= 0.57, 95% CI =[-1.02, -0.52]。

最后一帧表情强度为100%高兴时, 50%高兴-100%高兴的效价评分(M= 5.32,SD= 0.40)显著高于静态100%高兴表情的评分(M= 4.91,SD= 0.42),F(1, 30) = 46.46,p＜ 0.001, η2p= 0.61, 95% CI =[0.28, 0.52]。

为了更好的与实验1 的结果进行比较, 实验2还对100%高兴-50%高兴的效价评分与“4”做单样本t检验发现差异显著,t(30) = -5.68,p＜ 0.001,Cohen'sd= 2.07, 95% CI = [-0.98, -0.46], 即该表情面孔被评价为“负性效价”。

3.2.2 唤醒度

表情状态主效应显著,F(1, 30) = 8.98,p=0.005, η2p= 0.23, 95% CI = [0.10, 0.54], 动态(M=4.17,SD= 1.02)显著高于静态(M= 3.86,SD=0.97)。

3.2.3 优势度

动态高兴表情的最后一帧表情强度和表情状态的交互作用显著,F(1, 30) = 19.55,p＜ 0.001, η2p=0.39。对二者进行简单效应分析结果见图5, 其中p值经过Bonferroni 多重比较检验方法进行校正：

最后一帧表情强度为50%高兴时, 100%高兴-50%高兴的优势度评分(M= 4.68,SD= 0.66)显著高于静态 50%高兴表情的评分(M= 3.90,SD=0.59),F(1, 30) = 32.47,p＜ 0.001, η2p= 0.52, 95% CI= [0.50, 1.06]。

最后一帧表情强度为100%高兴时, 50%高兴-100%高兴的优势度评分与静态100%高兴表情评分差异不显著,F(1, 30) = 0.50,p= 0.49。

3.3 讨论

实验2a 发现当最后一帧表情强度为50%高兴时, 动态表情(100%高兴-50%高兴)的效价评分显著低于静态表情(静态50%高兴表情)的评分; 优势度评分显著高于静态表情的评分。当最后一帧表情强度为100%高兴时, 动态表情(50%高兴-100%高兴)效价评分显著高于静态表情(静态100%高兴表情)的评分。这一结果说明人们在评价动态高兴表情面孔的情绪效价和优势度时会出现表征动量效应：以与动态表情最后一帧表情强度相同的静态表情为对比条件, 从强到弱变化的动态表情会获得更低的效价评分和更高的优势度评分, 而从弱到强变化的动态表情则获得更高的效价评分。

前人研究通过让被试选择一张与动态表情序列中最后一帧的表情强度相同的静态面孔(Dozolme et al., 2018; Prigent et al., 2018; Yoshikawa & Sato,2008), 或是让被试对表情图片的情绪类型进行 5点评分(1 为愤怒, 5 为高兴; Palumbo & Jellema,2013), 发现了动态表情情绪评价的表征动量效应,即动态表情序列中最后一帧表情的感知结果会向表情变化的方向进一步延伸。本研究参考了Palumbo和Jellema (2013)所使用的研究范式, 通过让被试对动态表情序列最后一帧表情面孔以及与其强度相同的静态表情图片分别进行情绪三维度7 点评分,然后对二者的情绪评分进行差异检验, 因变量指标更为明确、量化, 不仅对动态表情情绪评价的表征动量效应提供了更为直接的证据支持, 而且还发现该效应会受到情绪维度的调节。具体表现为效价和优势度评价会出现表征动量效应, 且优势度评价只有在变化方向为从强到弱的动态高兴表情条件下才会出现该效应。

唤醒度的评价结果表现出动态表情序列中最后一帧表情面孔所得唤醒度评分始终高于该表情静态呈现时的评分。Sato 和Yoshikawa (2007)发现相对于静态表情图片, 人们在看到动态表情图片序列时, 他们的主观情绪唤醒度会更高。在本研究中被试评价的是表达者的情绪唤醒度, 发现表达者表现出动态表情时会被知觉为更高的情绪唤醒度。

由于实验2a 的动态表情为同一效价不同强度的动态变化, 当动态表情在变化过程中出现不同效价的表情类型时(如中性变为高兴), 实验结果是否还能支持实验2a 的结论？本研究将在实验2b 中引入中性表情条件。此外, 实验2a 的结果表明, 在对100%高兴-50%高兴的效价评分进行单样本t检验时, 该表情面孔被评价为负性效价, 这与实验1 的研究结果不符(中性效价), 说明还有其他因素(如参照依赖效应)影响人们对动态高兴表情的情绪感知评价。具体会在综合分析与讨论中对参照依赖效应进行探讨。

4 实验2b: 表情强度在50%高兴和中性之间变化和不变化的表情情绪三维度评价

实验2b 主要探讨跨效价的动态表情是否依然会出现表征动量效应, 该实验与实验2a 的区别是所研究的动态表情变化类型不同：实验2a 为同一效价的表情(50%高兴和100%高兴)互相变化; 实验2b 则是跨效价(中性和高兴)的表情互相变化。

4.1 方法

4.1.1 被试

使用Gpower_3.1.9 软件计算得出需要样本量24 人, 通过广告招募被试32 人, 其中1 名被试未按照指导语进行评价, 被视为无效数据, 因此实际回收有效数据31 份(女生17 人), 平均年龄22.9 岁(SD= 2.83 岁), 无色盲或面孔失认症, 视力或矫正视力正常, 均为右利手。

4.1.2 设计与材料

采用2 (最后一帧表情：50%高兴、中性) × 2 (表情状态：动态、静态)的被试内实验设计。由此所得各实验处理示意见表4。因变量为情绪效价、唤醒度和优势度评价值, 评价采用7 点评分。

表4 实验2b 各实验处理示意

材料的选取和制作同实验1。其中, 动态表情序列和静态表情呈现时间为897 ms。

4.1.3 实验程序

同实验1

4.2 数据分析与结果

实验结果采用SPSS 22.0 进行2 (最后一帧表情：50%高兴、中性) × 2 (表情状态：动态、静态)两因素重复测量方差分析, 具体分析结果如下。

4.2.1 情绪效价

动态高兴表情的最后一帧表情和表情状态的交互作用显著,F(1, 30) = 52.01,p＜ 0.001, η2p=0.63。对二者进行简单效应分析结果见图6, 其中p值经过Bonferroni 多重比较检验方法进行校正：

图6 最后一帧表情和表情状态对表情情绪维度评价的影响

最后一帧表情为50%高兴时, 中性-50%高兴的效价评分(M= 5.12,SD= 0.56)显著高于静态50%高兴表情的评分(M= 4.68,SD= 0.55),F(1, 30) =19.11,p＜ 0.001, η2p= 0.39, 95% CI = [0.24, 0.66]。

最后一帧表情为中性时, 50%高兴-中性的效价评分(M= 3.10,SD= 0.53)显著低于静态中性表情的评分(M= 3.58,SD= 0.59),F(1, 30) = 37.40,p＜ 0.001, η2p= 0.56, 95% CI = [-0.64, -0.32]。

4.2.2 唤醒度

表情状态主效应显著,F(1, 30) = 16.88,p＜0.001, η2p= 0.36, 95% CI = [0.22, 0.68]。动态的唤醒度评分(M= 3.87,SD= 1.05)显著高于静态的评分(M= 3.42,SD= 1.07)。

4.2.3 优势度

动态高兴表情的最后一帧表情和表情状态的交互作用显著,F(1, 30) = 11.85,p= 0.002, η2p=0.28。对二者进行简单效应分析结果见图6, 其中p值经过Bonferroni 多重比较检验方法进行校正：

最后一帧表情为50%高兴时, 中性-50%高兴的优势度评分与静态50%高兴表情评分差异不显著,F(1, 30) = 1.09,p= 0.31。

最后一帧表情为中性时, 50%高兴-中性的优势度评分(M= 4.53,SD= 0.56)显著高于静态中性表情的评分(M= 4.25,SD= 0.61)。F(1, 30) = 10.66,p= 0.003, η2p= 0.26, 95% CI = [0.11, 0.47]。

4.3 讨论

实验2b 结果发现最后一帧表情为中性时, 动态表情(50%高兴-中性)的效价评分显著低于静态表情(静态中性); 优势度显著高于静态表情。最后一帧表情为50%高兴时, 动态表情(中性-50%高兴)效价评分显著高于静态表情(静态50%高兴表情)。动态表情的唤醒度评分显著高于静态表情的评分。上述结果支持了实验2a 的实验结论, 并且将其扩展到了跨效价的动态表情变化中(高兴和中性互相变化)。即人们在评价动态高兴表情的情绪效价和优势度时会出现表征动量效应, 且优势度的评价只有在强度变化方向为从强到弱的情况下才会出现该效应。

5 综合分析

由于实验2a 和2b 的自变量, 在表情的“强度变化方向”上相同(都包括“由强到弱”和“由弱到强”两个方向), 但在“总体平均表征”上不同(分别为75%高兴和25%高兴)。为了探明这两个变量之间在动态表情表征动量效应中是否出现交互效应, 我们对这两个实验的结果进行综合分析。

其次, 为探究人们在评价表情图片的情绪时是否存在参照依赖效应及其可能的表现规律, 本研究还对不同实验中重复出现的刺激条件所得的评价结果进行综合的分析比较。根据Parducci 和Wedell(1986)提出的距离-频率理论(the range-frequency theory), 我们假设：当同一表情条件重复出现在两个实验中时, 某实验情境中情绪维度评分低于重复刺激条件的其他条件越多, 那么重复刺激条件在该实验环境中所得评分越高。

5.1 表征动量效应

综合实验2a (动态表情的总体平均表征为75%高兴)和2b (动态表情的总体平均表征为25%高兴)的研究结果, 对动态高兴表情所引发的表征动量进行2 (总体平均表征：75%高兴、25%高兴) × 2 (强度变化方向：由强到弱、由弱到强)两因素重复测量方差分析。其中, 总体平均表征是被试间变量,强度变化方向是被试内变量。因变量为表征动量,即动态表情和静态表情(与动态表情序列的最后一帧表情相同)之间的情绪效价评分差值。

结果发现强度变化方向的主效应显著,F(1, 60) =4.72,p= 0.034, η2p= 0.07, 95% CI = [0.02, 0.39]。从强到弱(M= 0.63,SD= 0.59)的表征动量显著大于从弱到强(M= 0.43,SD= 0.46); 总体平均表征主效应不显著(p= 0.21); 交互作用不显著(p= 0.07)。

5.2 参照依赖效应

对三个实验中各个实验条件进行整理后发现,本研究共出现了5 个重复刺激条件, 他们均同时存在于两个实验中, 如静态50%高兴条件重复出现在实验2a 和实验2b 中。随后将这些重复刺激条件在各自实验中的评价结果由高到低进行排序, 并将该刺激条件在两个实验中所得评分分别进行独立样本t检验, 结果如表5 所示。

表5 重复刺激条件在各个实验中所得评分的相对位置以及该条件在不同实验中的差异比较结果

由表5 可知, 如果重复刺激条件在不同的实验情境中评价结果的相对位置一样, 则二者t检验结果都不显著。而相对位置不一样的重复刺激条件中,11 项t检验, 差异显著的有8 项(其中有一项为边缘显著), 并且都表现为相对位置靠前的(比如2)会比靠后的(比如3)所得评分更高。其中, 重复刺激条件“静态50%高兴”的表现最为典型。这些结果都支持了参照依赖效应。

但也有三个重复的动态刺激条件的某一情绪维度, 虽然在不同实验中的相对位置不同, 但t检验结果并不显著, 即未出现参照依赖效应。我们对这三个条件的评价结果做进一步分析发现：

“100%高兴-50%高兴”的唤醒度, 在实验1 中排第2 位置, 但它与排第3 位(中性-50%高兴)的统计评分差异不显著,t(31) = 0.21,p= 0.84, 也就是说它和排3 位的刺激条件几乎并列, 这样也就和它在实验2a 中(排位为3)的排位几乎相当。

“中性-50%高兴”的优势度, 在实验2b 中排第4 位置, 但它与排第3 位(静态50%高兴)的统计评分差异不显著,t(30) = -1.04,p= 0.30, 即与实验1 中(排位为3)的排位几乎相当。

“50%高兴-中性”的唤醒度, 在实验1 中排第4位置, 但它与排第3 位(中性-50%高兴)的统计评分差异不显著,t(31) = -1.05,p= 0.30, 即与实验2b 中(排位为3)的排位几乎相当。

由上可见, 这三个条件的上述维度的评分在两个实验中的相对位置几乎一致, 很可能因此而未表现出参照依赖效应。当然, 动态表情图片的信息丰富性和鲜明性, 也可能使得被试对其评价更少参照依赖其他实验条件。

6 总讨论

为了探究动态表情的情绪知觉评价特点, 本研究通过3 个包含了动态和静态高兴表情图片材料的实验, 考察了动态高兴表情的强度变化方向和总体平均表征对情绪三维度评价的影响。结果发现人们在评价动态表情面孔的唤醒度时, 总体平均表征越高的面孔会得到更高的评分, 出现平均效应。在效价和优势度维度, 发现最后一帧表情强度越高的面孔会得到更高的效价评分和更低的优势度评分, 出现近因效应。当最后一帧表情强度相同时, 由弱到强变化的表情面孔比由强到弱变化的面孔所得效价评分更高, 优势度评分更低, 其内在机制是动态表情评价中的表征动量效应。同时, 受到知觉者先前感知经验的影响, 目标面孔的情绪评价还会被高估或低估, 出现参照依赖效应。综上, 动态表情情绪评价过程可以用图7 表示。

图7 动态表情情绪评价过程示意图

6.1 表征动量效应

人们在评价动态高兴表情面孔的情绪效价和优势度时会出现表征动量效应。以与动态表情最后一帧表情强度相同的静态表情为对比条件, 从强到弱变化的动态表情会获得更低的效价评分和更高的优势度评分, 而从弱到强变化的动态表情则获得更高的效价评分。这说明知觉者对动态表情序列最后一帧表情所做出的知觉评价, 会沿着表情运动变化的方向发生向前偏移。内化理论中的动量隐喻(momentum metaphor)认为人类已经内化了运动物体的物理动量属性。由于物理动量(惯性)的存在,运动物体无法立即停止, 运动物体的心理表征也不能在物体停止后立即停止, 而是会发生时间延迟,因此可能导致对运动物体最终位置的错判(Finke &Freyd, 1985)。这种“错判”是一种适应性行为, 可以帮助我们对环境中的运动物体做出快速的反应。本研究发现这种现象也可以适用到动态表情面孔特征的运动单元(AUs)变化中。例如知觉者在评价50%高兴-中性表情的动态表情面孔时, 高兴表情的U 型嘴逐渐变为中性表情的平扁嘴型(the flat mouth), 这时知觉者的心理表征可能会发生时间延迟, 形成倒U 型嘴型(代表负性效价表情的运动单元特征), 进而对该表情面孔评价为负性效价(Jellema et al., 2011), 这是一种自下而上的自动化加工。

表征动量的双加工理论认为, 对于无生命属性的物体或几何图形, 人们已经内化的物理动力学原理(包括速度、质量、重力、摩擦力等)决定了表征动量偏移的方向和程度, 是一种自动化的加工。而对于有生命的物体或生活中的熟悉物体, 除了物理动力学原理外, 表征动量效应还可能受其它因素(如他人行为意图)的影响, 是一种非自动化加工(董蕊, 2015; Hubbard, 2005; Hudson & Jellema, 2011;翟坤, 张志杰, 2011)。

本研究发现动态表情的变化方向会调节表征动量效应。在效价维度评价上发现, 相对于从弱到强, 从强到弱的动态高兴表情会引起更大的表征动量; 在优势度维度则发现只有从强到弱的动态高兴表情才会出现表征动量效应。这是因为从强到弱的动态高兴表情更可能反映出一种消极的情绪状态,被认为是一种威胁性信息(Goldman, 2006; Palumbo& Jellema, 2013), 并传递出目标个体回避的意向(Reinl & Bartels, 2015)。有研究指出人们不仅会优先检测威胁性信息并快速地对其进行知觉判断(Öhman & Mineka, 2001), 而且还会对威胁性信息产生更大的“过冲反应偏差(overshoot response bias)” (Jellema et al., 2011), 因此人们在评价从强到弱的动态高兴表情时会产生更大的表征动量。由于被试对他人动态表情传递出的行为意图的知觉,影响了表征动量效应的大小, 这是一种非自动化加工过程, 因此这一结果也为双加工理论提供了进一步的实证支撑。

6.2 参照依赖效应

综合分析本研究中出现的重复刺激条件评价结果后发现, 当同一表情条件重复出现在两个实验中时, 某实验情境中情绪维度评分低于重复刺激条件的其他条件越多, 那么重复刺激条件在该实验环境中所得评分越高。

这说明对于同一表情图片条件的情绪评价, 会因不同的其他对比条件而异。人们在对某一表情图片的情绪进行感知评价后, 会将该评价储存在记忆中, 并由此形成一个内部参照标准, 然后知觉者会基于此标准对当前所需评价的表情图片做出相对地判断。当实验中评分低于目标表情面孔的其他表情条件更多时, 知觉者会形成更低的内部参照标准,进而对目标表情面孔形成更高的评分, 反之亦然,此即出现了参照依赖效应。该效应是与序列依赖效应相反的。序列依赖效应是指当前表情图片(N)的评价会被先前表情图片(N-1)所“同化” (Mei et al.,2019), 而参照依赖效应表现为与整组实验条件的“对比”的倾向。

本研究发现表情面孔图片情绪感知的表征动量效应和参照依赖效应, 这两种效应的知觉模式类似之处在于都是通过与先前经验对比的方式来影响对当前表情面孔的情绪评价。但这两个效应的内在加工机制却是不同的, 表征动量效应更多的关注动态表情材料内部的对比, 先前经验可能通过物理动力学原理或引发知觉者的情绪预期, 进而参与人们对动态表情的情绪感知。而参照依赖效应则关注的是表情材料间的对比, 先前经验通过形成内部参照标准进而影响人们对表情图片的情绪评估(Dyjas et al., 2012)。

6.3 理论与实践指导意义

本文采用了新的研究范式和分析视角, 探究了动态高兴表情加工中的情绪效价、唤醒度和优势度三个维度的评价机制, 研究发现人们在评价动态高兴表情的唤醒度时会出现平均效应, 在评价效价和优势度时会出现近因效应和表征动量效应。同时,人们对目标表情的情绪评价还会受到内部参照标准的影响, 出现参照依赖效应。

以往研究基于跨情绪类型之间的互相变化而设置的动态表情。比如Hareli 等人(2016)研究悲伤和愤怒间转换; Fang 等人(2018)研究愤怒和害怕,以及厌恶和害怕间转换。这类动态表情难以计量总体平均表征, 也不便精细控制比较不同条件下、不同情绪维度上表征动量效应的大小。本研究通过操纵动态高兴表情的变化方向和总体平均表征, 发现变化方向会调节动态表情效价和优势度评价中出现的表征动量效应。由于本研究发现人们在对动态表情面孔进行知觉加工时包含了自动化加工和非自动化加工, 这也为双加工理论提供了进一步支持。

此外, 本研究首次发现, 在情绪感知领域也会出现参照依赖效应。知觉者在评价表情面孔后会形成内部参照标准, 然后基于此标准对当前所需评价的表情图片做出相对地判断。

有关动态表情表征动量效应的结果, 可用于指导人机交互、表情训练和识别等技术设计。例如在捕捉、输入表情参数时, 最好能捕捉到短时间内动态变化的表情面孔(类似于交通违规测速摄像头),而不是仅捕捉某一帧静态的表情面孔进行情绪识别。这不仅有利于更准确的识别和检测人们的情绪状态, 也可以用于指导日常的人际沟通以及公关谈判等活动中的表情管理, 以在愉悦度、控制度等方面达到预期目的。参照依赖效应的发现, 则可以提醒研究者们在进行情绪实验时, 如果从表情材料库中选择了部分材料, 或者借用了他人研究中的部分实验材料, 那么这些表情材料脱离了原来评价时的情境, 其评价结果可能会有变化, 最好在当前的实验情境中对这些材料进行重新评价。

6.4 未来研究展望

本研究系统探讨了动态高兴表情的表征动量效应和参照依赖效应, 但尚存在一些不足。首先,本文在探讨动态表情时所使用的材料是动态表情序列, 即不同强度的表情所呈现的速度是线性变化。但在现实生活中动态表情的变化可能并不是等速的(Korolkova, 2018)。因此在今后可通过采集自然表情视频来构建动态表情视频材料库, 进而去探讨当更加原始、自然的动态表情进行情绪变化时,人们对其的感知加工特点。

其次, 本文发现表情情绪的强度变化方向会调节动态高兴表情效价和优势度评价的表征动量效应, 但未在唤醒度维度上发现表征动量效应, 这可能是受到了实验范式的影响。本文通过比较动静评分差异来探讨表征动量效应。但有研究指出相对于情绪效价, 唤醒度更容易受到动静差异的影响, 表现为动态表情面孔所得唤醒度评分始终大于静态表情面孔(Sato & Yoshikawa, 2007)。因此在本研究所使用的实验范式中, 被试在评价唤醒度时可能更容易受到动态表情优势效应(动态表情面孔评分更高)的影响。由于该效应与表征动量效应相互矛盾,例如优势效应表现为相对于静态中性表情, 50%高兴-中性表情所得评分始终更高, 而表征动量效应表现为50%高兴-中性表情所得评分更低, 因此在本研究中未在唤醒度维度发现表征动量效应。在未来可采用不同的实验范式或方法, 从不同的分析视角来探讨人们在评价动态表情面孔的唤醒度时是否会出现表征动量效应。例如主观调整法, 让被试从表情材料集中选择一张静态表情面孔, 使其与之前呈现的动态表情面孔所表达的情绪信息一致(Yoshikawa & Sato, 2008); 恒定刺激法, 让被试对相继呈现的动态表情和静态表情面孔进行比较, 然后判断两个表情所表现的情绪信息是否一致(Dozolme et al., 2018)。

最后, 参照以往研究(Yoshikawa & Sato, 2008),本文通过让被试评价动态表情序列中最后一帧表情的情绪, 来探讨动态表情的情绪感知特点。还有一些研究者则是要求被试评价整个动态表情面孔的情绪效价和强度(Sato et al., 2010), 这更加强调了动态表情整体加工的重要性。由于在视知觉活动中, 整体加工可能优先于局部加工(Navon, 1977),那么当人们在对动态表情面孔进行情绪知觉时, 是否也会存在一种“整体优先性”原则。未来可以让被试分别评价整个动态表情面孔(整体加工), 以及动态表情序列中最后一帧表情(局部加工)的情绪, 通过分析二者之间的反应时、评分以及脑机制的差异,来更深入的了解动态表情面孔的加工特点。

7 结论

(1) 人们在评价动态高兴表情的效价和优势度时会出现表征动量效应：以与动态表情最后一帧表情强度相同的静态表情为对比条件, 从强到弱变化的动态表情会获得更低的效价评分和更高的优势度评分, 而从弱到强变化的动态表情则获得更高的效价评分。相对于从弱到强, 从强到弱变化的动态表情所产生的知觉表征动量效应更大。

(2) 知觉者在对某一表情图片的情绪维度进行评分时, 会根据同期参评的其他表情图片所形成的内部参照标准做出相对判断, 内部参照标准越低,目标表情图片所得情绪评分越高, 反之亦然, 表现出参照依赖效应。