动作理解因境而异: 动作加工中情境信息的自动整合*

2020-06-08 06:26杨亦松何晓燕
心理学报 2020年6期
关键词:电极频段约束

杨亦松 林 静 何晓燕 尹 军

动作理解因境而异: 动作加工中情境信息的自动整合

杨亦松 林 静 何晓燕 尹 军

(宁波大学心理学系暨研究所; 宁波大学群体行为与社会心理服务研究中心, 浙江 宁波 315211)

针对动作理解的机制, 模拟论主张大脑自发模拟他人的动作, 就相同的动作其理解也相同, 而理论论则认为人们基于合理性原则对他人动作进行推理, 相同的动作发生在不同的情境时会有不同的理解。但以往研究所采用动作材料的运动学特性和发生情境存在共变, 其难以区分动作理解是支持模拟论还是理论论。通过两项实验, 采用动画制作技术来产生有无约束情境下的追逐动作, 以指示动作加工过程的脑电μ抑制为指标, 对前述两种观点进行了检验。其中, 在约束情境中存在障碍物, 追逐者需改变运动方向以绕过障碍物, 从后方逐渐趋近目标; 而无约束情境中不存在障碍物, 但追逐者依然保持与存在约束情景下相同的运动模式。结果发现, 当追逐动作发生在存在约束的情境时, 其基于合理性原则推测可获得清晰的动作目标, 该条件下的μ抑制程度高于不存在约束情境的条件(实验1); 而当仅追逐者运动, 即趋近的目标不确定时, 虽然有约束和无约束情境间的物理差异与实验1相同, 但条件间μ抑制的差异消失(实验2); 且上述μ抑制并非与注意相关的枕叶α活动的泛化。该结果提示, 动作发生的情境信息影响人们对动作的理解, 即基于推理过程理解动作, 支持理论论观点。

动作理解; 追逐动作; 情境; 模拟论; 理论论; μ抑制

1 前言

社会交互是人类生活的重要组成部分(Miller, 2001)。为顺利地与他人交互, 人们需对他人的动作进行加工, 以理解和识别动作的目的和意图, 从而有效预测他人的行为并计划自己的行为(Hauser & Wood, 2010; Wellman, Cross, & Watson, 2001)。如: 足球比赛中需时刻加工对手的运球动作, 以判断其目的是传球还是射门等。该能力的受损将严重影响人们的日常生活, 如: 自闭症患者被发现在加工和识别动作意图上存在缺陷(Carter Leno et al., 2019; Klin, Jones, Schultz, & Volkmar, 2003)。然而, 动作加工中人们所能观察的是他人在物理层面的运动模式信息, 但需对其背后的目的和意图进行解读, 其过程存在高度的不确定性(Ullman et al., 2009; Jara-Ettinger, Gweon, Schulz, & Tenenbaum, 2016)。例如: 当小李在步行时不断趋近小王, 其即可解释为小王是小李欲追赶的对象, 也可解读为小李只是在赶路, 恰巧靠近小王而已。因此, 人们如何理解动作一直是认知科学研究关注的难点问题之一。该问题所揭示的规律被认为对探明人类的心智系统和构建具有社会能力的机器人具有关键作用(Blakemore & Decety, 2001)。

针对动作理解的机制, 目前较有影响的理论之一是模拟论(simulation theory), 其也被称为直接匹配假说(direct matching; Gallese & Goldman, 1998; Rizzolatti & Craighero, 2004; 叶浩生, 2016)。该理论认为, 人们将他人的动作与自己的动作表征自动进行匹配, 即内部自发模拟他人的动作, 以实现对动作的理解, 故动作的运动学特性决定了对动作的理解。这一理论的主要支撑证据来自镜像神经元/系统的发现(Rizzolatti, Fogassi, & Gallese, 2001)。如: di Pellegrino, Fadiga, Fogassi, Gallese和Rizzolatti (1992)揭示, 当猕猴观察他人动作时, 在前运动皮层的激活模式与自身执行该动作所激活的模式相同。进一步研究发现, 镜像神经元是动作加工的神经基础, 基于镜像式的模拟机制实现对动作理解 (Fogassi et al., 2005; Gallese, Fadiga, Fogassi, & Rizzolatti, 1996)。后续研究在人类身上也发现了类似的神经基础, 其被称为镜像神经系统, 主要包括顶下小叶(inferior parietal lobule)和额下回(inferior frontal gyrus)或前运动皮层(premotor cortex)等(Iacoboni et al., 1999; Rizzolatti & Craighero, 2004)。同时研究者发现, 当与他人交互时, 人们会自动模仿对方的坐姿、表情与言语等, 其被称为变色龙效应(Chartrand & Bargh, 1999)。且当他人手指、手臂等动作与自身动作不一致时, 会干扰人们自身行为的执行(Dijkerman & Smit, 2007; Kilner, Paulignan, & Blakemore, 2003)。这些研究显示, 观察他人的动作激活了自身相同的动作表征, 从而自动产生模仿行为。更重要的是, 虽然婴儿一般很难理解动作的目的, 然而当给予婴儿足够的接触玩具的机会(即把玩具作为目标)或有机会去执行抓握玩具的动作后, 则习得理解动作的能力(Sommerville, Woodward, & Needham, 2005)。模拟论的匹配加工特性不仅意味着观察他人动作会激活自身相同的动作表征, 且认为所要匹配和模拟的动作越多, 人们所需要的认知资源越多。该推测获得了新近研究的支持, 其发现加工多个人动作时镜像神经系统的激活强度高于加工一个人的动作(Cracco, de Coster, Andres, & Brass, 2016)。上述研究共同表明, 模拟论所提出对动作的直接匹配过程是动作理解的关键机制。由于直接匹配决定了对动作的理解, 故运动学特性相同的动作对其理解结果也相同; 反之, 对运动学特性不同的动作, 其加工结果存在差异(Csibra, 2007; Rizzolatti & Craighero, 2004)。

有研究者对模拟论提出了质疑, 因为其难以解释镜像神经元或系统的某些激活模式(Brass, Schmitt, Spengler, & Gergely, 2007; Csibra, 2007)。Gallese等(1996)发现猕猴在观察实验员假装去拿物体(该物体并不存在)时, 镜像神经元并没有激活。该结果与模拟论的预测不一致, 因为假装去拿物体和真正去拿物体的运动学特性基本相同, 而后者则可激活镜像神经元。在人类被试上, 研究者也发现, 对于几乎具有相同运动学特性的动作, 抓握目标存在时镜像神经系统的激活强度高于目标不存在的情境(Koski et al., 2002)。即对于具有相同运动特性的动作, 当其及物还是不及物时, 对其理解结果不同。甚至, 对于抓握动作, 因情境信息不同而被解读为不同意图时, 其在镜像神经系统的激活也不一样。如: 抓握茶杯的动作, 在茶杯中装满咖啡时可被理解为喝茶的意图, 而茶杯中无咖啡且存在食物残渣时被理解为清扫的意图(Iacoboni et al., 2005)。上述结果表明, 对动作特性的直接匹配并非决定动作理解的结果, 而是受到动作之外信息的影响; 不然, 对于相同的动作其在镜像神经系统的激活模式应相当。因此, 有研究者提出, 人们在理解行为时不是将观察到的动作与自身的动作进行匹配, 而是对其进行推理, 从而获得他人为什么执行该行为的原因(即目的或意图), 从而提出了动作理解的理论论(theory theory; Gergely & Csibra, 2003; Jacob & Jeannerod, 2005; 叶浩生, 2016)。该观点认为, 人们对动作的理解是基于合理性原则, 即假定他人在当前的情境下通过执行成本最小的动作以实现目标, 通过推理获得当前情境下所观察动作最有可能的目标或意图, 其受到动作之外信息的影响。换言之, 对于相同的动作, 发生在不同的情境中时, 其理解结果也不尽相同。目前, 这一理论获得了来自儿童发展、认知神经等众多研究领域的支持, 并已成功应用于人工智能领域(Brass et al., 2007; Gergely & Csibra, 2003; Jara-Ettinger et al., 2016)。如: 在A以最短路径直行趋近B时(符合合理性原则; principle of rationality), 10个月大的婴儿视A的目标是趋近B, 而当A以跳跃方式靠近B时, 认为A的目的不明确(Csibra, Bíró, Koós, & Gergely, 2003)。且在行为模仿中, 儿童也会考虑行动发生时的情境, 而非完全模仿他人的行为(Gergely, Bekkering, & Király, 2002); 在成人中亦是如此, 对他人手指动作的模仿会受到该动作是有意还是无意发出(如: 机械强制手指运动)的影响(Liepelt, Cramon, & Brass, 2008)。总之, 理论论所提出的推理过程可解释动作理解中的更多现象。

然而, 支持模拟论的学者认为理论论的相关证据依然可用模拟论来解释(Cavallo, Koul, Ansuini, Capozzi, & Becchio, 2016; Koul et al., 2018)。首先, 对于及物动作和不及物动作的比较, 其运动学特性并非完全一致, 因此内部模拟过程也不尽相同, 从而导致镜像神经系统的激活也不一样。其次, 鉴于所需观察的对象均来自对真人动作的记录, 目标不同的动作其发出动作时的肌肉控制也不一样, 故在运动学特性上依然可能存在细微差异, 其可被视觉内隐觉察从而影响动作模拟。如: 用于喝茶的抓握动作和用于打扫卫生的抓握动作存在运动学上的细微差别。最后, 对于婴儿所观察的直行动作和跳跃动作, 其动作形态本身就不一样, 故匹配所得的理解结果也不一样。总而言之, 当前两种理论争论的焦点是运动学特性是否决定了对动作的理解。模拟论认为, 运动学特性决定了对动作的理解, 任何动作理解结果的差异均可归因于运动特性的不同, 与情境无关; 但理论论支持者认为, 由于推理过程中对合理性原则的应用, 即使对具有相同运动学特性的动作, 由于发生情境决定了动作趋近目标的合理性, 故动作发生的情境不同对其理解也不尽相同(详见Gergely & Csibra, 2003; Jacob & Jeannerod, 2005的综述)。由于目前所采用的实验动作材料的运动学特性和发生情境存在共变, 其难以区分动作理解是符合模拟论还是理论论, 故有必要采用其他的实验方法, 如严格控制运动学特性但操纵动作发生时的情境(Pomiechowska & Csibra, 2017), 对动作理解的机制进一步探讨。

为实现对动作发生情境的操纵且严格控制运动学特性, 本研究借鉴Heider和Simmel (1944)的方法, 通过动画制作技术来产生动作模式。该方法将主体均简化为几何形状式的智能体, 其可对日常行为场景动作进行模拟且可有效控制额外变量, 其已广泛应用于社会认知领域(Powell & Spelke, 2013; Yin et al., 2016)。本研究选择在人类进化中起着关键作用的追逐动作(Barrett, Todd, Miller, & Blythe, 2005), 作为动作理解的对象。实验包含两种情境, 每种情境有两个运动的智能体, 其均是一智能体在另一智能体后方运动, 构成一定的追逐运动模式(如图1所示)。具体而言, 对于存在约束的情境, 智能体A改变方向以绕过障碍物, 从后方逐渐趋近智能体B; 对于不存在约束的情境, 阻碍智能体A’前行的障碍物被去除, 但依然呈现与存在约束的情境中智能体A相同的运动模式, 从后方靠近与智能体B具有相同运动模式的智能体B’。即, 有无约束情境下智能体的运动特性相同, 除了阻止智能体A以最短路径趋近智能体B的障碍物是否存在。在该设置下, 基于模拟论观点, 由于有无约束情境下智能体的运动特性完全相同, 故对两种情境下的动作模拟过程相当, 从而预测动作加工结果应不存在差异。然而, 基于理论论观点, 虽然两种情境下智能体具有相同的运动特性, 但当存在约束情境时, 智能体A改变方向的行为可被理解为为了绕开障碍物, 而以最有效的方式趋近智能体B, 因为其趋近目标的动作符合合理性原则; 但对无约束的情境, 智能体A’靠近智能体B’的行为并不符合合理性原则(即以最短的路径趋近B’), 对其理解结果应与存在约束情境时不同, 至少智能体A’指向智能体B’的目的更弱。简言之, 若动作理解符合模拟论, 人们对有无约束情境下的动作理解相同; 若动作理解符合理论论, 人们对有无约束情境下的动作理解不同, 其具体体现在: 相比无约束的情境, 存在情境约束中智能体A更可能将智能体B视作指向的目标。

针对上述两种预测, 本研究采用脑电技术, 选取位于感觉运动皮层(C3和C4电极)附近8~13 Hz的μ节律作为指标。该指标的神经基础位于镜像神经系统, 甚至包括心智化系统(如: 颞顶联合区), 其因动作理解不同而激活程度(表现为μ抑制, 或去同步化)不同, 被认为可指示动作加工(Fox et al., 2016; Muthukumaraswamy, Johnson, & McNair, 2004; Pomiechowska & Csibra, 2017; Ulloa & Pineda, 2007)。尤其是, 在加工具有清晰目标的行动时μ抑制程度高于加工目标不清晰的行动(Muthukumaras- wamy et al., 2004)。若动作理解符合模拟论的预测, 由于无论存在约束情境与否动作的运动学特性相同, 则可预期两种情境下μ激活相当;若动作理解是基于理论论所主张的机制, 由于存在情境约束时, 可基于合理性原则构建两个智能体间的目标指向关系, 可预期该条件下的μ抑制程度应高于不存在约束情境的条件。

2 实验1: 追逐者和目标物均运动

本实验拟采用追逐动作, 通过设置该动作发生情境的特性实现对动作合理性的操纵, 旨在检验动作理解是基于模拟论还是理论论所主张的机制。为探讨该问题, 实验中选取顶叶的μ节律作为指标。鉴于μ频段与注意机制相关的枕叶α (8~13 Hz)属于同一波段(Klimesch, Sauseng, & Hanslmayr, 2007; Perry, Stein, & Bentin, 2011), 故为进一步检验μ频段是否属于枕叶α活动的泛化, 对枕叶α也予以分析。

2.1 被试

通过广告招募的方式, 18名在校大学生自愿参与本实验。该样本量参考了以往用μ指标来探讨动作加工的相关研究, 其样本量在16~18名被试之间,结果的效应量处于中等水平(介于0.25与0.40之间; Duan, Yang, He, Shao, & Yin, 2018; Natraj et al., 2013; Pomiechowska & Csibra, 2017)。同时, 基于本研究的实验设计(重复测量), 将预期达到的alpha值设置为0.05, 统计效力设置为0.80且效应量设置为以往研究揭示的中等水平(约等于0.30; Duan et al., 2018; Pomiechowska & Csibra, 2017), 通过软件GPower 3.0.10计算所得的计划样本量为18左右。对于18名被试的数据, 1名被试因数据收集过程中电极脱落, 导致脑电数据质量比较差, 2名被试不符合注意检测标准, 故予以剔除(即使包含这3名被试, 结果模式依然相同)。最终获得15名(其中男性8名, 女性7名)有效被试的实验数据, 被试的年龄在18~27岁之间(= 22.67岁,= 0.77岁), 视力或矫正视力正常, 无色盲, 均无身心疾病。实验结束后, 被试获得50元人民币作为报酬。为保持实验样本量的一致性, 后续实验中也招募了15名有效被试。该实验获得了宁波大学心理学研究伦理委员会同意, 且在实验前保证每个被试充分知晓实验要求, 并签署了知情同意书。

2.2 实验仪器与刺激

实验采用19英寸CRT显示器, 分辨率为800 × 600, 刷新率为100 Hz, 被试距屏幕约60 cm。所有刺激材料的呈现和实验流程通过MATLAB的工具箱Psychophysics Toolbox (Brainard, 1997)来控制。

实验刺激材料为电脑动画, 其通过3D动画建模软件blender 2.78a制作而成, 显示大小为11.1° × 8.3°。借鉴Southgate和Csibra (2009)的方法, 制作动态的追逐动作(智能体A追逐智能体B; 静态示意图如图1所示), 并通过设置追逐动作中是否存在障碍物的方式来实现对情境的操作, 其动作视频时长均为3s。具体而言, 体型较大的智能体A (2° × 2°; 即追逐者)在后方以平均约16°/s的速度追逐体型较小的智能体B (1°×1°; 即目标物), 后者以平均约14°/s的速度运动至屏幕右下方。动画中智能体的外形相异, 其在不同的试次中从36对不同的组合中随机选择(包括9种不同外形的智能体, 两两组合而得)。在存在约束的情境中, 追逐动作的发生场景中存在障碍物。这些障碍物阻挡了追逐者趋近目标物的最短路径(即直线路径), 使得其不得不绕开障碍物去追逐目标物, 但目标物由于体型较小可穿过障碍物与障碍物之间的小间隔。然而, 当动作发生的情境不存在约束时, 阻碍追逐者以最短路径趋近目标物的障碍物不存在(障碍物移至其它地方),但追逐者和目标物依然以存在约束情境时相同的路径进行运动。因此, 上述两种动画中, 视频中智能体的动作均相同, 但其所发生的情境存在差异。

图1 存在约束情境(a)和不存在约束情境(b)的动作示意图

除了上述两种动画, 实验中还构建了其它动画,其作为填充动画, 要求被试计数其数量, 以使得被试的注意集中在屏幕的动画上。该类动画与上述动画基本相同, 除了在追逐过程0.5 s至2.5 s之间追逐者会连续消失1 s。

鉴于对动作的熟悉性可能影响对动作的心理模拟, 本实验在正式实验前招募了30名被试(男性18名, 女性12名,= 22.20岁,= 0.48岁), 对上述两种视频(评价顺序在被试间进行平衡)就“你对动画中所呈现的行为, 在多大程度上是熟悉的?”从1 (“一点也不熟悉”)至7 (“非常熟悉”)进行熟悉度评分。结果发现, 被试对存在约束情境的动作熟悉度评分(= 3.63,= 0.31)与不存在约束情境的动画(= 3.47,= 0.32)无显著差异,(29) = 0.47,= 0.643。同时, 为从主观评价上确认被试确实对两种动画的理解不同, 这批被试被要求就, “你在多大程度上同意, 动画中体型较小的卡通人物是动画中体型较大的卡通人物趋近的目标?”从1 (“一点也不同意”)至7 (“完全同意”)进行动作理解的主观评分。结果发现, 相比无约束情境(= 4.83,= 0.35), 被试更倾向于认为有约束情境下(= 5.93,= 0.20)体型较小的智能体是体型较大的智能体趋近的目标,(29) = 3.20,= 0.003, Cohen’s= 0.59。该结果说明, 不同情境下, 被试对相同动作的理解确实不同, 提示操作有效。

2.3 实验流程

每个试次的流程如图2所示。首先, 在屏幕中央呈现一个动态的注视点, 其持续480 ms。之后, 空屏300~400 ms。接着, 呈现动画的第一帧, 以提醒动画即将开始。提醒300 ms后, 动画开始播放, 其持续3s。试次间隔为900至1100 ms。

实验共有两个组块, 每个组块包含72个试次, 其中每个条件包含36个试次。每个条件36个试次动画中的智能体组合均不相同, 但条件间的智能体组合均相同。如此, 不同条件间除了情境, 其它的物理信息均一致。每个组块中包括8~12个填充动画, 要求被试认真观看屏幕中的动画, 并计数填充动画的次数, 在每个组块结束后进行报告。如果被试所报告的填充动画个数与真实的不一致, 则说明该被试可能未认真观看所有的视频。根据该注意检测标准, 2名被试均未能准确报告填充动画个数, 故予以剔除。

2.4 数据记录

基于NeuroScan Synamps 2系统(Compumedics NeuroScan Inc.), 利用国际通用的10~20的64导Ag/AgCl电极帽记录EEG。以左侧乳突电极为参考。接地电极位于FPZ与FZ中央。以左眼眶额上、下部的2个电极记录垂直眼电(VEOG), 以两眼外侧1.5 cm处的2个电极记录水平眼电(HEOG)。脑电信号采集增益为500, 采样频率为500 Hz, 滤波带通(band-pass)为0.05~100 Hz。电极和头皮间的电阻均小于5 kΩ。鉴于基线的选择可能影响μ指标的敏感性(Tangwiriyasakul, Verhagen, van Putten, and Rutten, 2013), 本研究同时记录了每个被试在正式实验前后, 注视电脑屏幕时1分钟的基线脑电数据, 以获取被试在无动作理解状态的基线脑电数据。

2.5 数据分析

采用MATLAB的EEGLAB和Fieldtrip工具包对数据进行分析。首先用EEGLAB对数据进行预处理。预处理中, 先将左侧乳突参考转换成左右乳突平均做参考, 之后对数据进行0.1~100 Hz的滤波(fir1)。接下来, 删除记录眼电的电极数据, 并进行独立成分分析(ICA)。对获得的独立成分, 采用EEGLAB的ADJUSR插件识别眼电成分与噪音成分, 并将其剔除。最后, 对追逐动作呈现阶段, 即开始运动(动画起始点)到运动后3000 ms (动画结束点)进行分段。完成前述处理后, 采用Fieldtrip进行频谱分析。鉴于本研究所探讨的动作理解过程发生在整个追逐动画呈现阶段, 其时域特性不明显, 故借鉴以往研究(Brown, Wiersema, Pourtois, & Brüne, 2013; Perry et al., 2011), 采用快速傅立叶变换(FFT)对整个动作理解过程(即3 s的动画)的8~13 Hz能量进行频谱分析。其中, 对每个分段数据(即3000 ms动画播放时间)采用10% Hamming进行快速傅立叶变换(FFT), 以获取每个频段的能量值(μV)。同时, 对每个试次, 以动画播放前600~300 ms为基线(即空屏阶段), 通过相减的方法对分段的能量值进行校正, 即追逐动画呈现时频段的能量值减去对应频段在基线阶段的能量值。最后, 对每个被试按条件进行平均获得不同频段的能量值。

与已有研究一致, 本实验选取的μ频段为8至13 Hz (Fox et al., 2016; Muthukumaraswamy et al., 2004; Ulloa & Pineda, 2007)。大量研究表明, 与动作加工相关的μ波段主要出现在顶叶运动区, 在脑电研究中常常选取顶叶的C3和C4电极(Duan et al., 2018; Pomiechowska & Csibra, 2017), 因此本实验也选取该两个电极对μ频段的激活模式进行分析。为进一步检验μ频段是否属于枕叶α活动的泛化, 参考以往研究(Klimesch et al., 2007; Perry et al., 2011),本实验对枕叶O1和O2电极上的α也予以类似分析。为揭示μ频段在指示动作理解中的特异性, 与以往研究一致(Hobson & Bishop, 2016), 对C3和C4电极上的β波段(14~40 Hz)也进行了类似分析。

图2 实验流程

同时, 鉴于基线的选择可能影响μ指标的敏感性(Tangwiriyasakul et al., 2013), 对实验前后记录的基线脑电数据, 也按3000 ms的长度进行分段(为保证其与实验阶段具有相同的分析参数), 其被分割为40段。之后也采用10% Hamming对其进行FFT, 并计算每个被试在不同频段上的平均能量值作为后续分析的基线值。即对于每个被试, 将追逐动作呈现阶段的μ频段能量减去该基线的差异值作为因变量。该分析所获得的结果模式与以动画播放前600~300 ms为基线的结果模式相同。鉴于以往研究表明, 每个试次的频谱能量均进行基线矫正更合适(Hobson & Bishop, 2016), 文中主要报告以动画播放前600~300 ms作为基线进行分析所获得的结果。

2.6 结果与讨论

不同条件下顶叶μ频段的能量如表1和图3a所示。对不同条件下8~13 Hz频段能量地形图及条件间能量差异地形图, 可见图4。就μ频段能量而言, 不同条件下能量值均显著小于基线值(即0),s > 3.23,s < 0.006, Cohen’s> 0.83, 显示μ频段的抑制特性。对μ能量值进行2(电极: C3与C4) × 2(情境: 有约束与无约束)的重复测量方差分析, 结果发现: 仅有情境的主效应显著,(1, 14) = 12.51,= 0.003, η2 p = 0.47, 提示情境存在约束时μ频段能量(= –1.955 μV,= 0.567)显著高于(抑制程度更高)情境不存在约束时的μ频段能量(= –1.913 μV,=0.564); 电极的主效应,(1, 14) = 0.05,= 0.835, 电极与情境的交互作用均不显著,(1, 14) = 0.08,= 0.780。

不同条件下枕叶α频段的能量如表1和图3b所示。以枕叶α频段能量作为因变量, 2(电极: O1与O2) × 2(情境: 有约束与无约束)的重复测量方差分析结果发现: 电极的主效应((1, 14) = 1.56,= 0.232)、情境的主效应((1, 14) = 2.27,= 0.154)以及二者的交互作用((1, 14) = 0.01,= 0.951)均不显著。该结果提示, 不同类型动画所诱发的μ能量差异并非枕叶α活动的泛化。

在β频段上(表1), 对其能量进行2(电极: C3与C4) × 2(情境: 有约束与无约束)的重复测量方差分析, 结果发现: 电极的主效应((1, 14) = 0.45,= 0.514)、情境的主效应((1, 14) = 2.75,= 0.119) 以及二者的交互作用((1, 14) = 0.87,= 0.368)均不显著, 说明动作理解主要激活μ频段。

表1 实验1和实验2中有无约束情境下不同脑电指标的能量值(μV2)

注: 括号中为标准误

图3 不同条件下顶叶(a)和枕叶(b) 8~13 Hz频段能量值

注: *< 0.05; 误差条为去除被试间变异后的标准误(Cousineau & O’Brien, 2014)

图4 实验1和实验2不同条件下8~13 Hz频段能量地形图(a)及条件间能量差异地形图(b)

对所有电极上的8至13 Hz频段能量, 采用基于Cluster的置换检验(permutation test; Maris & Oostenveld, 2007), 其中采用蒙特卡洛模拟法, 并将抽样次数设置为5000, 且要求至少相邻的两个电极在存在约束情境和不存在约束情境的8至13 Hz频段能量差异上达到显著。结果依然发现C3和C4电极上, 存在约束情境的μ频段抑制程度显著高于不存在约束情境的条件, 而O1与O2上则无差异。故上述基于方差分析的结果并不能由所选择电极的特殊性所解释。

上述结果发现, 针对相同的追逐动作, 其因情境不同所激活的μ也不同, 且并非α活动的泛化, 提示情境影响人们对动作的理解。具体而言, 对有约束的情境, 即追逐者的动作可被清晰理解为趋近目标, 该条件μ的抑制程度显著高于无约束的情境, 其符合理论论的预测。

3 实验2: 追逐者运动但目标物静止

实验1的结果与理论论的预测一致, 即存在约束的情境时μ的抑制程度显著高于无约束的情境。然而, 实验1中存在约束的情境下, 追逐者有时会被障碍物遮挡, 且物理上可见时间与不存在约束的情境不相同。就模拟论而言, 该物理层面上的差异, 可能使得被试在对动作的模拟程度上不同, 从而导致μ的激活程度不一致。本实验将对这一可能性进行检验。实验中, 追逐者与实验1中的追逐者依然保持相同的运动特性, 且也对其动作发生的情境采用与实验1相同的操作, 但将实验1中的目标物置于终点并保持静止。该设置下, 不同条件间(有约束和无约束的情境)的物理差异与实验1相同, 但基于推理, 由于未到达静止目标物前, 追逐者行为意图具有一定的模糊性, 其之前路径的合理性难以明确, 故两种条件下将静止的对象当作趋近目标的程度在不同情境下相当(Brass et al., 2007; Marsh, Mullett, Ropar, & Hamilton, 2014; Southgate & Csibra, 2009)。因此, 若模拟过程是实验1中动作理解的机制, 则实验1中情境的调节效应在目标物保持静止时依然存在; 但若动作理解是基于理论论所假设的过程, 则实验1中情境的调节效应在本实验中将消失, 因为有约束和无约束的情境下对动作的推理结果相当。

3.1 方法

16名在校大学生自愿参与本实验, 其中1名被试因不符合注意检测标准, 故予以剔除(即使包含这名被试, 结果模式依然相同)。最终获得15名(其中男性7名, 女性8名)有效被试的实验数据, 被试的年龄在19~26岁之间(= 22.33岁,= 0.65岁), 视力或矫正视力正常, 无色盲, 均无身心疾病。

实验设计和流程与实验1基本相同, 除了目标物以静止的方式停留在运动的终点。数据采集与分析与实验1相同。

与实验1相同, 本实验在正式实验前招募了30名被试(男性18名, 女性12名,= 22.20岁,= 0.48岁), 要求对动画的熟悉度和动作的目标进行主观评定。结果发现, 被试对存在约束情境的动作熟悉度评分(= 3.67,= 0.35)与不存在约束情境的动作熟悉度评分(= 3.57,= 0.33)无显著差异,(29) = 0.34,= 0.735。且被试认为有约束情境下(= 4.87,= 0.35)静止智能体是运动智能体趋近的目标与无约束情境相当(= 4.93,= 0.35),(29) = 0.13,= 0.896。该结果说明, 不同情境下,被试对相同动作的理解基本相当, 提示操作有效。

3.2 结果

不同条件下诱发的μ频段能量如表1和图3a所示。对不同条件下8~13 Hz频段能量地形图及条件间能量差异地形图, 可见图4。大脑中线电极上μ频段能量均显著低于基线值,s > 3.28,s < 0.005, Cohen’s> 0.84, 再次显示μ激活体现在被抑制。以μ频段能量为因变量, 2(电极: C3与C4) × 2(情境: 有约束与无约束)的重复测量方差分析发现: 电极的主效应不显著,(1, 14) = 0.07,= 0.791; 情境的主效应不显著,(1, 14) = 0.13,= 0.720; 二者的交互作用也不显著,(1, 14) = 0.13,= 0.723。

同时, 就枕叶α频段能量(表1和图3b)而言, 2(电极: O1与O2) × 2(情境: 有约束与无约束)的重复测量方差分析未发现任何效应显著。其中, 电极的主效应((1, 14) = 1.55,= 0.234)、情境的主效应((1, 14) = 0.01,= 0.925)以及二者的交互作用((1, 14) = 0.45,= 0.514)均不显著。采用与实验1相同的基于Cluster的置换检验, 结果发现未有电极在不同条件间的8至13 Hz能量差异上达到显著。

为进一步检验实验1的结果确实由于动作理解的差异所致, 合并C3和C4电极上的数据, 以2(实验: 实验1与实验2; 被试间变量) × 2(情境: 有约束与无约束; 被试内变量)为实验设计, 对顶叶的μ频段能量进行方差分析。结果发现, 实验的主效应均不显著,(1, 28) < 0.01,= 0.999; 情境的主效应也不显著,(1, 28) = 2.45,= 0.129; 但两因素的交互作用显著,(1, 28) = 4.77,= 0.037, η2 p = 0.15。该结果提示实验操纵调节不同情境下顶叶的μ频段能量, 进一步支持实验1的结果确实由于动作加工的差异所致。

在β频段上(表1), 对其能量进行2(电极: C3与C4) × 2(情境: 有约束与无约束)的重复测量方差分析, 结果发现: 电极的主效应((1, 14) = 0.12,= 0.730)、情境的主效应((1, 14) = 0.40,= 0.540)以及二者的交互作用((1, 14) = 0.51,= 0.485)均不显著。

上述结果表明, 虽然保持与实验1条件间相同的物理差异, 但使得目标不清晰后, 条件间在μ频段能量上的差异消失。该结果表明, 实验1的结果并不能由物理差异所诱发的内部模拟不同解释, 而是由于对是否存在约束的情境间推理结果的不同所致。

4 讨论

本研究采用动画制作技术来产生追逐动作, 基于对动作发生时的情境进行操纵, 通过两项实验以指示动作加工过程的脑电μ抑制为指标, 探讨了动作理解是基于模拟论还是理论论所主张的机制。结果显示, 当追逐动作发生在存在约束的情境时, 其可基于合理性原则推测清晰的动作目标, 该条件下的μ抑制程度高于不存在约束情境的条件(实验1); 而当仅追逐者运动, 即趋近的目标不存在时, 虽然有约束和无约束的情境间的物理差异与实验1相同,但条件间μ抑制的差异消失(实验2)。该结果提示, 动作发生的情境信息影响人们对动作的理解, 支持动作理解中的理论论观点。

针对上述结果, 物理层面的差异性及其对动作发生场景的熟悉性均无法解释。具体而言, 首先, 实验1中有约束和无约束情境中运动学特性相同, 且就情境本身可能带来的物理差异也在实验2中进行了控制, 但当情境的约束使与动作符合合理性原则时, 其μ抑制相比动作和情境不符合合理性原则时更高。因此, 条件间μ抑制的差异确实由于动作理解的不同所致。其次, 针对不同情境下的动画, 被试对其熟悉度的评价相当, 故实验1中μ抑制的差异也不能由对动作熟悉的不同而解释。再者, 实验1中不同情境并不调节枕叶α激活的程度, 排除了条件间μ抑制的差异可能是由于α所指示的注意作用所致。最后, 参考以往利用μ抑制来探讨动作理解的研究(Fox et al., 2016; Pomiechowska & Csibra, 2017), 关于目标清晰是否对该成份影响程度在0.04 μV左右, 其与本研究相当(0.05 μV), 且效应量大于之前的研究(Cohen’s为0.3至0.6; 实验1中效应量转换为Cohen’s为1.88)。这一分析提示该指标在指示动作加工的敏感性和稳定性。总之, 当追逐者和目标均运动时, 有无约束情境下μ抑制确实反映了动作理解的不同, 其支持理论论。

情境信息对μ抑制的影响与之前的研究一致。如: 对于观察发生在喝茶情境下的抓握动作和清洁杯具情境下的抓握动作, 其μ抑制不同(Amoruso & Urgesi, 2016); 对于同一动作, 观看抓握杯柄所诱发的μ抑制显著高于观察抓握茶杯其它地方(Natraj et al., 2013); 对于运动学信息基本相同的抓握某个物体和指向某个物体, 观察前者诱发更强的μ抑制,且当这两个动作发生在交流情境中(动作之前呈现交流信号)时, 其差异消失(Pomiechowska & Csibra, 2017)。然而, 前述研究中不同情境中动作的物理特性也存在一定差异, 就动作理解的机制而言, 其既符合模拟论的预测, 也与理论论假设一致。但在本研究中对运动学特性进行了严格的控制, 不同情境下对动作的推理产生不同的结果, 但具有相同的模拟过程, 其可对动作理解的两种观点予以区分。最终结果支持理论论观点, 其对动作理解机制具有重要的意义。

基于推理过程的动作理解可解释人们为什么可理解首次遇到的动作。如: 对于生活中首次出现的机器人, 虽然其形态与动作的运动学特性与之前观察到的人类行为完全不同, 但当机器人以最短的路径去趋近某物体时, 观察者会对机器人赋予目标和意图, 认为获取该物体是机器人的目的(Kamewari, Kato, Kanda, Ishiguro, & Hiraki, 2005)。且基于推理过程的动作理解可使得婴儿就具有解读动作的能力。研究发现, 3个月大的婴儿就能准确理解行动背后的目的(Luo, 2011); 15个月大的婴儿可以理解之前从未见过的假装动作(pretend actions; Onishi, Baillargeon, & Leslie, 2007), 如: 拿着一个空的杯子, 假装喝水。但推理过程并不排斥经验的作用。经验可为推理提供除了合理性原则之外的其他认知约束, 如: 对于鬼鬼祟祟尾随他人的行为, 其尾随的方式并非经济, 但人们可根据积累的经验,认为尾随的人可能存在既想趋近别人又不想被别人知道的心智状态, 故呈现这种非经济的尾随动作。因此, 随着经验的积累, 人们对看似不合理行为的合理化解释越丰富, 且更能准确的解读他人的动作。

本研究以动画的形式模拟动作, 可实现对运动学特性及其动作发生情境的有效操纵, 且可对额外变量进行严格控制。因此, 该实验方法可为后续动作理解的研究提供借鉴, 进一步探讨动作理解的认知过程。但该方法所设置的动作对人类的动作进行了一定程度抽象, 其发现的结论还有待在真正的人类动作上检验生态效度。

5 结论

本研究以追逐动作为实验刺激, 以指示动作加工过程的μ为指标, 通过两项实验探讨了动作理解的认知机制, 获得以下结论: 动作发生的情境信息影响人们对动作的理解, 提示人们基于推理的过程理解动作, 支持动作加工中的理论论观点。

Amoruso, L., & Urgesi, C. (2016). Contextual modulation of motor resonance during the observation of everyday actions.,, 74–84.

Baker, C. L., Saxe, R., & Tenenbaum, J. B. (2009). Action understanding as inverse planning.(3), 329– 349.

Barrett, H. C., Todd, P. M., Miller, G. F., & Blythe, P.W. (2005). Accurate judgments of intention from motion cues alone: A cross-cultural study.(4), 313–331.

Blakemore, S. J., & Decety, J. (2001). From the perception of action to the understanding of intention.,(8), 561–567.

Brainard, D. H. (1997). The psychophysics toolbox.(4), 433–436.

Brass, M., Schmitt, R. M., Spengler, S., & Gergely, G. (2007). Investigating action understanding: Inferential processes versus action simulation.,(24), 2117– 2121.

Brown, E. C., Wiersema, J. R., Pourtois, G., & Brüne, M. (2013).Modulation of motor cortex activity when observing rewarding and punishing actions.,(1), 52–58.

Carter Leno, V., Vitoratou, S., Kent, R., Charman, T., Chandler, S., Jones, C. R., ... Simonoff, E. (2019). Exploring the neurocognitive correlates of challenging behaviours in young people with autism spectrum disorder.,(5), 1152– 1164.

Cavallo, A., Koul, A., Ansuini, C., Capozzi, F., & Becchio, C. (2016). Decoding intentions from movement kinematics.,, 37036.

Chartrand, T. L., & Bargh, J. A. (1999). The chameleon effect: The perception-behavior link and social interaction.,(6), 893–910.

Cracco, E., de Coster, L., Andres, M., & Brass, M. (2016). Mirroring multiple agents: motor resonance during action observation is modulated by the number of agents.,(9), 1422–1427.

Csibra, G. (2007). Action mirroring and action understanding: An alternative account. In: P. Haggard, Y. Rosetti, & M. Kawato (Eds.),(pp. 435–459). Oxford: Oxford University Press.

Csibra, G., Bíró, S., Koós, O., & Gergely, G. (2003). One-year- old infants use teleological representations of actions productively.,(1), 111–133.

Csibra, G., & Gergely, G. (2007). “Obsessed with goals”: Functions and mechanisms of teleological interpretation of actions in humans.(1), 60–78.

Cousineau, D., & O’Brien, F. (2014). Error bars in within- subject designs: A comment on Baguley (2012).,(4), 1149–1151.

Dijkerman, H. C., & Smit, M. C. (2007). Interference of grasping observation during prehension, a behavioural study.387–396.

di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., & Rizzolatti,G. (1992). Understanding motor events: A neurophysiological study.,(1), 176–180.

Duan, J. P., Yang, Z. X., He, X. Y., Shao, M. X., & Yin, J. (2018). Automatic attribution of social coordination information to chasing scenes: Evidence from mu suppression.,(1), 117–127.

Fogassi, L., Ferrari, P. F., Gesierich, B., Rozzi, S., Chersi, F., &Rizzolatti, G. (2005). Parietal lobe: From action organization to intention understanding.,(5722), 662–667.

Fox, N. A., Bakermans-Kranenburg, M. J., Yoo, K. H., Bowman, L. C., Cannon, E. N., Vanderwert, R. E., … van Ijzendoorn, M. H. (2016). Assessing human mirror activity with EEG Mu rhythm: A meta-analysis.,(3), 291–313.

Gallese, V., Fadiga, L., Fogassi, L., & Rizzolatti, G. (1996). Action recognition in the premotor cortex.,(2), 593–609.

Gallese, V., & Goldman, A. (1998) Mirror neurons and the simulation theory of mind reading.,(12), 493–501.

Gergely, G., Bekkering, H., & Király, I. (2002). Developmental psychology: Rational imitation in preverbal infants.,(6873), 755.

Gergely, G., & Csibra, G. (2003). Teleological reasoning in infancy: The naïve theory of rational action.(7), 287–292.

Hauser, M., & Wood, J. (2010). Evolving the capacity to understand actions, intentions, and goals.,, 303–324.

Heider, F., & Simmel, M. (1944). An experimental study of apparent behavior., 243–259.

Hobson, H. M., & Bishop, D. V. M. (2016). Mu suppression–a good measure of the human mirror neuron system?,, 290–310.

Iacoboni, M., Molnar-Szakacs, I., Gallese, V., Buccino, G., Mazziotta, J. C., & Rizzolatti, G. (2005). Grasping the intentions of others with one's own mirror neuron system.,(3), e79.

Iacoboni, M., Woods, R. P., Brass, M., Bekkering, H., Mazziotta, J. C., Rizzolatti, G. (1999). Cortical mechanisms of human imitation., 2526–2528.

Jacob, P., & Jeannerod, M. (2005) The motor theory of social cognition: A critique.,(1), 21–25.

Jara-Ettinger, J., Gweon, H., Schulz, L. E., & Tenenbaum, J. B. (2016). The naïve utility calculus: Computational principles underlying commonsense psychology.,(8), 589–604.

Kamewari, K., Kato, M., Kanda, T., Ishiguro, H., & Hiraki, K. (2005). Six-and-a-half-month-old children positively attribute goals to human action and to humanoid-robot motion.,(2), 303–320.

Kilner, J. M., Paulignan, Y., & Blakemore, S. J. (2003). An interference effect of observed biological movement on action.(6)522–525.

Klimesch, W., Sauseng, P., & Hanslmayr, S. (2007). EEG alphaoscillations: The inhibition-timing hypothesis.,(1), 63–88.

Klin, A., Jones, W., Schultz, R., & Volkmar, F. (2003). The enactive mind, or from actions to cognition: Lessons from autism.,(1430), 345–360.

Koski, L., Wohlschläger, A., Bekkering, H., Woods, R. P., Dubeau, M. C., Mazziotta, J. C., & Iacoboni, M. (2002). Modulation of motor and premotor activity during imitation of target-directed actions.,(8), 847–855.

Koul, A., Cavallo, A., Cauda, F., Costa, T., Diano, M., Pontil, M., & Becchio, C. (2018). Action observation areas represent intentions from subtle kinematic features.(7), 2647–2654.

Liepelt, R., Cramon, D. Y., & Brass, M. (2008). What is matched in direct matching? Intention attribution modulates motor priming.,(3), 578–591.

Luo, Y. Y. (2011). Three-month-old infants attribute goals to a non-human agent.,(2), 453–460.

Maris, E., & Oostenveld, R. (2007). Nonparametric statistical testing of EEG-and MEG-data.,(1), 177–190.

Marsh, L. E., Mullett, T. L., Ropar, D., & Hamilton, A. F. D. C.(2014). Responses to irrational actions in action observation and mentalising networks of the human brain.,, 81–90.

Miller, S. (2001).Cambridge: Cambridge University Press.

Muthukumaraswamy, S. D., Johnson, B. W., & McNair, N. A. (2004). Mu rhythm modulation during observation of an object-directed grasp.,(2), 195–201.

Natraj, N., Poole, V., Mizelle, J. C., Flumini, A., Borghi, A. M., & Wheaton, L. A. (2013). Context and hand posture modulate the neural dynamics of tool–object perception.(3), 506–519.

Onishi, K. H., Baillargeon, R., & Leslie, A. M. (2007). 15-month- old infants detect violations in pretend scenarios.,(1), 106–128.

Perry, A., Stein, L., & Bentin, S. (2011). Motor and attentional mechanisms involved in social interaction—Evidence from mu and alpha EEG suppression.,(3), 895–904.

Pomiechowska, B., & Csibra, G. (2017). Motor activation during action perception depends on action interpretation.,, 84–91.

Powell, L. J., & Spelke, E. S. (2013). Preverbal infants expect members of social groups to act alike.,(41), E3965–E3972.

Rizzolatti, G., & Craighero, L. (2004) The mirror-neuron system.,(1), 169–192.

Rizzolatti, G., Fogassi, L., & Gallese, V. (2001) Neurophysiological mechanisms underlying the understanding and imitation of action.,(9), 661–670.

Sommerville, J. A., Woodward, A. L., & Needham, A. (2005). Action experience alters 3-month-old infants' perception of others' actions.,(1), B1–B11.

Southgate, V., & Csibra, G. (2009). Inferring the outcome of an ongoing novel action at 13 months.,(6), 1794–1798.

Tangwiriyasakul, C., Verhagen, R., van Putten, M. J. A. M., & Rutten, W. L. C. (2013). Importance of baseline in event- related desynchronization during a combination task of motor imagery and motor observation.,(2), 026009.

Ullman, T. D., Baker, C. L., Macindoe, O., Evans, O., Goodman,N. D., & Tenenbaum, J. B. (2009). Help or hinder: Bayesian models of social goal inference. In Y. Bengio et al. (Eds.),. Vancouver: NIPS Foundation.

Ulloa, E. R., & Pineda, J. A. (2007). Recognition of point-light biological motion: Mu rhythms and mirror neuron activity.,(2), 188–194.

Wellman, H. M., Cross, D., & Watson, J. (2001). Meta-analysisof theory-of-mind development: The truth about false belief.,(3), 655–684.

Ye, H. S. (2016). The significances of mirror neurons.(4), 444–456.

[叶浩生. (2016). 镜像神经元的意义.(4), 444– 456.]

Yin, J., Xu, H. K., Ding, X. W., Liang, J. Y., Shui, R. D., & Shen, M. W. (2016). Social constraints from an observer’s perspective: Coordinated actions make an agent’s position more predictable.,, 10–17.

Contextual modulation of action interpretation: Automatic integration of situational contexts during action understanding

YANG Yisong; LIN Jing; HE Xiaoyan; YIN Jun

(Department of Psychology, Ningbo University; Center of Group Behavior and Social Psychological Service, Ningbo University, Ningbo 315211, China)

Action understanding enables us to predict others’ actions and interact with them smoothly; however, its impairment makes patients unable to take care of themselves leading to cases such as autism. Despite the central importance of action understanding, the cognitive mechanisms involved in it remain highly controversial. Two alternative accounts have been advanced. Simulation theory assumes that we understand actions by simulating the observed behavior through a direct matching process, which has been suggested to usually activate the mirror-neuron circuit. The alternative interpretive account (i.e., theory) assumes that action understanding is based on specialized inferential processes, in which a goal is assigned to an action by evaluating its efficiency as an optimal means of obtaining the goal within the specific constraints of the situation. Each account was supported by previous studies, but due to mythological drawbacks, the evidence can be explained by both accounts. Hence, it remains unclear how action understanding is implemented in our cognition.

The simulation theory claims that action understanding is sensitive to minor differences in the kinematics of actions, and the theory emphasizes the role of contextual information in action understanding. Namely, according to the theory, even for identical actions, contextual information modulates action understanding. Hence, to examine which account is involved in action understanding, we created a chasing action wherein a chaser pursues a movable target, but the chasing action occurred in different contexts. Specifically, in a constrained context, the chaser had to bypass the obstacles to approach the target, and the chaser’s action was efficient in catching the target, while in an unconstrained context, the obstacles were removed but the chaser still implemented the same action as in the constrained context. All actions lasted for 3 seconds. In both contexts, the chaser and the target had exactly the same kinematics, but were assigned different goals if the inferential process is involved. To identify the outcome of action understanding, we measured μ suppression (electroencephalogram oscillations within the 8–13 Hz range in the sensorimotor regions; namely, C3 and C4 channels) related to action understanding. Participants were asked to count the fillers (i.e., incomplete chasing action) when watching actions presented on the screen.

It was found that the chasing action occurred in the constrained context (= –1.955 μV) induced more μ suppression than the action occurred in the unconstrained context (= –1.913 μV), but in both contexts, the evaluated familiarity for them was not significantly different (Experiment 1). Importantly, the occipital α with the same frequency band as μ was not modulated by the contextual information, but this component was suggested to be functional with the attentional mechanisms. In Experiment 2, to further test whether the effect in Experiment 1 was specific to the inferential process, the target was set to be still but the chaser still moved in the same way, which cannot be attributed to an analytical goal. In this case, the possible simulation difference between constrained and unconstrained contexts when the target was still was almost the same as when the target was moving; however, we found that the difference in μ suppression between constrained and unconstrained contexts was insignificant.

Our findings showed that contextual information modulates μ suppression, suggesting that the action understanding is sensitive to the context, and the assigned goal for the actions depends on the contextual information. Hence, our findings support the assumption that action understanding is primarily mediated by an inferential interpretive system rather than a simulation process.

action understanding; chasing action; context; simulation theory; theory theory; μ suppression

B842

2019-09-02

* 国家自然科学基金面上项目(31871091)、宁波大学研究生科研创新基金(G19057)资助。

尹军, E-mail: yinjun1@nbu.edu.cn

猜你喜欢
电极频段约束
巧妙解决燃料电池电极式书写问题
二氧化钛纳米管阵列/钛pH电极制备与表征
高低频规划明确:中国5G稳中求进
马和骑师
原电池电极的判断及电极反应式的书写
推挤的5GHz频段
LTE扩张计划
三大运营商再度拼抢4G频率:瞄上广电700M频段
CAE软件操作小百科(11)
几种新型燃料电池电极反应式的书写