手势促进语言的理解与学习：具身认知的视角

任 琳 丁道群，2 黎晓丹 梁敏响

(1湖南师范大学心理学系，长沙 410081；2认知与人类行为湖南省重点实验室，长沙 410081）

1 引言

人们在学习一门外语或者儿童在学习时常常会使用手势，用以帮助自己更好地理解或表达，如婴儿使用手势向别人表达自己的需要。手势也可以传达出一个人的状态，如成语“手忙脚乱”形容遇事慌张，不知如何是好；一个人“手舞足蹈”——两手舞动，两只脚也跳了起来，形容高兴到了极点；喜欢“指手画脚”的人往往在说话时趾高气昂或得意忘形。在演讲、谈判等社会交流中，人们也总是会借助手势表达自己的想法，增强交流效果。研究者依据是否伴随语言的产生一般将手势分为两类：非表象性（non－representational）手势和表象性（representational）手势。非表象性手势包括标志性手势（emblem）和连续敲打（beat）的手势，而表象性手势伴随着语言而产生，包括指示性手势、隐喻性手势和象征性手势 （马利军，张积家，2011）。在手势与语言的关系上，无论使用手势动作过程中是否伴随语言，手势均会对个体理解和学习语言产生一定的影响 （Beilock，2016）。越来越多的研究支持手势和言语系统存在相互作用。首先，手势和言语动作基于相似或相同的生理基础，手势和语言共享同一交流系统（马立军，张积家，2011）。其次，从词语起源上，作为语言基本要素之一的词汇应该主要起源于伴随不及物动作 （intransitive actions）和手势（pantomimes）相关联的声音，而不是起源于与目标相关的动作（陈巍，郭本禹，单春雷，2012）。同时，两者之间的联系依赖于手势和言语这两种信号的语义一致性。

基于传统认知心理学的立场，手势之所以能够影响个体的语言理解和学习，其作用机制有不同的说法。Kita等提出了手势的概念化假设用以解释手势的自我导向功能（Kita， Alibali， ＆ Chu， 2017）。他们认为手势的自我导向功能是通过激活（activate）、操作（manipulate）、包装（package）及探索（explore）四种主要方式来影响个体的认知过程，通过这四种方式可以将信息进行图形化（schematize），也就是关注的小部分信息与手上的任务相关。也有学者认为，手势只是个体在精神上模拟表演各种动作的外延。手势让个体的精神表达更加生动形象，让个体在真正做出动作之前用手来演示动作，或者让个体在完整思考整件事并总结成语言之前，用手来模拟这些行为（Hostetter＆ Alibali，2008）。以上作用机制从不同的角度解释了手势对语言理解和学习的影响，但仍存在一些问题。一方面，经典认知理论忽视了手势动作这一身体经验的作用；而另一方面，依据手势的分类我们可以知道手势并不单单是手部的动作，手势包括了不同的内涵，如指示信息、特定的文化意义等。从这个问题上说，具身认知理论这一新的研究取向可以从不同的角度很好解释手势对语言理解和学习的影响。

从具身认知 （embodiment cognition）理论角度解析手势对语言的作用，主要体现在两个层面：一是手（手指、手臂等）作为身体的一部分所形成的身体经验，认知过程进行的方式和步骤实际上是被身体的物理属性所决定的，同时认知的内容也是身体提供的（叶浩生，2010），这其中包括具身模拟和具身隐喻；二是具身语义理论（embodiment cognition of semantic theory）认为，语言是具身的，是人从一出生开始，便与身体和环境不断发生相互作用，并通过感知、动觉、运动系统形成记忆、情感等方面的高级官能认知过程。因此，具身语义理论贯穿于手势对言语影响的全过程。接下来，本文结合行为实验和ERP、fMRI等脑科学的技术应用，探究具身认知视角手势对语言理解和学习的作用。

2 语言理解和学习中手势的具身模拟作用

具身模拟（embodied simulation）是指个体对身体动作与环境的观察、身体感知模拟等过程中的认知功能（黎晓丹，丁道群，2017）。中国成语中有许多和身体动作经验相关的词语：如“右手画圆，左手画方”比喻用心不专，什么事也办不成，这源自于人们对实际身体的体验，很难把这两个手部动作同时做好；“额手称庆”就是把手放在额上，表示庆幸；“拍案而起”指一拍桌子猛地站起来，形容非常愤慨。这里手势的作用在于指明客体在物理空间或概念空间的相对方位，包含了空间信息，即更多的是指示性手势（pointing gesture）。国内研究者将指示性手势对婴儿语言学习的影响机制分为两种：影响学习环境和影响学习者（伍珍，郭睿，2017）。在影响学习者的方式上主要表现为，提高注意力和唤醒水平，体现与外部世界交流的动机，体现主动寻求信息的动机，并将指示性手势作为促进学习的认知工具。而具身语义理论认为语义理解是基于自身动作经验的认知活动，其中镜像神经系统（mirror neuron）是理解动词语义和动作意图的共同神经基础，它以第一人称的视角把感觉信息转换为动作图式，让人产生感同身受的体验。

手势动作是身体动作的一部分，其作用在手势使用对语言理解和学习的具身模拟功能上得以体现，并得到了实验的证实。Meredith等发现，在教授词汇的过程中使用相应的手势会增加新单词的语义（Meredith， Rowe， et，al，2013）。 Macedonia 等同样发现，在教授母语为德语的成人学习外语词汇时，伴随着标志性手势比伴随着无意义手势的成人会更好地 学 习 词 汇 （Macedonia，Muller， ＆ Friederici，2011）。Cook等完成了一项儿童研究，发现鼓励孩子们在学习时使用手势之后，他们对所学的内容记忆得更牢固了。手部动作有助于我们的学习，一般来说，我们都希望在思考的时候能用上我们的手（Cook， Duffy， ＆ Fenn，2013）。 而从接收者角度来讲，演讲者有意义的手势能够促进词汇的理解学习。有意义的手势和高频词可以促进最高的学习准确度，但若使手势发挥作用还需要考虑任务难度（Hupp ＆ Gingras， 2016）。

具身模拟除了具备动作认知系统的功能，还有着例如共情（包括痛觉、面部表情和情绪性身体语言的模拟）、调整身体拥有感（body ownership）、身体经验的互动学习等自动化的高级心理过程。其激活的大脑区域功能包含视觉、动作和情绪等，其涉及的大脑区域主要包括视觉皮层、躯体感觉皮层、前运动皮层等（黎晓丹，丁道群，2017）。研究表明，运动系统的激活（手做动作）有助于人脑的语义加工过程。具体而言，手和脚运动相关的脑区域的预激活分别导致了运动皮层以及之后一致的词语处理期间pSTL的激活减少，反应类型和词语类型之间的一致性效应发生在150ms左右，即语义信息检索的最早阶段（Mollo， Friedemann， ＆ Hauk， 2015）。

具身认知理论认为，我们的范畴、概念、推理和心智是由我们的身体经验形成的，特别与感觉运动系统息息相关 （叶浩生，2017）。在一项fMRI研究中，让被试读出实验过程中所呈现的与面孔、手臂、腿部运动相关的一些词语（如笑、挥手、抖腿等）。结果显示，当被试读词语时，脑区的激活部位与真正用手臂、腿部、脸部运动时激活的脑区有重叠，并且激活了镜像神经系统，词语语义理解脑区与负责相应动作的感觉运动脑区是拟合的（Pulvermüller，Kherif， Hauk， Mohr， ＆ Nimmo－Smith， 2009）。 苏得全等人同样采用fMRI技术，发现汉语中涉及动作的成语语义理解脑区与负责相应动作的感觉运动脑区是拟合的，汉语动作成语语义理解表现出具身效应（苏得权，钟元，曾红，叶浩生，2013）。

3 语言理解和学习中手势的具身隐喻作用

隐喻（metaphor）在文学、影视作品中应用广泛，是指一个认知域中的概念系统地用于对另外一个认知域中的概念进行表达，这种表达在大多数情况下是自动化的、不被人所意识到的。隐喻反映了人类认知化发展的过程和思维的基本方式，为了解人类的认知提供了一个视窗。概念隐喻（conceptual metaphor）理论认为，隐喻不仅是一种语言修辞手段，更反映了人类认知的重要特征：人类的抽象概念系统是以感知觉经验和具体概念为基础发展形成的。根据概念隐喻理论，主体可以以感知运动经验对抽象概念进行体验式表征与加工（殷融，苏得权，叶浩生，2013）。

关于手的隐喻在中国成语中也有体现。如“洗手奉职”用洗手比喻廉洁奉公，“白手起家”形容在没有基础和条件很差的情况下自力更生，艰苦创业。有些手势动作往往代表着特定的信息，且在不同民族之间或同一民族的不同群体之间存在着巨大的文化差异。如“竖起大拇指”的手势在美国意味着“进展顺利”，在中国更多的时候表示“真棒”，但在孟加拉国则是对人的一种侮辱。手势的隐喻功能通常在标志性手势和象征性手势（symbolic gesture）以及隐喻性手势（metaphoric gesture）中得以体现。

标志性手势具有稳定的形式和恒定的意义，类似于语言交流中的单词，如交叉手臂或指向。Friedman和Elliot等让一些人交叉起手臂，发现这些人能花两倍的时间去解答一些很难的字谜，并且他们的毅力使得他们的正确率提高了不少（Friedman＆ Elliot，2010），这就源于交叉双臂给人带来的力量感。同样，双臂交叉的被试在空间判断的视角选择上更倾向于第一人称视角，即以自我为中心（Furlanetto， Gallace， Ansuini， ＆ Becchio，2014）。Maricchiolo等发现手的动作比任何一个其他部位的动作都能够增强信息的说服力，能让你所说内容更易被理解。比如当说到过去时，指向身后的说服效果更好 （Maricchiolo， Gnisci， Cerasuolo，Ficca， ＆ Bonaiuto， 2016）。

象征性手势是对物体的形状、运动和行为的具体性描述，必须伴随语言才能理解其含义。象征性手势有时也发挥隐喻性手势的作用，表示物体的抽象本质。根据身体特异性假说 （body－specificity hypothesis），右撇子倾向于把右向的空间与积极的想法联系起来，左向的空间与消极的想法联系起来，而左撇子则表现出相反的模式（Casasanto，2009）。个体更多地用自己的利手表达积极的正面的信息。奥巴马（左利手）在2008年谈到医疗保险并持肯定意见时，使用了他的左手，相反，2004年共和党领导人约翰·克里（John Kerry，右利手）做正面论述时使用右手（Casasanto ＆ Jasmin，2010）。

手语也是人类语言通过视觉表达的方式，有其自身特性，不仅仅是手势的集合。隐喻也是手语扩展词义的重要方式之一。手语中有一定数量的象似性（iconicity），一个单词和它所指的事物具有某些相同的物理性征（Cowles，2012）。受文化差异的影响，某些手语中手部动作的代表意义是不一致的。如美国手语和中国手语中“树”的表达都是象形的，中国手语中手被看作缠绕在树干上，然后向上滑行，而美国手语中以手臂树立表示“树”。尽管手语和手势都传达了符号含义，但它们被认为在根本上是有区别的，Aaron Newman对19名先天性耳聋的美国手语（American sign language，ASL）母语使用者与 19 名有听力的非手语英语母语使用者的研究表明，手语和手势可能是被人类大脑的不同神经系统处理的。研究通过fMRI监测大脑活动，在耳聋的受试者中，与手势相比，美国手语关于运动的动词触发了此前被认为与有听力的人的语言处理有关的大脑左半球区域更大的活动。相比之下，对于有听力的受试者，美国手语动词与手势都激活了大脑两半球与处理人类运动而非语言有关的大脑区域。结果表明，手语者可能不是把美国手语关于运动的动词作为图像处理，而是作为具有语言结构的单元加以处理，也就是类似于手势的表示 （Newman，Supalla， Fernandez，Newport， ＆ Bavelier，2015）。这对于拓展手势的空间、情感、概念等隐喻内涵有重要的意义，可以很好地应用到聋哑人的沟通交流和特殊教育的发展上。

4 展望

首先，随着具身认知的研究深入和认知神经科学的发展，如何定位具身认知以及拓展、整合具身认知的研究变得尤为重要。在手势促进语言的理解与学习中，具身认知理论这一心理学新进展为研究者提供了不同于经典认知的研究框架，但是如何理解具身认知和经典认知科学的不同内涵，或者在两者之间搭建桥梁，建立联系，从而更全面地认识和分析其对语言的影响更为关键。

在过往关于“强具身”和“弱具身”的争论中，强具身观完全拒绝传统认知科学的计算和表征理论，认为认知和心智是身体与环境互动的产物；弱具身观虽然强调了身体的作用，但是经典认知科学的计算和表征仍被保留了下来，同时身体作用得到承认。但随着计算机模型的不断优化，在理论层面上，计算理论取向的心理学研究得到越来越多研究者青睐。从理论出发建立假设，构建计算模型，研究计算特征，再比较人类行为特征，从而验证或优化理论。在人工智能突飞猛进的今天，具身认知和经典认知的融合取向可以帮助我们在生产、生活领域更大程度地发挥身体经验的优势。

其次，在心理语言学领域，在验证具身语义理论的同时融合心理语言学研究方法和理论，如N400成分已经逐渐成为语义加工和语用加工的脑电特征。在大量的ERP研究中，发现所有的单词都会引发N400成分，但反应的大小取决于特定单词的期待程度和实际单词偏离预期单词的程度之类的问题（Cowles，2012）。双语者的脑激活模式存在个体差异，结合身体经验和不同文化的双语者其语义加工过程也值得探讨，这些可以在失语症、自闭症等患者干预性训练中发挥作用。

最后，虚拟现实的运用可以帮助研究者在技术上实现具身操作。但和过往研究中的现实性具身不同，这里更多的是虚拟性具身（virtual embodiment），即在虚拟世界中拥有感知 （Ziemke，Alterman，＆Kirsh，2015）。它的优点在于融合了具身认知中的结构耦合（在现实生活动中做手势动作，虚拟技术可以模仿该动作）、历史性具身（虚拟世界中有历史，会记得之前做过的事情）和社会具身（真实的交互），具身效果越好，感知环境和环境交互的能力也就越好。但它同时也会引发一些问题，比如社会隔离和沉浸在虚拟世界中。

考勒斯.（2012）.心理语言学.北京：人民卫生出版社.

叶浩生.（2017）.具身认知—原理与应用.北京：商务印书馆.

Beilock.（2016）.具身认知：身体如何影响思维和行为.北京：机械工业出版社.

陈巍，郭本禹，单春雷.（2012）.从言语的知觉运动理论到具身语义学：来自镜像神经元系统的证据.山东师范大学学报（人文社会科学版），57（5）， 144－150.

黎晓丹，丁道群.（2017）.具身模拟的认知神经机制.中国临床心理学杂志，25（5）， 835－838.

马利军，张积家.（2011）.语言伴随性手势是否和语言共享同一交流系统？心理科学进展，19（7），983－992.

苏得权，钟元，曾红，叶浩生.（2013）.汉语动作成语语义理解激活脑区及其具身效应：来自 fMRI的证据.心理学报，45（11）， 1187－1199.

伍珍，郭睿.（2017）.婴儿指示性手势与其语言学习的关系.心理科学进展，25（10）， 1705－1712.

叶浩生.（2010）.具身认知：认知心理学的新取向.心理科学进展，18（5）， 705－710.

叶浩生.（2014）.“具身”涵义的理论辨析.心理学报，46（7）， 1032－1042.

殷融，苏得权，叶浩生.（2013）.具身认知视角下的概念隐喻理论.心理科学进展，21（2）， 220－234.

Casasanto， D. （2009）.Embodiment of abstract concepts：Good and bad in right－and left－handers.Journal of Experimental Psychology：General，138（3）， 351.

Casasanto， D.， ＆ Jasmin， K.（2010）.Good and bad in the hands of politicians：Spontaneous gestures during positive and negative speech.Plos One，5（7）， e11805.

Cook， S.W.， Duffy， R.G.， ＆ Fenn， K.M.（2013）.Consolidation and transfer of learning after observing hand gesture.Child Development，84（6）， 1863－1871.

Furlanetto， T.， Gallace， A.， Ansuini， C.， ＆ Becchio， C.（2014）.Effects of arm crossing on spatial perspectivetaking.Plos One，9（4）， e95748.

Friedman， R.， ＆ Elliot， A.J. （2010）.The effect of arm crossing on persistence and performance.European Journal of Social Psychology，38（3）， 449－461.

Hostetter， A.B.， ＆ Alibali， M.W. （2008）.Visible embodiment： Gestures as simulated action.Psychonomic Bulletin＆Review，15（3）， 495－514.

Hupp， J.M.， ＆ Gingras， M.C.（2016）.The role of gesture meaningfulness in word learning.Gesture，15（3），340－356.

Kita， S.， Alibali， M.W.， ＆ Chu， M. （2017）.How do gestures influence thinking and speaking？ The gesture－for－conceptualization hypothesis.Psychological Review，124（3）， 245

Macedonia， M.， Muller， K.， Friederici， A.D.（2011）.The impact of iconic gestures on foreign language word learning and its neural substrate.Human Brain Mapping， 32： 982-998.

Maricciolo， F.， Gnisci， A.， Cerasuolo， M.， Ficca， G.， ＆Bonaiuto， M. （2016）.Speaker’s hand gestures can modulate receiver’s negative reactions to a disagreeable verbal message.Toward Robotic Socially Believable Behaving Systems－Volume I.Springer International Publishing.

Meredith L.Rowe， Rebecca D.Silverman， BridgetE.（2013）.Mullan.The role of pictures and gestures as nonverbal aids in preschoolers’ word learning in a novel language.Contemporary Educational Psychology，38（2）： 109－11

Mollo， G.， Pulvermüller， F.， ＆ Hauk， O. （2016）.Movement priming of eeg／meg brain responses for actionwords characterizes the link between language and action.Cortex，74， 262－276.

Newman， A.J.， Supalla， T.， Fernandez， N.， Newport， E.L.， ＆ Bavelier， D.（2015）.Neural systems supporting linguistic structure， linguistic experience， and symbolic communication in sign language and gesture.Proceed-ings of the National Academy of Sciences，112（37），11684－11689.

Pulvermüller， F.， Kherif， F.， Hauk， O.， Mohr， B.， ＆Nimmo－Smith， I. （2009）.Distributed cell assemblies for general lexical and category－specific semantic processing as revealed by fMRI cluster analysis.Human Brain Mapping，30（12）， 3837－3850.

Ziemke， T.， Alterman， R.， ＆ Kirsh， D. （2015）.What’s that thing called embodiment？Annual Meeting of the Cognitive Science Society.