手语词识别的影响因素探讨——手语词的两个网络系统及其交互作用*

陈穗清张积家李艳霞张惠霞

(1广州大学教育学院,广州510006)(2中国人民大学心理学系,北京100872)(3广州大学市政技术学院,广州510800)

1 前言

词汇识别是通过词形或词音,在头脑中激活事物或对象,理解并提取词义的过程。词汇识别既包含着由形或音至义的数据驱动加工,又包含着由义至形或音的概念驱动加工。书面语认知的研究表明,词汇认知涉及两个网络系统：词汇网络系统和语义网络系统。词汇的物理形式(词形或语音)首先激活了词汇网络系统的词形的结构特征或词音的韵律特征,然后激活由词汇网络系统扩散到语义网络系统,激活词所表征的概念结点,然后,激活沿着概念结点和上属结点之间的连线扩散,提取词汇的语义(Collins&Loftus,1975;张积家,张厚粲,彭聃龄,1990;张积家,彭聃龄,1993)。已有研究很少关注手语词识别。人们不清楚手语词识别是否遵循着词汇识别的普遍规律,手语词识别是否具有某种特殊性。词汇识别理论的构建也都以口语词识别和书面语词识别的研究为基础,因而显得不够全面。

手语(sign language)是聋人使用手的指式、动作、位置和朝向,配合以面部表情,在三维空间中按照一定的语法来表达思想。口语诉诸于语音,书面语基于词形,手语依赖于身体运动(国华,2005)。中国手语(以下简称“手语”)在语汇上借用汉语语汇,在构字法上学习汉字的构字方式,具有语素(morpheme)。然而,汉语的书面语词由汉字组成,汉字的字形既表义也表音,以平面型的方式呈现,稳定而且持久;手语的“语形”相当于汉字的语音,包括位置、手形、运动和手掌朝向等。手语以相继的方式呈现,稍纵即逝。手语的语法也具有某种独特性,包括象似性、语序等(王静,2008;陈磊,张积家,2011)。

目前,手语词识别的研究正处于起步阶段。已有研究大多关注“语音信息”对手语词识别的影响。Emmorey和Corina(1990)使用gating范式将手语切分为33 ms的片断连续呈现给聋人,发现手语词的识别受亚词汇信息影响：先位置,次手形,后运动。Corina和Hildebrandt(2002)将语音参数两两配对：运动+位置、运动+手形、位置+手形,发现具有相同的运动和位置的词对被评定为更加相似。Thompson,Emmorey和Gollan(2005)发现,相对于动作,聋人更容易提取目标词的手形、位置和方向。Corina和Knapp(2006)发现,当目标词与分心词具有相同的位置和运动时,语音促进效应更加显著。Baus,Gutiérrez-Sigut,Quer和Carreiras(2008)发现,当加泰罗尼亚手语的手形与分心图片对应的手形或运动相同时,反应时短于两者无语音关联时;当两者的位置相同时,反应时长于两者无语音关联时。在国内,赵锡安(1999)根据汉字构字法将中国手语词分为象形、指事、会意、形声、转注和假借,还有同义词替代、仿字和书空等表达方式。汉字的表达方式从象形到会意到假借,逐步走向了抽象化(张积家,王娟,刘鸣,2011)。既然中国手语词的构词方式与汉字类似,那么,中国手语词的识别过程和影响因素是否也与汉字识别类似？

研究表明,词汇网络和语义网络中的许多变量都对汉字认知过程有影响,它们之间还存在着显著的交互作用。例如,词频(熟悉性)影响汉字识别,高频字比低频字识别得快,错误率亦低(高定国,钟毅平,曾铃娟,1995;张积家,方燕红,陈新葵,2006)。低频汉字比高频汉字激活了更多的脑区(Kuo&Yang,2009)。Carreiras,Gutiérrez-Sigut,Baquero和Corina(2008)发现,使用西班牙手语的聋人识别高熟悉的手语词显著快于识别低熟悉的手语词。在国内,只有个别研究关注熟悉性对于手语词识别的影响(张积家,陈磊,陈穗清,2013)。在汉字识别中,存在着笔画数效应和部件数效应,笔画多、部件多的汉字比笔画少、部件少的汉字容易识别(彭聃龄,王春茂,1997;张武田,冯玲,1992);存在着笔画重复性效应,笔画重复的汉字比笔画不重复的汉字容易识别(张积家,王惠萍,张萌,张厚粲,2002);存在着结构对称效应,结构对称的汉字比结构不对称的汉字容易识别(陈传峰,黄希庭,1999)。笔画数、部件数、笔画重复性与结构对称与否均涉及汉字字形的复杂度。笔画多、部件多、笔画复杂、结构不对称的汉字比笔画少、部件少、笔画单一、结构对称的汉字更加复杂。手语词没有笔画和部件,也不存在着结构对称性,但却有着手形和视觉的复杂度。手语词的复杂度是否影响手语词识别？与书面语词不同,手语词具有更强的象似性。象似性(iconicity)是词汇与所表征事物的理据程度,特别是对所表征事物的模仿程度。象似性是否影响手语词识别？在汉字词识别中,亦存在着具体性效应,具体词比抽象词更容易认知(陈宝国,彭聃龄,1998;张积家,陈新葵,2005;张积家等,2006;张钦,张必隐,1997)。作为形象性非常强的语言,具体性是否影响手语词识别？本研究将在“两个网络系统”理论基础上,考察熟悉性、复杂度、象似性和具体性这4个变量对手语词识别的影响,其中,熟悉性和复杂度属于词汇网络系统的变量,象似性和具体性属于语义网络系统的变量。本研究不仅关注每一具体因素对手语词识别的影响,还关注手语词的两个网络系统的变量之间的交互作用。由于词频或熟悉性是词汇网络系统中最为常见的实验变量,因此,本研究关注熟悉性同象似性、具体性之间的交互作用,以考察手语词的两个网络系统的变量间的相互影响。如果在手语词识别中发现了熟悉性效应、复杂度效应、象似性效应和具体性效应,而且手语词的熟悉性同象似性、具体性之间存在着显著的交互作用,就说明虽然手语词汇具有某种特殊性,但其识别过程和影响因素却与书面语词识别类似,也牵涉词汇网络系统和语义网络系统,手语词识别与书面语词识别具有共性。本研究期望通过考察影响手语词识别的因素,揭示手语词认知的特点与加工机制。

2 材料选取

(1)手语词评定：从《中国手语》(修订版)(2003)选取手语词350个,以图片形式呈现。22名不参加实验的聋大学生对手语词的熟悉性、复杂度、象似性和具体性做7点评定。熟悉性(复杂度、象似度、具体性)越高,评分就越高;熟悉性(复杂度、象似度、具体性)越低,评分就越低。象似性是手语词的语义和手形之间的显而易见的关系,如模仿生活中的动作,或者模仿事物的外貌、形状。由于象似种类繁多,因此限定象似性的范围：均为名词,高象似的手语词是指手语词与所指代的事物非常象似,低象似的手语词的定义则相反。具体性是指词汇容易唤起所指事物表象的程度。所有属性都列举了相应例子,以方便聋生理解。手语词均由两个语素构成。

(2)制作假词：将真手语词的两个部件拆分开来,重新组合。假手语词符合手语词的构成方式。在实验前,由2名聋校老师确认假词中无合法的手语词。真、假手语词均采用视频来呈现。

(3)制作材料：手语视频使用Panasonic机器录制,请获得手语证书的聋人来制作。聋人身穿黑色衣服,背景为白色墙壁,以突显动作的清晰度。在开始手语前,聋人的手放在膝盖上,手语结束后,手放回原处。手语视频使用视频软件Adobe Premiere CS4.0编辑,每个视频都被标准化,持续时间为2500 ms。视频大小为720×576像素,帧频为每秒25帧。手语视频都转换为WMV格式。

表1 实验1手语词的匹配情况

3 实验1熟悉性和复杂度对手语词识别的影响

3.1 被试

25名先天聋人,男性15人,女性10人,能够熟练地使用手语,文化程度为高中及以上,平均受教育年限为11.40±1.19年,平均年龄为17.54±1.40岁,智力正常,听力损伤程度在55dB以上,裸视或矫正视力正常。

3.2 设计和材料

2(手语词的熟悉性：高/低)×2(手语词的复杂度：高/低)重复测量设计。因变量是聋人对手语词判断的反应时和错误率。材料包括48个真手语词：高熟悉高复杂词、高熟悉低复杂词、低熟悉高复杂词和低熟悉低复杂词各12个。材料情况见表1。

统计检验表明,高、低熟悉词的平均熟悉性差异显著,

t

(46)=24.58,

p

<0.001;两组高熟悉词之间、两组低熟悉词之间的平均熟悉性差异不显著,

ps

>0.05。高复杂词与低复杂词的平均复杂度差异显著,

t

(46)=24.19,

p

<0.001;两组高复杂词之间、两组低复杂词之间平均复杂度差异不显著,

ps

>0.05。以具体性为因变量,2(手语词的熟悉性：高/低)´2(手语词的复杂度：高/低)的方差分析表明,高、低熟悉词的平均具体性差异不显著,高、低复杂词的平均具体性差异不显著,手语词的熟悉性和复杂度的交互作用不显著,

ps

>0.05。以象似性为因变量,2(手语词的熟悉性：高/低)´2(手语词的复杂度：高/低)的方差分析表明,高、低熟悉词的平均象似性差异不显著,高、低复杂词的平均象似性差异不显著,手语词的熟悉性和复杂度的交互作用不显著,

ps

>0.05。外加48个假词。4个真词和4个假词作为练习材料。

3.3 仪器和程序

采用E-prime 2.0编程。告诉被试真、假手语词的区别。在实验时,首先呈现红色注视点500 ms,空屏500 ms,然后在注视点位置呈现手语视频,要求被试又快又准地判断是真词还是假词,屏幕为黑色。半数被试如果判断是真手语词就按下F键,如果判断是假手语词就按下J键,半数被试的用手规定相反。每个手语视频播放2500 ms,手语视频播放后会停留在同一个界面上,直至被试做出反应,视频界面消失,间隔500 ms后,进入同样流程判断下一刺激。材料随机出现,计算机记录从刺激呈现到做出反应的时间间隔及错误率。计时单位为ms,误差为±1 ms。共有96次测试。数据用SPSS 16.0分析(下同)。

图1 被试的平均反应时(ms)

3.4 结果与分析

只分析真手语词的数据。删除4名错误率超过50%的被试的数据。反应时分析时删除错误反应、反应时在

M

±2.5

SD

之外以及在视频前20%(500 ms以下)做出判断的数据。见图1和图2。反应时的方差分析表明,手语词的熟悉性的主效应非常显著,

F

(1,20)=31.31,

p

<0.001,η=0.61;

F

(1,44)=18.36,

p

<0.01,η=0.30。高熟悉的手语词的反应时短。手语词的复杂度的主效应非常显著,

F

(1,20)=10.61,

p

<0.01,η=0.34;项目分析不显著,

F

(1,44)=3.02,

p

>0.05。低复杂的手语词的反应时短。手语词的熟悉性和复杂度的交互作用不显著,

F

(1,20)=1.38,

p

>0.05,

F

(1,44)=0.01,

p

>0.05。错误率的方差分析表明,手语词的熟悉性的主效应非常显著,

F

(1,20)=20.47,

p

<0.001,η=0.51;

F

(1,44)=4.93,

p

<0.05,η=0.10。高熟悉的手语词的错误率低。手语词的复杂度的主效应非常显著,

F

(1,20)=27.27,

p

<0.001,η=0.58;项目分析边缘显著,

F

(1,44)=3.41,

p

=0.06,η=0.07。低复杂的手语词的错误率低。手语词的熟悉性和复杂度的交互作用不显著,

F

(1,20)=0.87,

p

>0.05,

F

(1,44)=0.17,

p

>0.05。

3.5 讨论

图2 被试的平均错误率(%)

表2 实验2的手语词的匹配情况

4 实验2象似性对手语词识别的影响

4.1 被试

26名先天聋人,男性17人,女性9人,能够熟练使用手语,文化程度为高中及以上,平均受教育年限为11.62±1.21年,平均年龄为17.71±1.54岁,智力正常,听力损伤程度在55 dB以上,裸视或矫正视力正常。

4.2 设计和材料

2(手语词的熟悉性：高/低)×2(手语词的象似性：高/低)重复测量设计。因变量是聋人对手语词判断的反应时和错误率。材料包括52个真词：高熟悉高象似词、高熟悉低象似词、低熟悉高象似词、低熟悉低象似词各13个。材料情况见表2。

统计检验表明,高、低熟悉词的平均熟悉性差异显著,

t

(50)=23.24,

p

<0.001;两组高熟悉词之间、两组低熟悉词之间的平均熟悉性差异不显著,

ps

>0.05。高、低象似词的平均象似性差异显著,

t

(50)=16.04,

p

<0.001。两组高象似词之间、两组低象似词之间的平均象似性差异不显著,

ps

>0.05。以手语词的复杂度为因变量,以手语词的熟悉性和象似性为自变量,2(手语词的熟悉性：高/低)´2(手语词的象似性：高/低)的方差分析表明,高、低熟悉词的平均复杂度差异不显著,高、低象似词的平均复杂度差异不显著,熟悉性和象似性的交互作用不显著,

ps

>0.05。以手语词的具体性为因变量,以手语词的熟悉性和象似性为自变量,2(手语词的熟悉性：高/低)´2(手语词的象似性：高/低)的方差分析表明,高、低熟悉词的具体性差异不显著,高、低象似性词的具体性差异不显著,熟悉性和象似性的交互作用不显著,

ps

>0.05。另外还有52个假词。4个真词和4个假词作为练习材料。

4.3 仪器和程序

采用E-prime 2.0软件编程。程序同实验1。每个被试经历了104次测试。

4.4 结果与分析

分析真手语词的数据。删除了4名错误率超过50%的被试。反应时分析时删除错误反应、反应时在

M

±2.5

SD

之外和在视频前20%做出判断的数据。结果见图3和图4。反应时的方差分析表明,手语词的熟悉性的主效应显著,

F

(1,21)=6.42,

p

<0.05,η=0.23;项目分析不显著,

F

(1,48)=3.11,

p

>0.05。高熟悉的手语词的反应时短。手语词的象似性的主效应显著,

F

(1,21)=43.22,

p

<0.001,η=0.67;

F

(1,48)=16.98,

p

<0.001,η=0.26。高象似的手语词的反应时短。手语词的熟悉性和象似性的交互作用边缘显著,

F

(1,21)=3.96,

p

=0.06,η=0.16;项目分析不显著,

F

(1,48)=0.31,

p

>0.05。简单效应分析表明,对于高熟悉词,高象似的手语词的反应时显著短于低象似的手语词,

p

<0.001,两者相差256 ms;对于低熟悉词,高象似的手语词的反应时显著短于低象似的手语词,

p

<0.001,两者相差166 ms。象似性对高熟悉的手语词识别的作用更大。错误率的方差分析表明,手语词的象似性的主效应显著,

F

(1,21)=6.15,

p

<0.05,η=0.23;项目分析边缘显著,

F

(1,48)=3.25,

p

=0.06,η=0.06。高象似的手语词的错误率低。其余的主效应和交互作用均不显著,

ps

>0.05。

4.5 讨论

实验2发现了手语词识别的熟悉性效应和象似性效应。聋人对高象似的手语词反应快。这与国外的研究结果一致(Thompson,Vinson&Vigliocco,2009)。在反应时上,手语词的熟悉性和象似性的交互作用显著：对高熟悉的手语词,象似性的作用更大。象似性是手语词的语义和手形之间的透明或半透明的程度(Luftig,1983)。书面语词也具有象似性,如语音相似性、句法象似性等。象似性更多地与手语词的语义相联系。当出现象似特征时,与词汇有关的语义会自动激活,从而对手语词识别起促进作用。象似性属于语义网络系统中的变量。陈穗清、张积家、吴雪云和高珂娟(2012)表明,语义类标记对手语词识别起促进作用,说明手语词判断受语义影响。实验2显示,语义信息丰富的高象似的手语词识别快。

图3 被试的平均反应时(ms)

图4 被试的平均错误率(%)

表3 实验3手语词匹配情况

5 实验3具体性对手语词识别的影响

5.1 被试

24名先天聋人,男性14人,女性10人,能够熟练地使用手语,文化程度为高中及以上,平均受教育年限为11.51±1.24年,平均年龄为17.58±1.44岁,智力正常,听力损伤程度在55 dB以上,裸视或矫正视力正常。

5.2 设计和材料

2(手语词的熟悉性：高/低)×2(手语词的具体性：高/低)两因素被试内设计。因变量是聋生对手语真词判断的反应时和错误率。材料包括52个真词：高熟悉高具体词、高熟悉低具体词、低熟悉高具体词、低熟悉低具体词各13个。材料情况见表3。

统计检验表明,高、低熟悉的手语词的平均熟悉性差异显著,

t

(50)=26.19,

p

<0.001;两组高熟悉词之间、两组低熟悉词之间的平均熟悉性差异不显著,

ps

>0.05。高、低具体词的平均具体性差异显著,

t

(50)=24.45,

p

<0.001;两组高具体词之间、两组低具体词之间的平均具体性差异不显著,

ps

>0.05。以手语词的复杂度为因变量,以手语词的熟悉性和具体性为自变量,2(手语词的熟悉性：高/低)´2(手语词的具体性：高/低)的方差分析表明,高、低熟悉词的平均复杂度差异不显著,高、低具体词的平均复杂度差异不显著,手语词的熟悉性和具体性的交互作用不显著,

ps

>0.05。以手语词的象似性为因变量,以手语词的熟悉性和具体性为自变量,2(手语词的熟悉性：高/低)´2(手语词的具体性：高/低)的方差分析表明,高、低具体词的平均象似性差异不显著,高、低熟悉词的平均象似性差异不显著,手语词的熟悉性和具体性的交互作用不显著,

ps

>0.05。外加52个假词。4个真词和4个假词作为练习材料。

5.3 仪器和程序

采用E-prime 2.0软件编程。程序同实验1。每个被试经历104次测试。

5.4 结果与分析

只分析真手语词的数据。删除3名错误率超过50%的被试的数据。反应时分析时删除错误反应、反应时在

M

±2.5

SD

之外和在视频前20%做出判断的数据。见图5和图6。

图5 被试的平均反应时(ms)

图6 被试的平均错误率(%)

反应时的方差分析表明,手语词的熟悉性的主效应非常显著,

F

(1,20)=4.82,

p

<0.001,η=0.64;

F

(1,48)=7.17,

p

<0.05,η=0.13。高熟悉的手语词的反应时短。手语词的具体性的主效应非常显著,

F

(1,20)=15.02,

p

<0.01,η=0.43;项目分析不显著,

F

(1,48)=2.53,

p

>0.05。高具体的手语词的反应时短。手语词的熟悉性和具体性的交互作用显著,

F

(1,20)=5.00,

p

<0.05,η=0.20;项目分析不显著,

F

(1,48)=1.55,

p

>0.05。简单效应分析表明,对低熟悉词,高具体性的手语词的反应时短于低具体性的手语词,

p

<0.001,两者相差295 ms;对高熟悉词,高、低具体性的手语词的反应时差异不显著,

p

>0.05。具体性对低熟悉词识别的作用更大。错误率的方差分析表明,各种主效应和交互作用均不显著,

ps

>0.05。

5.5 讨论

实验3发现了手语词识别的熟悉性效应和具体性效应。具体性是指词所代表的事物或动作是否具有鲜明的形象(张积家等,2006)。双重编码理论(Paivio,1991)认为,具体词有语言编码和表象编码,抽象词只有语言编码。在提取具体词时,语言和表象共同作用,从而有利于识别。具体性与象似性的作用有异曲同工之妙：由于聋人的形象思维占优势,当手语的形象特征被激活时,有利于识别。相反,对于抽象词,只有语言在起作用,判断的时间就会长。实验3发现了手语词的具体性和熟悉性的交互作用：对于低熟悉的手语词,具体性的作用更大。这与汉字认知的结果是一致的(张钦,张必隐,1997)。

6 综合讨论

6.1 关于手语词识别的各种效应

手语词认知具有熟悉性效应(Carreiras et al.,2008)、象似性效应(Thompson et al.,2009;Ormel,Hermans,Knoors&Verhoeven,2009;张积家等,2013),也有研究发现了获得年龄(Vinson,Cormier,Denmark,Schembri,&Vigliocco,2008)、语音相似性(Carreiras et al.,2008)和手形位置(Bonvillian&Siedlecki,1996)对手语词认知的影响,还未有研究系统地考察影响手语词识别的因素。在汉字认知中,存在着字(词)频效应、笔画数效应、部件数效应和具体性效应。手语词具有语形、语汇和语法,具备自然语言的属性,与口语词汇和书面语词汇表达相同的含义(郑璇,2009)。邓慧兰、姚勤敏、林慧思、冯晓雯和施婉萍(2011)认为,聋童自小开始接触手语,普遍语法得以启动。Myers,Lee和Tsay(2005)发现,台湾手语产生与有声语言产生的进程是一致的。本研究同样发现了在手语词识别中的熟悉性效应、复杂度效应、象似性效应和具体性效应,说明手语词识别和汉字识别具有共性,手语词识别具有整体加工的特点。

6.1.1 关于手语词识别的熟悉性效应

词频对书面语词汇认知具有重要影响。高频词比低频词更容易认知,正确率亦高。连接主义认为,输入的模式愈是常见,个体对这种模式愈是熟悉,辨认模式的阈限就愈低。在手语词识别中,熟悉性的作用与汉字识别中词频的作用是一致的。熟悉的手语词在聋人的头脑中形成了固定的认知模式,激活阈限低,识别时间亦短。在手语词认知中,亦发现了熟悉性效应,说明熟悉性效应在语言认知中具有稳定性和普遍性。

6.1.2 关于手语词识别的复杂度效应

复杂度属于词形的属性。书面语词的复杂度与刺激单位的多少与结构方式有关。例如,决定汉字字形复杂度的因素有三：(1)笔画的数量和类型。笔画多、笔画类型多的汉字更加复杂;(2)部件的数量、频率、位置与结构方式。部件数量多、部件频率低、结构不对称的汉字更加复杂;(3)通透性。通透性是指汉字笔画之间在水平方向或垂直方向上的距离,表示笔画的离散程度。通透性差的汉字比通透性好的汉字复杂(曾捷英,周新林,喻柏林,2001)。对于手语词而言,复杂度的本质是什么？复杂度为什么会影响手语词认知？

手语是形义结合且以视觉为主的语言,不仅通过空间关系来表达事物,还表达内部的语法以及句法。手语的外部空间表现对聋人来说尤为重要。手语词的语音包括手形、位置、运动和朝向,面部表情、姿态等也影响手语的表达(陈文华,2007)。与书面语词不同,手语词的复杂度缺乏明确的界定和具体的衡量指标。针对手语表达的特点,结合手语的构词方式和语音要素,笔者认为,手语词的复杂度与手语表达的视觉效果有关。当手语词的构词方式或语素涉及的语音要素多变时,视觉效果也发生着变化。这种视觉效果通过聋人的主观感受来评价。视觉效果影响聋人对手语词的提取速度：词汇从视觉上看越是复杂,提取的速度就越慢。视觉复杂的手语词的两个语素在相继呈现时,会激活与目标词的语音、词汇和语境相关的候选词,个体要花时间来排除候选词。视觉简单的手语词激活的候选词的数量少,排除就相对容易,对目标词的提取也就相对简单。

6.1.3 关于手语词识别的象似性效应

Peirce认为,语言是象似的：语言与所指的关系有理据可寻(Short,2007)。聋人由于生理缺陷,接收语音信息困难,为了帮助聋人理解事物的特性,手语会使用象似手法。

手语的象似性分为高度象似、中度象似和低度象似。高度象似是指手势融合了所指物的足够多的视觉或动作的信息,不熟悉手语或未接触手语的人也能够根据手语表达猜出手势的含义;低度象似是指手势和含义的关系不透明,初学者不容易明确手势的含义;中度象似是指不使用手语的人一时猜不出手势的含义,但一旦告知了手势的含义,就容易掌握。Thompson等人(2009)考察了聋人对美国手语的加工,要求判断先后呈现的图片和手势是否指代同一事物,发现当图片凸显了与之匹配的手语词的象似特征时,聋人的反应更快,说明聋人在词汇识别中自动激活了手语词的象似特征。Vigliocco,Vinson,Woolfe,Dye和Woll(2005)发现,象似性影响语义相似词的判断。象似特征激活了心理意象,帮助激活语义,促进了词汇通达。Ormel等人(2009)使用相同的范式考察荷兰聋童的手语加工,发现聋童判断象似的手语词–图片对的反应时短,错误率低,说明象似性在识别手语词的语义时发挥了较大的作用。Thompson,Vinson和Vigliocco(2010)考察在语音判断中是否存在着象似性效应,要求被试判断某个手势的动作手指是弯曲的还是直立的,发现当任务不要求通达语义时,象似的手势仍然会自动地激活手势的语义,从而对手形的判断产生了干扰,高象似的手形的反应时显著长于低象似的手形。

与已有研究不同,本研究采用词汇判断任务,仍然发现了手语词认知的象似性效应。象似性促进手语词的提取,表明手语词的部分意义(事物的突出特征)在识别中具有表意的功能。当手语词的手形或运动与所指代事物的外部特征或运动匹配时,相关的语义结点处于高度激活的状态,语义通达就快。手语词除了模仿所指事物的形状、动作、特征外,还模仿汉语系统中的词汇,如汉字、汉语拼音等,这些都有利于反应。

6.1.4 关于手语词识别的具体性效应

在书面语词识别中,James(1975)发现,低频词识别存在着具体性效应。Kounios和Holcomb(1994)发现,在N400区域,具体词比抽象词诱发了更大的负波。由于N400与语义加工有关,说明具体词比抽象词激活了更多的语义信息。Jessen等人(2000)发现,具体名词在左、右顶叶下部、左前额叶及前楔状核有更大的激活。在汉字词加工(特别是语义加工)中,亦存在着具体性效应,对抽象词的反应时显著长于对具体词的反应时(陈宝国,彭聃龄,1998)。

手语词认知的具体性效应说明,聋人使用不同的方式提取具体词和抽象词的意义。张钦和张必隐(1997)认为,当人们看到具体词时,会在头脑中检索词所表征的实物及其特征,或许还形成了表象,通过形象来认知具体词。当人们看到抽象词时,首先想到伴随它出现的语境。因此,在心理词典中,用实物表征具体词的意义,用语境表征抽象词的意义。聋人主要依靠形象思维,具体词能够帮助他们提取事物的形象。抽象词表征的事物的形象性低,聋人在提取它们时会有困难。

6.2 手语词认知与“两个网络系统”理论

研究表明,手语词识别符合“两个网络系统”理论。研究表明,汉字词的语义加工涉及两个网络系统：词汇网络系统和语义网络系统。词汇网络系统储存词汇的外部特征,包括词形的结构特征和词音的韵律特征;语义网络系统储存词汇的语义特征,包括概念和类别(张积家,彭聃龄,1993;方燕红,张积家,2009)。对手语词而言,熟悉性和复杂度属于词汇网络系统的变量,象似性和具体性属于语义网络系统的变量。两个网络系统中的变量之间存在着交互作用,在本研究中,体现为熟悉性同象似性、具体性之间的交互作用。熟悉性和复杂度之间不存在交互作用,是因为它们同属于词汇网络系统的变量,熟悉性反映词汇的使用频率,复杂度反映词汇的视觉特征,二者均不涉及词汇的语义。而且,熟悉的手语词词形简单,不熟悉的手语词词形复杂。当熟悉且简单的手语词出现时,通过熟悉性和简洁性的帮助,聋人能够快速地识别它们。熟悉性与象似性之间存在着交互作用：当手语词的熟悉性高时,象似性的作用就更加明显。这是因为当手语词的象似性高时,手语词的词形特征能够迅速地激活语义网络系统中的相关结点。对于高熟悉的手语词,它们在词汇网络系统中的激活阈限低,再加上语义网络系统的激活的协助,提取速度就快;对于低熟悉的手语词,它们在词汇网络系统中的激活阈限高,高象似的手语词仅有语义网络系统的加工优势,没有词汇网络系统的加工优势,加工速度就不如高熟悉的、高象似的词汇快。

张积家等人(2013)采用手语词-图片确认任务,发现在手语词的语义加工中存在着象似性效应和熟悉性效应,但是,仅在错误率分析中发现了两者之间的交互作用：在判断低象似的手语词-图片时,需要通达手语词和图片的语义后才能够做出判断,熟悉性会起作用。在实验2中,对高熟悉的手语词,象似性的作用更加明显。两个研究的结果差异与实验任务有关。张积家等人(2013)使用语义判断任务,语义卷入的程度深。对高象似的手语词,语义判断更好地激活了语义网络的信息,因此,象似性的作用未能够完全地凸显。实验2采用词汇判断任务,语义卷入的程度浅。对于高熟悉的手语词,由于激活的阈限低,加上高象似的手语词特征突出,自动地激活了身体或动作的经验,词汇和语义的激活都达到了较高水平,因而高熟悉、高象似的手语词能够被迅速激活。对于低熟悉的手语词,词汇识别更多地依靠象似性的作用,词汇网络加工的优势不明显。因此,低熟悉、高象似的词汇与低熟悉、低象似的词汇的反应时差异就小。象似性对低熟悉的手语词识别的作用就不如对高熟悉的手语词识别大。这一结果体现了在手语词识别中词汇网络系统与语义网络系统的紧密关系。

在手语词认知中,还存在着熟悉性和具体性之间的交互作用,具体性效应仅在低熟悉的手语词识别中出现。这与手语词的特点有关。熟悉的手语词的激活阈限低,容易通过词汇网络系统激活整词,在高熟悉时会掩盖具体性的作用。对低熟悉的手语词,具体词可以得到实物形象的帮助,在激活词汇网络系统的结点的同时,还能够激活语义网络系统的结点,启动自上而下的概念驱动加工;抽象词仅通过语境来提取,更多地依赖词汇网络系统的加工。即,具体词与实物之间的联系要强于抽象词与语境之间的联系。对于高熟悉的手语词,不需要借助于形象来加工,被试可以直接采用词形分析策略进入词汇网络系统。因此,在手语词高度熟悉时,就掩盖了具体性的作用;当手语词低度熟悉时,激活的阈限变高,被试需要借助于语义网络系统的激活来识别词。此时,具体性高的手语词具有两方面优势,一边激活词汇的语言系统,一边激活词汇的表象系统,具体性的作用就得到了充分发挥,出现了“词形”和语义的共同作用。应当指出,虽然具体性在词汇识别中的作用与象似性类似,均影响语义的存储和提取,但两者的特点不一样,象似性针对手语词对事物的模仿程度,具体性针对事物的形象性,与表达形式关系不大。

象似性与具体性在不同熟悉性条件下的不同表现,说明在手语词加工中,语义网络系统的作用要大于词汇网络系统,手语词的两种语义属性发挥的作用也不一致。但是,在手语词识别中的象似性效应和具体性效应,还是说明了语义信息对于手语词识别起着重要作用。当聋人识别手语词时,若语义信息丰富,就能够迅速地提取词汇。这是手语词识别与书面语词识别的不同之处。汉字加工遵循着双通道模式,即形→音→义通路和形→义通路并存(舒华,张厚粲,1987;陈宝国,彭聃龄,2001;陈宝国,王立新,彭聃龄,2003)。陈穗清等人(2012)表明,手语词的形象性有助于对手语词认知,语义标记加快对手语词提取。在手语词识别中,聋人更加关注词的形象性以及手语的“形”对于词义的模仿,提示在手语词认知中“形”→义通路的作用更加突出。而且,手语词的“形”不仅仅是指手形,更是指整个手语词的视觉形象特征,包括手语词对所表征事物的模仿程度,也包含手形对手语词所表征事物的模仿程度。因为手形除了表示语音外,也有对所表征事物的模仿。手语词的“形”也包括这种由手形模仿引起的象似性。这说明,在手语词识别中,既存在着“词汇网络系统→语义网络系统”的通路,也存在着“语义网络系统→词汇网络系统”的通路。手语词的“词形”与语义的联结比汉字的词形与语义的联结更加强烈。

6.3 关于形象性在手语词认知中的作用

聋生认识事物主要依靠视觉,限制了他们的抽象概念的发展。研究发现,聋生和健听生具有类似的类别意识,但聋生的类别意识比健听生弱,分类学联系比健听生弱,分类学概念具有较强的形象化倾向(张积家,李德高,吴雪云,2008)。聋生的概念范畴比健听生小,边界也比健听生模糊(李德高,2010)。聋生的上下位概念联系的强度比健听生弱,典型性意识比健听生弱(李德高,张积家,2011)。所以如此,是因为聋生使用手语,而手语制约了聋生的思维发展,使聋生更擅长于形象加工,较不擅长抽象加工。象似性效应和具体性效应的存在,除了说明在手语词识别中具有语义的作用外,也说明形象性在手语词认知中起着非常重要的作用。象似性的本质是与实物相似的程度,具体性的本质是事物是否具有鲜明形象。高象似的手语词和具体的手语词的共同特点是：具有较高的形象性。

具身认知理论认为,认知是具身的、情景化的活动(Gibbs,2003)。所有认知都是情境认知或与情境有关(Clark,1998)。Wilson(2002)强调知觉和身体活动在认知中的作用,认为一切心智都是“活着的心智”(mind on the hoof),心智不能脱离鲜活的主体存在,而鲜活的主体又须臾不能与生存环境分离。认知依赖于身体的感觉运动能力。语言理解是感觉、运动与相关经验的心理模拟(Lakoff&Johnson,1999)。在手语词认知中,象似性和具体性帮助聋人提取事物的形象,体现了身体动作中语义和语形之间的映射关系。手语在表意上具有局限性,不能够形象地模仿或意会世间的万物,尤其是抽象概念。聋人缺乏听觉,事物的外部特征及动作经验就显得十分重要。聋人的思维也倾向于朝着形象性的方向发展：对高象似的、具体的手语词,聋人在头脑中生成了事物的表象,表象与语言结合,加速了词汇激活过程;对低象似的、抽象的手语词,识别仅仅依赖于语言经验,聋人必须在头脑中寻找相应的意义,加工因而就相对缓慢。

7 结论

(1)在手语词识别中存在着熟悉性效应、复杂度效应、象似性效应和具体性效应,熟悉性与象似性、具体性之间存在着显著的交互作用。

(2)手语词的识别涉及词汇网络系统和语义网络系统。手语词的视觉形式与语义的联结更加强烈。手语词加工不仅包含着“形”→义通路,还包含着义→“形”通路。

Baus,C.,Gutiérrez-Sigut,E.,Quer,J.,&Carreiras,M.(2008).Lexical access in Catalan Signed Language(LCS)production.

Cognition,108

,856–865.Bonvillian,J.D.,&Siedlecki,T.,Jr.(1996).Young children's acquisition of the location aspect of American Sign Language signs:Parental report findings.

Journal of Communication Disorders,29

,13–35.Carreiras,M.,Gutiérrez-Sigut,E.,Baquero,S.,&Corina,D.(2008).Lexical processing in Spanish Sign Language(LSE).

Journal of Memory and Language,58

,100–122.Chen,B.G.,&Peng,D.L.(1998).The influence of concreteness of words on word recognition.

Acta Psychologica Sinica,30

,387–393.[陈宝国,彭聃龄.(1998).词的具体性对词汇识别的影响.

心理学报,30

,387–393.]Chen,B.G.,&Peng,D.L.(2001).The time course of graphic,phonological and semantic information processing in Chinese character recognition(I).

Acta Psychologica Sinica,33

,1–6.[陈宝国,彭聃龄.(2001).汉字识别中形音义激活时间进程的研究(I).

心理学报,33

,1–6.]Chen,B.G.,Wang,L.X.,&Peng,D.L.(2003).The time course of graphic,phonological and semantic information processing in Chinese character recognition(Ⅱ).

Acta Psychologica Sinica,35

,576–581.[陈宝国,王立新,彭聃龄.(2003).汉字识别中形音义激活时间进程的研究(Ⅱ).

心理学报,35

,576–581.]Chen,C.F.,&Huang,X.T.(1999).Research on characteristics of visual recognition to symmetrical structural Chinese characters.

Acta Psychologica Sinica,31

,154–161.[陈传峰,黄希庭.(1999).结构对称性汉字视觉识别特点的实验研究.

心理学报,31

,154–161.]Chen,L.,&Zhang,J.J.(2011).The process and factors of sign language production.

Chinese Journal of Special Education,

(7),34–38.[陈磊,张积家.(2011).手语产生:过程及影响因素.

中国特殊教育,

(7),34–38.]Chen,S.Q.,Zhang,J.J.,Wu,X.Y.,&Gao,K.J.(2012).The effect of classifier on lexical recognition and semantic recovery of Chinese Sign Language.

Acta Psychologica Sinica,44

,1004–1014.[陈穗清,张积家,吴雪云,高珂娟.(2012).语义类标记在中国手语词词汇识别和语义提取中的作用.

心理学报,44

,1004–1014.]Chen,W.H.(2007).On some essentials of Sign Language.

Journal of Nanjing Technical College of Special Education,16

,27–29.[陈文华.(2007).论手语的基本要素——语形.

南京特教学院学报,16

,27–29.]Clark,A.(1998).Embodied,situated,and distributed cognition.In W.Bechtel&G.Graham(Eds.),

Acompanion to cognitive science

(pp.506–517).Malden,MA:Blackwell Publishers Inc.Collins,A.M.,&Loftus,E.F.(1975).A spreading-activation theory of semantic processing.

Psychological Review,82

,407–428.Corina,D.P.,&Hildebrandt,U.(2002).Psycholinguistic investigations of phonological structure in American Sign Language.In R.P.Meier,K.Cormier,&D.Quinto-Pozos(Eds.),

Modality and structure in signed and spoken languages.

Cambridge:Cambridge University Press.Corina,D.P.,&Knapp,H.P.(2006).Lexical retrieval in American Sign Language production.In L.M.Goldstein,D.H.Whalen,&C.T.Best(Eds.),

Papers in laboratory phonology 8:Varieties of phonological competence

(pp.213–240).Berlin:Mouton de Gruyter.Deng,H.L.,Yao,Q.M.,Lin,H.S.,Feng,X.W.,&Shi,W.P.(2011).The enlightenment of sign language bilingual research for deaf education.

Contemporary Linguistics,

(2),175–187.[邓慧兰,姚勤敏,林慧思,冯晓雯,施婉萍.(2011).手语双语研究对聋人教育的启示.

当代语言学,

(2),175–187.]Education and Employment Department for Disabled People Union of China,Deaf People Association of China.(2003).

Chinese Sign Language

.Beijing,China:Huaxia Press.[中国残疾人联合会教育就业部、中国聋人协会.(2003).

中国手语

.北京:华夏出版社.]Emmorey,K.,&Corina,D.(1990).Lexical recognition in sign language:Effects of phonetic structure and morphology.

Perceptual&Motor Skills,71

,1227–1252.Fang,Y.H.,&Zhang,J.J.(2009).Asymmetry in naming and categorizing of Chinese words and pictures: Role of semantic radicals.

Acta Psychologica Sinica,41

,114–126.[方燕红,张积家.(2009).汉字词和图片命名与分类的比较.

心理学报,41

,114–126.]Gao,D.G.,Zhong,Y.P.,&Zeng,L.J.(1995).Research on how frequency influences the recognition speed of common Chinese characters.

Psychological Science,18

,225–229.[高定国,钟毅平,曾铃娟.(1995).字频影响常用汉字认知速度的实验研究.

心理科学,18

,225–229.]Gibbs,R.W.,Jr.(2003).Embodied experience and linguistic meaning.

Brain and Language,84

,1–15.Guo,H.(2005).Language in hand—Recognize sign language from a linguistic perspective.

Chinese Journal of SpecialEducation,

(9),50–54.[国华.(2005).用手表达的语言—从语言学角度认识手语.

中国特殊教育,

(9),50–54.]James,C.T.(1975).The role of semantic information in lexical decision.

Journal of Experimental Psychology:Human Perception and Performance,104

,130–136.Jessen,F.,Heun,R.,Erb,M.,Granath,D.O.,Klose,U.,Papassotiropoulo,S.A.,&Grodd,W.(2000).The concreteness effect:Evidence for dual coding and context availability.

Brain and Language,74

,103–112.Kounios,J.,&Holcomb,P.J.(1994).Concreteness effects in semantic processing:ERP evidence supporting dual-coding theory.

Journal of Experimental Psychology

:

Learning

,

Memory

,

and Cognition,20

,804–823.Kuo,T.B.J.,&Yang,C.C.H.(2009).Frequency domain analysis of electrooculogram and its correlation with cardiac sympathetic function.

Experimental Neurology,217

,38–45.Lakoff,G.,&Johnson,M.(1999).

Philosophy in the Flesh-the embodied mind and its challenge to western thought

.New York:Basic Books.Li,D.G.(2010).

The conceptual structures of adolescentsborn deaf.

Guangzhou：Jinan University Press.[李德高.(2010).

青少年聋生的概念结构

.广州：暨南大学出版社.]Li,D.G.,&Zhang,J.J.(2011).The relationships between super-and sub-level concepts in young deaf students.

Chinese Scientific Journal of Hearing and Speech Rehabilitation,

(11),36–41.[李德高,张积家.(2011).青少年聋生分类学概念中上下位概念联系的特点.

中国听力语言康复科学杂志,

(11),36–41.]Luftig,R.L.(1983).Variables influencing the learn ability of individual signs and sign lexicons:A review of the literature.

Journal of Psycholinguistic Research,12

,361–376.Myers,J.,Lee,H.H.,&Tsay,J.(2005).Phonological production in Taiwan Sign Language.

Languageand Linguistic,6

,319–359.Ormel,E.,Hermans,D.,Knoors,H.,&Verhoeven,L.(2009).The role of sign phonology and iconicity during sign processing:The case of deaf children.

Journal of Deaf Studies and Deaf Education,14

,436–448.Paivio,A.(1991).Dual coding theory:Retrospect and current status.

Canadian Journal of Psychology,45

,255–287.Peng,D.L.,&Wang,C.M.(1997).Basic processing unit of Chinese character recognition:Evidence from stroke number effect and radical number effect.

Acta Psychologica Sinica,29

,8–16.[彭聃龄,王春茂.(1997).汉字加工的基本单元——来自笔画数效应和部件数效应的证据.

心理学报,29

,8–16.]Pollatsek,A.,Juhasz,B.J.,Reichle,E.D.,Machacek,D.,&Rayner,K.(2008).Immediate and delayed effects of word frequency and word length on eye movements in reading:A reversed delayed effect of word length.

Journal of Experimental Psychology: Human Perception and Performance,34

,726–750.Short,T.L.(2007).

Peirce's theory of signs

.Cambridge:Cambridge University Press.Shu,H.,&Zhang,H.C.(1987).The processing of pronouncing Chinese characters by proficient mature readers.

Acta Psychologica Sinica,19

,182–190.[舒华,张厚粲.(1987).成人熟练读者的汉字读音加工过程.

心理学报,19

,182–190.]Thompson,R.,Emmorey,K.,&Gollan,T.H.(2005).“Tip of the Fingers”experiences by deaf signers insights into the organization of a sign-based lexicon.

Psychological Science,

16

,856–860.Thompson,R.,Vinson,D.P.,&Vigliocco,G.(2009).The link between form and meaning in American Sign Language:Lexical processing effects.

Journal of Experimental Psychology:Language,Memory,and Cognition,35

,550–557.Thompson,R.L.,Vinson,D.P.,&Vigliocco,G.(2010).The link between form and meaning in British Sign Language:Effects of iconicity for phonological decisions.

Journal of Experimental Psychology:Learning,Memory,and Cognition,36

,1017–1027.Vigliocco,G.,Vinson,D.P.,Woolfe,T.,Dye,M.W.,&Woll,B.(2005).Language and imagery:Effects of language modality.

Proceedings of the Royal Society,272

,1859–1863.Vinson,D.P.,Cormier,K.,Denmark,T.,Schembri,A.,&Vigliocco,G.(2008).The British Sign Language(BSL)norms for age of acquisition,familiarity,and iconicity.

Behavior Research Methods,40

,1079–1087.Wang,J.(2008).A comparative study on Chinese natural sign language and ancient Chinese.

Chinese Journal of Special Education,

(2),35–38.[王静.(2008).中国聋人自然手语和古代汉语之比较.

中国特殊教育,

(2),35–38.]Wilson,M.(2002).Six views of embodied cognition.

Psychological Bulletin and Review,9

,625–636.Zeng,J.Y.,Zhou,X.Y.,&Yu,B.L.(2001).Effects of construction way and stroke number in visual percetion of transforming Chinese characters.

Acta Psychologica Sinica,33

,204–208

.

[曾捷英,周新林,喻柏林.(2001).变形汉字的结构方式和笔画数效应.

心理学报,33

,204–208

.

]Zhang,J.J.,Chen,L.,&Chen,S.Q.(2013).The influence of iconicity on the semantic processing of concrete nouns in Chinese sign language.

Applied Linguistics,

(1),89–98.[张积家,陈磊,陈穗清.(2013).语言符号的象似性对手语具体名词语义加工的影响.

语言文字应用,

(1),89–98.]Zhang,J.J.,&Chen,X.K.(2005).The role of Chinese characters“Yifu”in cognition of Chinese action verbs meaning.

Acta Psychologica Sinica,37

,434–441.[张积家,陈新葵.(2005).汉字义符在汉语动作动词意义认知中的作用.

心理学报,37

,434–441.]Zhang,J.J.,Fang,Y.H.,&Chen,X.K.(2006).The role of semantic radicals of Chinese characters in grammatical categorization of Chinese visual words.

Acta Psychologica Sinica,38

,159–169.[张积家,方燕红,陈新葵.(2006).义符在中文名词和动词分类中的作用.

心理学报,38

,159–169.]Zhang,J.J.,Li,D.G.,&Wu,X.Y.(2008).Deaf adolescents’representations of taxonomic relations.

Acta Psychologica Sinica,40

,1178–1189.[张积家,李德高,吴雪云.(2008).青少年聋生的分类学联系.

心理学报,40

,1178–1189.]Zhang,J.J.,Wang,H.P.,Zhang,M.,&Zhang,H.C.(2002).The effect of the complexity and repetition of the strokes on the cognition of the strokes and the Chinese characters.

Acta Psychologica Sinica,34

,449–453.[张积家,王惠萍,张萌,张厚粲.(2002).笔画复杂性和重复性对笔画和汉字认知的影响.

心理学报,34

,449–453.]Zhang,J.J.,Wang,J.,&Liu,M.(2011).The comparative study on English words,Chinese words,early words and pictures.

Acta Psychologica Sinica,43

,347–363.[张积家,王娟,刘鸣.(2011).英文词、汉字词、早期文字和图画的认知加工比较.

心理学报,43

,347–363.]Zhang,J.J.,&Peng,D.L.(1993).Experimental study on the retrieval of feature meaning of Chinese words.

Acta Psychologica Sinica,25

,140–147.[张积家,彭聃龄.(1993).汉字词特征语义提取的实验研究.

心理学报,25

,140–147.].Zhang,J.J.,Zhang,H.C.,&Peng,D.L.(1990).The recovery of meaning of Chinese characters in the classifying process(I).

Acta Psychologica Sinica,22

,397–405.[张积家,张厚粲,彭聃龄.(1990).分类过程中汉字的语义提取(I).

心理学报,22

,397–405.]Zhang,Q.,&Zhang,B.Y.(1997).Concreteness effects of two-character Chinese words.

Acta Psychologica Sinica,29

,216–224.[张钦,张必隐.(1997).中文双字词的具体性效应研究.

心理学报,29

,216–224.]Zhang,W.T.,&Feng,L.(1992).A study on the unit of processing in recognition of Chinese characters.

Acta Psychologica Sinica,

(4),379–385.[张武田,冯玲.(1992).关于汉字识别加工单位的研究.

心理学报,

(4),379–385.]Zhao,X.A.(1999).

The research of Chinese Sign Language

.Beijing,China:Huaxia Press.[赵锡安.(1999).

中国手语研究

.北京:华夏出版社.]Zheng,X.(2009).Language status of Chinese Sign Language.

Journal of Audiology and Speech Pathology,17

,578–581.[郑璇.(2009).中国手语的语言地位(I).

听力学及言语疾病杂志,17

,578–581.]