手语模态对句子加工的影响

摘 要： 手语模态对句子加工具有一定的影响，这是毋庸置疑的。单单针对手势模态的语义和语音信息来说，它不仅对词汇的通达过程具有一定的影响，而且对对应的其他条件也同样如此。因此，本文将从手语模态对句子的加工影响进行入手分析，观察手势音韵特征，阐述具体的影响因素和过程，以供参考。

关键词： 手语模态；句子加工；影响

一、 前言

随着各国学者陆续提出与句子加工相关的理论模型，手语模态得到了一定的发展，基本解决了目前句子加工中的一些难点问题。但在具体问题研究上还存在着一定的不足，很多句子还只是建立在声音、语言的实验基础上，在手语模态方面不能得以有效应用。手语模态的建立还需要做进一步加强，下面本文将细谈它在句子加工中的相关影响。

二、 研究对象与方法

（一） 被试

因为是对手语模态进行研究，所以我们找了十八位具有先天性耳聋的志愿者进行了实验。这十八位被测试志愿者的挑选要求是：年龄相近、男女分配合理、裸眼或矯正视力正常，没有相关的家族性精神障碍等条件。在具体的选择过程中，半数为接受过特殊教育的南京市聋人学校学生，另一半则从社会人员中进行挑选。

（二） 材料准备

实验的进行。被试者事先均已经做了相关的手语测试，且保证能看懂刺激材料的手势，可以接受实验中自变量的所有变化。自变量的相关设计为手势音译的变化，具体可分为四种：基准手势、意近手势、音近手势和无关手势。实验要求所有的手势都是高频手势。实验人员准备好摄像机，对实验过程进行拍摄记录，并保证最后制作视频的背景颜色和手势具有较为鲜明的反差，这样做的目的是方便观察和记录。

在实验进行前，需要准备好测试句子片段——由于一个句子平均分为7个手势。因此只需要前面的6个手势与4个水平手势进行排列组合，构成4个测试片段。这四个水平手势相关的截取长度，应该从准备进行开始，直到在手部放下，时间为1秒左右即可。在实验句子准备过程中，一共需要152个句子，分为八个句干和四个水平手势，一共可以构成32个练习视频。

（三） 实验程序

本次我们用EPrime软件来编写相关实验程序。为了更明显地呈现出刺激效果，我们将其他的所有界面背景选择呈现出灰色。相关实验的任务为判断任务，相关的反应操作键，为大家所用游戏手柄的左右键，这里要注意一点：被试者事先需要操作手柄进行练习、熟悉程序及实验步骤，各方面确认无异常后，才能正式开始实验。

实验开始后，被试者需要坐在电脑的正前方，对屏幕中出现的手语指导视频进行阅读并理解对句子进行判断。在实验进行的过程中，刺激材料的呈现具有一定的顺序，分别是300ms的注视点“+”，然后是句干视频，它为1500ms，接着出现的就是300ms的手势视频，最后则是4000ms的“？？”。在全部进行完之后，对实验进行按键结束，屏幕会出现灰色，用来让被试者的眼睛进行休息，如果在此期间被试者做出反应，电脑则会自动进入到下一轮的测试。

三、 实验结果与讨论

（一） N1

我们通过实验研究发现，在目标手势出现了之后，时间在100～200ms之内，窗口会出现N1，它的潜伏期一般在130ms左右，在相同基准和音近条件下N1的波峰更尖锐，并会在所有电极上进行显示，其中尤为突出的是中线和右线的电极上。在200～300ms时，窗口会出现P250——一道连续的更尖锐的波峰，它的潜伏期经我们观察发现一般是在250ms左右。对这样的启动关系进行重复测量和分析后，我们发现这样启动关系的进行分别为基准手势，义近手势，音近手势和无关手势四种，一共有19个电极。从这样的状态来看，发现重复启动的关系，其主效应没有达到相应的显著水平，但是电极的主效应却极为显著，重复启动关系和电极之间的交互作用并不显著。因此，这里的N1可能是类似于视觉词汇识别的研究结果，它代表了语意变量的激活标志。

（二） N300

在实验进行到刺激现象呈现之后，可以发现在200～400ms的时候，窗口内约在320ms时，出现了一个脑电反应N300，它的出现诱发了一个负走向并以顶部和中央区域为中心，分布极为广泛的波动现象——在前几次的实验中曾记录了类似反应但并未加以关注，出现这种情况的原因可能是在于它的波动幅度较小，也可能是因为研究者对它的重视程度较低，相关的研究重点不在于此。在手势词汇通达属性的研究和对电脑反应的调控方面，更加关注于手势词汇相关的语义表现特征和一些相对更晚期的N400。对它们的重复启动关系分别进行4×19的重复测量差并对结果进行分析，从相应的实验结果可以看出，重复启动关系的主效应达到了显著的水平程度，相关的电极主效应也极其显著，而且，重复启动关系与电极的交互作用也相对显著。如果对重复启动关系的主效应进行下一步的多重比较检验，可以发现，基准和音近的启动效应已经达到了显著的水平，意近的启动效应也接近于显著效果，但是无关启动效应却不显著。但是即使如此，无关手势也同样诱发了N400，因此，我们认为交互激活模型，是可以应用于手语模态与句子加工的。

四、 结语

对中国手语模态与句子加工之间的影响关系进行分析，需要对手语模式实验进行精心设计，充分做好实验准备，保证每一个环节的正常实施。并在进行实验的同时，认真观察实验数据波动，以便于对数据进行比较和研究，最后才能得出影响关系。

参考文献：

[1]晏心.长期手语经验对双模态双语者口语、书面语理解系统的塑作用.2011.

[2]黄晓晓.基于情景语料库的自然手语构词研究.2012.

作者简介：

陈燕，江苏省南京市，南京市聋人学校。endprint