工作记忆与词汇学习：基于词图匹配任务的事件相关电位研究

樊瑞文，史华伟，黄幸，段怿炜，鄢鹤铭，常静玲

北京中医药大学东直门医院神经内科，北京市100700

语言研究常常将语言结构拆分成不同的单位级，如音素、音节、单词和短语等[1]。词汇的产生涉及多个连续过程的相互协调，如概念准备、词汇检索、语音编码、语音编码和发音等[2]。目前对大脑学习词汇形态的探索研究相对较少[3-4]。

工作记忆是大脑在短时间内维护和处理信息的重要功能单元[5]。Ullman 的语言模型认为[6]，语言学习效率与人脑工作记忆系统密切相关。言语工作记忆与阅读技能的显著相关性在多个研究中已被证实，尤其体现在语义理解和语音流利度上[7-8]。工作记忆和音韵学的储存与记忆密切相关，工作记忆受损的患者存在语言学习障碍，同时不能进行正常的语音表达[9]。巴德利语言交流循环模型认为[10]，工作记忆与听理解和口语表达密切相关。匹配和不匹配任务范式研究显示[11]，工作记忆在语言输入和语言输出过程中起缓冲和储存作用。

汉语为象形文字，其词汇与图片联系机制与符号文字存在差异。既往研究表明[12]，汉语与英语的语言发生模式完全相反。对汉语-英语双语者来说，工作记忆是实现语言实时交互的重要参与内容，在这个理论基础上建立了Gerver 和Moser 模型。在Gerver 模型中，工作记忆参与书面词汇信息的储存和处理，也与语言输出的转录编码有关。在Moser 模型中，工作记忆在语言转录的不同过程参与书面词汇的储存和处理[13]。国内研究表明[14]，在学习汉语字词时，默写法比抄写法成绩更好；具体到形、音、义的习得，默写法对字形的习得更有效；对字音和字义，两种方法没有显著性差异。该研究提示，工作记忆的参与对有鲜明字形特征的汉语语言学习十分重要。

对词汇的掌握是语言学习的基础，对词汇形态特征的识别是学习词汇的重要环节。大量研究通过测试词汇水平来评价个体语言水平[15]，其中图片命名训练和词图匹配训练是常见的以语义理解为重点的词汇学习方法[16]，均可提高语义理解能力，但其响应脑区有较大区别，且受词频影响，词图匹配训练模式增益效果稳定性更高[17]。词图匹配语言任务被广泛应用于探索语义发生过程的认知实验中[18]，尤其是针对存在语言功能障碍的特殊人群，相对简单的任务设计可更快、更早地发现语言理解问题[15]，帮助临床早期诊断。学习词汇的不同策略对语言学习效果有重要影响[19]。开展基于汉语的词图匹配语言任务，对探索工作记忆影响汉语词汇学习过程有重大意义。

人脑对语言的接收速度为每分钟120～200个词[20]。如何捕捉人类语言发生瞬间的脑功能特点，对测试手段的时间敏感性要求极高。事件相关电位(event-related potential, ERP)通过特定的任务刺激，记录头皮上反映特征成分偏转的电位信息，客观呈现大脑在语言产生过程中的动态变化，以毫秒级的高时间分辨率，在过去几十年成为言语语言学家开展研究的有力工具，支持建立各种心理语言学模型[21-22]。

系列ERP研究表明[23-25]，在语言学习的最初阶段，相比正确的字形，错误的字形能诱发出较为明显的N400 成分。N400 作为经典的语言相关成分，多年来对其特征的研究已达到一定的广度与深度，该特征对刺激模式和感官输入类型并不敏感[26]。对采用的研究方案，更推荐根据特定实验目的定制实验范式，而不是照搬套用既有经典模式。

本文基于汉语词汇挑选实验素材，以工作记忆作为变量，设计两种适用于汉语为母语人群的词图匹配语言任务范式，通过对比N400 成分，探讨影响词汇学习的可能因素，讨论词图匹配语言训练的可能作用机制。

1 资料与方法

1.1 一般资料

2017 年12 月至2018 年6 月，在北京中医药大学东直门医院招募20 例健康成年人，其中男性10 例，女性10 例。所有被试均为右利手，平均年龄(52.21±2.3)岁，平均学历(9.21±0.73)年。自述无躯体疾病和精神障碍，裸视或矫正视力正常，母语为汉语，小学以上文化水平，既往无参与类似语言任务实验经历。

本实验得到北京中医药大学东直门医院伦理委员会批准。所有被试实验前均签署受试者知情同意书，实验结束后按约支付一定报酬。

1.2 方法

从《现代汉语常用词表》词频最高的12,000 个词中，挑选日常生活中出现频率较高的60个汉语双字词汇，笔划5～30 划，白底黑字，100 磅宋体。由首都师范大学美术专业技术人员绘制与词汇对应的黑白素描图，大小6 英寸(15.2×10.2 cm)。相关任务材料内容已在团队前期研究发表[27]。

语言任务采用E-Prime 2.0 软件进行编程和快速事件相关设计，以视觉方式在LED显示屏上呈现。屏幕比例16∶9，分辨率1600×900。

任务1呈现顺序：①呈现图片1500 ms；②呈现空屏500 ms；③呈现汉语词语1500 ms；③注视点“+”随机呈现1800～2200 ms(平均2000 ms)，提示被试者对词、图的语义进行判断，若判断词、图语义匹配，则按左键，不匹配则按右键。词汇与图片均随机呈现，词图语义一致和不一致情况出现次数相等。

任务2 呈现顺序：①呈现注视点“+”2000 ms，提醒患者做好准备；②词语、图片随机呈现2000 ms，屏幕左侧为图片，右侧为词语；③注视点“+”随机呈现1800～2200 ms(平均2000 ms)，提示被试者对词、图语义进行判断，若词、图语义匹配，则按左键，不匹配则按右键。词汇与图片均随机呈现，词图语义一致和不一致情况出现次数相等。

两组任务均重复120个周期。

1.3 数据采集

实验在东直门医院脑电生理室进行。被试戴上降噪无声耳机，以舒服的姿势坐在椅子上，尽量克制吞咽口水、眨眼、眼球移动等动作。采用Neuroscan Quik-Cap 64 导联电极帽，按照10-20 国际标准安放。电极为Ag/AgCl 合金，包裹在软橡胶内固定。采用SynAmps2 放大器和信号采集系统采集信号，带通0.05～250 Hz，陷波50 Hz，采样频率1000 Hz。参考电极置于双侧乳突，同时记录水平眼电和垂直眼电，头皮中线FPz和Fz间中点接地，每个电极处头皮电阻保持在5 kΩ以下。记录N400成分的潜伏期和振幅测量

1.4 统计学分析

脑电数据在Matlab (美国MathWorks 公司)平台上用eeglab 工具包离线处理，以全脑平均值作为参考，采用0.05～30 Hz 带通滤波，同时去除眼电、肌电伪迹、差值坏导等。分析时程为从刺激呈现前200 ms到刺激呈现后1000 ms，以刺激前100 ms 作为基线进行校正。每个被试所有脑电数据进行叠加。

以具有代表性的电极代表不同脑区，包括左前额区(F3、F7、FC5)、前额中部(FC1、FZ、FC2)、右前额区(F4、F8、FC6)、左侧中央区(T7、C3、CP5)、中央区(CP1、CZ、CP2)、右侧中央区(C4、CP6、T8)、左侧顶枕区(P7、P3、PO3)、中央顶枕区(PZ、O1、OZ、O2)、右侧顶枕区(P4、P8、PO4)共9个脑区。

获取被试各条件下N400 振幅，排除数据(±3 SD)以外的资料。用SPSS 21.0 统计软件比较两种任务下两种条件的振幅；取两种任务350～450 ms 范围内振幅，以不匹配条件与匹配条件振幅差，进行组间配对t检验。

2 结果

6 例被试数据因实验完成度差、伪迹噪声大等因素被剔除。最终14 例纳入分析，其中男性8 例，女性6例。

两组任务在400 ms 左右均可诱发出N400 成分，任务1 平均潜伏期(326±7.84) ms，任务2 为(309.8±11.5)ms。任务1 峰值平均出现时间(394.8±18.58)ms，任务2 出现时间为(377.4±21.11) ms；任务1 平均振幅(-1.38±0.35) μⅤ，任务2 为(-0.28±0.25) μⅤ。各脑区N400情况见表1。

N400 效应较大的脑区为左侧顶枕区、中央顶枕区、右侧顶枕区，右侧前额区也可见较为明显的N400 效应。任务1 能诱发出更大的N170、P1 成分，N400 振幅更大；不匹配下N400 振幅高于匹配。作400 ms 时点任务1 与任务2 脑地形图，两个任务均在中央顶枕区有激活，任务1 激活强度更大，且有右侧偏向特性。见图1、图2。

表1 两种语言任务脑区激活情况表

图1 不同条件下各任务ERP总平均图

图2 各任务脑地形图

不同脑区不匹配、匹配条件下振幅差，任务2 多为正(匹配条件振幅更大)，任务1 多为负(不匹配条件振幅更大)。9 个脑区，除右侧前额和左侧中央区外，其他7 个脑区均有显著性差异，中央前额、中央和右侧顶枕区差异最大。见表2。

表2 两种任务各脑区不匹配、匹配N400振幅差值比较

3 讨论

图片与词汇的关系是语言学研究的热点。图片命名的特征认识、发音特点和含义识别三个过程并非同时发生：发音特点在特征编码之后，在词汇识别较早期即可发生；而语义识别则在较后的阶段才产生[28-29]。词汇产生过程中，人脑是否需要检索词汇语法特征存在争议。既往研究表明[30]，人脑只有在处理复杂形态结构的语言(如意大利语)时，才会涉及语法性过程，而在较为简单的语言形态处理中，则不涉及该过程。汉语被认为是结构相对简单的蒙太奇形态语言，词汇-图片干扰范式结合脑电图研究汉语词汇语法分类特性，表明人脑对汉语裸词的处理不包含语法性过程[31]。

N400 常被用来反映图片的概念识别、语义处理及联系的能力。语义相近的词图下，N400 衰减，潜伏期更短[32-33]。相似现象也出现在对词汇的音韵特点加工处理上，包含语音处理过程的N400 振幅更大，潜伏期更长[34]。本研究显示，N400在词图匹配情况下衰减，潜伏期更短，与传统结论一致。

本研究实验素材为汉语词汇，词图匹配任务单纯反映人脑对汉语词汇语义加工处理的神经电活动情况，理论上不涉及语法效应混杂因素。本研究显示，分屏呈现语言任务形式较同屏呈现形式诱发N400 效应更显著。可能机制为，分屏呈现形式在同等时间内分配更多资源给图片和词语，使人脑对单个刺激拥有更为完整的处理过程。

P1/N170 效应最早被发现于面孔识别研究。研究者发现[35-37]，相比面对房子、植物等物体图片，人类在识别面孔，尤其是倒置面孔时，会诱发更为深大的P1/N170 波。后期研究表明，该效应与“面部”并不相关[38]，在信息处理的不同阶段包含很多重要的潜在机制。N170 成分反映早期视觉注意定向，更多反映视觉信息处理的一般机制，与刺激对象的内容并无特定联系。P1 成分代表空间注意对视觉加工的早期影响，反映任务注意力获取机制，并导致知觉加工增强[39]。

本研究显示，两种语言任务在P1/N170 效应方面有明显差异。在无工作记忆参与的同屏呈现词图匹配语言任务中，P1/N170 有较大衰减；而有工作记忆参与的分屏呈现模式中，有较为明显的P1/N170 效应发生。工作记忆损伤人群(如阿尔茨海默病患者)中P1/N170 潜伏期较健康人增加[40]，孤独症儿童P1/N170 衰减，同时伴随记忆力下降[41]。

以上研究表明，P1/N170 效应与工作记忆密切相关。结合N400 效应，可以认为，工作记忆的参与提高个体对目标刺激的注意，强化大脑对词汇的识别过程；提示在语言康复训练中，采用词汇、图片分别呈现，加入记忆模块的方式，有助于提高语言康复训练效率。

人类有着强大的词汇学习能力。脑损伤患者词汇获取功能不同程度下降[42]。词汇学习的重塑是语言功能恢复的关键环节，词汇能力的提高与失语症人群语言能力恢复关系密切[43]。制定密集有效的词汇康复方案，帮助失语症患者激发相应脑区对词汇学习的活跃度[44]。提高对词汇字形的识别能力，是治疗严重语言障碍的有效策略[45]。

经典匹配任务时，N400 激活脑区多分布在额顶区，且有右侧偏向趋势[26]。本研究中N400 分布区域与经典理论模型趋势一致，表明语言任务设计能有效还原人脑学习词汇过程中的神经元电活动情况。本研究设计语言任务原型为语言康复训练过程中词汇学习训练场景，本研究表明，语言康复训练激活人脑顶叶神经元电活动。顶叶是人脑重要功能区，一般认为与计算、注意和记忆等高级皮质认知功能相关，也与动作模仿[46]和视觉动态追踪[47]密切相关。本研究提示，两种语言任务均可产生顶区激活，而分屏任务诱发N400 更具右偏趋势，且振幅更高，区域更广。提示有工作记忆加入的语言任务能更大激发顶叶神经元电活动，调动更多视觉与注意功能。通过调动工作记忆、词汇、图片识别刺激，可有效训练人脑对语义加工、视觉识别以及集中注意力等能力，可应用于对轻度语言障碍人群的筛查、评价和训练治疗中。

本研究以汉语双字词及其对应手绘素描图为实验材料，模拟语言康复训练场景，编写两种词图匹配判断任务，结合ERP技术，探讨工作记忆与词汇学习识别的关系。研究显示，分屏呈现实验任务(有工作记忆因素参与)与同屏呈现实验任务(无工作记忆因素参与)下，神经元响应特点有明显差异。语言康复训练中的词汇识别对人脑语言功能有正性刺激作用，而充分调动记忆功能，可能对帮助语言发生有强化作用。该模式可进一步运用到语言障碍人群的康复治疗中。

本研究不足之处在于，作为评价手段，任务仅适用于词汇水平，无法对更为复杂的语法、逻辑关系等句义水平进行评价；受试数据集较小，仅有健康人，未体现其应用优势。相对语言量表(多为自评量表)无法测评轻度言语语言障碍，电生理手段更为敏感且客观，在诸如失语症等的治疗和评价中，有较好的应用推广空间。