语言理解易度模型与听配能

张敏 Catherine V. Palmer

聆听的主要目标是达到言语理解，聆听牵涉对连续产生的语言符号的实时感知和处理。工作记忆在该处理过程中起到至关重要的作用，不仅要在复杂的语境下进行符号计算从而产生中介和最终记忆信息，而且还负责存储这些信息[1]。言语理解需要注意力和工作记忆，这两个认知功能之间的关系复杂[2～4]，但引入配能（effort）的概念实现了两者的整合。Kahneman[5]模型从注意力的角度解释了听配能（Listening effort）的管理[6]，最近由学者建立的语言理解易度模型（ease of language understanding model，ELU）则从工作记忆的角度为听配能调控提供了重要的补充。

1 模型介绍

语言理解易度模型（ELU）实际上并不是直接解释语言理解或听配能（Listening effort）的理论模型，而是描述句子和语篇层面完成多模态语言输入信息处理的容易程度[7]。该模型适用于通过各感觉通道（听觉、视觉等）输入失真语言信息的情况（如听觉障碍和外部噪声）。研究听配能的学者使用这个模型是假定语言理解易度与听配能互为倒数。

语言理解易度模型（ELU）有5个基本假设（图1）：①不同感官传递的言语相关信息在情景记忆缓冲器[8]发生快速结合。这个过程被称为快速自动多模态音韵结合（rapid automatic muitimodal binding of phonology,RAMBPHO）[9]，是基于神经系统的视听语音集成研究[10]以及对听力正常的手语使用者工作记忆测试的神经生理学研究[11]而提出。②以音节为单位的语言音韵映像储存在长期记忆中。语音映像的精确度和长期记忆存取速度限制了感知解码以及词汇和语义的存取效率[12]。③由快速自动多模态音韵结合(RAMBPHO)提取的单或多模态信息通过匹配机制与长期记忆中相应的语音映像进行对比。听觉记忆实验中通过改变刺激信号强度诱导的失匹配负波（Ms Matching Negative,MMN）为匹配机制提供了证据[13]。④由于内隐认知功能的限制，例如输入信号解码能力和长期记忆访问速度，失配机制中有一个阈值决定了显式处理的开始。但这个假设还没有经过实验研究的测试。⑤显式处理的容易程度取决于个体的工作记忆（WM）能力。个体的工作记忆能力越高（即处理速度越快和存储量越大），在语言理解中，推理（即推断丢失的信息）和消除歧义（即修复误解）越容易。已有实验数据证明，具有较高工作记忆能力的人在噪音环境中的言语理解度较好[14]，沟通交流能力出色的听障者和耳聋患者其工作记忆容量通常高于沟通能力一般的听障同伴[15]。这个假设与Just等[1]提出的理解容量理论一致，即工作记忆中处理和存储信息的能力均约束个体语言理解的质量和数量。

图1 语言理解易度模型（ELU）[9]

基于以上5个假设，当语言信号传入大脑时，快速自动多模态音韵结合（RAMBPHO）作为情景缓冲器，快速自动集成了单或多模态的语音信息流，然后与存储在长期记忆中的语音映像进行比较。如果输入的语言信号清晰明确，便不会出现失匹配现象，在该优势条件下内隐认知处理足以实现语言理解[9]。相反，当输入语言信号不清晰时（例如，背景噪声干扰，很强的口音，助听器或人工耳蜗导致的语音失真），感知的失真语言信号就会和长期记忆中的语音映像发生不匹配，内隐认知处理已不足以达到需要的语言理解目标。这种情况下，语言理解过程由快速自动的内隐处理变成相对较慢并耗费能量的显式处理。

语言理解易度模型（ELU）可以用下列公式表达[7]：

公式中的4个要素与模型假设相对应。参数fp(P)代表长期记忆中语音映像的准确性，fs(S)代表长期记忆存取速度，公式分子fp(P)fs(S)构成公式的内隐部分。参数fe(E)代表显式过程，即预测推理和回溯消歧，fc(C)表示工作记忆容量，包括存储和处理。公式分母fe(E)fc(C)表示显式过程。语言理解易度与语音映像的准确度和长期记忆存取速度成正相关，与显式处理调用量和工作记忆容量呈负相关。失匹配程度越高，显式过程权重越大，语言理解就越困难，换句话说，易度就越小。

2 实验数据支持

语言理解易度模型（ELU）为听配能（Listening effort）的研究提供了一个在工作记忆范畴内何时、如何以及何处启动语言理解显式处理过程的理论框架。该模型加深了学者们对听力丧失和听配能相关现象的理解，其第一个指导意义是解释了为什么语后聋患者即使是补偿了可听度，发生语言失配的频率仍然高于听力正常的同龄人。一部分原因是目前的助听装置仍然无法完全恢复听力功能，还有一部分原因是由于长期听力丧失而缺乏语言强化，在某种程度上改变了大脑长期记忆中的语音映像。

Andersson等[16]运用押韵判断任务和词汇判断任务实验范式研究了长期记忆语音映像障碍和工作记忆障碍对获得性重度听力损失患者的影响。16名重度耳聋受试者和16名年龄匹配的正常听力对照者在电脑屏幕上看到一个提示词、一个非词或一个提示图片，每一个后面都有一系列的测试项目。实验要求受试者尽可能快地、准确地用按键回答测试项目是否与提示词押韵。在词汇决定任务中，屏幕上显示一串字母，受试者通过按下相应的按钮来回答这些字母是否能构成一个真正的单词。韵律判断任务要求受试者对每个提示信号建立语音映像，并与测试项目对比匹配，而词汇决策任务则测试个体通过语音路径获得词意的能力。实验结果表明，耳聋组判断押韵的准确度明显低于听力正常组；然而，两组受试者在词汇判断任务中的表现没有显著差异，这说明耳聋患者长期记忆中的语音映像有退化，但工作记忆的能力保存完好。对于语前聋的群体，他们长期记忆中的语音映像直接反映了他们所听到的失真的语音信息，他们有自己独特的一套语言解码系统。一旦个体的语音映像建立完毕，发生语言失配的频率应该与听力正常的人相当。

Lyxell等人[17]对15名成人人工耳蜗植入患者的术前认知功能和术后言语理解能力进行调查，以探讨两者之间的关系。他们发现在15名受试者中，有8人在押韵判断和词汇决策方面的能力与听力正常人相当，他们在耳蜗植入12个月后能具备很强的沟通能力。其余受试者的认知功能低于听力正常对照组，即使人工耳蜗植入后有12个月的佩戴经验，其沟通能力仍然很低。这些结果表明，对于植入前没有建立完整语音映像的植入者，通过佩戴人工耳蜗12个月在大脑长期记忆建立的新的语音映像尚不足以达到言语沟通的质量要求。长期记忆中完整的语音映像对人们完成语音匹配和随之而来的语言理解至关重要。无论是语前聋还是语后聋，内隐信号处理过程（即语言理解易度公式的分子）的权重变少，语言理解变得困难，所需配能增加。

言语理解易度模型（ELU）的第二个指导意义，因为失真的言语情景信息很难被编码并保存到长期记忆中，所以频繁的失匹配会产生情景记忆的相对废用，理论上，失匹配不一定影响工作记忆和语义记忆，因为这两种记忆持续被使用以实现推理和消歧。但语义记忆与情景记忆关系紧密，从情景记忆中有效地编码、存储和检索取决于语义记忆力中语音和词汇映像的清晰程度[18]，因而失匹配有可能间接影响语义记忆。

Ronnberg等人[18]调查了160名不同年龄、无痴呆症的助听器使用者的听觉敏度与记忆之间的关系，包括短期记忆（词和句子的自由回忆测试评估），语义记忆（用词流畅性和词汇测试评估），和情景记忆（自由回忆主体执行任务测试评估）。作者发现，在排除年龄因素影响后，听力损失和情景记忆呈负相关，即听力损失越重，情景记忆能力越差。类似的相关性也存在于听力损失与语义记忆之间。但是听力损失与短期记忆并无统计学相关性。这一结果支持了上述语言理解易度模型（ELU）关于记忆废用的假设。这项研究，以及其它关于听力障碍和认知功能关联的研究，如记忆[19]，选择性注意[20]，执行功能[21]，可以帮助研究者了解听障人士基于其残存认知功能来调度听配能（Listening effort）的行为机制，并帮助研究者从多个认知维度定义和定位听配能。实验结果还反映了因听力损失而导致的认知功能变化不一，提示人们对每个个体都应单独考虑。

语言理解易度模型（ELU）的第3个重要指导意义是，当显式过程（即语言理解易度公式的分母）由失匹配触发而成为主导时，个体感受到的语言理解易度取决于其工作记忆能力。在Foo[19]开展的一项研究中，研究者让听力损失受试者使用新的助听器声学参数，用以人为产生语音失匹配。研究者们发现，工作记忆能力与语音理解能力及对新助听器设置的适应能力呈显著相关性。Rudner等人[22]研究了听力损失受试者在言语识别测试中主观听配能（Listening effort）和工作记忆容量之间的关系。研究者控制言语信噪比使得任务表现水平在个体间相应等同（即50%，80%，95%，95%+）。主观听配能评分由视觉模拟量表测量，工作记忆容量由字母追踪和阅读广度测试来衡量。研究结果显示，当背景噪音为稳态噪音时，主观听配能评分在所有信噪比水平下都与工作记忆容量呈负相关，但当背景噪音为调制噪音时，该负相关性只发生在信噪比最低的两个水平。这些结果表明，稳态噪音比调制噪音对言语信号的干扰更大，即使在信噪比相对较高的条件下，仍然需要触发显式处理过程花费更多的听配能才能达到相同水平的言语识别任务表现。

Desjardins等[20]的研究结果也支持听配能（Listening effort）和工作记忆关联的假说。3组参与者，15名听力正常年轻人，15名健听老年人，16名老年听障者，完成不同噪音环境下的语句重复任务。听配能是采用双任务范式和主观评定量表来测量。结果显示，两组年龄较大的受试者在不同背景噪声条件下的听配能均高于正常听力组，但两组老年受试者之间听配能无显著差异。在所有受试者中，工作记忆能力与双任务范式测得的听配能呈负相关，工作记忆能力越强，听配能耗费越少。

3 优势与不足

3.1 优势

从前瞻的听配能（Listening effort）理论框架来看，语言理解易度模型(ELU)从以下几个方面对Kahneman[5]的单一资源理论模型做了补充。首先，它将有关听配能的大脑认知范畴从注意能力扩展到了工作记忆能力；第二，语言理解易度模型（ELU）针对性地解释当输入语言信号退化时（比如听力损失，更换声音信号处理设置等）的挑战性情况，而Kahneman的单一理论模型是建立在理想的沟通情境，并没有明确描述该模型如何应用于输入信号失真的情况。第三，语言理解易度模型（ELU）在认知功能个体差异和语言理解易度之间架起的直接的桥梁，尤其是个体工作记忆能力差异；而在Kahneman的单一资源理论模型中，个体差异和配能分布之间的关系并不明朗。上述这些补充将言语理解为目标的听配能管理行为解释更清晰具体。并且支持该理论的实验研究始终聚焦于听障人群，为认知听力科学的发展做出了很大贡献。

3.2 不足

尽管语言理解易度模型（ELU）将听配能（Listening effort）的研究又向前推进了一大步，但关于听配能还有很多重要问题尚未找到答案。首先，听配能和言语理解易度是两个不同的认知概念，两者并不是简单的倒数关系。Desjardins等[20]使用双任务范式做了研究，以噪声背景下语句识别为主要任务，以数字视觉转子跟踪测试作为次要任务，将次要任务表现下降作为测量听配能的指标。同时，该实验测量了语言理解易度，即要求受试者主观地评判聆听每一个句子的难易程度，并从0（非常困难）～100（非常容易）打分。结果显示，听配能和语言理解易度分别与任务难度表现出不同的关联方式。主观自述的语言理解易度随着噪音水平的增加（任务难度增加）而降低，呈下坡形；然而，老年组的听配能与任务难易程度的关系为U形，表明在中等难度条件下，他们调用的听配能比在较小和较大难度的条件下要少。年轻的正常组则表现为倒U形，听配能整体平均值较低，中等任务难度耗费的听配能高于难度很小和难度很大条件下耗费的听配能。由此看出，聆听或语言理解易度代表的是个体对外界输入刺激的主观判断，而听配能则代表的是个体收到输入刺激后的输出反应。语言理解易度高并不意味着听配能低，反之亦然。

其次，语言理解易度模型（ELU）未能解释听配能是如何调度的，工作记忆参与的显式处理程度与Kahneman单一资源理论模型提出的注意力分配策略之间如何关联尚不明确，也缺乏实验研究。

最后，语言理解易度模型（ELU）中失匹配系统的一个关键阈值假设可以用来同等化个体之间的任务难度水平。如果已知个体的失匹配阈值，实验条件就能够得到更好的控制，从而产生更有效可靠的实验结果。但是该模型没有提出系统地测量个体阈值的方法。由Slansky及其同事[23]和McNeil及其同事[24]提出一种系统性控制双任务范式——同步任务难度调节法，可以生成个体的双任务“交易”曲线，或许可以帮助解决阈值测量的问题。

4 总结

虽然语言理解易度模型（ELU）拓展了听配能（Listening effort）的认知表现形式，但是未能涵盖除任务负荷以外另一个驱动听配能的关键因素——动机因素。我们不能盲目假定，显式的补偿会因为任务难度的增加而自动激活，因为一个人的动机和意志也在听配能的调度管理中起重要作用。这将引出笔者计划在下一篇关于听配能理论模型文章中要着重介绍的Hockey补偿控制模型，该模型提出，大脑显式处理的激发和控制分为两级，第一级是前面Kahneman单一资源理论模型和语言理解易度模型（ELU）中描述的任务负荷驱动，也即任务越难，耗费的大脑认知资源（配能）越多；第二级则是动机和目标驱动，这一级的配能控制主要取决于个人的动机、目标设定、情绪状态等，它使得配能控制机制更为复杂。在下一篇中，笔者将讨论Hockey补偿控制模型在听配能（Listening effort）理论构建中的重要性和必要性。

[1]Just MA，Carpenter PA.A capacity theory of comprehension:Individual differences in working memory[J].Psychological Review,1992,99(1):122-149.

[2]Awh E，Vogel EK，Oh SH.Interactions between attention and working memory[J].Neuroscience,2006,139(1):201-208.

[3]Engle RW.Working memory capacity as executive attention[J].Curr Dir Psychol Sci,2002,11(1):19-23.

[4]Fougnie D.The relationship between attention and working memory[M].Johansen INB (ed).New research on short-term memory.New York:Nova Science Publishers,2009.

[5]Kahneman D.Attention and effort[M].Englewood Cliffs,NJ:Prentice-Hall,1973.

[6]张敏，Catherine，Palmer.单一资源理论模型在听配能研究中的应用[J].中国听力语言康复科学杂志,2017,15(3):205-208.

[7]Rnnberg J.Cognition in the hearing impaired and deaf as a bridge between signal and dialogue:A framework and a model[J].Int J Audiol,2003,42(1):68-76.

[8]Baddeley A.Working memory[J].Current Biology,2010,20(4):136-140.

[9]Rnnberg J，Rudner M，Foo C，et al.Cognition counts:A working memory system for ease of language understanding(elu)[J].Int J Audiol,2008,47 Suppl 2:S99-105.

[10]Campbell R.The processing of audio-visual speech:Empirical and neural bases[J].Philosophical Transactions of the Royal Society of London Series B:Biological Scienc es,2008,363(1493):1001-1010.

[11]Rudner M，Fransson P，Ingvar M，et al.Neural representation of binding lexical signs and words in the episodic buffer of working memory[J].Neuropsychologia,2007，45(10):2258-2276.

[12]Pichora-Fuller MK.Processing speed and timing in aging adults:Psychoacoustics,speech perception, and comprehension[J].Int J Audiol,2003,42:S59-S67.

[13]Ntnen R.The mismatch negativity(mmn) as an index of auditory memory[J].International Journal of Psychophysiology,2008,69:167.

[14]Rnnberg J，Rudner M，Lunner T，et al.When cognition kicks in:Working memory and speech understanding in noise[J].Noise Health,2010,12(49):263-269.

[15]Rnnberg J，Andersson J，Andersson U，et al.Cognition as a bridge between signal and dialogue:Communication in the hearing impaired and deaf[J].Scandinavian Audiology，1998,49:101-108.

[16]Andersson U，Lyxell B.Phonological deterioration in adults with an acquired severe hearing impairment: A deterioration in long-term memory or working memory?[J]. Scandinavian Audiology,1999,28(4):241-247.

[17]Lyxell B，Andersson J，Andersson U，et al.Phonological representation and speech understanding with cochlear implants in deafened adults[J].Scandinavian Journal of Psychology,1998,39(3):175-179.

[18]Rnnberg J，Danielsson H，Rudner M，et al.Hearing loss is negatively related to episodic and semantic long-term memory but not to short-term memory[J].Journal of Speech,Language, and Hearing Research,2011,54(2):705-726.

[19]Foo C，Rudner M，Ronnberg J，et al.Recognition of speech in noise with new hearing instrument compression release settings requires explicit cognitive storage and processing capacity[J].Journal of the American Academy of Audiology,2007,18(7):618-631.

[20]Desjardins JL，Doherty KA.Age-related changes in listening effort for various types of masker noises[J].Ear and Hearing,2013,34(3):261-272.

[21]Beer J，Kronenberger WG，Pisoni DB.Executive function in everyday life:Implications for young cochlear implant users[J].Cochlear Implants International,2011,12 Suppl 1:S89-91.

[22]Rudner M，Lunner T，Behrens T，et al.Working memory capacity may influence perceived effort during aided speech recognition in noise[J].Journal of the American Academy of Audiology,2012,23(8):577-589.

[23]Slansky BL，McNeil MR.Resource allocation in auditory processing of emphatically stressed stimuli in aphasia[J].Aphasiology,1997,11(4-5):461-472.

[24]McNeil M，Doyle P，Hula W，et al.Using resource allocation theory and dual‐task methods to increase the sensitivity of assessment in aphasia[J].Aphasiology,2004,18(5-7):521-542.