从错误中学习: 尝试提取失败对学习的促进作用

谢亚棋 曲可佳

摘要尝试提取失败益处是指从记忆中提取信息失败仍对后续知识学习和记忆产生促进作用。在对国内外文献进行分析研究的基础上，本文介绍了尝试提取失败益处的研究范式、影响因素和理论解释，并基于此提出未来研究的展望，即深入探讨尝试提取失败益处的理论解释、关注尝试提取失败在程序性知识中的作用、进一步探索提高尝试提取失败益处的元认知判断准确性的方法。

关键词尝试提取失败;错误;反馈;记忆成绩

分类号B84-0

DOI： 10.16842/j.cnki.issn2095-5588.2021.06.006

1引言

人非圣贤，孰能无过。在学习过程中，错误往往不可避免。早期研究者发现，学习者对错误通常持否定态度。例如，无误学习（errorless learning）的观点认为，错误会建立不正确的刺激—反应联结，使得学习者对于错误的记忆更加深刻，导致相同错误会再次出现（Fritz et al.， 2000; Middleton & Schwartz， 2012）。此外，教育心理学家奥苏贝尔（1968）也认为，学习者在学习过程中反复经历错误后，便会习惯采用这些不正确、低效的方法，从而降低学习效率。

然而，近期的大量研究表明，与直接学习相比，从记忆中尝试提取信息，即使提取失败也会促进后续学习，至少不会产生负面影响（崔丹， 2014; 侯甜甜， 2014; Carneiro， Lapa， & Finn， 2018; Guzmán-Muoz， 2020; Hays， Kornell， & Bjork， 2013; Knight et al.， 2012; Kornell， Hays， & Bjork， 2009; Kornell， Klein， & Rawson， 2015; Kornell & Vaughn， 2016; Vaughn & Rawson， 2012; Yan， Yu， Garcia， & Bjork， 2014），研究者将这一过程称之为尝试提取失败（unsuccessful retrieval attempts）。 综合以往研究可知，尝试提取信息失败可以促进随后学习阶段的知识编码，从而增强了知识的记忆保持。研究者将尝试提取失败对学习的促进作用简称为尝试提取失败益处。这一益处的发现，不仅为学习者提供了新的学习策略，也为学习者对待错误提供了新的思路。基于此，本文介绍了尝试提取失败的研究范式，并进一步对尝试提取失败益处的影响因素和益处产生的理论解释进行梳理分析，在此基础上提出了未来研究展望。

2尝试提取失败的研究范式

以往研究表明，在学习者学习某一内容后，进行测试要比重学更有利于对所学内容的记忆保持，这一发现被称为测试效应（Roediger & Karpicke， 2006）。Kornell等人（2009）在测试效应的研究基础上，对尝试提取失败的过程及效果进行研究，提出了经典的尝试提取失败研究范式，即在学习之前进行测试，使学习者因未学习材料而出现较高的提取失败率，从而考察提取失败对后续记忆保持的影响。

具体来说，该范式包括以下几个阶段：

（1）初始提取阶段。呈现与学习内容相关的线索或测试题，要求被试猜测答案并在指定位置输入;

（2）反馈阶段。以反馈的形式呈现正确答案，让被试进行学习;

（3）干扰阶段。学习完所有词对后，让被试完成一项约为5分钟的干扰任务（如算术计算题）;

（4）最终测试阶段。呈现与初始测试相同或不同的问题，要求被试回答。由于此类研究主要考察提取失败对后续记忆保持的影响，故在进行结果分析时，应剔除初始提取中猜测正确的项目。与尝试提取失败组相比，重复学习条件下没有初始提取阶段，而是在同等时间内直接学习实验材料，两种条件下的其他阶段均相同。虽然重复学习组学习正确答案的时间远多于尝试提取失败组，但仍可发现尝试提取失败对知识学习存在更强的促进作用。

3尝试提取失败益处的影响因素

通过分析以往有关尝试提取失败的研究发现，尝试提取失败对学习的作用受到多种因素的影响，主要包括学习材料、提取条件、反馈类型和测试间隔等。

3.1学习材料

目前有关尝试提取失败的研究，大多以词对为实验材料。近年来，为了更符合真实学习情境，研究者采用了更为复杂的学习材料，如短小事实、短文等。结果均发现，即使尝试提取信息失败也能促进知识的学习，至少不会产生负面影响。

在有关词对的研究中，研究者对于词对关联程度的影响进行了较为详细的探讨。首先，在相关词对的研究中均发现，相比于重复学习，尝试提取失败可以促进正确目标词的学习和记忆（Kornell， Hays， & Bjork， 2009; Vaughn & Rawson， 2012; Yang， Potts， & Shanks， 2017）。其次，在无关词对的学习中，尝试提取失败益处的产生会受到最终测试形式的影响。当采用线索回忆测试时，尝试提取失败与重复学习两种方式的学习效果没有差异（Grimaldi & Karpicke， 2012; Huelser & Metcalfe， 2012; Seabrooke， Hollins， Kent， Wills， & Mitchell， 2019）。而在最终测试中采用多项选择测试（Potts & Shanks， 2014）或者是目标识别测试时（Seabrooke et al.， 2019），尝试提取失败组的成绩显著高于重复学习组的。这可能是因為，在尝试提取的过程中，被试对目标词进行了较深层次的加工，故对其识别成绩较高。但是相比于正确目标词，提取到的错误答案与线索词之间的关联更强，故会对线索词和目标词之间关联的学习和记忆产生较强的干扰作用。例如，Huelser等人（2012）发现，与学习相关词对相比，被试学习无关词对时回忆出错误答案的次数明显更多。综上可知，在相关词对的学习中存在尝试提取失败益处，而在无关词对中，尝试提取失败仅提高了对目标词的识别能力，没有促进对线索词和目标词之间关联的学习和记忆。

以短小事实类问题（如“鸽子是的象征”）为实验材料的研究发现，尝试提取失败既没有促进，也没有阻碍知识的学习（Kang et al.， 2011）。虽然学习者在初始测试中没有正确回答问题，但是记忆中可能存在与这些问题有关的知识（Kornell， Hays， & Bjork， 2009），所以当呈现正确答案时，会很容易学习和记忆（Berger， Hall， & Bahrick， 1999）。故无论是通过尝试提取失败还是直接呈现材料的方式进行学习，均可以取得较高成绩，因此两种学习方式的最终测试成绩没有显著差异。

有关短文的研究也发现尝试提取失败组的学习效果显著好于重复学习组（陈雄芬， 2018; 周爱保， 崔丹， 马小凤， 2014; Richland， Kornell， & Kao， 2009）。此外，研究者还证明在短文学习中，尝试提取失败的促进作用远大于注意导向的影响（陈雄芬， 2018; Richland， Kornell， & Kao， 2009）。也就是说，尝试提取失败对学习者的影响，要比将学习者的注意更多的集中在关键内容上更大。

3.2提取条件

总结以往研究发现，有关尝试提取的条件会影响或限制尝试提取失败益处的产生。

首先，在尝试提取过程中，学习者应基于自身的经验进行提取。研究表明，与学习者自己提取到错误答案相比，直接呈现一个错误的目标词对之后正确答案的学习和记忆没有促进作用（Grimaldi & Karpicke， 2012）。Grimaldi等（2012）以直接学习错误的目标词来代替尝试提取的过程，即让被试在学习正确答案之前先学习线索词和错误的目标词，而不进行尝试提取。结果发现，该过程不仅没有提高最终测试成绩，反而阻碍了对正确答案的学习。学习者之所以能从错误中获益，可能是因为被试在自身的语义结构内将产生的错误答案作为中介，将线索和目标联系起来， 相反， 外界呈现的错误答案不仅不能通过类似的机制起作用，反而会分散学习者的注意力 （Metcalfe， 2016; Metcalfe & Xu， 2018）。

其次，在尝试提取信息时应根据线索或问题进行。Seabrooke等人（2019）发现，被试不根据线索词进行相关提取时，提取失败对之后的学习没有促进作用。在其研究中，让被试在看到线索词后输入想到的第一个单词，结果发现尝试提取并没有促进目标词的学习和记忆。有研究者认为，在围绕线索或问题进行尝试提取的过程中，被试可能会得到关于正确答案的语义信息，所以当呈现正确答案时，被试更容易学习和记忆（Slamecka & Fevreiski， 1983）。也就是说，根据线索或问题进行尝试提取，可以促使被试对正确答案进行深度加工。

最后，尝试提取时不应限制提取范围。研究发现，如果限制被试提取信息的范围，则不会产生尝试提取失败益处（Grimaldi & Karpicke， 2012）。具体操作如下，呈现线索词的同时，提供错误答案的前两个字母，让被试根据提示将其补充完整，从而产生一个特定的错误答案。此时尝试提取不仅没有促进，反而阻碍了正确答案的学习。这可能是因为，引导被试提取特定的信息时，会导致被试对这些信息的记忆更为深刻，对正确答案的干扰也更为强烈（Barnes & Underwood， 1959）。导致这一结果的作用机制仍需进一步探讨。

综上可知，为了使尝试提取失败益处出现，在尝试提取过程中应注意，学习者既要基于自身的经验，也要根据线索或问题进行提取，且不应限制学习者提取信息的范围。

3.3反馈类型

尝试提取失败后的一个关键部分是向学习者提供反馈（Kornell & Metcalfe， 2014）。但是仅仅告诉学习者答案正确与否是不够的，而应提供正确答案的反馈（Pashler， 2005）。另外，正确答案的呈现形式和时机也会影响尝试提取失败后的学习效果（Butler， Karpicke， & Roediger， 2007）。

3.3.1反馈方式

Finn和Metcalfe（2010）比较了尝试提取失败后不同反馈形式的作用。其中反馈包括标准反馈（提供正确答案）、支架式反馈（提供有关答案的提示）和选择题式反馈（呈现多个选项进行选择）。结果发现，只提供选择题式反馈并未促进之后的学习和记忆。这可能是因为选择答案只是依靠熟悉性进行，没有从记忆中提取答案的过程，而且选项中的错误答案也可能会产生干扰。Finn等人（2010）进一步研究发现，在即时测试中支架式反馈与标准反馈的学习效果无显著差异，但在延迟测试中，提供支架式反馈的学习效果更好。梁凤林（2018）采用即时测试，并增加了尝试提取的次数，也发现了支架式反馈的促进作用好于标准反馈。其优势作用可能在于，被试可以利用支架式反馈中的提示进行提取，支架式反馈能够排除部分错误答案的干扰。由此，未来关于尝试提取失败的研究中，可直接提供正确答案或关于正确答案的提示进行反馈。对于支架式反馈与标准反馈的比较，以及支架式反馈的优势在什么情况下出现等问题仍需进一步研究探索，以得出更为恰当的理论解释。

3.3.2反馈时机

根据反馈呈现的时间不同，可以将反馈划分为以下两种：即时反馈（测试后立即提供正确答案）和延时反馈（过一段时间再提供反馈，如5分钟，10分钟，1天等）。对目前有关反馈时机的研究进行分析发现，在学习不同材料时，反馈时机所发挥的作用不同。例如，当以词对为学习材料时，尝试提取失败后给予即时反馈的学习效果最好，延时反馈的学习效果与重复学习无显著差异，甚至差于重复学习组（Grimaldi & Karpicke， 2012; Hays， Kornell， & Bjork， 2013; Vaughn & Rawson; 2012）。而關于意义材料的研究发现，相对于重复学习，尝试提取失败后提供延时反馈提高了知识的学习程度（陈雄芬， 2018; 周爱保， 崔丹， 马小凤， 2014; Kornell， 2014）。由此可知，在今后的研究中可以根据所学材料的不同选择恰当的反馈时机，如词对材料选用即时反馈，意义材料选用延时反馈，以便将尝试提取失败益处最大化。

3.4测试间隔

测试间隔是指学习阶段与最终测试之间的时间间隔，主要是对知识学习的短时记忆和长时记忆的考察。以往研究中，根据时间长短将测试间隔主要分为即时测试（如5分钟）（Carpenter & Delosh， 2005; Rowland & Delosh， 2015）和延时测试（如1小时， 1天， 2天， 一周）（Karpicke & Roediger， 2007; Storm， Bjork， & Storm， 2010）。有关测试效应的研究发现，在延时测试中，提取练习组的成绩显著高于重复学习组，而在即时测试中，重复学习组成绩更高，即延时测试中存在测试效应（Roediger & Karpicke， 2006）。 Roediger等人（2006）认为这是因为提取练习降低了遗忘的速率。但在尝试提取失败的研究中却发现了不同的结果。Kornell（2009）的研究发现，在5分钟和24小时两种测试间隔下均出现尝试提取失败益处。陈雄芬（2018）直接比较这两种测试间隔下尝试提取失败的促进作用，结果发现即时测试中的学习效果更好。综上，测试间隔对尝试提取失败益处和提取练习效应的影响不同，这也间接证明两种效应产生的机制可能不同。

4尝试提取失败益处的理论

根据尝试提取失败益处产生的时机不同， 可以将已有的理论解释大致分为两类 （Potts， Davies， & Shanks， 2019; Zawadzka & Hanczakowski， 2019）。一种观点认为提取的过程对尝试提取失败益处的产生至关重要（Grimaldi & Karpicke， 2012; Yan et al.， 2014），如搜索集理论和额外线索理论。前者认为通过对线索进行尝试提取，会产生多个与线索相关的信息，其中可能包含正确答案;后一理论则认为提取到的答案与正确目标也存在关联，可以将线索和目标联系起来。另一种观点认为尝试提取失败益处发生在对正确答案的编码过程中（Kang et al.， 2011; Potts & Shanks， 2014），如错误纠正理论和注意捕获理论。前者认为学习者预期的答案和正确目标之间的差距会转化为学习正确答案的动力;后一理论则认为，与被动学习相比，尝试提取到错误答案可以激发被试对于正确答案的好奇心，提高对正确答案的关注程度。

4.1搜索集理论

搜索集理论（search set theory）认为，呈现线索以使被试试图从记忆中提取信息时，会激活与线索相关的信息，构成一个搜索集合。集合中可能包括正确目标词或与目标词相近的词汇，当在反馈阶段呈现完整词对时，之前的激活会对编码起促进作用（Grimaldi & Karpicke， 2012）。因此，即使不包括正确答案，这些信息也会为正确答案的编码构建丰富的语义背景（Hays， Kornell， & Bjork， 2013）。

在尝试提取失败的研究中，搜索集理论的解释得到大多数研究者的认可。但是也存在搜索集理论不能解释的现象。搜索集理论认为，只有在线索词和目标词之间存在关联时，提取到的信息才会有助于正确目标的学习和记忆（Huelser & Metcalfe， 2012; Knight et al.， 2012）。而当线索和目标不相关，或者是被试不熟悉的材料时，反而会对正确目标的学习产生负面影响（Cyr & Anderson， 2018）。然而，根据前文中提到的关于无关词对的研究可知，即使线索词和目标词无关，尝试提取失败也促进了对目标词的识别记忆。

4.2额外线索理论

额外线索理论（additional cue theory）认为，在记忆提取过程中，错误的猜测会在线索和目标之间起中介作用，将问题和答案联系在一起，也可以作为问题之外的额外线索，有助于对正确答案的提取（Soraci et al.， 1994; Yan et al.， 2014）。如，以“潮汐—海岸”为实验材料，给被试呈现线索词，让其尝试回答相关的目标词。如果被试回答“波浪”，虽然提取失败，但之后学习正确目标词“海岸”时，“波浪”也可以成为目标词的提取线索。这与中介有效性假说一致，即根据线索回忆出中介词后，会有助于把与中介有联系的记忆内容提取出来（Pyc & Rawson， 2009）。研究发现，实验者提供与线索词相关的错误答案对之后的学习没有促进作用（Grimaldi & Karpicke， 2012）。这表明，尝试提取失败益处产生的关键是额外线索提取过程，而不是提取产物。然而，如前所述，限制提取范围会阻礙后续学习（Grimaldi & Karpicke， 2012），不根据线索或问题进行尝试提取对后续学习没有促进作用（Seabrooke et al.， 2019），这些研究结果均难以用额外线索理论进行解释。

4.3错误修正理论

错误修正理论（error correction theory）认为，提取到的错误答案与反馈呈现的正确答案之间的差距，会引发错误修正过程，从而促进最终学习效果（Kang et al.， 2011）。研究发现，期望和实际发生的事情之间的差距会驱动学习（Brod， Hasselhorn， & Bunge， 2018; Rescorla & Wagner， 1972）。也有证据表明，被试会对不符合预期的反馈给予更多关注（Butterfield & Metcalfe， 2006）。因此，被试在发现所写答案和正确答案之间的差距后，会产生消除信息差距的动机，且会将更多的注意力集中在反馈上（Potts & Shanks， 2014），从而增强正确答案的编码。Potts， Davies和Shanks（2019）的研究发现，当消除被试因猜测答案和正确目标间的差异所产生的惊讶时，尝试提取失败益处也随之消失。其研究的具体操作如下，在呈现完整的线索—目标词对后，再让被试根据线索词进行猜测。因为此时目标词是已知的，即使被试提取到错误答案，也不会因其与正确目标间的差距产生学习动机。这说明因信息差距产生的学习动机是尝试提取失败具有促进作用的原因之一。

4.4注意捕获理论

注意捕获理论（attention capturing theory）认为，在尝试提取失败条件下，被试主动参与的程度和对正确答案的好奇心都比重复条件下更高（Potts & Shanks， 2014）。在提取过程中，学习者的好奇心唤醒程度较高，编码正确答案时也会更加主动，付出更多努力。有研究发现，当被试猜错时，与记忆相关的大脑区域的激活水平、回忆成绩都与好奇心的评级呈正相关（Kang et al.， 2009）。Berlyne和Normore（1972）发现，相比于呈现清晰图像，在呈现清晰图像前先呈现同一物体的模糊图像，可以引發被试的好奇心，更能提高学习者的记忆效果。Brod和Breitwieser（2019）让被试进行尝试提取，并在呈现正确反馈之前对自己的好奇心进行评级，发现被试在好奇心评分高的项目上成绩更好，说明对正确答案的好奇会促进知识的学习和记忆，这也为注意捕获理论提供了证据支持。

综上，研究者虽然从不同角度提出了尝试提取失败益处产生的内部机制，但是各理论假说之间也有一定的相通之处，即四种理论假说都关注提取到的错误答案的积极意义。搜索集理论和额外线索理论认为，提取到的错误信息为正确答案提供了语义背景或建立了与正确答案间的语义关联;错误修正理论和注意捕获理论认为错误答案会激发学习正确答案的动机和好奇心。虽然各个理论对尝试提取失败益处的解释均有其合理性，且有实验证据支持，但也均有无法解释的现象。基于此，今后研究中应进一步探讨尝试提取失败益处的内部机制，提出更为完善，更具说服力的理论假说。

5尝试提取失败研究的未来展望

如前文所述，许多研究针对提取失败或错误对学习的影响进行了多方面的探索，并且积累了一定的研究成果，但在一些问题上还需进一步研究。

5.1探讨尝试提取失败益处的内部机制

有关尝试提取失败益处的内部机制的探讨仍没有得出一致结论。已有的两类理论解释各有利弊。一方面，虽然搜索集理论和额外线索理论被很多研究者认可，但是这两种理论也有无法解释的现象。如，搜索集理论无法解释在无关词对学习中，尝试提取失败对正确目标的识别记忆（Seabrooke et al.， 2019）这一现象;而且，当额外线索是由实验者提供时，则不存在尝试提取失败益处（Grimaldi & Karpicke， 2012），额外线索理论同样无法解释这一现象。另一方面，错误修正理论和注意捕获理论都是基于反馈对之后编码过程的增强提出的，没有考虑到提取过程可能产生的积极影响。

在机制探讨方面，未来的研究可以尝试从如下两方面入手：一方面，探索尝试提取失败益处存在的边界条件。研究者可进一步区分在哪些条件下存在尝试提取失败益处，从而确定益处产生的作用机制。另一方面，可以结合大脑神经机制的研究深入探讨尝试提取失败的机制，采用认知科学技术，从眼动、脑电等视角对尝试提取失败益处的内在机制进行研究，以提供更为科学性的证据，为尝试提取失败的促进作用提供更加完善的解释。

5.2考察尝试提取失败在程序性知识中的作用

在已有尝试提取失败促进学习的研究中，学习材料多为词对、短小事实、文本等陈述性知识（周爱保， 崔丹， 马小凤， 2014; Kornell， Hays， & Bjork， 2009; Kang et al.， 2011），且均发现尝试提取失败对之后学习和记忆的促进作用。但目前研究中几乎没有涉及问题解决技能的程序性知识。而在数学、物理、化学等课程的实际学习中，程序性知识起着重要作用。

陈述性知识学习主要是对知识的记忆，而程序性知识除了规则的记忆外，还要学会如何运用规则，将其转化为活动或行为技能（杨玉东， 2010）。两种知识的学习途径和作用机制有本质的区别。因此，促进陈述性知识学习的策略，在程序性知识中的作用如何，需要单独进行研究探讨。例如，在提取练习效应的研究中，有关程序性知识的探讨仍没有得出一致结论。有研究证明问题解决任务中存在提取练习效应（曲可佳， 杨小彤， 杨立娜， 张丽敏， 2018），有研究则发现提取练习效应不显著（Van Gog & Kester， 2012; Van Gog & Sweller， 2015）。在考察尝试提取失败在程序性知识中的作用时，可以借鉴提取练习影响程序性知识学习效果的研究结果。同时，可以进一步考察在程序性知识学习中，问题难度、被试的先验知识、测试间隔等因素对尝试提取失败益处的影响。

5.3提高尝试提取失败的元认知判断准确性

在有关尝试提取失败益处的元认知判断研究中发现，虽然尝试提取失败有助于之后的学习和记忆，但是学习者通常给尝试提取失败项目更低的学习判断值（侯甜甜， 2014; Potts & Shanks， 2014）。这表明学习者认识不到尝试提取失败对学习的促进作用，不认为从错误中学习是一种有效的学习方式（Huelser & Metcalfe， 2012）。这也导致学习者不能有效地进行重学选择、合理分配学习时间及选择正确的学习策略，从而降低了学习效率（Yang， Potts， & Shanks， 2017）。因此，提高尝试提取失败的学习判断准确性，找到适宜的促进方法是未来研究的重点。

总结以往有关学习判断准确性的研究发现，较为有效的提高学习判断准确性的方法可分为两类：第一，提高个体对于记忆性线索的敏感性，如延迟学习判断（学完部分或全部材料后JOL）（陈功香， 张承芬， 苏雅雯， 2010; Son & Metcalfe， 2005）和学习—测验练习法（增加学习—测验次数）（Koriat & Bjork， 2006）。第二，指导被试形成正确的观念，以此作为的JOL依据，如改变信念（告知被试学习策略的实际作用）（Logan & Castel， 2012; Roelle， Schmidt， Buchau， & Berthold， 2017）。今后研究中，应将上述方法与尝试提取失败研究进行有效结合，以提高学习者对于尝试提取失败项目的学习判断准确性，帮助学习者认识和利用提取失败在学习中的积极影响。

参考文献

陈功香， 张承芬， 苏雅雯 （2010）. 延迟学习判断的效应机制.心理学报， 42（7）， 743-753.

陈雄芬 （2018）.尝试提取失败对意义材料学习效果的影响.硕士学位论文. 福建师范大学.

崔丹 （2014）.尝试提取失败是否促进学习—基于情景记忆提取模式的检验.硕士学位论文. 西北师范大学.

侯甜甜 （2014）.预试效应产生机制的实验研究.硕士学位论文. 福建师范大学.

梁凤林 （2018）.尝试提取失败对初中生陈述性知识保持和迁移的影响.硕士学位论文. 江西师范大學.

曲可佳， 杨小彤， 杨立娜， 张丽敏 （2018）. 异分母分数加法运算样例学习中的测试效应.辽宁师范大学学报（社会科学版）， 41（6）， 38-44.

杨玉东 （2010）. 陈述性知识与程序性知识的教学策略.天津师范大学学报： 基础教育版， 11（3）， 18-21.

周爱保， 崔丹， 马小凤 （2014）. 尝试提取复杂信息失败的学习： 吃一堑长一智？心理科学， 37（3）， 661-667.

Ausubel， D. P. （1968）.Educational psychology： A cognitive view. New York： Holt， Rinehart & Winston.

Barnes， J. M.， & Underwood， B. J. （1959）. “Fate” of first-list associations in transfer theory.Journal of Experimental Psychology， 58（2）， 97-105.

Berger， S. A.， Hall， L. K.， & Bahrick， H. P. （1999）. Stabilizing access to marginal and submarginal knowledge.Journal of Experimental Psychology： Applied， 5（4）， 438-447.

Berlyne， D. E.， & Normore， L. F. （1972）. Effects of prior uncertainty on incidental free recall.Journal of Experimental Psychology， 96（1）， 43-48.

Brod， G.， Hasselhorn， M.， & Bunge， S. A. （2018）. When generating a prediction boosts learning： The element of surprise.Learning and Instruction， 55， 22-31.

Brod， G.， & Breitwieser， J. （2019）. Lighting the wick in the candle of learning： Generating a prediction stimulates curiosity.NPJ Science of Learning， 4（1）， 1-7.

Butler， A. C.， Karpicke， J. D.， & Roediger， H. L. （2007）. The effect of type and timing of feedback on learning from multiple-choice tests.Journal of Experimental Psychology： Applied， 13（4）， 273-281.

Butterfield， B.， & Metcalfe， J. （2006）. The correction of errors committed with high confidence.Metacognition and Learning， 1（1）， 69-84.

Carneiro， P.， Lapa， A.， & Finn， B. （2018）. The effect of unsuccessful retrieval on childrens subsequent learning.Journal of Experimental Child Psychology， 166， 400-420.

Carpenter， S. K.， & Delosh， E. L. （2005）. Application of the testing and spacing effects to name learning.Applied Cognitive Psychology， 19（5）， 619-636.

Cyr， A. A.， & Anderson， N. D. （2018）. Learning from your mistakes： Does it matter if youre out in left foot， I mean field？Memory， 26（9）， 1281-1290.

Finn， B.， & Metcalfe， J. （2010）. Scaffolding feedback to maximize long-term error correction.Memory & Cognition，38（7）， 951-961.

Fritz， C. O.， Morris， P. E.， Bjork， R. A.， Gelman， R.， & Wickens， T. D. （2000）. When further learning fails： Stability and change following repeated presentation of text.British Journal of Psychology， 91（4）， 493-511.

Grimaldi， P. J.， & Karpicke， J. D. （2012）. When and why do retrieval attempts enhance subsequent encoding？Memory & Cognition， 40（4）， 505-513.

Guzmán-Muoz， F. J. （2020）. Effects of making errors in learning a foreign language.Journal of Cognitive Psychology， 32（2）， 229-241.

Hays， M. J.， Kornell， N.， & Bjork， R. A. （2013）. When and why a failed test potentiates the effectiveness of subsequent study.Journal of Experimental Psychology： Learning， Memory， and Cognition， 39（1）， 290-296.

Huelser， B. J.， & Metcalfe， J. （2012）. Making related errors facilitates learning， but learners do not know it.Memory & Cognition， 40（4）， 514-527.

Kang， M. J.， Hsu， M.， Krajbich， I. M.， Loewenstein， G.， McClure， S. M.， Wang， J. T. Y.， & Camerer， C. F. （2009）. The wick in the candle of learning epistemic curiosity activates reward circuitry and enhances memory. Psychological Science， 20（8）， 963-973.

Kang， S. H.， Pashler， H.， Cepeda， N. J.， Rohrer， D.， Carpenter， S. K.， & Mozer， M. C. （2011）. Does incorrect guessing impair fact learning？Journal of Educational Psychology， 103（1）， 48-59.

Karpicke， J. D.， & Roediger III， H. L. （2007）. Expanding retrieval practice promotes short-term retention， but equally spaced retrieval enhances long-term retention.Journal of Experimental Psychology： Learning， Memory， and Cognition， 33（4）， 704-719.

Knight， J. B.， Hunter Ball， B.， Brewer， G. A.， Dewitt， M. R.， & Marsh， R. L. （2012）. Testing unsuccessfully： A specification of the underlying mechanisms supporting its influence on retention.Journal of Memory and Language， 66（4）， 731-746.

Koriat， A.， & Bjork， R. A. （2006）. Mending metacognitive illusions： A comparison of mnemonic-based and theory-based procedures.Journal of Experimental Psychology： Learning， Memory， and Cognition， 32（5）， 1133-1145.

Kornell， N.， Hays， M. J.， & Bjork， R. A. （2009）. Unsuccessful retrieval attempts enhance subsequent learning.Journal of Experimental Psychology： Learning， Memory， and Cognition， 35（4）， 989-998.

Kornell， N. （2014）. Attempting to answer a meaningful question enhances subsequent learning even when feedback is delayed.Journal of Experimental Psychology： Learning， Memory， and Cognition， 40（1）， 106-114.

Kornell， N.， & Metcalfe， J. （2014）. The effects of memory retrieval， errors and feedback on learning. In V. A. Benassi， C. E. Overson， & C. M. Hakala （Eds.），Applying science of learning in education： Infusing psychological science into the curriculum（pp.225-251）. Washington， DC： American Psychological Association.

Kornell， N.， Klein， P. J.， & Rawson， K. A. （2015）. Retrieval attempts enhance learning， but retrieval success （versus failure） does not matter.Journal of Experimental Psychology： Learning， Memory， and Cognition， 41（1）， 283-294.

Kornell， N.， & Vaughn， K. E. （2016）. How retrieval attempts affect learning： A review and synthesis.Psychology of Learning & Motivation， 65， 183-215.

Logan， J. M.， Castel， A. D.， Haber， S.， & Viehman， E. J. （2012）. Metacognition and the spacing effect： The role of repetition， feedback， and instruction on judgments of learning for massed and spaced rehearsal.Metacognition and Learning， 7（3）， 175-195.

Metcalfe， J. （2016）. Learning from Errors.Annual Review of Psychology， 68， 465-489.

Metcalfe， J.， & Xu， J. （2018）. Learning from ones own errors and those of others.Psychonomic Bulletin & Review， 25（1）， 402-408.

Middleton， E. L.， & Schwartz， M. F. （2012）. Errorless learning in cognitive rehabilitation： A critical review.Neuropsychological Rehabilitation， 22（2）， 138-168.

Pashler， H.， Cepeda， N. J.， Wixted， J. T.， & Rohrer， D. （2005）. When does feedback facilitate learning of words？Journal of Experimental Psychology： Learning， Memory， and Cognition， 31（1）， 3-8.

Potts， R.， & Shanks， D. R. （2014）. The benefit of generating errors during learning.Journal of Experimental Psychology： General， 143（2）， 644-667.

Potts， R.， Davies， G.， & Shanks， D. R. （2019）. The benefit of generating errors during learning： What is the locus of the effect？Journal of Experimental Psychology： Learning， Memory， and Cognition， 45（6）， 1023-1041.

Pyc， M. A.， & Rawson， K. A. （2009）. Testing the retrieval effort hypothesis： Does greater difficulty correctly recalling information lead to higher levels of memory？Journal of Memory and Language， 60（4）， 437-447.

Rescorla， R. A.， & Wagner， A. R. （1972）. A theory of Pavlovian conditioning： Variations in the effectiveness of reinforcement and nonreinforcement. In AH. Black & W. F. Prokasy （Eds.），Classical conditioning II： Current research and theory，（pp.64-99）. New York： Appleton-Century-Crofts.

Richland， L. E.， Kornell， N.， & Kao， L. S. （2009）. The pretesting effect： Do unsuccessful retrieval attempts enhance learning？Journal of Experimental Psychology： Applied， 15（3）， 243-257.

Roediger， H. L.， & Karpicke J. D. （2006）. The power of testing memory： Basic research and implications for educational practice.Perspectives on Psychological Science， 1（3）， 181-210.

Roelle， J.， Schmidt， E. M.， Buchau， A.， & Berthold， K. （2017）. Effects of informing learners about the dangers of making overconfident judgments of learning.Journal of Educational Psychology， 109（1）， 99-117.

Rowland， C. A.， & Delosh， E. L. （2015）. Mnemonic benefits of retrieval practice at short retention intervals.Memory， 23（3）， 403-419.

Seabrooke， T.， Hollins， T. J.， Kent， C.， Wills， A. J.， & Mitchell， C. J. （2019）. Learning from failure： Errorful generation improves memory for items， not associations.Journal of Memory and Language， 104， 70-82.

Slamucka， N. J.， & Fevreiski， J. （1983）. The generation effect when generation fails.Journal of Verbal Learning and Verbal Behavior， 22（2）， 153-163.

Son， L. K.， & Metcalfe， J. （2005）. Judgments of learning： Evidence for a two-stage process.Memory & Cognition， 33（6）， 1116-1129.

Soraci， S. A.， Franks， J. J.， Bransford， J. D.， Chechile， R. A.， Belli， R. F.， Carr， M.， & Carlin， M. （1994）. Incongruous item generation effects： A multiple-cue perspective.Journal of Experimental Psychology： Learning， Memory， and Cognition， 20（1）， 67-78.

Storm， B. C.， Bjork， R. A.， & Storm， J. C. （2010）. Optimizing retrieval as a learning event： When and why expanding retrieval practice enhances long-term retention.Memory & Cognition， 38（2）， 244-253.

Van Gog， T.， & Kester， L. （2012）. A test of the testing effect： Acquiring problem solving skills from worked examples.Cognitive Science， 36（8）， 1532-1541.

Van Gog， T.， & Sweller， J. （2015）. Not new， but nearly forgotten： The testing effect decreases or even disappears as the complexity of learning materials increases.Educational Psychology Review， 27（2）， 247-264.

Vaughn， K. E.， & Rawson， K. A. （2012）. When is guessing incorrectly better than studying for enhancing memory？Psychonomic Bulletin & Review， 19（5）， 899-905.

Yan， V. X.， Yu， Y.， Garcia， M. A.， & Bjork， R. A. （2014）. Why does guessing incorrectly enhance， rather than impair， retention？Memory & Cognition， 42（8）， 1373-1383.

Yang， C.， Potts， R.， & Shanks， D. R. （2017）. Metacognitive unawareness of the errorful generation benefit and its effects on self-regulated learning.Journal of Experimental Psychology： Learning， Memory， and Cognition， 43（7）， 1073-1092.

Zawadzka， K.， & Hanczakowski， M. （2019）. Two routes to memory benefits of guessing.Journal of Experimental Psychology： Learning， Memory， and Cognition， 45（10）， 1748-1760.